Mise `a niveau Comparaison d’estimateurs

Comparaison d’estimateurs

A. Godichon-Baggioni

O BJECTIFS

On s’int´eresse `a l’estimation d’un param`etre θ ∈ Θ d’une variable al´eatoire X, avec Θ un intervalle ouvert de R. Les objectifs sont donc :

I Comparer diff´erents estimateurs de θ.

I Savoir si on peut parler d’estimateur optimal.

I. G´en´eralit´es

C OMPARAISON DES ERREURS QUADRATIQUES MOYENNES

On rappelle qu’une fac¸on de quantifier la qualit´e d’un estimateur θ ˆ _n de θ est de consid´erer son risque quadratique

EQM

θ ˆ _n , θ

= E

θ ˆ _n − θ 2 .

On consid`ere que θ ˆ _n est un meilleur estimateur que θ ˜ _n si

∀θ ∈ Θ, EQM θ ˆ _n , θ

≤ EQM θ ˜ _n , θ

.

B IAIS D ’ UN ESTIMATEUR

On donne trop souvent trop d’importance au biais d’un estimateur ! D´ebiaiser un estimateur ne donne pas forc´ement de meilleurs r´esultats !

Exemple : Soit θ > 0 et X ∼ U ([0, θ]). Comparer les erreurs quadratiques moyennes des estimateurs suivants :

θ ˆ _n = X (n)

θ ˜ _n = n + 1 n X (n)

θ _α,n = α X (n)

avec α > 0 choisi judicieusement.

A PPROCHE ASYMPTOTIQUE

Le plus souvent, on dispose d’estimateurs θ ˆ _n , θ ˜ _n

asymptotiquement normaux, i.e il existe σ ₁ ² et σ ₂ ² telles que

√ n

θ ˆ _n − θ _L

− −−−− →

n→+∞ N 0 , σ ² ₁ ,

√ n

θ ˜ _n − θ _L

− −−−− →

n→+∞ N 0 , σ ² ₂

.

Si σ ₁ ² ≤ σ ₂ ² , on choisira alors l’estimateur θ ˆ _n .

II. Information de Fisher

A BSOLUE CONTINUIT E ´

D´efinition

On dit qu’un fonction f d´efinie sur un intervalle ouvert I de R est absolument continue sur I si il existe une fonction int´egrable f ⁰ (appel´ee d´eriv´ee de f ) telle que pour tout [ a , b ] ⊂ I, on ait

f (b) − f (a) = Z b

a

f ⁰ (x)dx.

Attention ! La fonction f ⁰ n’est d´efinie que presque partout (cf

Th´eor`eme de Lebesgue).

E XP ERIENCE ET MOD ´ ELE STATISTIQUE `

D´efinition

Une exp´erience statistique est la donn´ee d’un objet al´eatoire X dans un espace mesurable (E, E), et d’une famille de lois (P θ ) _θ∈Θ sur cet espace, suppos´e contenir la loi P X , et appel´e mod`ele statistique pour la loi de X.

Dans ce qui suit, Θ est un intervalle ouvert de R, et on consid`ere un mod`ele statistique de la forme

(P θ ) _θ∈Θ = (g θ , µ) _θ∈Θ o `u µ est une mesure sur E.

M OD ELE R ` EGULIER ´

D´efinition

Le mod`ele ( P θ ) _θ∈Θ est dit r´egulier si

I pour µ presque tout x ∈ E, l’application θ 7−→ g θ ( x ) est absolument continue sur Θ .

I pour tout θ ₀ ∈ Θ, pour µ presque tout x ∈ E, l’application θ 7−→ g ⁰ _θ (x) est continue en θ ₀ .

I pour tout θ ∈ Θ , l’application

x 7−→ ( g ⁰ _θ ( x )) ²

g θ (x) 1 g

(x)>0

est int´egrable sur E par rapport `a la mesure µ et d’int´egrale I(θ) =

Z

E

( g ⁰ _θ ( x )) ²

g θ (x) 1 g

(x)>0 µ(dx) continue sur Θ .

I (θ) est alors appel´ee information de Fisher du mod`ele.

R EMARQUE

Remarque : Si pour tout x ∈ E la fonction θ 7−→ g θ ( x ) est de

classe C ¹ , alors les deux premiers points de la d´efinition

pr´ec´edente sont v´erifi´es.

E XEMPLES

Exemple 1 : la loi exponentielle Soit X ∼ E(θ) avec θ ∈ Θ = R ^∗ + , alors

g θ ( x ) = θ e ^−θx et µ( dx ) = 1 x≥0 dx . Le mod`ele est r´egulier et

I (θ) = 1

θ ²

E XEMPLES

Exemples 2 : la loi de Bernoulli Soit X ∼ B(θ) avec θ ∈ Θ = (0, 1). Alors µ(dx) = δ ₀ + δ ₁ et

g θ ( 0 ) = 1 − θ et g θ ( 1 ) = θ.

Le mod`ele est r´egulier et on a I(θ) = 1

θ(1 − θ) .

E XEMPLES

Exemple 3 : la loi uniforme Soit X ∼ U ([0, θ]) avec θ ∈ Θ = R ^∗ + , on a alors

g θ ( x ) = 1

θ 1 [0,θ] ( x ) et µ( dx ) = 1 x≥0 dx .

Le mod`ele n’est pas r´egulier.

S CORE ET I NFORMATION DE F ISHER D´efinition

Notons l θ ( X ) = log ( g θ ( X )) la log-vraisemblance de X. Si les deux premiers points de la d´efinition pr´ec´edente sont satisfaits et si l’application

θ 7−→ E θ

h

( l ⁰ θ ( X )) ² i

est continue sur Θ , alors le mod`ele est r´egulier et d’information de Fisher

I(θ) = E θ

h (l ⁰ _θ ( X )) ² i

= E θ

"

∂

∂θ log (g θ ( X )) 2 #

.

La variable al´eatoire

l ⁰ _X (θ) = ∂

∂θ log (g θ ( X )) = g ⁰ _θ ( X )

g θ ( X )

est appel´ee le score.

S CORE ET I NFORMATION DE F ISHER

Proposition

Si le mod`ele (g θ ) _θ∈Θ est r´egulier, alors

I(θ) = V θ [l ⁰ _X (θ)] .

E XEMPLES

Exemple 1 : la loi exponentielle Soit θ > 0 et X ∼ E(θ) . On retrouve bien

V [ l ⁰ _X (θ)] = 1 θ ² = I (θ)

Exemple 2 : la loi de Bernoulli Soit θ ∈ ( 0 , 1 ) et X ∼ B(θ) . On retrouve bien

V [ l ⁰ θ ( X )] = 1

θ( 1 − θ) = I (θ)

I NFORMATION DE F ISHER D ’ UN ECHANTILLON ´

Proposition

Soit X = (X 1 , . . . , X n ) o `u les X i variables al´eatoires i.i.d et X 1 admet f θ comme densit´e par rapport `a une mesure µ . Si le mod`ele ( f θ ) <sub>θ∈Θ</sub> est r´egulier et d’information de Fisher I (θ) , alors le mod`ele produit de densit´e

g θ ( x 1 , . . . , x n ) =

n

Y

i=1

f θ ( x i )

par rapport `a la mesure produit µ ^⊗n est encore r´egulier et d’information de Fisher

I n (θ) = V [ l ⁰ θ ( X 1 , . . . , X n )] = nI (θ).

E XEMPLES

Exemple 1 : la loi exponentielle Soit θ > 0 et X = ( X 1 , . . . , X n ) o `u les X i sont i.i.d avec X 1 ∼ E(θ) . On retrouve bien

I n (θ) = V [l ⁰ θ (X 1 , . . . , X n )] = n

θ ² = nI(θ) Exemple 2 : la loi de Bernoulli Soit θ ∈ (0, 1) et X = ( X 1 , . . . , X n ) o `u les X i sont i.i.d avec X 1 ∼ B(θ) . On retrouve bien

I n (θ) = V [ l ⁰ _X (θ)] = n

θ( 1 − θ) = nI (θ).

III. In´egalit´e de l’Information et borne de

Cramer-Rao

O BJECTIF

L’objectif est de chercher `a minorer l’erreur quadratique

moyenne des estimateurs de θ . Dans ce qui suit on consid`ere

X = ( X 1 , . . . , X n ) o `u les X i sont i.i.d et un estimateur θ ˆ _n = θ ( X )

de θ . On notera ( f θ , µ) le mod`ele associ´e `a X 1 .

I N EGALIT ´ E DE L ´ ’I NFORMATION

Proposition

Soit (f θ , µ) _θ∈Θ un mod`ele r´egulier et θ ˆ _n un estimateur de θ dont l’erreur quadratique moyenne est localement born´ee, et de biais b(θ) = E θ

h θ ˆ _n i

− θ. Alors, si I(θ) > 0,

EQM

θ ˆ _n , θ

= E θ

θ ˆ _n − θ 2

≥ b (θ) ² + ( 1 + b ⁰ (θ)) ²

I n (θ) .

R EMARQUE

Remarque : L’in´egalit´e de l’Information de nous aide en aucun cas pour comparer des estimateurs. La borne est propre `a chaque estimateur et l’atteindre ne signifie aucunement que l’on a un bon estimateur.

Exemple : On prend θ ∈ R et θ ˆ _n = 0. On a bien

EQM

θ ˆ _n , θ

= b(θ) ² + (1 + b ⁰ (θ)) ²

I n (θ)

mais l’estimateur ”n’est pas bon”.

B ORNE DE C RAMER -R AO

Corollaire

Soit (f θ , µ) _θ∈Θ un mod`ele r´egulier et θ ˆ _n un estimateur sans biais de θ de variance locallement born´ee, alors

EQM

θ ˆ _n , θ

= V θ

h θ ˆ _n i

≥ 1

I n (θ)

Un estimateur atteignant cette borne est dit efficace.

E XEMPLE

Exemple : la loi de Bernoulli Soient X 1 , . . . , X n des variables

al´eatoires ind´ependantes suivant une loi de Bernoulli de

param`etre θ ∈ ( 0 , 1 ) . L’estimateur θ ˆ _n = X n est efficace.

IV. Efficacit´e asymptotique

E FFICACIT E ASYMPTOTIQUE ´

D´efinition

Soit ( f θ ) _θ∈Θ un mod`ele r´egulier d’information I (θ) ne s’annulant pas sur Θ . Soit θ ˆ _n un estimateur de θ . On dit que θ ˆ _n est

asymptotiquement efficace si il existe σ ² ≤ I(θ) ⁻¹ tel que

√ n

θ ˆ _n − θ _L

−−−→ n→∞ N 0, σ ²

.

E XEMPLES

Exemple 1 : la loi de Bernoulli Soient X 1 , . . . , X n des variables al´eatoires ind´ependantes suivant une loi de Bernoulli de param`etre θ ∈ ( 0 , 1 ) . L’estimateur θ ˆ _n est asymptotiquement efficace.

Exemple 2 : la loi exponentielle Soient X 1 , . . . , X n des variables al´eatoires ind´ependantes suivant une loi

exponentielle de param`etre θ > 0. L’estimateur θ ˆ _n = X ⁻¹ _n est

asymptotiquement efficace.

EMV ET EFFICACIT E ASYMPTOTIQUE ´

Th´eor`eme

Soit (f θ ) _θ∈Θ un mod`ele r´egulier d’information de Fisher I(θ). Soit θ ₀ ∈ Θ v´erifiant I (θ ₀ ) > 0 et X 1 , ..., X n des variables al´eatoires i.i.d de densit´e f θ

. Si il existe un estimateur du maximum de

vraisemblance θ ˆ _n qui converge vers θ ₀ , alors

√ n

θ ˆ _n − θ _{0 L}

− −−−− →

n→+∞ N

0, 1

I (θ ₀ )

.

R EMARQUE

Remarque : Si le mod`ele est r´egulier, il n’est pas possible de trouver un estimateur qui soit meilleur qu’un estimateur asymptotiquement efficace pour tout θ ∈ Θ. Cependant, il est possible d’en trouver qui soient meilleur pour tout θ ∈ Θ <sub>0</sub> o `u Θ ₀ est de mesure de Lebesgue nulle.

Exemple : estimateur de Hodge : Soit X ∼ N (θ, 1) et on consid`ere l’estimateur

θ ˆ _n = X n 1 | ^X

| ^>n

.

Que se passe-t-il si θ = 0 ?