• Aucun résultat trouvé

Mise `a niveau Comparaison d’estimateurs

N/A
N/A
Protected

Academic year: 2022

Partager "Mise `a niveau Comparaison d’estimateurs"

Copied!
30
0
0

Texte intégral

(1)

Comparaison d’estimateurs

A. Godichon-Baggioni

(2)

O BJECTIFS

On s’int´eresse `a l’estimation d’un param`etre θ ∈ Θ d’une variable al´eatoire X, avec Θ un intervalle ouvert de R. Les objectifs sont donc :

I Comparer diff´erents estimateurs de θ.

I Savoir si on peut parler d’estimateur optimal.

(3)

I. G´en´eralit´es

(4)

C OMPARAISON DES ERREURS QUADRATIQUES MOYENNES

On rappelle qu’une fac¸on de quantifier la qualit´e d’un estimateur θ ˆ n de θ est de consid´erer son risque quadratique

EQM

θ ˆ n , θ

= E

θ ˆ n − θ 2 .

On consid`ere que θ ˆ n est un meilleur estimateur que θ ˜ n si

∀θ ∈ Θ, EQM θ ˆ n , θ

≤ EQM θ ˜ n , θ

.

(5)

B IAIS D ’ UN ESTIMATEUR

On donne trop souvent trop d’importance au biais d’un estimateur ! D´ebiaiser un estimateur ne donne pas forc´ement de meilleurs r´esultats !

Exemple : Soit θ > 0 et X ∼ U ([0, θ]). Comparer les erreurs quadratiques moyennes des estimateurs suivants :

θ ˆ n = X (n)

θ ˜ n = n + 1 n X (n)

θ α,n = α X (n)

avec α > 0 choisi judicieusement.

(6)

A PPROCHE ASYMPTOTIQUE

Le plus souvent, on dispose d’estimateurs θ ˆ n , θ ˜ n

asymptotiquement normaux, i.e il existe σ 1 2 et σ 2 2 telles que

√ n

θ ˆ n − θ L

− −−−− →

n→+∞ N 0 , σ 2 1 ,

√ n

θ ˜ n − θ L

− −−−− →

n→+∞ N 0 , σ 2 2

.

Si σ 1 2 ≤ σ 2 2 , on choisira alors l’estimateur θ ˆ n .

(7)

II. Information de Fisher

(8)

A BSOLUE CONTINUIT E ´

D´efinition

On dit qu’un fonction f d´efinie sur un intervalle ouvert I de R est absolument continue sur I si il existe une fonction int´egrable f 0 (appel´ee d´eriv´ee de f ) telle que pour tout [ a , b ] ⊂ I, on ait

f (b) − f (a) = Z b

a

f 0 (x)dx.

Attention ! La fonction f 0 n’est d´efinie que presque partout (cf

Th´eor`eme de Lebesgue).

(9)

E XP ERIENCE ET MOD ´ ELE STATISTIQUE `

D´efinition

Une exp´erience statistique est la donn´ee d’un objet al´eatoire X dans un espace mesurable (E, E), et d’une famille de lois (P θ ) θ∈Θ sur cet espace, suppos´e contenir la loi P X , et appel´e mod`ele statistique pour la loi de X.

Dans ce qui suit, Θ est un intervalle ouvert de R, et on consid`ere un mod`ele statistique de la forme

(P θ ) θ∈Θ = (g θ , µ) θ∈Θ o `u µ est une mesure sur E.

(10)

M OD ELE R ` EGULIER ´

D´efinition

Le mod`ele ( P θ ) θ∈Θ est dit r´egulier si

I pour µ presque tout x ∈ E, l’application θ 7−→ g θ ( x ) est absolument continue sur Θ .

I pour tout θ 0 ∈ Θ, pour µ presque tout x ∈ E, l’application θ 7−→ g 0 θ (x) est continue en θ 0 .

I pour tout θ ∈ Θ , l’application

x 7−→ ( g 0 θ ( x )) 2

g θ (x) 1 g

θ

(x)>0

est int´egrable sur E par rapport `a la mesure µ et d’int´egrale I(θ) =

Z

E

( g 0 θ ( x )) 2

g θ (x) 1 g

θ

(x)>0 µ(dx) continue sur Θ .

I (θ) est alors appel´ee information de Fisher du mod`ele.

(11)

R EMARQUE

Remarque : Si pour tout x ∈ E la fonction θ 7−→ g θ ( x ) est de

classe C 1 , alors les deux premiers points de la d´efinition

pr´ec´edente sont v´erifi´es.

(12)

E XEMPLES

Exemple 1 : la loi exponentielle Soit X ∼ E(θ) avec θ ∈ Θ = R + , alors

g θ ( x ) = θ e −θx et µ( dx ) = 1 x≥0 dx . Le mod`ele est r´egulier et

I (θ) = 1

θ 2

(13)

E XEMPLES

Exemples 2 : la loi de Bernoulli Soit X ∼ B(θ) avec θ ∈ Θ = (0, 1). Alors µ(dx) = δ 0 + δ 1 et

g θ ( 0 ) = 1 − θ et g θ ( 1 ) = θ.

Le mod`ele est r´egulier et on a I(θ) = 1

θ(1 − θ) .

(14)

E XEMPLES

Exemple 3 : la loi uniforme Soit X ∼ U ([0, θ]) avec θ ∈ Θ = R + , on a alors

g θ ( x ) = 1

θ 1 [0,θ] ( x ) et µ( dx ) = 1 x≥0 dx .

Le mod`ele n’est pas r´egulier.

(15)

S CORE ET I NFORMATION DE F ISHER D´efinition

Notons l θ ( X ) = log ( g θ ( X )) la log-vraisemblance de X. Si les deux premiers points de la d´efinition pr´ec´edente sont satisfaits et si l’application

θ 7−→ E θ

h

( l 0 θ ( X )) 2 i

est continue sur Θ , alors le mod`ele est r´egulier et d’information de Fisher

I(θ) = E θ

h (l 0 θ ( X )) 2 i

= E θ

"

∂θ log (g θ ( X )) 2 #

.

La variable al´eatoire

l 0 X (θ) = ∂

∂θ log (g θ ( X )) = g 0 θ ( X )

g θ ( X )

est appel´ee le score.

(16)

S CORE ET I NFORMATION DE F ISHER

Proposition

Si le mod`ele (g θ ) θ∈Θ est r´egulier, alors

I(θ) = V θ [l 0 X (θ)] .

(17)

E XEMPLES

Exemple 1 : la loi exponentielle Soit θ > 0 et X ∼ E(θ) . On retrouve bien

V [ l 0 X (θ)] = 1 θ 2 = I (θ)

Exemple 2 : la loi de Bernoulli Soit θ ∈ ( 0 , 1 ) et X ∼ B(θ) . On retrouve bien

V [ l 0 θ ( X )] = 1

θ( 1 − θ) = I (θ)

(18)

I NFORMATION DE F ISHER D ’ UN ECHANTILLON ´

Proposition

Soit X = (X 1 , . . . , X n ) o `u les X i variables al´eatoires i.i.d et X 1 admet f θ comme densit´e par rapport `a une mesure µ . Si le mod`ele ( f θ ) θ∈Θ est r´egulier et d’information de Fisher I (θ) , alors le mod`ele produit de densit´e

g θ ( x 1 , . . . , x n ) =

n

Y

i=1

f θ ( x i )

par rapport `a la mesure produit µ ⊗n est encore r´egulier et d’information de Fisher

I n (θ) = V [ l 0 θ ( X 1 , . . . , X n )] = nI (θ).

(19)

E XEMPLES

Exemple 1 : la loi exponentielle Soit θ > 0 et X = ( X 1 , . . . , X n ) o `u les X i sont i.i.d avec X 1 ∼ E(θ) . On retrouve bien

I n (θ) = V [l 0 θ (X 1 , . . . , X n )] = n

θ 2 = nI(θ) Exemple 2 : la loi de Bernoulli Soit θ ∈ (0, 1) et X = ( X 1 , . . . , X n ) o `u les X i sont i.i.d avec X 1 ∼ B(θ) . On retrouve bien

I n (θ) = V [ l 0 X (θ)] = n

θ( 1 − θ) = nI (θ).

(20)

III. In´egalit´e de l’Information et borne de

Cramer-Rao

(21)

O BJECTIF

L’objectif est de chercher `a minorer l’erreur quadratique

moyenne des estimateurs de θ . Dans ce qui suit on consid`ere

X = ( X 1 , . . . , X n ) o `u les X i sont i.i.d et un estimateur θ ˆ n = θ ( X )

de θ . On notera ( f θ , µ) le mod`ele associ´e `a X 1 .

(22)

I N EGALIT ´ E DE L ´ ’I NFORMATION

Proposition

Soit (f θ , µ) θ∈Θ un mod`ele r´egulier et θ ˆ n un estimateur de θ dont l’erreur quadratique moyenne est localement born´ee, et de biais b(θ) = E θ

h θ ˆ n i

− θ. Alors, si I(θ) > 0,

EQM

θ ˆ n , θ

= E θ

θ ˆ n − θ 2

≥ b (θ) 2 + ( 1 + b 0 (θ)) 2

I n (θ) .

(23)

R EMARQUE

Remarque : L’in´egalit´e de l’Information de nous aide en aucun cas pour comparer des estimateurs. La borne est propre `a chaque estimateur et l’atteindre ne signifie aucunement que l’on a un bon estimateur.

Exemple : On prend θ ∈ R et θ ˆ n = 0. On a bien

EQM

θ ˆ n , θ

= b(θ) 2 + (1 + b 0 (θ)) 2

I n (θ)

mais l’estimateur ”n’est pas bon”.

(24)

B ORNE DE C RAMER -R AO

Corollaire

Soit (f θ , µ) θ∈Θ un mod`ele r´egulier et θ ˆ n un estimateur sans biais de θ de variance locallement born´ee, alors

EQM

θ ˆ n , θ

= V θ

h θ ˆ n i

≥ 1

I n (θ)

Un estimateur atteignant cette borne est dit efficace.

(25)

E XEMPLE

Exemple : la loi de Bernoulli Soient X 1 , . . . , X n des variables

al´eatoires ind´ependantes suivant une loi de Bernoulli de

param`etre θ ∈ ( 0 , 1 ) . L’estimateur θ ˆ n = X n est efficace.

(26)

IV. Efficacit´e asymptotique

(27)

E FFICACIT E ASYMPTOTIQUE ´

D´efinition

Soit ( f θ ) θ∈Θ un mod`ele r´egulier d’information I (θ) ne s’annulant pas sur Θ . Soit θ ˆ n un estimateur de θ . On dit que θ ˆ n est

asymptotiquement efficace si il existe σ 2 ≤ I(θ) −1 tel que

√ n

θ ˆ n − θ L

−−−→ n→∞ N 0, σ 2

.

(28)

E XEMPLES

Exemple 1 : la loi de Bernoulli Soient X 1 , . . . , X n des variables al´eatoires ind´ependantes suivant une loi de Bernoulli de param`etre θ ∈ ( 0 , 1 ) . L’estimateur θ ˆ n est asymptotiquement efficace.

Exemple 2 : la loi exponentielle Soient X 1 , . . . , X n des variables al´eatoires ind´ependantes suivant une loi

exponentielle de param`etre θ > 0. L’estimateur θ ˆ n = X −1 n est

asymptotiquement efficace.

(29)

EMV ET EFFICACIT E ASYMPTOTIQUE ´

Th´eor`eme

Soit (f θ ) θ∈Θ un mod`ele r´egulier d’information de Fisher I(θ). Soit θ 0 ∈ Θ v´erifiant I (θ 0 ) > 0 et X 1 , ..., X n des variables al´eatoires i.i.d de densit´e f θ

0

. Si il existe un estimateur du maximum de

vraisemblance θ ˆ n qui converge vers θ 0 , alors

√ n

θ ˆ n − θ 0 L

− −−−− →

n→+∞ N

0, 1

I (θ 0 )

.

(30)

R EMARQUE

Remarque : Si le mod`ele est r´egulier, il n’est pas possible de trouver un estimateur qui soit meilleur qu’un estimateur asymptotiquement efficace pour tout θ ∈ Θ. Cependant, il est possible d’en trouver qui soient meilleur pour tout θ ∈ Θ 0 o `u Θ 0 est de mesure de Lebesgue nulle.

Exemple : estimateur de Hodge : Soit X ∼ N (θ, 1) et on consid`ere l’estimateur

θ ˆ n = X n 1 | X

n

| >n

−1/4

.

Que se passe-t-il si θ = 0 ?

Références

Documents relatifs

Un auteur d’un texte de situation, puise ses vocables dans un lexique.. L de

c’est une hypothèse simplificatrice dans les démonstrations et que ce n’est pas une limitation très forte en pratique, on la conservera dans toute la suite de

Exercice 9 : Le nombre X de demandes hebdomadaires d’un certain produit suit une loi de Poisson de paramètre inconnu λ. On veut évaluer la probabilité p que X

En particulier, un estimateur robuste doit voir sa valeur faiblement perturbée par la présence de valeurs aberrantes dans l'échantillon.. Pour l'illustrer, imaginons qu'on ajoute à

boxcox (MASS) transformation de Box-Cox dans le cas d’un LNM bcPower (car) transformation de Box-Cox, Yeo-Johnson ou puissance lm (stats) ajuste un mod` ele de r´ egression lin´

Les notes de cours (comme tout autre document) et les calculatrices ne sont pas autoris´ ees.. La qualit´ e de la r´ edaction sera largement prise

D’une statistique est une distribution de probabilité des valeurs prises par cette statis- tique mesurées sur tous les échantillons possibles.. D’une moyenne empirique a pour

Il n’est pas n´ ecessaire de relancer tous les calculs d’estimation des param` etres du mod` ele ` a chaque fois que la base de donn´ ees est compl´ et´ ee par de