Statistique inf´erentielle Estimation

Estimation

A. Godichon-Baggioni

O BJECTIFS

On dispose de n donn´ees x 1 , . . . , x n qui sont des mesures d’une variable quantitative, et plus pr´ecis´ement des r´ealisations de variables al´eatoires ind´ependantes et identiquement

distribu´ees X 1 , . . . , X n . Objectifs :

I Estimer une caract´eristique θ de X 1 (moyenne, variance,...) I Estimer un param`etre θ de X 1 si cette variable est

param´etr´ee (loi de Bernoulli, normale, exponentielle,...) Exemples :

I Lancer de pi`ece : On s’int´eresse `a l’estimation de θ = E [X 1 ].

I Loi exponentielle : On s’int´eresse `a l’estimation du

param`etre θ = ( E [X 1 ]) ⁻¹ .

I. D´efinitions

S TATISTIQUE ET ESTIMATEUR

Dans ce qui suit, on consid`ere un ´echantillon X = ( X 1 , . . . , X n ) d´ependant d’un param`etre θ ∈ Θ , o `u Θ ⊂ R.

D´efinition

Une statistique T ( X ) est une fonction mesurable de l’´echantillon X ne d´ependant pas de θ (mais d´ependant ´eventuellement de param`etres connus). Un estimateur de θ est une statistique θ ˆ = θ ( X ) destin´ee `a approcher θ.

Exemple : Lancer de pi`ece

Attention ! Ne pas confondre estimateur et estimation !

Notation : Dans ce qui suit, on consid`ere θ ˆ _n un estimateur de θ .

E RREUR QUADRATIQUE MOYENNE

D´efinition

On suppose que θ est `a valeurs dans Θ ⊂ R. L’erreur quadratique moyenne (ou risque quadratique) de l’estimateur θ ˆ _n est d´efinie pour tout θ ∈ Θ par

EQM

θ ˆ _n , θ

= E

θ ˆ _n − θ 2 .

Remarquons que grˆace `a l’in´egalit´e de Markov, pour tout c > 0,

P h

θ ˆ _n − θ ≥ c i

≤ EQM θ ˆ _n , θ

c ² .

B IAIS D ’ UN ESTIMATEUR

D´efinition

On appelle biais d’un estimateur θ ˆ _n de θ la quantit´e B

θ ˆ _n , θ

= E h θ ˆ _n i

− θ.

1. S’il est nul, on dit que l’estimateur est sans biais ou non biais´e 2. Si

B θ ˆ _n , θ

− −−−− →

n→+∞ 0,

on dit que l’estimateur est asymptotiquement sans biais.

Exemple : lancer de pi`ece. L’estimateur θ ˆ _n est sans biais.

D ´ ECOMPOSITION B AIS -V ARIANCE

Proposition

Soit θ ˆ _n un estimateur de θ , on a

EQM

θ ˆ _n , θ

= B θ ˆ _n , θ 2

+ V h θ ˆ _n i

.

Exemple : lancer de pi`ece Comme θ ˆ _n est un estimateur sans biais de θ , on a

EQM

θ ˆ _n , θ

= V h θ ˆ _n i

= θ( 1 − θ)

n .

C ONVERGENCE , CONSISTANCE ET NORMALIT E ´

ASYMPTOTIQUE D´efinition

On dit que l’estimateur θ ˆ _n est 1. convergent ou consistant si

θ ˆ _n − −−−− ^P →

n→+∞ θ,

2. fortement consistant si

θ ˆ _n − −−−− ^p.s →

n→+∞ θ,

3. asymptotiquement normal si il existe σ ² > 0 tel que

√ n

θ ˆ _n − θ _L

− −−−− →

n→+∞ N 0 , σ ²

.

II. Estimation de la moyenne et de la

variance

E STIMATION DE LA MOYENNE

Soient X 1 , . . . , X n des variables al´eatoires ind´ependantes et identiquement distribu´ees. Un estimateur naturel de la moyenne µ = E [ X 1 ] est donc

X n = 1 n

n

X

i=1

X i .

Proposition

1. X n est un estimateur sans biais et (fortement) consistant de µ . 2. Si σ ² = V [ X 1 ] < +∞, alors X n est asymptotiquement normal

et

√ n X n − µ L

− −−−− →

n→+∞ N 0 , σ ² EQM X n , µ

= σ ²

n .

E STIMATION DE LA MOYENNE

0 200 400 600 800 1000

0.350.400.450.500.550.60

●●

●

●

●●

●

●

●●

●

50 100 200 500 1000

0.400.450.500.550.60

F IGURE – Evolution de x

par rapport `a n pour 4 ´echantillons (`a gauche) et boxplots pour les x

obtenus pour

n = 50, 100, 200, 500, 1000 `a l’aide de 4000 ´echantillons (`a droite).

E STIMATION DE LA VARIANCE

Lorsque µ est connu, un estimateur naturel de la variance est V ˆ n = 1

n

n

X

i=1

( X i − µ) ²

V ˆ n est sans biais et fortement consistant.

Si µ est inconnue, on a la variance empirique ˆ

σ _n ² = 1 n

n

X

i=1

X i − X n

2

= 1 n

n

X

i=1

X _i ² − X ² _n .

E STIMATEUR SANS BIAIS DE LA VARIANCE

Proposition

ˆ

σ _n ² est un estimateur biaisi´e de σ ² mais asymptotiquement sans biais.

Plus pr´ecis´ement, on a E

ˆ σ ² _n

= n − 1 n σ ² .

D´efinition

L’estimateur sans biais de la variance S ² _n est d´efini par

S ² _n = n

n − 1 σ ˆ ² _n = 1 n − 1

n

X

i=1

X i − X n

2

= 1

n − 1

n

X

i=1

X ² _i − nX ² _n

!

.

E STIMATEUR SANS BIAIS DE LA VARIANCE

●

●

●

●●

●●

●●

●

50 100 200 500 1000

0.060.070.080.090.100.11

●

● ●

●●

●●

●

●

●

50 100 200 500 1000

0.060.070.080.090.100.11

F IGURE – Boxplots pour l’estimateur non biais´e (`a gauche) et biais´e (`a

droite)

C ONVERGENCE

Proposition

Les estimateurs σ ˆ _n ² et S ² _n sont consistants.

Proposition

Si X 1 admet un moment d’ordre 4, alors σ ˆ ² _n et S ² _n sont asymptotiquement normaux, et on a

√ n σ ˆ ² _n − σ ² L

− −−−− →

n→+∞ N 0 , τ ⁴ − σ ⁴

√ n S ² _n − σ ² L

− −−−− →

n→+∞ N 0 , τ ⁴ − σ ⁴ o `u

τ ⁴ = E h

( X 1 − µ) ⁴ i

.

III. M´ethode des moments

M ´ ETHODE DES MOMENTS Proposition

Soit Θ un intervalle ouvert de R et θ ∈ Θ. Soit ϕ un C ¹ -diff´eomorphisme de Θ dans ϕ (Θ). Soit ϕ ˆ _n un estimateur

consistant de ϕ(θ), alors θ ˆ _n = ϕ ⁻¹ ( ˆ ϕ _n ) est un estimateur consistant de θ, i.e

θ ˆ _n − −−−− ^P →

n→+∞ θ.

De plus, si ϕ ˆ _n est un estimateur asymptotiquement normal de ϕ(θ), i.e si il existe σ ² > 0 tel que

√ n ( ˆ ϕ _n − ϕ(θ)) − −−−− ^L →

n→+∞ N 0 , σ ² ,

et si ϕ ⁰ (θ) 6= 0, alors θ ˆ _n est un estimateur asymptotiquement normal de θ et

√ n

θ ˆ _n − θ _L

− −−−− →

n→+∞ N 0, σ ²

(ϕ ⁰ (θ)) ²

!

.

M ´ ETHODE DES MOMENTS

La m´ethode des moments consiste `a trouver un C ¹ -diff´eomorphisme ϕ et un moment k tel que E

X ^k ₁

= ϕ(θ).

Comme un estimateur de m k est donn´e par m ˆ n,k = 1

n

n

X

i=1

X ^k _i

on obtient l’estimateur

θ ˆ _n = ϕ ⁻¹ ( ˆ m n,k )

E XEMPLES

Exemple : la loi uniforme. On consid`ere des variables al´eatoires i.i.d X 1 , . . . , X n suivant une loi uniforme sur

0, θ ² , avec θ > 0, i.e de densit´e f θ d´efinie pour tout x ∈ R par

f θ (x) = 1

θ ² 1 [0,θ

] (x).

Exemple : la loi exponentielle. Soient X 1 , . . . , X n des variables al´eatoires i.i.d suivant une loi exponentielle de param`etre θ > 0, i.e de densit´e f θ d´efinie pour tout x ∈ R,

f θ ( x ) = θ exp (−θ x ) 1 R

( x ).

R EMARQUES

Remarque : Pour ´eviter les erreurs, il est plus judicieux (et cela revient `a peu pr`es au mˆeme) d’´ecrire θ comme une fonction de E

X ^k .

Remarque : Attention ! Il peut arriver qu’une variable al´eatoire n’admette pas de moment d’ordre 1. Il faut alors essayer d’ˆetre malin !

Exemple : Soit θ > 0, on consid`ere une variable al´eatoire X de densit´e d´efinie pour tout x ∈ R par

f θ (x) = θ

x ² 1 x≥θ .

F ONCTION G EN ´ ERATRICE ´

D´efinition (Fonction g´en´eratrice)

Soit X une variable al´eatoire, on appelle fonction g´en´eratrice G X de X la fonction d´efinie par

G X (t) = E e ^tX

.

Attention ! La fonction g´en´eratrice n’est pas n´ecessairement

d´efinie, et encore moins pour tout t.

F ONCTION G EN ´ ERATRICE ´

Th´eor`eme

On suppose que la variable al´eatoire X admet des moments de tout ordre, i.e pour tout k ∈ N E

X ^k

< +∞ , et que la s´erie P

k≥0 t

E [ X

]

k!

admet un rayon de convergence R. Alors pour tout | t | < R on a G X (t) = X

k≥0

t ^k E X ^k k ! . En particulier, pour tout k ∈ N, on a

G ^(k) _X (0) = E h X ^k i

.

Exmple : la loi g´eom´etrique. Soit X ∼ G( p ) avec p ∈ ( 0 , 1 ) . Alors pour tout t < − log( 1 − p ) ,

G X (t) = pe ^t

1 − ( 1 − p ) e ^t .

IV. M´ethode du Maximum de

Vraisemblance

N OTATIONS

Dans ce qui suit, on note X = (X 1 , . . . , X n ) o `u les X i sont i.i.d.

On note f θ la densit´e de X 1 .

Rappel : Dans le cas discret, on a pour tout x ∈ R,

f θ (x) = P [X 1 = x] .

( LOG )- VRAISEMBLANCE

D´efinition (Vraisemblance et log-vraisemblance)

La vraisemblance de X est d´efinie pour tout θ ∈ Θ par L X (θ) =

n

Y

i=1

f θ ( X i ) .

La log-vraisemblance de X est d´efinie pour tout θ ∈ Θ par

l X (θ) = log ( L X (θ)) = log

n

Y

i=1

f θ ( X i )

! .

Attention ! La (log-)vraisemblance est al´eatoire.

E XEMPLES : CAS DISCRET

Exemple 1 : loi de Bernoulli. On consid`ere X = (X 1 , . . . , X n ) o `u les X i sont i.i.d et X 1 ∼ B(θ) avec θ ∈ (0, 1).

Exemple 2 : loi de Poisson. On consid`ere X = (X 1 , . . . , X n ) o `u

les X i sont i.i.d et X 1 suit une loi de Poisson de param`etre θ > 0.

E XEMPLES : CAS CONTINU

Exemple 1 : loi exponentielle. On consid`ere X = ( X 1 , . . . , X n ) o `u les X i sont i.i.d et X 1 ∼ E (θ) avec θ > 0.

Exemple 2 : loi normale. On consid`ere X = ( X 1 , . . . , X n ) o `u les X i sont i.i.d et X 1 ∼ N µ, σ ²

avec µ ∈ R.

Exemple 3 : On consid`ere X = ( X 1 , . . . , X n ) o `u les X i sont i.i.d et X 1 admet pour densit´e f θ d´efinie pour tout x ∈ R par

f θ ( x ) = θ x ² 1 x≥θ

avec θ > 0.

R EMARQUES

Cas discret La r´ealisation de la vraisemblance est la probabilit´e de d’obtenir cette r´ealisation de l’´echantillon.

Cas continue La r´ealisation de la vraisemblance est la densit´e de X en la r´ealisation de l’´echantillon.

Objectifs : Maximiser cette probabilit´e (ou densit´e).

E STIMATEUR DU MAXIMUM DE VRAISEMBLANCE

D´efinition (Estimateur du maximum de vraisemblance (EMV))

Le maximum de vraisemblance, si il existe, est un ´el´ement θ ˆ _n de Θ qui v´erifie

L X

θ ˆ _n

= sup

θ∈Θ L X (θ).

De mani`ere ´equivalente, l’estimateur du maximum de vraisemblance, si il existe, v´erifie

l X

θ ˆ _n

= sup

θ∈Θ

l X (θ).

R EMARQUES

Attention ! L’EMV est g´en´eralement al´eatoire.

Attention ! Ni l’existence ni l’unicit´e de l’EMV ne sont assur´ees.

Remarque : A noter que si θ ˆ _n est un EMV de θ , alors ϕ θ ˆ _n

est un EMV de ϕ(θ) .

Remarque : On notera ´egalement θ ˆ _n = arg max

θ∈Θ L X (θ) ou θ ˆ _n = arg max

θ∈Θ l X (θ)

E XEMPLES : CAS DISCRET

Exemple 1 : loi de Bernoulli. On consid`ere X = (X 1 , . . . , X n ) o `u les X i sont i.i.d et X 1 ∼ B(θ) avec θ ∈ (0, 1).

Exemple 2 : loi de Poisson. On consid`ere X = (X 1 , . . . , X n ) o `u

les X i sont i.i.d et X 1 suit une loi de Poisson de param`etre θ > 0.

E XEMPLES : CAS CONTINU

Exemple 1 : loi exponentielle. On consid`ere X = ( X 1 , . . . , X n ) o `u les X i sont i.i.d et X 1 ∼ E (θ) avec θ > 0.

Exemple 2 : loi normale. On consid`ere X = ( X 1 , . . . , X n ) o `u les X i sont i.i.d et X 1 ∼ N µ, σ ²

avec µ ∈ R.

Exemple 3 : On consid`ere X = ( X 1 , . . . , X n ) o `u les X i sont i.i.d et X 1 admet pour densit´e f θ d´efinie pour tout x ∈ R par

f θ ( x ) = θ x ² 1 x≥θ

avec θ > 0.

C OMMENT TROUVER L ’EMV

Soit l’EMV peut ˆetre donn´e ”explicitement” par la

vraisemblance, soit il est souvent plus facile de maximiser la log-vraisemblance. Pour cela, voici quelques options

possibles :

I Dresser le tableau de variations de la log vraisemblance I Chercher les z´eros de la d´eriv´ee, i.e r´esoudre

l ⁰ _X (θ) = 0 .

I V´erifier qu’il(s) maximise(nt) la log-vraisemblance (´etude

de la concavit´e, ...)

U N CAS D ’ ´ ETUDE

Exemple : Soit X 1 , . . . , X n des variables al´eatoires i.i.d suivant une loi uniforme sur [ 0 , θ] , avec θ > 0.

I M´ethode des moments ?

I M´ethode du maximum de vraisemblance ?

O BJECTIFS

On s’int´eresse `a l’estimation d’un param`etre θ ∈ Θ d’une variable al´eatoire X, avec Θ un intervalle ouvert de R. Les objectifs sont donc :

I Comparer diff´erents estimateurs de θ.

I Savoir si on peut parler d’estimateur optimal.

V. Comparaison d’estimateurs

C OMPARAISON DES ERREURS QUADRATIQUES MOYENNES

On rappelle qu’une fac¸on de quantifier la qualit´e d’un estimateur θ ˆ _n de θ est de consid´erer son risque quadratique

EQM

θ ˆ _n , θ

= E

θ ˆ _n − θ 2 .

On consid`ere que θ ˆ _n est un meilleur estimateur que θ ˜ _n si

∀θ ∈ Θ, EQM θ ˆ _n , θ

≤ EQM θ ˜ _n , θ

.

B IAIS D ’ UN ESTIMATEUR

On donne trop souvent trop d’importance au biais d’un estimateur ! D´ebiaiser un estimateur ne donne pas forc´ement de meilleurs r´esultats !

Exemple : Soit θ > 0 et X ∼ U ([0, θ]). Comparer les erreurs quadratiques moyennes des estimateurs suivants :

θ ˆ _n = X (n)

θ ˜ _n = n + 1 n X (n)

θ _α,n = α X (n)

avec α > 0 choisi judicieusement.

A PPROCHE ASYMPTOTIQUE

Le plus souvent, on dispose d’estimateurs θ ˆ _n , θ ˜ _n

asymptotiquement normaux, i.e il existe σ ₁ ² et σ ₂ ² telles que

√ n

θ ˆ _n − θ _L

− −−−− →

n→+∞ N 0 , σ ² ₁ ,

√ n

θ ˜ _n − θ _L

− −−−− →

n→+∞ N 0 , σ ² ₂

.

Si σ ₁ ² ≤ σ ₂ ² , on choisira alors l’estimateur θ ˆ _n .