A.Godichon-Baggioni Estimation Mise`aniveau

(1)

Estimation

A. Godichon-Baggioni

(2)

I. Mod`ele statistique

(3)

M OD ELE STATISTIQUE `

D´efinition

Une expérience statistique est la donnée d’un objet aléatoireXà valeurs dans un espace mesurable(E,E)et d’une famille de loi (Pθ)_θ∈Θsupposée contenir la loi deX, et appelée modèle statistique pour la loi deX.

(4)

E XEMPLES

Exemple 1 : pile ou face.On aE={0,1}ⁿ. On a

X= (X1, . . . ,Xn)avecXi∼ B(θ)avecθinconnu. Le mod`ele statistique est donc

(Pθ)_θ∈Θ= B(θ)^⊗n

θ∈[0,1]

Exemple 2 : taille des hommes adultes.La taille des hommes adultes est modélisée par une loi normale de paramètresµ, σ² inconnus. Ici,E=RⁿetE =B(Rn)etX= (X1, . . . ,Xn)avec Xi∼ N µ, σ²

i.i.d, et (Pθ)_θ∈Θ=

N µ, σ²^⊗n

(µ,σ²)∈R×R^∗+

(5)

M OD ELE PARAM ` ETRIQUE ´

D´efinition

Si l’espaceΘdes paramètres du modèle statistique(Pθ)_θ∈Θest contenu dansR^dpour un certain d∈N^∗, on parle de modèle paramétrique. Sinon on parle de modèle non paramétrique.

(6)

E XEMPLES

Exemple 1 : le lancer de pièce.Le modèle est paramétrique car [0,1]⊂R.

Exemple 2 : taille des hommes adultes.Le mod`ele est param´etrique carR×R^∗+⊂R².

Exemple 3 : taille des hommes adultes.On considère que la taille ne suit pas une loi normale mais une loi inconnue sur [0.5,2.5]. On suppose que cette loi est à densitéf par rapport à la mesure de Lebesgue. Dans ce cas,Θcorrespond à l’ensemble des densités sur[0.5,2.5]ce qui est clairement de dimension infinie. Le modèle est donc non paramétrique.

(7)

M OD ELE IDENTIFIABLE `

D´efinition

Le mod`ele statistique(Pθ)_θ∈Θest dit identifiable si l’application θ7−→Pθest injective.

Exemple 1 : lancer de pi`ece.Le mod`ele(B(θ))_θ∈[0,1]est identifiable.

Exemple 2 : taille des hommes adultes.Le mod`ele N µ, σ²⊗n

(µ,σ²)∈R×R^∗+

est identifiable mais pas le mod`ele N µ, σ²⊗n

(µ,σ)∈R×R^∗

(8)

M OD ELE DOMIN ` E ´

D´efinition

Le mod`ele(Pθ)_θ∈Θsur(E,E)est dit domin´e si il existe une mesure σ-finieλsur(E,E)telle que, pour toutθ∈Θ, on a Pθ<< λ, i.e

∀A∈ E, λ(A) =0⇒Pθ(A) =0. La mesureλest alors appel´ee mesure dominante.

Exemple 1 : le lancer de pi`ece.Une mesure dominante de Qθ= (1−θ)δ₀+θδ₁estλ=δ₀+δ₁.

Exemple 2 : la taille des hommes adultes. Le mod`ele est domin´e par la mesure de Lebesgue surR.

(9)

II. D´efinitions

(10)

S TATISTIQUE ET ESTIMATEUR

On noteX= (X1, . . . ,Xn).

D´efinition

Une statistique T(X)est une fonction mesurable de l’objet aléatoire Xne dépendant pas deθ(mais dépendant éventuellement de

paramètres connus). Un estimateur deθest une statistiqueθˆ=θ(X) destinée à approcherθ.

Exemple : Lancer de pi`ece

Attention !Ne pas confondre estimateur et estimation !

Notation : Dans ce qui suit, on consid`ere un estimateurθˆ_ndeθ.

(11)

E RREUR QUADRATIQUE MOYENNE

D´efinition

On suppose queθest `a valeurs dansΘ⊂R. L’erreur quadratique moyenne (ou risque quadratique) de l’estimateurθˆ_nest d´efini pour toutθ∈Θpar

EQM

θˆ_n, θ

=E

θˆ_n−θ2 .

Remarquons que grâce à l’inégalité de Markov, pour toutc>0,

P h

θˆ_n−θ ≥ci

≤ EQM θˆ_n, θ

c² .

(12)

B IAIS D ’ UN ESTIMATEUR

D´efinition

On appelle biais d’un estimateurθˆ_ndeθla quantit´e B

θˆ_n, θ

=E hθˆ_ni

−θ.

1. S’il est nul, on dit que l’estimateur est sans biais ou non biais´e 2. Si

B θˆ_n, θ

−−−−−→

n→+∞ 0,

on dit que l’estimateur est asymptotiquement sans biais.

Exemple : lancer de pi`eceL’estimateurθˆ_nest sans biais.

(13)

D ´ ECOMPOSITION B IAIS -V ARIANCE

Proposition

Soitθˆ_nun estimateur deθ, on a

EQM

θˆ_n, θ

=B θˆ_n, θ2

+V hθˆ_ni

.

Exemple : lancer de pi`eceCommeθˆ_nest un estimateur sans biais deθ, on a

EQM

θˆ_n, θ

=V hθˆ_ni

= θ(1−θ)

n .

(14)

C ONVERGENCE , CONSISTANCE ET NORMALIT E ´

ASYMPTOTIQUE D´efinition

On dit que l’estimateurθˆ_nest 1. convergent ou consistant si

θˆ_n−−−−−^P →

n→+∞ θ, 2. fortement consistant si

θˆ_n−−−−−^p.s→

n→+∞ θ,

3. asymptotiquement normal si il existeσ² >0tel que

√n

θˆ_n−θ _L

−−−−−→

n→+∞ N 0, σ² .

(15)

III. M´ethode des moments

(16)

M ´ ETHODE DES MOMENTS Proposition

SoitΘun intervalle ouvert deRetθ∈Θ. Soitϕun C¹-diff´eomorphisme deΘdansϕ(Θ). Soitϕˆ_nun estimateur

consistant deϕ(θ), alorsθˆ_n=ϕ⁻¹( ˆϕ_n)est un estimateur consistant deθ, i.e

θˆ_n−−−−−^P →

n→+∞ θ.

De plus, siϕˆ_nest un estimateur asymptotiquement normal deϕ(θ), i.e si il existeσ²>0tel que

√n( ˆϕ_n−ϕ(θ))−−−−−^L →

n→+∞ N 0, σ² ,

et siϕ⁰(θ)6=0, alorsθˆ_nest un estimateur asymptotiquement normal deθet

√n

θˆ_n−θ _L

−−−−−→

n→+∞ N 0, σ²

(ϕ⁰(θ))²

! .

(17)

M ´ ETHODE DES MOMENTS

La méthode des moments consiste à trouver un C¹-difféomorphismeϕet un momentktel queE

X^k₁

=ϕ(θ).

Comme un estimateur demkest donn´e par mˆn,k= 1

n

X

i=1

X^k_i

on obtient l’estimateur

θˆ_n=ϕ⁻¹( ˆmn,k)

(18)

E XEMPLES

Exemple : la loi uniforme.On consid`ere des variables al´eatoires i.i.dX1, . . . ,Xnsuivant une loi uniforme sur

0, θ² , avecθ >0, i.e de densit´efθd´efinie pour toutx∈Rpar

fθ(x) = 1

θ²1[0,θ²](x).

Exemple : la loi exponentielle. SoientX1, . . . ,Xndes variables aléatoires i.i.d suivant une loi exponentielle de paramètre θ >0, i.e de densitéfθdéfinie pour toutx∈R,

fθ(x) =θexp (−θx)1R+(x).

(19)

IV. M´ethode du Maximum de

Vraisemblance

(20)

(L OG ) V RAISEMBLANCE

SoitXun objet aléatoire et(Pθ)_θ∈Θun modèle statistique dominé par une mesureνet de densitégθ=^dP_dν^θ.

D´efinition

La vraisemblance deXest d´efinie pour toutθ∈Θpar LX(θ) =gθ(X).

La log-vraisemblance deXest d´efinie pour toutθ∈Θpar lX(θ) = log (LX(θ)) = log (gθ(X)).

(21)

R EMARQUES ET EXEMPLES

Remarque : SiX= (X1, . . . ,Xn)∼P^⊗n_θ , on a LX(θ) =

n

Y

i=1

gθ(Xi) lX(θ) =

n

X

i=1

ln (gθ(Xi))

et on noteLX(θ) =Ln(θ)etlX(θ) =ln(θ).

Exemple 1 : cas discret. SoitX= (X1, . . . ,Xn)∼B(θ)^⊗navec θ∈(0,1). On a

Ln(θ) =θ^nXⁿ(1−θ)^n−nXⁿ

Exemple 2 : cas continu. SoitX= (X1, . . . ,Xn)∼ E(θ)^⊗n, avec θ >0. On a

Ln(θ) =θⁿexp −nXnθ .

(22)

E STIMATEUR DU M AXIMUM DE V RAISEMBLANCE D´efinition

Un estimateur du maximum de vraisemblance (EMV) deθ, si il existe, est un ´el´ementθˆ_ndeΘtel que

Ln

θˆ_n

= sup

θ∈ΘLn(θ)⇔ln

θˆ_n

= sup

θ∈Θln(θ).

Exemple 1 : cas discret. SoitX= (X1, . . . ,Xn)∼B(θ)^⊗navec θ∈(0,1). On a

θˆ_n=Xn.

Exemple 2 : cas continue. SoitX= (X1, . . . ,Xn)∼ E(θ)^⊗n, avec θ >0. On a

θˆ_n=X⁻¹_n .

(23)

R EMARQUE

Remarque : Siθˆ_nest un estimateur du maximum de vraisemblance deθ,ϕ

θˆ_n

est un estimateur du maximum de vraisemblance deϕ(θ).

Exemple : la loi exponentielle. Soit

X= (X1, . . . ,Xn)∼ E(θ)^⊗n, avecθ >0, alorsXnest l’estimateur du maximum de vraisemblance deE[X1] =θ⁻¹.

(24)

C OMMENT TROUVER L ’EMV

Soit l’EMV peut ˆetre donn´e ”explicitement” par la

vraisemblance, soit il est souvent plus facile de maximiser la log-vraisemblance. Pour cela, voici quelques options

possibles :

I Dresser le tableau de variations de la log vraisemblance I Chercher les zéros de la dérivée, i.e résoudre

∂

∂θlX(θ) =0.

I Vérifier qu’il(s) maximise(nt) la log-vraisemblance (étude de la concavité, ...)

(25)

A LGORITHME DE N EWTON

Il arrive que l’on ne soit pas capable de calculer explicitement l’estimateur du maximum de vraisemblance, et ce, mˆeme si il existe. On peut alors l’approcher `a l’aide d’algorithmes d’optimisation, et notamment l’algorithme de Newton :

I On choisit un point initialθ₀. I Pour toutt∈N^∗,

θ_t+1=θ_t−(l⁰⁰_n(θ_t))⁻¹l⁰_n(θ_t)

I On arrˆete quand un crit`ere de convergence est satisfait.

(26)

V. Quantiles

(27)

S TATISTIQUES D ’ ORDRE

D´efinition

Soit X1, . . . ,Xnun ´echantillon. Les n statistiques d’ordre

X(1), . . . ,X(n)s’obtiennent en rangeant l’´echantillon dans l’ordre, i.e on a

X(1)≤...≤X(n).

(28)

F ONCTION DE R EPARTITION EMPIRIQUE ´

La fonction de répartition empiriqueFnd’un échantillon X1, . . . ,Xnest définie pour tout réelxpar

Fn(x) = 1 n

n

X

i=1

1]−∞,x](Xi) = 1 n

n

X

i=1

1]−∞,x] X(i)

.

De mani`ere ´equivalente, on a Fn(x) = 1

nCard{i,Xi≤x}= 1 nCard

i,X(i)≤x = 1 nsup

i,X(i)≤x .

(29)

C ONVERGENCE

Proposition

SoitX= (X1, . . . ,Xn)des variables aléatoires indépendantes et identiquement distribuées de fonction de répartition F. Pour tout réel x, on a

I Loi :

nFn(x)∼ B(n,F(x)). I Convergence :

Fn(x)−−−−−^p.s→

n→+∞ F(x).

I Normalit´e asymptotique :

√n(Fn(x)−F(x))−−−−−^L →

n→=∞ N(0,F(x)(1−F(x))).

(30)

I NVERSE G EN ´ ERALIS ´ EE ´

D´efinition

Soit F une fonction de répartition. On appelle inverse généralisée de F la fonction définie pour tout u∈[0,1]par

F⁻¹(u) = inf{x∈R,F(x)≥u}.

(31)

P ROPRI ET ´ ES ´

Proposition

Soit F une fonction de répartition et F⁻¹son inverse généralisée.

Alors :

1. F⁻¹(0) =−∞.

2. F⁻¹est croissante.

3. F⁻¹est continue `a gauche.

4. Pour tout u∈[0,1],

F(x)≥u⇔x≥F⁻¹(u).

5. Pour tout u∈[0,1], on a F◦F⁻¹

(u)≥u et :

5.1 Si F est continue, F◦F⁻¹=Id, mais si F n’est pas injective, il existe x0tel que F⁻¹◦F

(x0)<x0.

5.2 si F est injective, alors F⁻¹◦F=Id, mais si elle n’est pas continue, il existe u0tel que F◦F⁻¹

(u0)>u0.

(32)

E XEMPLES

Exemple 1 : loi uniforme.SoitX∼ U([0,1]), alors sa fonction de r´epartitionFest continue mais pas injective et

F⁻¹◦F

(2) =1<2.

Exemple 2 : SoitY∼ N(0,1),B∼ B(1/2)etX=BY. La fonction de r´epartition deXn’est pas continue en 0 et

F◦F⁻¹

(1/2) =F(0) = 3 4 > 1

2.

(33)

M ´ ETHODE INVERSE

Proposition

Soit U une variable aléatoire suivant une loi uniforme sur[0,1], F une fonction de répartition et F⁻¹son inverse généralisée. Alors

I la variable al´eatoire X=F⁻¹(U)a pour fonction de r´epartition F.

I Si X a pour fonction de r´epartition F et si F est continue, alors F(X)suit une loi uniforme sur[0,1].

(34)

Q UANTILES EMPIRIQUES

D´efinition

Soit(X1, . . . ,Xn)un échantillon et Fnla fonction de répartition empirique associée. Pour tout p∈[0,1], on note xp(n)le quantile empirique associé, i.e

xp(n) =F⁻¹_n (p) = inf{x∈R,Fn(x)≥p}=X(dpne), oud.eest la partie enti`ere sup´erieure.

Exemple : La m´ediane empirique estX(n/2)sinest pair et X(n+1)/2sinon.

(35)

C ONVERGENCE Th´eor`eme

Soient(X1, . . . ,Xn)i.i.d de fonction de r´epartition F, p∈(0,1)et xp

le p-quantile de F, alors :

I Si F est strictement croissante en xp, alors xp(n)−−−−−^p.s→

n→+∞ xp. I Si F est dérivable en xpde dérivée f xp

>0, alors

√n xp(n)−xp L

−−−−−→

n→+∞ N 0,p(1−p) f xp

2

! .

Exemple : SoitX∼ E(θ)avecθ >0. Alorsθˆ_n= ^ln(2)

xn(¹₂)est un estimateur consistant deθet

√n

θˆ_n−θ _L

−−−−−→

n→+∞ N

0, θ²

(ln2)²

.