2 Estimation par la méthode des moments

Estimation paramétrique

Retour auplan du cours

Soit (Ω,A,P)un espace probabilisé et X une v.a. de (Ω,A) dans (E,E).

La donnée d’un modèle statistique c’est la donnée d’une famille de proba- bilités sur (E,E), {Pθ, θ∈Θ}. Le modèle étant donné, on suppose alors que la loi de X appartient au modèle {Pθ, θ∈Θ}. Par exemple dans le modèle de Bernoulli, X = (X1, . . . , Xn) où les Xi sont i.i.d. de loi de Bernoulli de paramètreθ ∈]0,1[.E = {0,1}ⁿ,E = P(E), Θ =]0,1[ et Pθ= ((1−θ)δ0+θδ1)^⊗n.

1 Premières définitions

DÉFINITION1. — On dit que le modèle{P_θ, θ∈Θ}est identifiable si l’ap- plication

Θ → {P_θ, θ∈Θ}

θ 7→ P_θ

est injective.

DÉFINITION2. — Soitg: Θ 7→ R^k. On appelle estimateur deg(θ)au vu de l’observationX, toute applicationT : Ω 7→ R^kde la formeT =h(X)où h: E 7→ R^kmesurable.

Un estimateur ne doit pas dépendre de la quantitég(θ) que l’on cherche à estimer. On introduit les propriètes suivantes d’un estimateur :

DÉFINITION3. —T est un estimateur sans biais deg(θ)si pour toutθ∈Θ, Eθ[T] =g(θ). Dans le cas contraire, on dit que l’estimateurTest biaisé et on appelle biais la quantitéEθ(T)−g(θ).

Généralement X est un vecteur(X1, . . . , Xn) d’observations (n étant le nombre d’entre elles). Un exemple important est le cas oùX1, . . . , Xnforme unn-échantillonc’est à dire lorsque queX1, . . . , Xnsont i.i.d. On peut alors regarder des propriétés asymptotiques de l’estimateur, c’est à dire en faisant

tendre le nombre d’observations nvers +∞. Dans ce cas, il est naturel de noterT =Tncomme dépendant den. On a alors la définition suivante : DÉFINITION4. — Tnest un estimateur consistant deg(θ)si pour toutθ∈Θ, Tnconverge en probabilité versg(θ)sousPθlorsquen→ ∞.

On définit le risque quadratique de l’estimateur dans le cas oùg(θ)∈R. DÉFINITION5. — SoitTnest un estimateur deg(θ). Le risque quadratique de Tnest défini par

R(T_n, g(θ)) =Eθ[(T_n−g(θ))²].

Remarque. — Le risque quadratique est la somme de la variance et du carré du biais de l’estimateur.

L’inégalité de Cramer-Rao et la définition de l’information de Fisher ont été vues en année 3 et ne sont pas rappelées ici.

2 Estimation par la méthode des moments

Dans cette section,Xest le vecteur formé par unn-échantillonX1, . . . , Xn. LesXisont à valeurs dans un ensembleX.

Soitf = (f1, . . . , fk)une application deXdansR^ktelle que l’application Θ → R^k

Φ : θ 7→ Eθ[f(X1)]

soitinjective. On définit l’estimateurθˆ_ncomme la solution dansΘ(quand elle existe) de l’équation

Φ(θ) = 1 n

n

X

i=1

f(Xi). (1)

Souvent, lorsqueX ⊂ R, la fonction on prendfi(x) =xⁱetΦcorrespond donc auième moment de la variables X1 sousPθ. Ce choix justifie le nom donné à la méthode. Voici quelques exemples d’estimateurs bâtis sur par cette méthode.

2.1 Loi exponentielle

Icik = 1,Q_θ = E(θ)pour θ ∈ R^∗+. Comme pour toutθ,Eθ[X₁] = 1/θ on prendΦ(θ) = 1/θ etf = Id : R+ → R+. L’estimateur obtenu par la méthode des moments est

θˆ_n = 1 Xn

où X_n= 1 n

n

X

i=1

X_i.

Par continuité de l’applicationx→1/x,θˆnest un estimateur consistant deθ.

Remarquons queXn>0p.s. ce qui justifie l’égalité ci-dessus.

2.2 Loi uniforme

Ici k = 1, Qθ est la loi uniforme sur[0, θ] avecθ > 0. On a que pour tout θ, Eθ[X1] = θ/2, on peut donc prendre par exemple Φ(θ) = θ/2 et f =Id: R→R. L’estimateur obtenu par la méthode des moments est alors θˆn= 2Xn. Cet estimateur est sans bias et consistant.

2.3 Loi gaussienne

Icik = 2, on prendθ = (m, τ) ∈ R×R^∗+,Q_θ = N(m, τ). Pour tout θ = (m, τ),Eθ[X₁] = metEθ[X₁²] = m²+τ. On peut donc prendre, par exemple,f1(x) = xetf2(x) = x²ce qui donneΦ(m, τ) = (m, m²+τ).

L’estimateur obtenus par la méthode des moments vérifie ˆ

mn=Xn et ˆm²_n+ ˆτn= 1 n

n

X

i=1

X_i².

c’est a dire

θˆ_n = X_n,1 n

n

X

i=1

X_i−X_n²

! .

L’estimateur est consistant mais l’estimateur de la variance est biaisé.

2.4 Propriétés asymptotiques

NotonsΦ(θ) =Eθ(_n¹Pn

i=1f(Xi)). Supposons queX1, . . . , Xnsont i.i.d.

de loiPθ0. Les résultats de consistance précédents étaient obtenus grâce au fait

que d’une part,

1 n

n

X

i=1

f(Xi)−−→^p.s. Φ(θ0),

et donc, commeΦ⁻¹existe et est continue au voisinage deΦ(θ₀), on en déduit queθˆnexiste et vérifie

θˆn p.s.

−−→Φ⁻¹◦Φ(θ0) =θ0.

Mais que peut-on dire de la distance de θˆn à θ0? Sous l’hypothèse que Eθ₀[kfk²]<+∞on a grâce au théorème central limite que

√n 1 n

n

X

i=1

f(Xi)−Φ(θ0)

!

−−→ NLoi k(0,Γ(θ0)),

oùΓ(θ0)la matrice covariance def(X1)sousPθ₀. Elle est définie pouri, j∈ {1, . . . , k}

Γi,j(θ0) =Covθ0[fi(X1)fj(X1)].

La Delta méthode (cf Proposition16) va nous permettre de déduire un résultat similaire pourθˆ_n:

THÉORÈME6. — Supposons que Φsoit de classe C¹ de

◦

Θ dansR^k et que θ0 ∈ Θ, et que^◦ Dθ₀Φ : R^k → R^k soit inversible. Supposons de plus que Eθ₀[kf(X1)k²]<+∞et notonsΓ(θ0)la matrice covariance def(X1)sous Pθ0. Alors sousPθ0:

– θˆnexiste avec une probabilité tendant vers 1 – on a la convergence en loi

√n θˆn−θ0

Loi

−−→ N

0,(Dθ₀Φ)⁻¹Γ(θ0)

(Dθ₀Φ)⁻¹0 .

Démonstration. — CommeDθ₀Φest inversible,DθΦreste inversible dans un voisinage deθ0et donc, d’après le théorème de l’inversion locale,Φréalise un difféomorphisme d’un voisinageUdeθ0dansV un voisinage deΦ(θ0). Par la

loi des grands nombres,Yˆn =n⁻¹Pn

i=1f(Xi)converge en probabilité (car p.s.) versΦ(θ0)et doncYˆnappartient àV avec une probabilité tendant vers 1 quandntend vers+∞. Sur cet événement, l’équation (1) admet une unique solutionθˆn dansΘ(par injectivité deΦ) et cette solution vérifieθˆn ∈ U et θˆn= Φ⁻¹( ˆYn)oùΦ⁻¹est définie deV dansU. On a par ailleurs,

√n

θˆ_n−θ₀

= √

nθˆ_n1Yˆ_n∈V/ +√ n

θˆ_n1Yˆ_n∈V −θ₀

= √

nθˆ_n1Yˆ_n∈V/ +√

n[ ˜Φ⁻¹ Yˆ_n

−Φ˜⁻¹(Φ(θ₀))] (2) oùΦ˜⁻¹(y) = Φ⁻¹(y)1y∈V. Or√

nθˆ_n1Y^ˆ_n∈V/ converge vers 0 en probabilité car pour toutε >0,

Pθ0[a√

nθˆn1Yˆ_n∈V/ > ε]≤Pθ0[ ˆYn6∈V]−−→

n→+∞0.

D’après le lemme de Slutsky, il suffit donc de montrer que le second terme du membre de droite de (2) converge en loi vers la limite annoncée. Or par théoreme centrale limite vectoriel

√n

Yˆn−Φ(θ0) Loi

−−→ N(0,Γ(θ0)), et on conclut en utilisant la Proposition16.

3 Estimation par maximum de vraisem- blance

Soit{E,E,{Pθ, θ∈Θ}}un modèle statistique, oùΘ⊂R^k(nous sommes dans un cadre paramétrique). On suppose qu’il existe une mesureσ-finieµqui domine le modèle, c’est à dire que∀θ ∈Θ,Pθadmet une densitép(θ, .)par rapport àµ.

DÉFINITION7. — SoitX une observation. On appelle vraisemblance deX l’application

Θ −−→ R⁺

θ 7→ p(θ, X).

On appelle estimateur du maximum de vraisemblance deθ, tout élémentθˆ deΘmaximisant la vraisemblance , c’est à dire vérifiant

θˆ= arg max

θ∈Θp(θ, X).

Remarque. — L’estimateur de maximum de vraisemblance n’existe pas tou- jours et n’est pas toujours unique.

Considérons le cas typique oùX = (X₁, . . . , X_n)⁰, les X_i formant un n- échantillon de loiQ_θ0oùQ_θ0est une loi surXde paramètre inconnuθ₀∈Θ⊂ R^k. On suppose en outre que pour toutθ∈Θ,Qθest absolument continue par rapport à une mesureνsurX. Dans ce cas, en notant

q(θ, x) =dQ_θ dν (x), et en prenantµ=ν^⊗non a que la vraisemblance s’écrit

p(θ, X) =

n

Y

i=1

q(θ, Xi)

et donc

θˆ_n= arg max

θ∈Θ

1 n

n

X

i=1

log[q(θ, X_i)],

avec la conventionlog(0) =−∞. Voyons quelques exemples.

3.1 Modèle de Bernoulli

SoitQθ₀ =B(θ)avecθ ∈ [0,1] = Θ, etνla mesure de comptage surN. Pour toutθ∈]0,1[etx∈ {0,1}

q(θ, x) =θ^x(1−θ)^1−x= (1−θ) exp[xlog θ

1−θ

]

et donc l’estimateur du maximum de vraisemblance doit maximiser dans[0,1]

log θ^Sn(1−θ)^n−Sn

=S_nlog θ

1−θ

+nlog(1−θ),

ce qui conduit àθˆn = ¯X.

3.2 Lois exponentielles

SoitQ_θ=E(θ)avecθ∈θ=]0,+∞[,ν=1R+dx. On a pour toutx >0, q(θ, x) =θexp−θx,

et le maximum de vraisemblanceθˆ_nmaximisant nlog(θ)−θSn, est donné parθˆ= X¯−1

.

3.3 Lois de Poisson

SoitQ_θ=P(θ)avecθ ∈Θ =]0,+∞[etν la mesure de comptage surN. On a pour toutx∈N,

q(θ, x) = θ^x

x!e^−θ=e^−θexp[xlog(θ)−ln(x!)].

L’estimateur du maximum de vraisemblance maximisant S_nlog(θ)−nθ,

est donné parθˆn= ¯X.

4 Estimateurs exhaustifs complets

DÉFINITION8. — On dit qu’un estimateur T est exhaustif (ou suffisant) si pour tout ensembleB ∈ E, il existe une version de l’espérance conditionnelle Eθ[1X∈B|T]qui ne dépend pas deθ.

Exemple. — SoitX₁, . . . , X_n i.i.d. de loi de Bernoulli de paramètreθ.S = X₁+. . .+X_n est une statistique exhaustive. La loi de(X₁, . . . , X_n)/S=s ne dépend pas deθ.

THÉORÈME9. — Théorème de factorisation

Si la vraisemblance de l’observationXs’écrit sous la forme f(X, θ) =h(X)gθ(T(X)), alorsT(X)est une statistique exhaustive.

Exemples

X1, . . . , Xni.i.d. de loi de Bernoulli de paramètreθ, X1, . . . , Xni.i.d. de loi de normaleN(θ,1).

PROPOSITION10. — SoitT une statistique exhaustif etV un estimateur de g(θ)tel queEθ(V²)<+∞ ∀θ∈Θ. SoitT^∗=Eθ(V /T).T^∗est indépendant deθet pour toutθ∈Θ,

Eθ((T^∗−g(θ))²)≤Eθ((V −g(θ))²),

ce qui signifie que le risque quadratique deT^∗pour estimerg(θ)est inférieur ou égal à celui deV.

DÉFINITION11. — SoitT est un estimateur sans biais deg(θ). On dit que T est uniformément de variance minimale parmi les estimateurs sans biais (UMVB) si, pour tout estimateur sans biaisU deg(θ), on a

∀θ∈Θ, R(T, g(θ))≤R(U, g(θ)), oùRdésigne le risque quadratique.

SoitT un estimateur exhaustif deg(θ). On désire introduire une notion qui garantisse l’unicité d’un estimateurψ(T)qui a les deux propriétés suivantes : 1)ψ(T)est sans biais.

2) Parmi les les estimateurs sans biais, il est de variance minimale.

S’il existe un unique estimateur sans biais deg(θ)fonction deTalors Eθ(ψ₁(T)) =Eθ(ψ₂(T)) =g(θ) ∀θ∈Θ

=⇒ ψ1(T) =ψ2(T) Pθp.s.∀θ.

DÉFINITION12. — Une statistiqueT est complète si pour toute fonctionψ telle que

Eθ(|ψ(T)|)<+∞ ∀θ∈Θ, on a

Eθ(ψ(T)) = 0 ∀θ∈Θ =⇒ ψ(T) = 0 Pθp.s.∀θ.

SiT est une statistique complète et siψ1(T)etψ2(T)sont deux estimateurs sans biais deg(θ), alorsψ1(T) =ψ2(T)p.s.

Exemple des modèles exponentiels:

DÉFINITION13. — S’il existe une mesure de référenceµtelle que la loiPθ

admette une densité par rapport àµde la forme f(θ, x) =C(θ) exp(hT(x), Q(θ)i, le modèle est dit exponentiel.

PROPOSITION14. — Dans un modèle exponentiel,T(X)est une statistique exhaustive. De plus, siQ(Θ)contient un ouvert non vide deR^k, alorsT(X) est complète.

PROPOSITION15. — Supposons qu’il existe au moins un estimateur sans biais deg(θ)et queT soit exhaustive complète. Alors il existe un unique estimateur sans biais deg(θ)fonction deT, et cet estimateur est UMVB.

Remarque. — Si l’objectif est de minimiser le risque quadratique, on a parfois intérêt à considérer des estimateurs qui sont biaisés.

5 Annexe : rappels sur les convergences

PROPOSITION16. — (Delta-Méthode) SoitX_nune suite de v.a. à valeurs dans R^ketθ∈R^k tels que

rn(Xn−θ)−−→^Loi Y,

oùr_nest une suite de réels positifs tendant vers+∞. Soitf une application deR^kdansR^mdifferentiable enθ. On a alors que

f(Xn)−−→^Prob f(θ) et rn(f(Xn)−f(θ))−−→^Loi Dθf[Y].

Remarque. — Ce résultat permet d’étendre à d’autres v.a. le théorème central limite. Classiquement,Y suit une loi gaussienneN(0,Γ)et dans ce cas

Dθf[Y]∼ N 0,(Dθf) Γ (Dθf)⁰ .

Remarquons que l’on ne suppose rien sur la régularité def ailleurs qu’enθ.

Notons aussi que l’on ne suppose pasDθf 6= 0et donc la limite peut-etre nulle éventuellement.