1 Estimation de paramètres

École Polytechnique MAP 361 2019/2020

PC 8 : Estimation statistique

On corrigera les exercices (1), (4) et (6) en PC.

1 Estimation de paramètres

Exercice 1(Loi de Poisson). On observex= (x1, . . . , xn)que l’on considère comme la réalisation du vecteur aléatoire X= (X1, . . . , Xn), où les Xi sont des variables aléatoires i.i.d. de la loi de Poisson P(θ)de paramètre inconnuθ >0.

1. Calculer l’estimateur par la méthode des momentsθˆ^MM_n deθ(s’il existe). On utilisera le moment d’ordre 1.

2. Calculer l’estimateur du maximum de vraisemblanceθˆ_n^MVdeθ(s’il existe).

3. Vérifier si l’estimateurθˆ_n^MVest convergent, et déterminer son risque quadratique moyenRQM_θ(ˆθ_n^MV).

4. Montrer queθˆ_n^MVest asymptotiquement normal et préciser sa vitesse de convergence.

Solution. 1. Soit X ∼ P(θ) avec θ > 0. On a Eθ[X] = θ. Selon la méthode des moments, on approche Eθ[X]par la moyenne empirique X¯_n = _n¹Pn

i=1X_i. On obtient alors que l’estimateur par la méthode des moments (EMM) est donné par θˆ^MM = ¯X_n. Mais attention, l’espace de paramètre Θest R+et X¯_n = 0se produit avec probabilité nonnulle. En effet,

Pθ( ¯X_n= 0) =Pθ(X_i= 0, i= 1, . . . , n) = (Pθ(X₁= 0))ⁿ= e^−nθ>0.

Donc, lorsque x¯n = 0, l’EMM n’est pas défini. Néanmoins, P^θ( ¯Xn = 0)→ 0 lorsque n → ∞ pour toutθ >0. Donc, sinest suffisamment grand, le problème ne se pose pas.

2. La fonction de vraisemblance associée àx= (x₁, . . . , x_n)est

L(x;θ) =

n

Y

i=1

Pθ(X_i=x_i) =

n

Y

i=1

θ^xi

xi!e^−θ= e^−nθθ^Pni=1xi 1 Qn

i=1(xi!). On peut passer à la fonction de log-vraisemblance

`(θ) = logL(x;θ) =−nθ+ logθ

n

X

i=1

x_i−

n

X

i=1

log(x_i!).

Cette fonction est deux fois dérivable avec

`⁰(θ) =−n+1 θ

n

X

i=1

x_i, `⁰⁰(θ) =−1 θ²

n

X

i=1

x_i.

Comme`<sup>00</sup>(θ)≤0pour toutθ >0, la fonction`(θ)est concave. Pour la maximiser il suffit alors de trouver un point critique :

`⁰(θ) = 0⇐⇒ −n+1 θ

n

X

i=1

x_i= 0⇐⇒θ= ¯x_n.

L’EMV est alorsθˆ^MV_n = ˆθ^MM_n = ¯Xn.

La même remarque que pour l’EMM s’applique : si x¯_n = 0, alors l’EMV n’existe pas.

3. La LFGN implique la convergence deθˆ^MV_n . Le risque quadratique moyen est donné par

RQM_θ(ˆθ^MV) = (Eθ[ˆθ^MV]−θ)²+ Var(ˆθ^MV) = 0 + 1

nVar(X1) = 1 n.

4. Par le TCL, on a √

n(ˆθ^MV_n −θ)−→ N^L (0, θ) (n→ ∞). Donc, l’EMV est bien asymptotiquement normal et sa vitesse de convergence est den^−1/2.

1

Exercice 2(Loi géométrique). On observex= (x1, . . . , xn)que l’on considère comme la réalisation du vecteur aléatoireX= (X1, . . . , Xn), où lesXi sont des variables aléatoires i.i.d. de la loi géométrique Geo(θ)de paramètre inconnu0< θ <1.

1. Calculer l’estimateur par la méthode des momentsθˆ^MM_n deθ(s’il existe). On utilisera le moment d’ordre 1.

2. Calculer l’estimateur du maximum de vraisemblanceθˆ_n^MVdeθ(s’il existe).

3. Vérifier si l’estimateurθˆ_n^MVest convergent.

4. Montrer queθˆ_n^MVest asymptotiquement normal et préciser sa vitesse de convergence.

Exercice 3(Loi de Cauchy). On observex= (x1, . . . , xn)que l’on considère comme la réalisation du vecteur aléatoire X= (X1, . . . , Xn), où lesXi sont des variables aléatoires i.i.d. de la loi de Cauchy avec un paramètre d’échelle dont la densité est donnée par

f_θ(x) = θ π(θ²+x²), pourθ >0inconnu.

1. Calculer l’estimateur par la méthode des momentsθˆ^MM_n deθ(s’il existe). On utilisera le moment d’ordre 1. Vérifier si l’estimateur est convergent et asymptotiquement normal, et calculer son risque quadratique moyen.

2. Calculer l’estimateur du maximum de vraisemblance θˆ^MV_n de θ (s’il existe). Que dire des pro- priétés de cet estimateur ?

2 Modèle statistique

Exercice 4 (Méthode de capture-recapture). On souhaite estimer le nombre N de poissons vivant dans un bassin. Pour cela, on en pêchek que l’on marque. Ensuite, on pêche et on relâche successi- vementnpoissons et l’on compte le nombreX de poissons marqués parmi lesn. Donner l’estimateur du maximum de vraisemblance Nˆ de N en fonction de X, n et k. Montrer que Nˆ est convergent et donner une approximation de sa loi quandn est grand. Comment la variance deNˆ dépend du choix dek?

Solution. NotonsYila v.a. à valeurs dans{0,1}telle queYi= 1si lei-me poisson pêché est marqué.

Comme les poissons sont toute de suite relâchés, on peut supposer que les Yi, i= 1, . . . , n sont des v.a. i.i.d. de loi Bernoulli de paramètre k/N aveck connu et N inconnu. Le nombre X de poissons marqués parmi lesnest X=Pn

i=1Y_i de loi binomiale Bin(n, k/N).

La fonction de vraisemblance est donnée par

L(x;N) =P(X=x) = n

x k N

^x 1− k

N ^n−x

= n

x

k^x(N−k)^n−x 1

N ⁿ

,

et sa fonction de log-vraisemblance par

`(N) = log(L(x;N)) = (n−x) log(N−k)−nlogN+ constante.

Ainsi

`⁰(N)≤0 ⇔ n−x N−k − n

N ≤0 ⇔ N ≥ kn x . Donc l’EMV deN est donné parNˆ =kn/X.

Remarquons que Nˆ = k/Y¯n. Par la LFGN et h(y) = k/y fonction continue, on a Nˆ = h( ¯Yn) −→

h(E[Y₁]) =N p.s.. Donc, l’estimateur est convergent.

Par le TCL et la méthode delta (hestC¹), on a

√n( ˆN−N) =√ n

h( ¯Y_n)−h k

N L

−→N 0,Var(Y₁)

h⁰ k

N ²!

=N

0, N² N

k −1

.

On en déduit que, pour ngrand,Nˆ ≈ N

N,^N_n^{2 N}_k −1

. Donc, plusk est grand, plus la variance deNˆ diminue.

2

Exercice 5 (Ampoules défaillantes). Un statisticien observe pendant njours le nombre d’ampoules défaillantes par jour à la sortie d’une chaîne de fabrication, notéx1, . . . , xn. Il considère quex1, . . . , xn

sont des réalisations i.i.d. d’une loiP, et il souhaite estimer la probabilitépde n’avoir aucune ampoule défaillante par jour (p=P(X = 0)).

1. Dans un premier temps, il compte le nombre de jours où aucune ampoule n’est défaillante, noté Nn, qui est alors le nombre deXi, i= 1, . . . , n, égaux à 0. Il propose d’estimer la probabilitép par

ˆ p1= 1

nNn.

Montrer que l’estimateur est convergent et sans biais. Calculer son risque quadratique, et donner sa loi limite.

2. Désormais le statisticien suppose queXi suivent une loi de Poisson Poi(λ)de paramètreλ >0 inconnu. Il propose comme estimateur dep

ˆ

p2= e^−X¯n, oùX¯_n =_n¹Pn

i=1X_i.

(i) Expliquer sa démarche. Montrer que pˆ2 est convergent. Calculer sa variance et son biais.

Déterminer des équivalents asymptotiques des quantités précédentes.

(ii) Montrer que l’on peut choisirtn tel quepˆ3= e^−tnX¯n soit sans biais.

(iii) Lequel depˆ₁,pˆ₂ etpˆ₃ choisiriez-vous pour estimere^−λ?

3 Estimation statistique dans le modèle linéaire

Exercice 6(Régression linéaire). SoitX ∈Mn,p(R),β ∈R^p avecp < n. On définit Y =Xβ+ε,

oùε∼ Nn(0, σ²In). La matriceXest connue et on observeY. L’objectif est d’estimerβ. On supposera queX est de rang maximal, ce qui implique en particulier queX⁰X est inversible.

1. Quelle est la loi du vecteur Y = (Y₁, . . . , Y_n)⁰? Les cordonnées Y_i sont-elles indépendantes et identiquement distribuées ?

2. La définition de l’estimateur du maximum de vraisemblance se généralise à des observations non i.i.d.. La fonction de vraisemblance est alors définie comme la densité du vecteur d’observations.

Ainsi, l’estimateur du maximum de vraisemblanceβˆdeβ est défini comme le point où la densité deY, notéefβ, est maximale (on maximiseβ 7→fβ(Y)).

Montrer queβˆ minimiseβ7→ kY −Xβk²₂. En déduire que βˆ= (X⁰X)⁻¹X⁰Y.

Donner la loi de β.ˆ

3. On définit un estimateur deσ² par

ˆ

σ²= kY −Xβkˆ ²₂ n−p . Montrer queβˆ etσˆ² sont indépendants.

4. Donner la loi deˆσ²et en déduire qu’il s’agit d’un estimateur sans biais qui converge en probabilité versσ².

Rappel du Théorème de Cochran : Soient (Vi)_1≤i≤n une décomposition orthogonale en somme directe de Rⁿ et (ΠV_i)_1≤i≤n les matrices de projection orthogonale associées. Pour un vecteur gaussienZ ∼ Nn(0, σ²In), on a

— ΠV₁Z,· · ·,ΠV_kZ sont des vecteurs aléatoires indépendants de loiNn(0, σ²ΠV_i).

— Pour tout1≤i≤n,kΠV_jZk²₂/σ² suit la loiχ²_pi oùpi est la dimension de Vi. Solution. 1. Commeεest un vecteur gaussien de loiNn(0, σ²I_n),

Y =Xβ+ε∼ Nn(Xβ+E[ε],Var(ε)) =Nn(Xβ, σ²In).

La matrice de covariance de Y étant diagonale, lesYi sont bien indépendants. En revanche, les entrées de Xβne sont pas identiques, donc lesYi ne suivent pas la même loi.

3

2. La log-vraisemblance associée àY ∼ Nn(Xβ, σ²In)s’écrit

`(β) = log(f_Nn(Xβ,σ2In(Y)) =−nlog(σ)−p

2log(2π)−kY −Xβk²₂ 2σ² .

Ainsi, maximiser la log-vraisemblance en β revient à minimiser kY −Xβk²₂. On remarque que minimiser kY −Xβk²₂ revient à projeter linéairement Y sur le sous-espace vectoriel engendré par les colonnes deX. Ainsiβˆvérifie

hY −Xβ, Xβiˆ _Rn = 0, ∀β∈R^p ⇐⇒ hX⁰(Y −Xβ), βiˆ _Rp= 0, ∀β ∈R^p.

On en déduit queβˆvérifie :

X⁰Y =X⁰Xβ,ˆ et commeX⁰X est supposé inversible,

βˆ= (X⁰X)⁻¹X⁰Y.

Le vecteur Y est gaussien, alorsβˆl’est aussi, de moyenne

E[ ˆβ] = (X⁰X)⁻¹X⁰E[Y] = (X⁰X)⁻¹X⁰Xβ=β, et variance

Var( ˆβ) = (X⁰X)⁻¹X⁰Var(Y)((X⁰X)⁻¹X⁰)⁰ =σ²(X⁰X)⁻¹X⁰((X⁰X)⁻¹X⁰)⁰ =σ²(X⁰X)⁻¹.

Donc,βˆ∼ Np β, σ²(X⁰X)⁻¹ .

3. L’estimateurσˆ²est une fonction du vecteurY−Xβˆ. Pour montrer queσˆ²etβˆsont indépendants, il suffit de montrer que Y −Xβˆet βˆsont indépendants. Or, Y −Xβˆ est un vecteur gaussien, et même le vecteur( ˆβ, Y −Xβ)ˆ ⁰ est vecteur gaussien comme transformation linéaire deε. Plus précisément,

βˆ= (X⁰X)⁻¹X⁰(Xβ+ε) =β+ (X⁰X)⁻¹X⁰ε

Y −Xβˆ=Xβ+ε−Xβ−X(X⁰X)⁻¹X⁰ε= (I−X(X⁰X)⁻¹X⁰)ε.

Pour montrer l’indépendance, il suffit de montrer que la matrice de covariance deβˆetY −Xβˆ est nulle :

Cov( ˆβ, Y −Xβˆ) =E h

( ˆβ−E[ ˆβ])(Y −Xβˆ−E[Y −Xβ])ˆ ⁰i

=E

((X⁰X)⁻¹X⁰ε)((I−X(X⁰X)⁻¹X⁰)ε)⁰

= (X⁰X)⁻¹X⁰E[εε⁰] (I−X(X⁰X)⁻¹X⁰)⁰

=σ² (X⁰X)⁻¹X⁰−(X⁰X)⁻¹X⁰X(X⁰X)⁻¹X⁰

= 0.

4. Par construction,Xβˆest la projection orthogonale de Y sur l’espace vectoriel engendré par les colonnes deX. On a la décomposition orthogonale :

ε=Y −Xβ= (Xβˆ−Xβ) + (Y −Xβ),ˆ

oùXβˆ−Xβ est la projection orthogonale deY −Xβ sur l’espace vectoriel engendré parX et Y −Xβˆ sur son supplémentaire orthogonal de dimensionn−p. On en déduit, par le théorème de Cochran, que

kY −Xβkˆ ²₂

σ² ∼ X_n−p² . PuisqueE X_n−p²

=n−petVar(X_n−p² ) = 2(n−p), on en déduit queE σˆ²

=σ²et Var(ˆσ²) =

2σ⁴

n−p.L’erreur quadratique moyenne tend vers 0 ce qui implique la convergenceL²de l’estimateur et donc en probabilité.

4