X – MAP
PC – juin – Ve eurs gaussiens, e imateurs du maximum de vraisemblance, te s
Igor Kortchemski –[email protected]
Ve eurs gaussiens
E xercice 1. (Mod`ele auto-r´egressif d’ordreAR()). Soit (Yn)n≥une suite de variables al´eatoires ind´ependantes et de mˆeme loiN(m, σ). Soienta∈RetXune variable al´eatoire de loiN(m, σ) ind´ependante de (Yn)n≥. Pour toutn≥, on d´efinit la suite r´ecurrente al´eatoire (Xn)n≥ par
Xn=aXn−+Yn.
Il s’agit d’un cas particulier des´eries temporelles, utilis´ees pour mod´eliser l’´evolution pass´ee d’une quantit´e pour en pr´evoir le comportement futur.
() Montrer que (X, . . . , Xn) eun veeur gaussien.
() D´eterminer la loi deXn et exprimer Cov(Xk, Xn) en fonion de Var(Xk) pour ≤k≤n.
Trouver la valeur dectelle queX+cX soit ind´ependant deX.
() `A quelle condition surala suite (Xn) converge-t-elle en loi ?Quelle ealors la loi limite ? Quelle ela loi deXnsiX a cette loi limite ?
() Montrer que si a∈]−,[, le veeur (Xn, Xn+) converge en loi vers un veeur gaussien dont on d´eterminera les param`etres.
() Poura∈]−,[, ´etudier la convergence en loi de la moyenne empiriqueXn=nPn i=Xi.
E imateur du maximum de vraisemblance
E xercice 2. On observe un ´echantillon (X, . . . , Xn) de nvariables al´eatoires ind´ependantes et de mˆeme loi exponentielle de param`etreθ >inconnu.
() D´eterminer l’eimateur du maximum de vraisemblanceθbn=θn(X, . . . , Xn) deθet mon- trer qu’il converge presque s ˆurement versθlorsquen→ ∞.
() Cet eimateur e-il sans biais ?
On rappelle que la densit´e de la loiΓ(a, λ)e Γ(a)λaxa−e−λx1x>. () D´emontrer que√
n(bθn−θ) converge en loi vers une loi qu’on d´eterminera.
Indication.On pourra utiliser lam´ethode delta.
() Conruire un intervalle de confiance asymptotique `a% pourθ.
E xercice 3. On reprend le mod`ele AR() de l’exerciceen supposant maintenant que (Yn)n≥
eune suite de variables al´eatoires ind´ependantes et de mˆeme loiN(, σ) (avecσ connu). On fixeθ∈R(inconnu) et on d´efinit la suite r´ecurrente al´eatoire (Xn)n≥par
X=, Xi =θXi−+Yi, i≥.
D´eterminer l’eimateur du maximum de vraisemblanceθbn=θbn(X, . . . , Xn) deθ.
Te s
E xercice 4. Sur un ´echantillon repr´esentatif depersonnes, on rapporte les avis favorables pour un homme politique. En novembre, il y avait% d’avis favorables, et% en d´ecembre.
Un ´editorialie dans son journal prend tr`es au s´erieux cette chute de points. Le but de cet exercice ede confirmer ou d’infirmer la position du journalie.
On note pla proportion d’avis favorables en novembre, etqcette proportion en d´ecembre, et on se propose de teH:p−q=contreH:p−q,au niveau%. On notebpnla proportion d’avis favorables dans un ´echantillon repr´esentatif de n personnes en novembre (et de mˆeme bqnpour d´ecembre).
() D´emontrer que√
n(bpn−p,bqn−q) converge en loi vers un veeur gaussien dont on pr´ecisera la matrice de covariance. En d´eduire que
√ n(bpn−
bqn) −→loi
n→∞
N(, p(−p) +q(−q)).
() Conclure en prenant pouratiique de te
Tn=
√ n(bpn−
bqn) p
bpn(−
bpn) +bqn(− bqn) et une r´egion de rejet une r´egion de la forme{|Tn|> c}.
A chercher pour la prochaine fois `
E xercice 5. Soit (Xk)k≥des variables al´eatoires ind´ependantes de mˆeme loi uniforme sur [, θ]
(avecθinconnu).
() Montrer que l’eimateur du maximum de vraisemblance θbn = bθn(X, . . . , Xn) de θ e θbn= max(X, . . . , Xn).
() Montrer queWn=n
−bθn
θ
converge en loi quandn→ ∞et d´eterminer sa limite.
() Conruire un intervalle de confiance asymptotique `a% pourθ.
Plus appliqu´e
Rappel (th´eor`eme de Cochran, extension de la proposition .. du poly). Soit X un veeur colonne al´eatoire de Rn de loi N(m, σIn) (avec m ∈ Rn, σ > ) et Rn = E ⊕ · · · ⊕Ep une d´ecomposition de Rn en somme diree de p sous-espaces veoriels orthogonaux de dimen- sionsd, . . . , dpavecd+· · ·+dp=n. SoitPkla matrice du projeeur orthogonal surEk etYk=PkX la projeion orthogonale deXsurEk. Alors :
() les veeurs al´eatoires (Y, . . . , Yp) sont ind´ependants etYk suit la loiN(Pkm, σPk) ; () les variables al´eatoires r´eelles (kYi −Pimk)≤i≤p sont ind´ependantes et kYk−Pkmk/σ
suit la loiχ(dk).
E xercice 6. On consid`ere que la r´eponse d’un appareil de mesure `a un signal d´eterminie ξ e ´egale `a aξ plus un bruit gaussien centr´e de variance b, o `u (a, b) ∈ R×R∗+. On se pro- pose d’´etalonner l’appareil (c’e-`a-dire eimer les valeurs de a et b) en envoyant une suite x = (x, x, . . . , xn) de signaux connus. On note Yi =axi+
√
bUi la r´eponse au i-i`eme signal o `u on suppose que les coordonn´ees du veeur U = (U, U, . . . , Un) sont des variables al´eatoires gaussiennes centr´ees r´eduites ind´ependantes. On noteY = (Y, Y, . . . , Yn),
Abn= Pn
i=xiYi Pn
i=xi et bBn= Pn
i=(Yi−xiAbn)
n− .
() Donner la loi deAbn. `A quelle condition sur la suite (xi)i≥a-t-onE
h(Abn−a)i
→lorsque n→ ∞?
On compl`ete e = kxxk en une base orthonorm´ee (e, . . . , en) deRn. NotonsP la projeion ortho- gonale surE= Ve(e) etQla projeion orthogonale surE= Ve(e, . . . , en).
() D´eterminerP Y etQY. En d´eduire queAbnetbBnsont des variables al´eatoires ind´ependantes.
Donner l’esp´erance et la variance deBbn.
() Montrer qu’il exie une conantec(d´ependant dex) telle que la variable al´eatoirecA√bn−a
bBn
suive une loi de Student.
() Donner un intervalle de confiance `a % pour le param`etrea, suivant que l’on connaˆıt la valeur debou non.
Pour aller plus loin
E xercice 7. Soient (Xi)≤i≤n des variables al´eatoires r´eelles ind´ependantes de mˆeme loi, de carr´e int´egrable, d’esp´erancemet de varianceσ. On suppose que la moyenne empiriqueXnet la variance empiriquesVn, d´efinies par
Xn= n
Xn i=
Xi, Vn= n−
Xn i=
(Xi−Xn),
sont ind´ependantes. Le but de cet exercice e de d´emontrer que la loi deXi eune loi gaus- sienneN(m, σ).
() CalculerE[(n−)Vn] en fonion deσ. Montrer que pour toutt∈R:
E
(n−)VneitnXn
= (n−)ψ(t)nσ.
() En d´eveloppantVndans l’´egalit´e pr´ec´edente, v´erifier que :
E
(n−)VneitnXn
=−(n−)ψ00(t)ψ(t)n−+ (n−)ψ0(t)ψ(t)n−.
() En d´eduire que, sur un voisinage ouvert de,ψ esolution de l’´equation diff´erentielle : ψ00
ψ − ψ0 ψ
!
=−σ, ψ() =, ψ0() =.
() En d´eduire que la loi des variablesXi ela loi gaussienneN(, σ).
() Que peut-on dire si l’on ne suppose plusm=?
