X – MAP
PC – juin – E imateurs, TCL, ve eurs gaussiens Corrig´e des que ions non abord´ees en PC
Igor Kortchemski –igor.kortchemski@cmap.polytechnique.fr
Corrig´e des exercices non trait´es surhttp:// www.normalesup.org/ ˜ kortchem/ MAPun peu apr`es la PC.
E imateur du maximum de vraisemblance
E xercice 3. (Plus appliqu´e)Une colonie de vampires a ´elu domicile dans un chˆateau des Carpates, et la comptesse D. souhaite eimer leur nombre. Pour cela, une nuit de pleine lune, la comptesse en capture, leur mord les oreilles, puis les relˆache. La nuit suivante, elle en captureau hasard. Trois ont une morsure aux oreilles.
Aidez la comptesse D. en utilisant un eimateur du maximum de vraisemblance.
Corrig´e : Notonsnle nombre de vampires dans le chˆateau. Alors la probabilit´e que parmivampires captur´es au hasard la nuit suivante trois vampires ont des morsures aux oreilles e
pn=
n−
n . Pour trouver la valeur denmaximisant cette quantit´e, on remarque que
pn
pn+ =n−n−
n−n+,
qui e riement inf´erieur `apourn≤et qui e riement sup´erieur `apourn≥. Ainsi,pn emaximal
pourn=.
Probl`eme r´ecapitulatif
E xercice 4. (Mod`ele auto-r´egressif d’ordreAR()). Soit (Yn)n≥une suite de variables al´eatoires ind´ependantes et de mˆeme loiN(m, σ). Soienta∈RetXune variable al´eatoire de loiN(m, σ) ind´ependante de (Yn)n≥. Pour toutn≥, on d´efinit la suite r´ecurrente al´eatoire (Xn)n≥par
Xn=aXn−+Yn.
Il s’agit d’un cas particulier des´eries temporelles, utilis´ees pour mod´eliser l’´evolution pass´ee d’une quantit´e pour en pr´evoir le comportement futur.
Premi`ere partie.
() Montrer que (X, . . . , Xn) eun veeur gaussien.
() D´eterminer la loi deXnet exprimer Cov(Xk, Xn) en fonion de Var(Xk) pour≤k≤n. Trouver la valeur dectelle queX+cXsoit ind´ependant deX.
() `A quelle condition surala suite (Xn) converge-t-elle en loi ?Quelle ealors la loi limite ?Quelle ela loi deXnsi Xa cette loi limite ?
Pour des queions, demande d’explications etc., n’h´esitez pas `a m’envoyer un mail.
() Montrer que sia∈]−,[, le veeur (Xn, Xn+) converge en loi vers un veeur gaussien dont on d´eterminera les param`etres.
() Poura∈]−,[, ´etudier la convergence en loi de la moyenne empiriqueXn=nPn i=Xi.
Deuxi`eme partie. On suppose maintenant que (Yn)n≥eune suite de variables al´eatoires ind´ependantes et de mˆeme loiN(, σ) (avecσ connu), queX=et queaeinconnu.
() Soitgla densit´e d’une loi gaussienneN(, σ). Montrer qu’une densit´efnde (X, . . . , Xn) au point (x, . . . , xn) e fn(x, . . . , xn) =g(x)g(x−ax)· · ·g(xn−axn−).
() D´eterminer l’eimateur du maximum de vraisemblanceban=ban(X, . . . , Xn) dea.
Corrig´e :
Premi`ere partie.
() On montre par r´ecurrence surnque toute combinaison lin´eaire de (X, . . . , Xn) egaussienne. Pourn=il n’y a rien `a faire. Supposons acquis le r´esultat au rangnet montrons le au rangn+. Pour des r´eels (λi)≤i≤n+,
on a n+
X
i=
λiXi=λX+· · ·+λn−Xn−+ (aλn++λn)Xn+Yn+.
Par hypoth`ese de r´ecurrence,λX+· · ·+λn−Xn−+ (aλn++λn)Xneune gaussienne, de plus ind´ependante deYn+, d’o `u le r´esultat.
() Pour trouver la loi deXn, il suffit de trouver son esp´erance et sa variance. On a
E[Xn] =aE[Xn−] +E[Yn] =aE[Xn−] +m, Var(Xn) =aVar(Xn−) +σ. Ce sont deux suites arithm´etico-g´eom´etriques, et on trouve
E[Xn] =
mn+m sia= an
m− m
−a
+m−a sia,, Var(Xn) =
σn+σ sia= an
σ− σ
−a
+σ−a sia,.
Pour calculer Cov(Xk, Xn), on remarque que
Xn=Yn+aYn−+· · ·+an−k−Yk++an−kXk, d’o `u, par ind´ependance deXket desYi,
Cov(Xk, Xn) =an−kVar(Xk).
Comme (X, X) e un veeur gaussien, X+cX e ind´ependant de X si et seulement si Cov(X+ cX, X) =. Or
Cov(X+cX, X) = Var(X) +cCov(X, X) = Var(X)(c+a).
Ainsi,X+cXeind´ependant deXsi et seulement sic=−a.
() La suite (Xn) converge en loi si et seulement si sa fonion cara´eriique converge en tout point vers une fonion continue en. On rappelle que
E[Xn] =
mn+m sia= an
m− m
−a
+m−a sia,, Var(Xn) =
σn+σ si|a|= an
σ− σ
−a
+σ−a si|a|,.
On a
E heitXni
=eiE[Xn]t−Var(Xn)t
Si|a|<ou si (m, σ) = (m−a,σ−a), on voit que
E heitXni
−→
n→∞ eitm−a− σ
−a·t
.
Ainsi,
Xn −→loi
n→∞
N m
−a, σ
−a
! .
Si|a|=, ou si|a|>avecσ,σ−a, alorse−σnt →lorsquet,. Dans ce cas, E
heitXni
−→
n→∞ 1t=, fonion qui n’epas continue en. DoncXnne converge pas en loi.
Finalement, le cas o `u|a|>etσ=σ−a ebeacoup plus d´elicat. Supposons par l’absurde queXnconverge en loi vers X. L’ensemble des points de discontinuit´e de la fonion de r´epartition FX de X e au plus d´enombrable, il exie donc A >suffisamment grand tel queP(X≥A)</et tel que FX soit continue enA. Commemntend vers l’infini, pournsuffisamment grand (de sorte quemn> A) :
P(Xn≥A)≥P(Xn≥mn) =
.
carXneune gaussienne de moyennemn. OrP(Xn≥A)→P(X≥A)</, absurde.
SiX=N m
−a,σ−a
, on voit queXna la mˆeme loi queXpour toutn≥.
() D’apr`es la queion pr´ec´edente, comme Xn et Yn+ sont ind´ependantes, (Xn, Yn+) converge en loi vers un veeur gaussien (X, Y) avec X=N m
−a,σ−a
,Y =N(m, σ) etX ind´ependant deY. Comme (Xn, Xn+) = (Xn, aXn+Yn+), on en d´eduit que (Xn, Xn+) converge en loi vers (X, aX+Y) (par composition avec l’application continue (x, y)7→(x, ax+y)). Tout d’abord, on a
Cov(X, aX+Y) = Cov(X, aX) =aVar(X) = aσ
−a.
Le veeur gaussien (X, aX+Y) a donc pour moyenne (m−a,am−a+m) = (m−a,m−a) et pour matrice de covariance
σ
−a aσ
−a aσ
−a σ
−a
() La variable al´eatoireXn suit une loi gaussienne car (X, . . . , Xn) e un veeur gaussien. On calcule ainsi la fonion cara´eriique deXn:
E
eitXn
=eiE[Xn]t−Var(Xn)t. Il s’agit donc d’´etudier le comportement asymptotique deE
hXni
et de Var(Xn) lorsquen→ ∞. Tout d’abord,
E hXni
= Pn
k=E[Xk]
n −→
n→∞
m
−a. Pour calculer la variance deXn, on peut remarquer queXk=akX+Pk
i=ak−iYi pourk≥. Ainsi, X+· · ·+Xn=λX+λY+· · ·+λnYn
avec
λ=a+a+· · ·+an≤
−a etλi=+a+· · ·+an−i≤
−a pour≤i≤n.
Ainsi,
Var(X+· · ·+Xn) =λσ+ Xn
i=
λiσ≤Cn.
pour une certaine conanteC >qui ne d´epend pas den. Donc Var(Xn) =Var(X+· · ·+Xn)
n −→
n→∞ .
Ainsi,
E
eitXn
−→
n→∞ eim−at. DoncXnconverge en loi vers la variable al´eatoire conante m−a.
Remarque.Une fois qu’on sait queE hXni
→ m
−a et que Var(Xn)→, il epossible d’en d´eduire queXn converge en loi vers m−aen toute g´en´eralit´e en utilisant l’in´egalit´e de Markov. En effet, pour tout >
P
Xn− m
−a >
≤ E
Xn− m
−a
=
E
Xn−E hXn
i+E hXn
i− m
−a
=
Var(Xn) +
E hXni
− m
−a
, qui tend vers. DoncXnconverge en probabilit´e vers m−a, donc en loi.
Deuxi`eme solution.
Deuxi`eme partie.
() On raisonne par r´ecurence surnen utilisant la m´ethode de la fonion muette. Pourn=, le r´esultat evrai.
Supposons le acquis au rangn−et d´emontrons-le au rangn. Par ind´ependance de (X, . . . , Xn−) avecYn, pour toute fonionF:Rn→Rcontinue born´ee on a d’apr`es le th´eor`eme de transfert
E[F(X, . . . , Xn)] = E[F(X, . . . , Xn−, aXn−+Yn)]
= Z
Rn−
dx· · ·dxn−
Z
R
dyF(x, . . . , xn−, axn−+y)fn−(x, . . . , xn)g(y).
En faisant le changement de variableu=axn−+y, on a donc E[F(X, . . . , Xn)] =
Z
Rn
dx· · ·dxnF(x, . . . , xn−, xn)fn−(x, . . . , xn−)g(xn−axn−).
Donc
fn(x, . . . , xn) =fn−(x, . . . , xn−)g(xn−axn−) et le r´esultat d´esir´e s’ensuit.
(`e) Pour d´eterminer l’eimateur du maximum de vraisemblance, posonsh(a) =g(x)g(x−ax)· · ·g(xn−axn−) et maximisonshen maximisant plutˆotL(a) = lnh(a). On a
L(a) =−nln(σ√
π)
− x
σ+
n−
X
i=
(xi+−axi)
σ , d’o `u
L0(a) =
n−
X
i=
−xi(xi+−axi) σ =σ−
a
n−
X
i=
xi−
n−
X
i=
xixi−
.
On a donc
ban= Pn−
i=XiXi−
Pn− i=Xi .
Pour aller plus loin
E xercice 6. (Eimateurs lin´eaires)Soient X, . . . , Xn des variables al´eatoires ind´ependantes de mˆeme loi et de carr´e int´egrable. Trouver l’eimateurθbn de la moyenneθ=E[X], qui soit sans biais (c’e-`a-direE
h θbn
i=θet de variance minimale dans la classe des eimateurs lin´eairesθbn=Pn
k=akXk.
Corrig´e : Commeθbn esans biais, on aa+· · ·+an=. Comme les variables al´eatoires sont ind´ependantes, on aVar(θbn) =Pn
i=aiσavecσ= Var(X). D’apr`es l’in´egalit´e de Cauchy-Schwarz, on a
Xn
i=
ai
·
Xn
i=
n
≥
Xn
i=
ai
n
. Puisquea+· · ·+an=, on en d´eduit quePn
i=ai ≥
n avec ´egalit´e si et seulement siai =n pour touti∈ {,, . . . , n}. L’eimateur de variance minimale dans la classe des eimateurs lin´eaires et sans biais edonc la moyenne empi- riqueXn=nPn
i=Xi.
E xercice 7. Soit g: [,]→[,] une fonion (mesurable) born´ee. On souhaite calculerm=R
g(x)dx. On poseσ= R
g(x)dx−m. SoientXetY des variables al´eatoires ind´ependantes de loi uniforme sur [,]. On pose U=1Y≤g(X), V=g(X), W=g(X) +g(−X)
.
() Calculer l’esp´erance et la variance deU , V , W. Comparer les variances deU etV. () Proposer trois m´ethodes de type Monte-Carlo pour calculerm.
On suppose dans la suite quegemonotone.
() V´erifier queE[g(X)g(−W)]≤met comparer les variances deV etW.
Indication.On pourra montrer que (g(x)−g(y))(g(−x)−g(−y))≤pour toutx, y∈[,].
Soit (Xi)i≥une suite de variables al´eatoires ind´ependantes de loi uniforme sur [,].
() On consid`ere les eimateurs suivants dem:
An=
n Xn
k=
g(Xk) et
n Xn
k=
(g(Xk) +g(−Xk)).
Montrer qu’ils sont sans biais. Lequel poss`ede la plus petite variance ?
() Dans le cas o `ug(x) =x, d´eterminer le nombrende simulations n´ecessaires garantissant une pr´ecision relative de
% sur le calcul demen erreur quadratique avecAnetBn(la pr´ecision relative ´etantVar(Amn),Var(Bmn)).
Corrig´e :
() Tout d’abord,Usuit une loi de Bernoulli de param`etreP(Y≤g(X)). On calcule cette quantit´e avec le th´eor`eme de transfert :
P(Y≤g(X)) =E
h1Y≤g(X)
i= Z
[,]dxdy1y≤g(x)= Z
g(x)dx=m.
Ainsi,E[U] =metVar(U) =m(−m).
D’apr`es le th´eor`eme de transfert,
E[V] = Z
g(x)dx=m et E[V] = Z
g(x)dx, doncVar(V) =σ.
CommeXet−Xont mˆeme loi, on a par lin´earit´e de l’esp´erance
E[W] =m et E[W] =(σ+m) +R
g(x)g(−x)dx
.
Ainsi,
Var(W) =σ−m+R
g(x)g(−x)dx
.
On a
Var(U)−V = Z
g(x)(−g(x))dx.
() Par la loi forte des grands nombres, presque s ˆurement,
m= lim
n→∞
Card({≤i≤n:Yi≤g(Xi)})
n = lim
n→∞
Xn
i=
g(Xi) = lim
n→∞
n Xn
i=
(g(Xi) +g(−Xi)).
() Comme g e monotone, on a (g(x)−g(y))(g(−x)−g(−y))≤ pour tous x, y∈ [,]. On en d´eduit que E[g(X)g(−X)] +E[g(Y)g(−Y)]−E[g(X)]E[g(Y)]≤, c’e-`a-dire queE[g(X)g(−X)]≤m.
Ainsi,Var(W)≤σ
=Var(V) .
() On a bienE[An] =E[Bn] =m. Par ailleurs, compte tenu de ce qui pr´ec`ede,
Var(An) =σ
n, Var(Bn)≤Var(W) n ≤σ
n.
La variance deAnedonc moindre, maisAnn´ecessite un ´echantillon deux fois plus gros queBn.
() Var(Amn)= donnen=σm. Pourg(x) =x, il vientm= etσ= et doncn'avecAn, et en fait plus de
fois moins avecBncar il s’av`ere queVar(W) = .
