Guillaume Lecué 31 août 2020
Table des matières
1 Rappels de probabilités 1
2 Vraisemblance, EMV, IC, Information de Fisher 13
3 Tests 28
4 Modèle de régression 32
5 Examen du lundi 26 octobre 2015 40
6 Rattrapage 2015-2016 44
7 Examen du lundi 14 novembre 2016 49
8 Rattrapage 2016-2017 55
9 Examen de novembre 2017 60
10 Examen d’octobre 2018 67
11 Examen d’octobre 2019 73
1 Rappels de probabilités
**********************
Exercice 1.1 (Théorème de la limite centrale)
Soit (Xn)n une suite de variables aléatoires i.i.d. centrées de variance σ2 >1. Soit Zn= 1
σ√ n
n
X
j=1
Xj.
Par le théorème de la limite centrale, cette variable converge en loi vers la loi normale centrée réduite, c’est-à-dire, pour tout t∈ R, on a limn→+∞E[eitZn] =e−t
2
2 . L’objet de cet exercice est de montrer que la suite Zn ne peut pas converger en probabilité.
1. Calculer la fonction caractéristique de Z2n − Zn et montrer que cette différence converge en loi.
2. En étudiantP(|Z2n−Zn| ≥), montrer que Zn ne converge pas en probabilité.
**********************
Correction de l’exercice 1.1 L’objectif de cet exercice est de manipuler les différents types de convergence. On commence donc par rappeler les différentes convergences en probabilités. Soit (Xn) une suite de variables aléatoires et X une autre variable aléatoire. On dit que :
— (Xn)converge presque surement versX quand{ω ∈Ω : limXn(ω) =X(ω)}est de mesure1(on vérifiera que cet ensemble est bien mesurable).
— (Xn)converge en probabilité vers X quand pour tout >0,P
|Xn−X| ≥
→0 quandntend vers +∞.
— (Xn)converge en loi versXquand pour toute fonction continue bornéef on aEf(Xn)→Ef(X).
— si p ≥ 1, on dit que (Xn) converge dans Lp vers X quand E|Xn−X|p → 0 quand n tend vers +∞.
On a les implications suivantes :
[cv presque sure] (1)
=⇒
[cv en proba] (2)
=⇒
[cv en loi]
(3)⇑ [cv dansLp] Démo et contre-exemple de “(1)
=⇒
” : Soit >0. On a{Xn→X} ⊂liminfn{|Xn−X| ≤}. En passant, au complémentaire, on a :
0≤limsupnP
|Xn−X|>
≤P[limsupn{|Xn−X|> }]
=P
liminfn{|Xn−X| ≤}c
≤0.
Il n’y a pas équivalence dans “(1) ⇒”. Voici une exemple d’une suite qui converge en probabilité mais pas presque surement : (Xn) des v.a. indépendantes telles que
P[Xn= 1] = 1
n etP[Xn= 0] = 1− 1 n.
La suite (Xn) converge en probabilité vers0 car pour toutn, onP[|Xn|> ] =P[Xn= 1] = 1/n. Mais elle ne converge pas presque surement vers car on a P
nP({Xn = 1}) = ∞ donc d’après le “second lemme de Borel-Cantelli” (les événements({Xn= 1})sont indépendants), on aP[limsupn{Xn= 1}] = 1. Notamment,(Xn) ne converge pas presque surement vers0.
Démo et contre-exemple de “(2)
=⇒
” : Soitf une fonction continue bornée. Soit >0etN ∈N tel que P
|f(Xn)−f(X)| ≥
≤ (on rappel que si f est continue et(Xn) converge en probabilité vers X alors(f(Xn))converge en probabilité versf(X)). On a donc
Ef(Xn)−Ef(X) ≤
E(f(Xn)−f(X))I(|f(Xn)−f(X)| ≥) +
E(f(Xn)−f(X))I(|f(Xn)−f(X)|< )
≤2kfk∞P
|f(Xn)−f(X)| ≥
+≤ 2kfk∞+ 1 .
La réciproque est trivialement fausse. Il suffit de prendre la suite stationnaire (Xn) où pour tout n, Xn =g où g est une gaussienne. Comme g est symmétrique,−g est aussi distribuée comme g. Donc (Xn) converge en loi vers g et donc aussi vers−g. Par contre |Xn−(−g)|= 2|g| ne converge pas en probabilité vers 0. Donc (Xn) ne converge par vers−g en probabilité.
Démo et contre-exemple de “(3) ⇑” : D’après l’inégalité de Markov, P
|Xn−X ≥ |
≤ −pE|Xn−X|p. Pour le contre-exemple, on prend Xn de loi (n−1δn2 + (1−n−1)δ0). On a P[|Xn| ≥ ]≤n−1 donc (Xn) converge en probabilité mais E|Xn|=ndonc (Xn) ne converge pas dansL1 vers 0.
Correction de l’exercice
1. Pour tout t∈R, on a par indépendance Eexp(it(Z2n−Zn)) =Eexp
it σ√ n
1
√ 2 −1
n
X
j=1
Zj
Eexp
it σ√
2n
2n
X
j=n+1
Zj
.
En appliquant le TCL sur chacun des membres du produit, quandntend vers l’infini, on obtient que(Z2n−Zn)n tend vers une loi dont la fonction caractéristique estt7→exp −t2(2−√
2)/2 , c’est donc une Gaussienne centrée de variancep
2−√ 2.
2. Supposons que (Zn) converge en probabilité. Alors il existe une variable aléatoire Z telle que pour tout >0, on aP[|Zn−Z|> ]→0. Soit >0, on a
{|Z2n−Zn| ≥2} ⊂ {|Zn−Z| ≥} ∪ {|Z2n−Z| ≥}.
Alors, par une borne de l’union : P
|Z2n−Zn| ≥2
≤P
|Zn−Z| ≥ +P
|Z2n−Z| ≥ et donc en passant à la limite, on obtientP
|Z2n−Zn| ≥2
→0. Donc(Z2n−Zn)nconverge en probabilité vers 0. En particulier, cette suite converge en loi vers 0. Ce qui est en contradiction avec 1..
**********************
Exercice 1.2 (Théorème de Poisson)
Pour tout entier non nul n, on note Xn une variable aléatoire de loi binomiale de paramètre pn∈(0,1). On suppose que quand n tend vers l’infini npn→ λ pour un certain λ >0. En étudiant la convergence de la suite des fonctions caractéristiques desXnmontrer que (Xn)n converge en loi vers une loi de Poisson de paramètre λ.
**********************
Correction de l’exercice 1.2 Pour tout entier non nul n, la fonction caractéristique de Xn vérifie pour tout t∈R,
ϕXn(t) =EeitXn = pneit+ (1−pn)n
= (1 +pn(eit−1))n. Par ailleurs, on sait que pour tout nombre complexe z, la suite (1 +pnz)n
n converge vers eλz. On a doit (ϕXn) converge ponctuellement versϕ :t→ exp(λ(eit−1)) qui est la fonction caractéristique
d’une loi de Poisson de paramètre λ. En effet, siX suit une loi de Poisson de paramètre λalors pour tout t∈R, on a
EeitX =
∞
X
k=0
eitke−λλk
k! =e−λexp(λeit) = exp(λ(eit−1)).
Remarque :Le théorème de Poisson se généralise au théorème des événements rares qui s’énonce de la manière suivante. Soit (Mn)n une suite croissante d’entier tendant vers+∞. Pour tout entiern, soit (An,j : 1≤j ≤Mn) une famille d’événements telle que pour pn,j =P[An,j], on a, quandn tends vers +∞,
1≤j≤Mmaxn
pn,j →0 et que
Mn
X
j=1
pn,j →λ.
On pose Sn=PMn
j=11An,j. Alors la suite(Sn)n converge en loi vers une Poisson de paramètreλ.
**********************
Exercice 1.3 (Lemme de Slutsky)
1. Donner un exemple de suites (Xn) et (Yn) telles que Xnloi→X et Yn→loiY, mais Xn+Yn ne converge pas en loi vers X+Y.
2. Soient (Xn), (Yn) deux suites de variables aléatoires réelles, X et Y des variables aléatoires réelles, telles que
(i) Xnloi→X et Yn→P Y,
(ii) Y est indépendante de (Xn) et X.
Montrer que le couple (Xn, Yn) converge en loi vers (X, Y).
3. En déduire que si (Xn) et (Yn) sont deux suites de variables aléatoires réelles telles que (Xn) converge en loi vers une limite X et (Yn) converge en probabilité vers une constante c, alors (Xn+Yn) converge en loi vers X+c et (XnYn) converge en loi vers c X.
**********************
Correction de l’exercice 1.3
1. Soit (δn) une suite de v.a. i.i.d. de Bernoulli de moyenne 1/2 (càd P[δn = 0] = P[δn = 1] = 1/2,∀n). D’après le TCL, on sait que
Xn:= 2
√n
n
X
i=1
δi−1/2
N(0,1).
On le démontre facilement, en utilisant le Théorème de Levy et en voyant que quand ntend vers l’infini, pour tout t∈R,
Eexp 2it
√n Xn
i=1
δi−1/2
= 1
2
exp −it
√n
+ exp it
√n n
=
1− t2
2n+O t3 n3/2
n
−→exp −t2
2
.
Soitgune variable Gaussienne standard. Commegest symmétrique,−gest aussi une Gaussienne Standard. On a donc, (Xn) converge en loi vers g et aussi (Xn) converge en loi vers −g. Mais (Xn+Xn)converge en loi vers2g6=g+ (−g) = 0. Cet exercice souligne le fait que la convergence en loi est une convergence des lois de distribution et non des variables aléatoires elles mêmes.
2. On note par Cb(R) l’ensemble des fonctions continues bornées surR. Pour montrer que(Xn, Yn) converge en loi vers(X, Y), il suffit de prouver que pour tout f, g∈ Cb(R), on a Ef(Xn)g(Yn)→ Ef(X)g(Y) quand n tend vers l’infini. Par ailleurs, on sait que si (Yn) converge en probablité vers Y et si g est continue alors(g(Yn))converge en probabilité versg(Y).
Soit f, g∈ Cb(R) et >0. SoitN ∈Ntel que pour tout n≥N, P
|g(Yn)−g(Y)| ≥
≤and
Ef(Xn)−Ef(X) ≤. On a pour tout n≥N, par indépendance de g(Y) avec f(Xn) etf(X),
Ef(Xn)g(Yn)−Ef(X)g(Y) ≤
Ef(Xn)(g(Yn)−g(Y))I(|g(Yn)−g(Y)| ≥) +
Ef(Xn)(g(Yn)−g(Y))I(|g(Yn)−g(Y)|< ) +
Eg(Y)(f(Xn)−f(X))
≤2kfk∞kgk∞P
|g(Yn)−g(Y)| ≥
+kfk∞+
Eg(Y)Ef(Xn)−Ef(X)
≤ 2kfk∞kgk∞+kfk∞+kgk∞ .
3. Comme (Yn) converge en probabilité vers Y = c p.p. qui est indépendante de toutes variables aléatoires, on peut appliquer la question 2. : (Xn, Yn)
converge en probabilité vers (X, c).
Notamment, comme les applications somme et produit sont des fonctions continues de R2 dans R, on voit que (Xn+Yn) converge en loi versX+cainsi que (XnYn) converge en loi verscX.
**********************
Exercice 1.4 (Convergence dans Lp)
Soit (Xn) une suite de variables aléatoires réelles bornées par une même constante.
Montrer que si (Xn) converge en probabilité, alors Xn converge dans Lp pour tout p≥1.
**********************
Correction de l’exercice 1.4 Pour cet exercice, on va démontrer un résultat plus fort. On rappel qu’une suite (Xn)est équi-intégrable quand
a→+∞lim sup
n∈N
E
|Xn|I(|Xn|> a)
= 0.
Soit p ≥1 et (Xn) une suite d’éléments de Lp. On montre que les deux assertions suivantes sont équivalentes :
1. la suite (Xn) converge dansLp.
2. la suite (Xn) converge en probabilité et la suite(|Xn|p)est équi-intégrable.
b) implique a) : On montre d’abord que si (Yn) est équi-intégrable alors elle est équi-continue : càd pour tout > 0, il existe η > 0 tel que si P(A) ≤ η alors supn∈NE
|Yn|1A
≤ . Soit > 0 et
a0 > 0 tel que pour tout a ≥ a0 et tout n ∈ N, E
|Xn|I(|Xn| > a)
≤ . On a pour tout ensemble mesurableA, toutn∈Net touta≥a0,
E
|Xn|1A
=E
|Xn|I(A∩ {|Xn| ≤a}) +E
|Xn|I(A∩ {|Xn|> a})
≤aP(A) +E
|Xn|I(|Xn|> a)
≤aP(A) +. On en déduit que (Yn) est bien équi-continue.
Soit >0. Pour tout q, r∈N, on a E|Xr−Xq|p ≤E
|Xr−Xq|pI(|Xr−Xq|p ≤)
+ 2p−1E
|Xr|p+|Xq|p
I(|Xr−Xq|p > )
≤+ 2p−1E
|Xr|p+|Xq|p
I(|Xr−Xq|p > ) .
Comme (|Xn|p)est équi-continue, il existeη >0 tel que pour toutA tel que P[A]≤η, on a sup
r∈N
E
|Xr|p1A
+ sup
q∈N
E
|Xq|p1A
≤/2p−1.
Comme (Xn) converge en probabilité, il existe un N tel que pour tout r, q ≥ N, P
|Xr−Xq| ≥ 1/p
≤η. On en déduit, que limsupr,qE|Xr−Xq|p ≤2pour tout r, q≥N. Alors(Xn) est une suite de Cauchy dansLp, qui est complet, donc elle est convergente dans Lp.
a) implique b) :Par Markov, on a pour tout >0, P
|Xn−X| ≥
≤−pE|Xn−X|p.
SoitN ∈N tel que pour toutn≥N,E|Xn−X|p ≤/2p−1. L’inégalité de Markov donne P
|Xn|p> a
≤a−1E|Xn|p≤Ba−1 ≤.
oùB majore uniformément la suite (E|Xn|p)(qui est bien bornée vue que c’est une suite convergente).
Soit a0 >0 tel quesupn∈NP[|Xn|p > a0]≤η où η est tel queE
|X|p1A
≤/2p−1 pour toutA tel que P(A)≤η (par définition X∈Lp). On a donc pourn≥N et tout a≥a0,
E
|Xn|pI(|Xn|p > a)
≤2p−1E
|Xn−X|pI(|Xn|p > a)
+ 2p−1E
|X|pI(|Xn|p > a)
≤. De plus, il est facile de voir que toute famille finie de variables aléatoires est équi-intégrable. C’est le cas pour (Xn: 1≤n≤N).
**********************
Exercice 1.5 (Lemme de Fatou)
si(fn) est une suite de fonctions measurables alors Z
liminfnfn≤liminfn Z
fn.
En déduire que si (An) est une suite d’événements alors limsupnP(An)≤P(limsupnAn), où on rappelle que limsupnAn=∩N ∪n≥N An.
**********************
Correction de l’exercice 1.5
1. Pour toutn∈N, on notegn= infp≥nfp. La suite(gn)est monotone et converge presque surement vers liminfnfn. Le théorème de convergence monotone donne :
limn
Z gn=
Z
limn gn= Z
liminfnfn. Par ailleurs, on a pour toutn∈N,
Z gn=
Z
p≥ninf fp≤ inf
p≥n
Z
p≥ninf fp.
Par convergence des deux membres, on peut passer à la limite et obtenir le résultat.
2. On utilise le lemme de Fatou pour fn = 1−1An = 1Acn. On a liminfnfn = 1liminfnAcn et liminfnAcnc
= limsupnAn donc
1−P[limsupnAn] =P[liminfnAcn]≤liminfnP[Acn].
**********************
Exercice 1.6 (lemmes de Borel-Cantelli)
1. Le premier lemme de Borel-Cantelli dit que si(An) est une suite d’événements telle que P
nP[An]<∞ alors P[limsupnAn] = 0.
2. Le deuxième lemme de Borel-Cantelli dit que si (An) est une suite d’événements indépendants tels que P
nP[An] =∞ alors P[limsupnAn] = 1.
**********************
Correction de l’exercice 1.6
1. On note Bn=∪p≥nAp. On a P[Bn]≤P
p≥nP[Ap]. Alors par hypothèse, P[Bn]
tend vers 0 en décroissant. Par convergence monotone, limnP[Bn] = P[limnBn] = P[infnBn] = P[liminfnAn].
Donc P[liminfAn] = 0.
2. Comme limsupnAn = liminfnAcnc
, il suffit de montrer que P[liminfnAcn] = 0. On note Bn =
∩p≥nAp. La suite (Bn) est croissante et converge presque surement vers liminfnAcn. Alors, par convergence monotone, P[Bn]
converge versP[liminfnAcn]. Par ailleurs, commelog(1−x)≤ −x pour x∈[0,1),
P[Bn] =P[∩p≥nAcp] = Πp≥nP[Acp] = Πp≥n 1−P[Ap]
= exp X
p≥n
log 1−P[Ap]
≤exp
−X
p≥n
P[Ap]
= 0.
On en déduit le résultat.
**********************
Exercice 1.7 (la loi du 0−1 de Kolmogorov)
Soit(σn)une suite de tribus indépendantes. La tribu asymptotique estσ∞=∩nσ
∪p≥nσp
. La loi du 0−1 de Kolmogorov dit que pour tout A∈σ∞, P[A]∈ {0,1}.
**********************
Correction de l’exercice 1.7 On noteαn=σ
∪p≥nσp
etβn=σ
∪p<nσp
. Les deux tribusαnet βnsont indépendantes. Comme σ∞⊂αn alorsσ∞ est indépendantes de βn pour tout n. Notamment, σ∞ est indépendante de ∪n∈Nβn et donc de σ
∪nβn
=σ
∪nσn
=α0. Or σ∞ ⊂α0 donc σ∞ est indépendante d’elle même. En particulier, si A∈σ∞ alorsP[A] =P[A]P[A]donc P[A]∈ {0,1}.
**********************
Exercice 1.8 (convergence en loi vers une constante)
La convergence en loi vers une constante implique la convergence en proba : On suppose Xn c alors (Xn) converge en probabilité vers c.
**********************
Correction de l’exercice 1.8 On peut démontrer que(Yn) converge en loi versY si et seulement si pour tout Borélien A PY-continue (càdP[∂A] = 0), on a PYn[A]→PY[A].
Soit >0. On aδc B(c, )
= 1. AlorsPXn
B(c, )
→δc(B(c, )) = 1. Donc P[|Xn−c| ≤]→1.
C’est donc une convergence en probabilité vers c.
**********************
Exercice 1.9 (convergence en probabilité et convergence p.s.)
Soit (Xn)n une suite de variables aléatoires réelles et X une variable aléatoire réelle.
L’objectif de cet exercice est de montrer le lien suivant entre convergence en probabilité et convergence presque sure : il y a équivalence entre :
a) (Xn)n converge en probabilité vers X,
b) toute sous-suite de (Xn)n admet une sous-suite qui converge p.s. versX.
Pour démontrer ce résultat, on va d’abord montrer l’équivalence suivante c) (Xn)n converge en probabilité,
d) (Xn)nest une suite de Cauchy en probabilité ; càd(Xn−Xm)n,mconverge en probabilité vers 0 quand n et m tendent vers +∞.
Pour démontrer que c) et d) sont équivalents, on procéde par étapes : 1) Montrer que c) implique d)
2) On suppose d).
2.1) En utilisant de lemme de Borel-Cantelli montrer qu’il existe une sous-suite de (Xn)n qui converge p.s.. On note par X sa limite.
2.2) En déduire que (Xn)n converge en probabilité vers X.
On montre maintenant l’équivalence entre c) et d).
3) On suppose a). En utilisant 2.1) montrer b).
4) On suppose b) et on raisonne par contraposé : on suppose que a) n’est pas vrai.
4.1) Ecrire la contraposé.
4.2) Obtenir une contradiction.
**********************
Correction de l’exercice 1.9
1) On suppose quec) est vrai. Pour tout >0 etn, m, on a
P[|Xn−Xm| ≥]≤P[|Xn−X| ≥/2] +P[|Xm−X| ≥/2].
Comme le membre de droite tend vers 0 quand n et m tendent vers +∞, on en déduit que le membre de droite tend aussi vers0 dans ce cas là, càd,d) est vrai.
2.1) Comme (Xn)n est une suite de Cauchy en probability, on peut construire par récurrence en commençant àn1 = 1, une suite strictement croissante d’entiers (nj)j telle que
P[|Xnj −Xnj+1|>2−j]<2−j. Comme P
jP[|Xnj−Xnj+1|>2−j]<∞, le lemmes de Borel-Cantelli dit queP[Ω0] = 0où Ω0 = lim sup
j→∞
{|Xnj−Xnj+1|>2−j}=∩j ∪k≥j
|Xnk−Xnk+1|>2−j .
Soit ω ∈ Ωc0. La suite (Xnj(ω))j est une suite (de nombres réels) de Cauchy car pour tout j suffisament grand et toutk > j, on a
|Xnk(ω)−Xnj(ω)| ≤X
p≥j
|Xnp(ω)−Xnp+1(ω)| ≤X
p≥j
1
2p = 2j−1.
Ainsi, par complétude de R, on en déduit qu’il existe X(ω) tel que (Xnj(ω))j converge vers X(ω). Ceci étant vrai pour toutω ∈Ωc0 etP[Ωc0] = 1, on en déduit que(Xnj)j converge presque surement.
2.2) On note par X la limite p.s. de (Xnj)j. Soit >0. On a
P[|Xn−X| ≥]≤P[|Xn−Xnj| ≥/2] +P[|Xnj−X| ≥/2].
Comme(Xnj)jconverge presque surement versX, elle converge aussi en probabilité doncP[|Xnj− X| ≥/2]tends vers 0quandj tends vers+∞. Par ailleurs,(Xn)nest de Cauchy en probability donc quand n et j tendent vers +∞, P[|Xn −Xnj| ≥ /2] tends vers 0. En en déduit que P[|Xn−X| ≥]tends vers0quandntends vers+∞, càd(Xn)n converge versXen probabilité.
3) On suppose que(Xn)n converge en probabilité versX. Soit(Xnj)j une sous suite. Elle converge donc aussi en probabilité versX. D’après 2.1), c’est aussi une suite de Cauchy en probabilité et donc elle admet une sous-suite qui converge presque surement vers X. Doncb) est vrai.
4.1) Dire que a) n’est pas vrai, c’est dire qu’il existe un > 0 et un δ > 0 et une sous-suite (nk)k d’entiers tels que pour tout k,
P[|Xnk−X| ≥]≥δ. (1) 4.2) D’un autre côté, b) est vrai donc (Xnk)k admet une sous-suite qui converge presque surement
vers X. Ceci contredit (1).
**********************
Exercice 1.10 (L’asymptotique normalité implique la converge en probabilité)
Soit (rn) une suite de réels positifs tendant vers +∞. Soit (ζn) une suite de v.a.r. telle que rn(ζn−µ) ζ. Alors (ζn) converge en probabilité vers µ.
**********************
Correction de l’exercice 1.10 On dit qu’une suite de v.a.r.(ζn) est tendue quand pour tout >0, il existe M >0 tel que pour tout n,P[|ζn| ≥M]≤. Si une suite converge en probabilité alors elle est tendue. (Car on peut approcher la fonction I(· ∈[−M, M])par une suite croissante de fonctions continues bornées). Alors (rn(ζn−µ)) est tendue. Soit > 0 etM >0 tels que supn∈NP[|ζn−µ| ≥ M/rn]≤. Ce qui implique la convergence en probabilité car (rn) tend vers+∞.
**********************
Exercice 1.11 (Loi conditionnelle)
Soit X une variable aléatoire qui suit une loi Gamma (2, λ) de densité f(x) =λ2xe−λx1[0,+∞)(x)
et soit Y une variable aléatoire dont la loi conditionnelle à X=x est uniforme sur [0, x]. 1. Donner la loi jointe de (X, Y).
2. Donner la loi marginale de Y et montrer que Y est indépendant de X−Y.
**********************
Correction de l’exercice 1.11
1. Soit f une fonction continue bornée sur R2. On a Ef(X, Y) =
Z
R
Z
R
f(x, y)dPY|X=x(y)
dPX(x)
= Z ∞
0
Z x
0
f(x, y)dy x
λ2xe−λxdx= Z
R2
f(x, y)1[0,x](y)1R+(x)λ2e−λxdxdy.
Donc la loi jointe du couple (X, Y) a une densité donnée pour toutx, y∈Rpar f(X,Y)(x, y) =1[0,x](y)1R+(x)λ2e−λx
2. La loi marginale de Y a pour densité : pour tout y∈R, fY(y) =
Z
R
f(X,Y)(x, y)dx=1y≥0
Z ∞ y
λ2e−λxdx=λe−λy1y≥0.
Soit f etg deux fonctions continues bornée. Un changement de variablex−y →tdonne Ef(Y)g(X−Y) =
Z
R2
f(y)g(x−y)1[0,x](y)1R+(x)λ2e−λxdxdy
= Z
R
f(y)1y≥0
Z ∞ y
g(x−y)λ2e−λxdx dy=
Z
R
f(y)1y≥0
Z ∞ 0
g(t)λ2e−λ(t+y)dt dy
= Z
R
f(y)1y≥0λe−λydy Z
R
g(t)1t≥0λe−λtdt
=Ef(Y)Eg(X−Y)
(pour avoir la loi deX−Y, il suffit de prendref ≡1dans le calcul précédent). DoncY etX−Y sont bien indépendants.
**********************
Exercice 1.12 (quartile)
Soit la loi de probabilité de densité f(x) = 2xI{0≤x≤1}.
1. Trouver les quartiles (y compris la médiane) de cette loi.
2. Considérons un échantillon i.i.d. (X1, . . . , Xn) de cette loi. Soit Fbn la fonction de répartition empirique associée. Donner la loi limite de√
n(Fbn(1/2)−1/4)/Fbn(3/4)quand n→ ∞., où Fbn est la fonction de répartition empirique.
**********************
Correction de l’exercice 1.12 1. q1/4 = 1/2,q1/2= 1/√
2etq3/4 =√ 3/2 2. Le tCL donne :
√n Fbn(1/2)−F(1/2)
N(0, F(1/2)(1−F(1/2)))
et la LFGN : Fbn(3/4)−→p.s. F(3/4). Comme F(1/2) = 1/4 etF(3/4) = 9/16, on obtient
√n Fbn(1/2)−F(1/2)
Fbn(3/4) N 0,16 27
**********************
Exercice 1.13 (Médiane et moyenne)
Soit X une variable aléatoire réelle. On rappelle que la médiane de X est définie par med(X) = inf (t∈R:P(X≥t)≥1/2).
L’objectif de cet exercice est de montrer que si X∈Lp pour un certain p≥1 alors
|med(X)−EX| ≤(2E|X−EX|p)1/p. (2) 1) Montrer que
min (P(X≥med(X)),P(X ≤med(X)))≥1/2.
2) On suppose que X∈Lp pour un certain p≥1. Montrer que pour tout β ∈R,
|med(X)−β|p
2 ≤ |med(X)−β|pmin (P(X≥med(X)),P(X≤med(X)))≤E[|X−β|p].
En déduire le résultat annoncé dans (2).
**********************
Correction de l’exercice 1.13 1) On montre d’abord que P[X ≥med(X)] ≥1/2. Par définition de med(X) il existe un suite (tn)n décroissante vers med(X) telle que pour tout n,P[X ≥ tn]≥1/2.
On note An = (−∞, tn] pour tout n. La suite (An)n est une suite d’événements décroissante vers (−∞,med(X)] alors (PX[An])n décroît vers PX[(−∞,med(X)]] =FX(med(X)) où on note PX la loi de X etFX sa fonction de répartition. On a alors par passage à limite FX(med(X))≥1/2.
Montrons queP[X≤med(X)]≥1/2. Par définition demed(X), on sait que pour toutt <med(X), on aFX(t)<1/2et doncPX[[t,+∞)]≥1/2. Si(tn)nest une suite croissante versmed(X)alors(Bn)n, où Bn = [tn,+∞), est une suite décroissante vers B = [med(X),+∞) ainsi (PX[Bn])n décroît vers PX[B]et par passage à la limite PX[B]≥1/2. Autrement ditP[X≥med(X)]≥1/2.
2)L’inégalité de gauche est une application directe de 1). Pour l’inégalité de droite, on a E|X−β|p=
Z ∞ 0
P[|X−β|p ≥t]dt≥
Z |med(X)−β|p 0
P[|X−β|p≥t]dt
≥ |med(X)−β|pP
|X−β| ≥ |med(X)−β| .
On voit que |X−β| ≥ |med(X)−β| si et seulement si X ≥ max(med(X),2β−med(X)) ou X ≤ min(med(X),2β−med(X)). On étudie ensuite les deux cas2β−med(X)≥med(X)ou2β−med(X)≤ med(X)et on voit que dans chaque cas on a bien
P
|X−β| ≥ |med(X)−β|
≥min (P(X ≥med(X)),P(X≤med(X))).
**********************
Exercice 1.14 (fonction quantile pour v.a. à densité)
Si X est une variable aléatoire réelle et α ∈ (0,1). Le quantile de X d’ordre α est défini par
QX(α) = inf x∈R:P[X≤x]≥α
(3) et la fonction QX : (0,1)7→R est appelée fonction quantile.
1) Montrer que le quantile d’ordre α de X vérifie
P[X≤QX(α)]≥α. (4)
2) Soit X est une variable aléatoire réelle admettant une densité fX, par rapport à la mesure de Lebesgue, portée par un intervalle I de R: i.e.fX est strictement positive sur I et nulle en dehors de I. Montrer que :
2.1) la fonction de répartition FX de X est inversible sur I,
2.2) sa fonction réciproque FX−1 est continue sur (0,1), 2.3) et QX(α) =FX−1(α) pour tout α∈(0,1).
**********************
Correction de l’exercice 1.14 1) On pose FX : t ∈ R → P[X ≤ t] la fonction de réparti- tion de X. Soit (qn)n une suite décroissante convergeant vers QX(α) telle que FX(qn) ≥ α pour tout entier n. On pose An = (−∞, qn]. On a (An)n est une suite décroissante d’événements telle que ∩nAn = (−∞, QX(α)] et donc (PX[An])n décroît vers PX((−∞, QX(α)]). Comme pour tout n,PX[An] =FX(qn)≥α, on a aussiFX(QX(α))≥α.
2.1)CommeX admet une densité par rapport à la mesure de Lebesgue, sa fonction de répartition FX est continue sur R, de classe C1 sauf en un nombre fini de points et FX0 = fX en dehors de ces points. CommefX(x)>0pour toutx∈I, queFX0 est continue et coïncide avecfX sauf en un nombre fini de point, on a que FX est strictement croissante sur I et elle y est donc inversible.
2.2)Montrons que FX−1 est continue sur (0,1). On montre qu’elle est continue à droite (la preuve de la continuité à gauche est identique). Soit α ∈ (0,1) et (αn)n une suite d’éléments de (0,1) qui décroît vers α. Montrons que (FX−1(αn))n tends vers FX−1(α). On posexn=FX−1(αn) etx =FX−1(α).
On aFX(xn) =αnetFX(x) =α, alors(FX(xn))ndécroît versFX(x). CommeFX est croissante, on a que (xn)est une suite d’éléments du compact [x, x0], elle admet donc une sous-suite qui converge. On note (xφn)n une sous-suite convergeant vers x0. Par continuité de FX, on a (FX(xφn))n qui converge vers FX(x0). Mais on sait aussi que (FX(xφn))n converge vers FX(x) donc FX(x) = FX(x0) alors par injectivité, on a x0 =x. Ceci étant vrai pour toute sous-suite convergente de (xn), on en déduit que (xn)n converge vers xet donc FX−1 est continue à droite. De mêmeFX−1 est continue à gauche et donc FX−1 est continue.
2.3)Soit α ∈ (0,1). Montrons que QX(α) = FX−1(α). On sait déjà que FX(QX(α)) ≥ α d’après (25). Comme FX est croissante et queFX(FX−1(α)) =α, on en déduit que QX(α)≥FX−1(α). Comme FX(FX−1(α)) =αon a par définition deQX(α)queQX(α)≤FX−1(α). On en déduit donc queQX(α) = FX−1(α).
2 Vraisemblance, EMV, IC, Information de Fisher
**********************
Exercice 2.1 (Les statistiques d’ordre)
Soient X1, . . . , Xn des variables aléatoires i.i.d. de fonction de répartition F. On suppose que F admet une densité f par rapport à la mesure de Lebesgue. On note X(1) ≤X(2) ≤ . . .≤X(n) les variables aléatoires X1, . . . , Xn réordonnées par ordre croissant.
1. Donner l’expression de la loi de la statistique d’ordre (X(1), . . . , X(n)) en fonction de f.
2. Déterminer la fonction de répartitionFk(x) puis la densité fk(x) de X(k).
3. Sans utiliser les résultats des questions précédentes, calculer les fonctions de répar- tition de X(1), X(n), du couple (X(1), X(n))et la loi de la statistique W =X(n)−X(1) (on
appelle W étendue). Les variables X(1) et X(n) sont–elles indépendantes ?
**********************
Correction de l’exercice 2.1
1. Comme les Xi ont des densités par rapport à Lebesgues, on aXi6=Xj λ−p.p.. Alors p.p.
f(X(1), . . . , X(n)) = X
σ∈P(n)
f(Xσ(1), . . . , Xσ(n))I(Xσ(1)<· · ·< Xσ(n)).
Soitσ∈ P(n). Comme lesXi sont i.i.d., on voit que(Xσ(1), . . . , Xσ(n))>∼(X1, . . . , Xn)>. Alors, pour tout f ∈ Cb(Rn),
Ef(Xσ(1), . . . , Xσ(n))I(Xσ(1) <· · ·< Xσ(n)) =Ef(X1, . . . , Xn)I(X1<· · ·< Xn)
= Z
Rn
f(x1, . . . , xn)
Πni=1f(xi)
I(x1<· · ·< xn)dx1· · ·dxn.
On en déduit que la loi de (X(1), . . . , X(n)) admet une densité par rapport à Lebesgue donnée par
f(x1, . . . , xn) =n!
Πni=1f(xi)
I(x1 <· · ·< xn).
2. On calcul la fonction de répartition de X(k). Soit t∈ R, P[X(k)≤t] =P
∃I ⊂ {1, . . . , n}:|I| ≥k,∀i∈I, Xi ≤t
=P[M ≥k]
où M =Pn
i=1I(Xi ≤t) est une multinomiale de paramétren etP[X1≤t] =F(t). On a donc P[X(k) ≤t] =
n
X
j=k
n j
!
F(t)j(1−F(t))n−j.
Comme F est absoluement continue la cdf de X(k) l’est aussi. DoncX(k) admet une densité par rapport à Lebesgues donnée par :
f(t) =
n
X
j=k
n j
!
jf(t)F(t)j−1(1−F(t))n−j+ (n−j)F(t)j(−f(t))(1−F(t))n−j−1
= n!
(k−1)!(n−k)!F(t)k−1(1−F(t))n−k. 3. La fonction de répartition de X(1) vérifie :
1−FX(1)(t) =P[X(1)> t] =P[X1 > t, . . . , Xn> t] =
P[X1 > t]n
= 1−F(t)n
. La fonction de répartition de X(n) est donnée par :
FX(n)(t) =P[X(n) ≤t] =P[X1 ≤t, . . . , Xn≤t] =
P[X1 ≤t]n
= F(t)n
.
Pour la fonction de répartition du couple(X(1), X(n)), on calcul la répartition du couple(X(1), X(n)) dans le quadrant inférieur droit. On a pour toutx, y réels :
P[X(1) > x, X(n)≤y] =P[x < X1 ≤y, . . . , x < Xn≤y]
=
P[x < X1≤y]
n
=I(x≤y) F(y)−F(x)n
.
On a :
P[X(1) > x, X(n)≤y] +P[X(1)≤x, X(n) ≤y] =P[X(n)≤y] =F(y)n. Alors,
F(x, y) =P[X(1)≤x, X(n) ≤y] =F(y)n−I(x≤y) F(y)−F(x)n
. La densité de (X(1), X(n)) est donnée par
f(x, y) = ∂2F
∂x∂y(x, y) =n(n−1)I(x≤y)f(x)f(y) F(y)−F(x)n−2
.
La loi de la statistique W =X(n)−X(1) est donnée par ce qui suit. Soit f ∈ Cb(R), on a Ef(W) =
Z
R2
f(y−x)dP(X(1),X(n))(x, y)
=n(n−1) Z
R2
f(y−x)I(x≤y) F(y)−F(x)n−2
dxdy
= Z ∞
0
f(u)
n(n−1) Z
R
F(u+x)−F(x)n−2
dx
du.
AlorsW a pour densité
u7→I(u≥0)n(n−1) Z
R
F(u+x)−F(x)n−2
dx.
Les variables X(1) etX(n) sont indépendantes si et seulement si pour tout x ety, on a F(y)n−I(x≤y) F(y)−F(x)n
=P[X(1) ≤x, X(n)≤y]
=P[X(1) ≤x]P[X(n)≤y] =
1−(1−F(x))n F(y)n. Il faut doncI(x≤y) F(y)−F(x)n
= F(y)−F(y)F(x)n
pour toutx, y. Ce qui n’est pas vrai en générale.
**********************
Exercice 2.2 (Estimateur de la variance)
Soient X1, . . . , Xn des variables aléatoires i.i.d., Xi ∼ f(· −θ), où f est une densité de probabilité sur R symétrique dont on note µk =R
Rxkf(x)dx les moments d’ordre k= 2 et k = 4. On note X¯n = n1 Pn
i=1Xi. Montrer que l’estimateur n1Pn
i=1(Xi−X¯n)2 de la variance des Xi vérifie un théorème central limite.
Indication : on montrera d’abord que l’on peut se ramener au cas où θ = 0, puis on exprimera l’estimateur comme une transformation de Sn= 1nPn
i=1Xi2 et de X¯n.
**********************
Correction de l’exercice 2.2 On commence par quelques remarques préliminaires : a) Commen−1Pn
i=1(Xi−X¯n)2est invariant par translation desXiet que siX∼f(·−θ)etY ∼f(·) alors X ∼Y +θ, on peut donc supposer que θ= 0. Notamment comme f est symmétrique, on a EXi = 0,∀i.
b) On note ˆσn2 :=n−1Pn
i=1(Xi−X¯n)2. On a : ˆ
σn2 = 1 n
n
X
i=1
Xi2−1 n
n
X
i=1
Xi2
=X2n−Xn.
(On écrit σˆn2 =EI XI−EIXI2
.)
c) On remarque d’abord queσˆn2 n’est pas un estimateur sans biais de la variance : Eˆσn2 =EX2−E
1 n
n
X
i=1
Xi
2
=EX2− 1 n2
X
i,j
EXiXj
=
1− 1 n
EX2− EX2
= n−1
n var(X).
Par la LFGN, la suite (ˆσ2n) converge presque surement vers σ2. On considère la décomposition suivante :
√n σˆn2−σ2
=√
n X2n−EX2
−√
n X¯n2
.
Par le TCL, on a :
√n X2n−EX2
N 0,E X2−EX22
etE X2−EX22
=µ4−µ22. Par ailleurs, √
nX¯n
converge en loi vers une Gaussienne et( ¯Xn)converge en probabilité vers0. Alors d’après Slutsky, √
n X¯n2
converge en loi vers 0, elle converge donc aussi en probabilité vers 0. On applique une seconde fois Slutsky : √
n X2n−EX2
converge en loi vers N 0,E X2−EX22
√ et
n X¯n2
converge en probabilité vers0. On en déduit que
√n σˆ2n−σ2
N 0,E X2−EX22 .
**********************
Exercice 2.3 (Stabilisation de la variance)
On dispose d’un échantillon X1, . . . , Xn i.i.d. de loi de Bernoulli de paramètre 0< θ <1.
1. On note X¯n la moyenne empirique des Xi. Appliquer la loi forte des grands nombres et le TCL dans ce modèle.
2. Cherchez une fonctiongtelle que√
n(g( ¯Xn)−g(θ))converge en loi versZ de loi N(0,1).
3. On note zα le quantile d’ordre 1−α/2 de la loi normale standard. En déduire un intervalle de confiance Iˆn,α fonction de zα, n,X¯n tel que limn→∞P(θ∈Iˆn,α) = 1−α.
**********************
Correction de l’exercice 2.3 1. La LFGN dit que X¯n
converge presque surement versEX1=θ. Le TCL dit que (√
n/σ) ¯Xn− EX
converge en loi vers une Gaussienne centrée réduite où σ =p
θ(1−θ).
2. D’après le TCL :
√n X¯n−θ σg.
On dit que X¯n est asymptotiquement normale de moyenne θ et de variance asymptotique σ2. On peut alors appliquer la Proposition 1.10 (Méthode delta) du cours (en fait, on applique une version plus faible de ce résultat qu’on peut trouver page 26 au théorème 3.1 de [van der Vaart, asymptotic Statistics]) : si(ζn)est asymptotiquement normale de moyenne asymptotiqueθet de variance asymptotique σ2 et si g:D ⊂R7→Rest une fonction différentiable en θ, alors (g(ζn)) est aussi asymptotiquement normale et on a :
√n g(ζn)−g(θ)
N(0, σ2 g0(θ)2
). (5)
Dans notre cas, on cherche à trouvergtel que(g( ¯Xn))est asymptotiquement normal de moyenne asymptotique0et de variance asymptotiqueθ(1−θ) g0(θ)2
= 1. On est donc amener à résoudre l’équation :
∀θ∈(0,1), g0(θ) = 1 pθ(1−θ).
L’ensemble des solutions de cette équation est donnée, à une constante absolue additive près, par g :θ ∈ [0,1] 7→ 2arcsin(√
x) (on rappel que (arcsinx)0 = (1−x2)−1/2,∀x ∈ [−1,1]). Cette fonction est continûment différentiable en tout θ ∈ (0,1), alors d’après Proposition 1.10 (voir (5)), on a
√n g( ¯Xn)−g(θ)
N(0,1).
(On rappelle que g a été choisit tel que θ(1−θ) g0(θ)2
= 1 pour toutθ∈(0,1)).
3. Pour tout α[0,2], le quantile d’ordre 1−α/2 de la gaussienne est l’unique réel tel que P[g ∈ (−∞, qα] = 1−α/2. On a
P
θ∈Iˆn,α
=P h
√n g( ¯Xn)−g(θ) ≤zαi
−→P[g∈[−zα, zα]] = 1−α pour
Iˆn,α =h sin2
g( ¯Xn)− zα
√n
,sin2
g( ¯Xn) + zα
√n i
**********************
Exercice 2.4 (Modèle probit)
Nous disposons d’une information relative au comportement de remboursement ou de non-remboursement d’emprunteurs :
Yi =
( 1 si l’emprunteur irembourse, 0 si l’emprunteur i est défaillant.
Afin de modéliser ce phénomène, on suppose l’existence d’une variable aléatoire Yi∗ nor- male, d’espérance m et de variance σ2, que l’on appellera « capacité de remboursement de l’individu i», telle que :
Yi =
( 1 si Yi∗>0, 0 si Yi∗≤0.
On note Φ la fonction de répartition de la loi normale N(0,1).
1. Exprimer la loi deYi en fonction de Φ.
2. Les paramètres m et σ2 sont-ils identifiables ?
**********************
Correction de l’exercice 2.4
1. On calcul la loi de Y tel queY = 1quand Y∗ ≥0 et Y = 0 quand Y∗ <0 où Y∗ ∼ N(m, σ2).
La loi deY est donnée parP[Y∗≥0]δ1+P[Y∗ <0]δ0. On note parϕla densité d’une gaussienne N(0,1), en particulier, on aΦ(x) =Rx
−∞ϕ(t)dt. Le changement de variable(x−m)/σ→tdonne P[Y∗ <0] =
Z 0
−∞
ϕx−m σ
dx σ =
Z −m/σ
−∞
ϕ(t)dt= Φ−m σ
.
La loi deY est donc(1−Φ(−m/σ2))δ1+ Φ(−m/σ2)δ0.
2. Les paramétres m et σ2 ne sont pas identifiable vu que n’importe quels couples (m1, σ21) et (m2, σ22) tels quem1/σ12 =m2/σ22 donne la même loi pourY.
**********************
Exercice 2.5 (Répartition de génotypes dans une population)
Quand les fréquences de gènes sont en équilibre, les génotypes AA, Aa et aa se mani- festent dans une population avec probabilités (1−θ)2, 2θ(1−θ) et θ2 respectivement, où θ est un paramètre inconnu. Plato et al. (1964) ont publié les données suivantes sur le type de haptoglobine dans un échantillon de 190 personnes :
Type de haptoglobine Hp-AA Hp-Aa Hp-aa
effectifs 10 68 112
1. Comment interpréter le paramètre θ? Proposez un modèle statistique pour ce pro- blème.
2. Calculez l’estimateur du maximum de vraisemblance θˆn de θ.
3. Donnez la loi asymptotique de √
n(ˆθn−θ).
4. Proposez un intervalle de confiance de niveau asymptotique 95% pour θ.
**********************
Correction de l’exercice 2.5
1. On propose deux modèlisations pour ces données. Seule la deuxième sera utilisée pour le traite- ment mathématique du problème.
Modèle 1 : On modèlise ce problème par une famille de ncouples(δ1(1), δ1(2)), . . . ,(δn(1), δn(2)) où les δi(j), i= 1, . . . , n, j = 1,2 sont i.i.d. Bernoulli sur {A, a} de paramétre θ. On dit queδ(j)i =a quand l’alléle a est présent chez l’individu i au gène numéro 2. On a donc bien le probabilités du génotype AA qui est (1−θ)2, Aa qui est de probabilité 2θ(1−θ) et aa qui est θ2. Dans ce modèle θest la probabilité d’avoir l’alléle apour chacun des deux gènes.
Modèle 2 : On peut modèliser ce problème par une famille denvariables aléatoiresX1, . . . , Xn i.i.d. à valeurs dans {AA, Aa, aa} telles que P[X =AA] = (1−θ)2, P[X =Aa] = 2θ(1−θ) et P[X =aa] =θ2. On choisit ce modèle pour la suite. On peut voir que X ={δ(1), δ(2)}. Donc θ s’interprète comme étant la probabilité d’avoir l’alléle apour chacun des deux gènes.
2. Dans le modèle 2, la loi de X est Pθ = (1−θ)2δAA + 2θ(1−θ)δAa +θ2δaa, elle admet une densité fθ par rapport à la mesureδAA+δAa+δaa qui est définie sur {AA, Aa, aa} donnée par fθ(AA) = (1−θ)2,fθ(Aa) = 2θ(1−θ) etfθ(aa) =θ2. La Log-vraisemblance est donnée par
L:θ∈(0,1)7−→
n
X
i=1
logfθ(Xi)
=Nn(AA) log[(1−θ)2] +Nn(Aa) log[2θ(1−θ)] +Nn(aa) log[θ2]
oùNn()est le nombre de génotypesdans l’échantillon{X1, . . . , Xn}. On a pour toutθ∈(0,1), L0(θ) = 2n
θ − 1
θ(1−θ)
2Nn(AA) +Nn(Aa) .
Alors l’estimateur du maximum de vraisemblance est donné par θˆn= 1− 1
2n
2Nn(AA) +Nn(Aa) .
Ici, on a θˆn= 1−22/95≈0.77.
3. On peut appliquere le TCL ou la méthode générale du cours sur la normalité asymptpotique des EMV. Pour le TCL, on a directement que
√n θ−θˆn
=√ n1
n
n
X
i=1
I(Xi =AA) + (1/2)I(Xi=Aa)
−(1−θ)
N
0,θ−θ2 2
car
E I(X =AA) + (1/2)I(Z =Aa)
= (1−θ)2+θ(1−θ) = 1−θ et
E I(X=AA) + (1/2)I(Z =Aa)2
= 1− 3θ 2 +θ2
2 alors
var(I(X=AA) + (1/2)I(Z =Aa)) = θ−θ2 2 .
4. On applique la méthode Delta. On chercher une fonction g telle que pour toutθ∈(0,1), on a : g0(θ)2θ−θ2
2 = 1 alorsg(θ) = 2√
2arcsin(√
θ). On applique la méthode Delta :(√
n(g(ˆθn)−g(θ))) converge en loi versN(0,1). Alors siP[|G| ≤zα] = 1−α, oùGest Gaussienne Standard, on aura, quandntend vers ∞,
P
hθˆn∈g−1
g(θ)−zα/√
n, g(θ) +zα/√ ni
→1−α.
**********************
