Statistique inf´erentielle Convergence de suites de variables al´eatoires

Convergence de suites de variables al´eatoires

A. Godichon-Baggioni

I. Rappels de probabilit´es

F ONCTIONS DE R EPARTITION ´

Soit (Ω, F, P ) un espace probabilis´e et X : Ω −→ R une variable al´eatoire. La fonction de r´epartition F X : R −→ [ 0 , 1 ] de X est d´efinie pour tout x ∈ R par

F X ( x ) = P [ X ≤ x ] .

Elle est croissante, continue `a droite et

x→−∞ lim F X (x) = 0 ,

x→+∞ lim F X ( x ) = 1 .

E XEMPLES :

1. Si X suit une loi de Bernoulli de param`etre p,

F X (x) =







0 si x < 0 1 − p si 0 ≤ x < 1 1 si x ≥ 1 2. Si X suit une loi uniforme sur [ 0 , 1 ] ,

F X ( x ) =







0 si x < 0 x si 0 ≤ x ≤ 1 1 si x ≥ 1 3. Si X suit une loi normale centr´ee r´eduite,

F X ( x ) = Z x

−∞

√ 1 2 π e ⁻

2 2

dt .

−1.0 0.0 0.5 1.0 1.5 2.0

0.00.20.40.60.81.0

−1.0 0.0 0.5 1.0 1.5 2.0

0.00.20.40.60.81.0

−4 −2 0 2 4

0.00.20.40.60.81.0

F IGURE – Fonctions de r´epartition d’une loi de Bernoulli de param`etre

p = 0.75 (`a gauche), d’une loi uniforme (au centre) et d’une loi

normale centr´ee r´eduite (`a droite).

II. Modes de convergence

C ONVERGENCES DE VARIABLES AL EATOIRES ´

On consid`ere une suite de variables al´eatoires (X n ) et on s’int´eresse `a ses diff´erents modes de convergence, i.e

I Convergence en loi

I Convergence en probabilit´e I Convergence presque s ˆure

I Convergence en moyenne quadratique

C ONVERGENCE EN LOI

D´efinition

Soit (X n ) une suite de variables al´eatoires. On dit que (X n ) converge en loi vers une variable al´eatoire X et on note

X n

− −−−− L →

n→+∞ X

si pour toute fonction continue born´ee ϕ, on a E [ϕ ( X n )] − −−−− →

n→+∞ E [ϕ ( X )] .

De mani`ere ´equivalente, on dit que (X n ) converge en loi vers X si pour toute fonction uniform´ement continue et born´ee ϕ, on a

E [ϕ (X n )] − −−−− →

n→+∞ E [ϕ (X)] .

E XEMPLES

Exemple 1 : Soit ( X n ) une suite de variables al´eatoires telle que pour tout n ≥ 1, X n ∼ B

p + ^1−p _n , alors

X n

− −−−− L →

n→+∞ X ∼ B( p ).

Exemple 2 : Soit (X n ) une suite de variables al´eatoires telle que pour tout n ≥ 1, X n = −X, o `u X ∼ N (0, 1), alors

X n

−−−→ L n→∞ X .

Exemple 3 : Soit (X n ) une suite de variables al´eatoires telle que pour tout n ≥ 1, X n ∼ N 0 , σ ² + ¹ _n

, alors X n

− −−−− L →

n→+∞ X ∼ N 0 , σ ²

C ONVERGENCE EN LOI

Proposition

Soit ( X n ) une suite de variables al´eatoires. X n converge en loi vers une variable al´eatoire X si et seulement si en tout point de continuit´e x de la fonction de r´epartition F X de X on a

F X

( x ) − −−−− →

n→+∞ F X ( x ).

E XEMPLES

Exemple 1 : Soit ( X n ) une suite de variables al´eatoires telle que pour tout n ≥ 1, X n ∼ B

p + ^1−p _n , alors

X n

− −−−− L →

n→+∞ X ∼ B( p ).

Exemple 2 : Soit (X n ) une suite de variables al´eatoires telle que pour tout n ≥ 1, X n = −X, o `u X ∼ N (0, 1), alors

X n

−−−→ L n→∞ X .

Exemple 3 : Soit (X n ) une suite de variables al´eatoires telle que pour tout n ≥ 1, X n ∼ N 0 , σ ² + ¹ _n

, alors X n

− −−−− L →

n→+∞ X ∼ N 0 , σ ²

C ONVERGENCE EN LOI Corollaire

Soient ( X n ) une suite de variables al´eatoires et X une variable al´eatoire telles que X n , X sont absolument continues de densit´es f n , f , alors X n converge en loi vers X si et seulement si pour tout x ∈ R,

f n ( x ) − −−−− →

n→+∞ f ( x ).

Exemple 2 : Soit ( X n ) une suite de variables al´eatoires telle que pour tout n ≥ 1, X n = − X, o `u X ∼ N ( 0 , 1 ) , alors

X n

−−−→ L n→∞ X.

Exemple 3 : Soit ( X n ) une suite de variables al´eatoires telle que pour tout n ≥ 1, X n ∼ N 0 , σ ² + ¹ _n

, alors X n

− −−−− L →

n→+∞ X ∼ N 0, σ ²

C ONVERGENCE EN LOI

Soit X une variable al´eatoire, on rappelle que sa fonction caract´eristique Φ _X est d´efinie pour tout t par

Φ _X ( t ) = E e ^itX

.

Proposition

Soit (X n ) une suite de variables al´eatoires, X n converge en loi vers X si et seulement si pour tout t ∈ R,

Φ _X

( t ) − −−−− →

n→+∞ Φ _X ( t ).

E XEMPLE : LANCERS DE PI ECE `

On rappelle que X i vaut 1 si le i-`eme lancer veut ”Pile” et 0 sinon, et on a donc X i ∼ B(θ). Un estimateur naturel de θ est

θ ˆ _n = 1 n

n

X

i=1

X i

alors

θ ˆ _n − −−−− ^L →

n→+∞ θ.

C ONVERGENCE EN PROBABILIT E ´

D´efinition

Soit ( X n ) une suite de variables al´eatoires. On dit que ( X n ) converge en probabilit´e vers X et on note

X n − −−−− P →

n→+∞ X

si pour tout > 0,

P [|X n − X| > ] − −−−− →

n→+∞ 0.

Exemple : Soit (X n ) une suite de variables al´eatoires, avec pour tout n ≥ 1, X n ∼ B ^p _n

, o `u p ∈ (0, 1), alors X n P

− −−−− →

n→+∞ 0.

C ONVERGENCE EN LOI V S C ONVERGENCE EN PROBABILIT E ´

Proposition

Soit (X n ) une suite de variables al´eatoires. Si (X n ) converge en probabilit´e vers une variable al´eatoire X, alors (X n ) converge en loi vers X.

Attention ! La r´eciproque est g´en´eralement fausse !

Contre-exemple : Soit (X n ) une suite de variables al´eatoires, avec X n = −X, o `u X ∼ N (0, 1).

Proposition

Soit ( X n ) une suite de variables al´eatoires. Si ( X n ) converge en loi

vers une constante c, alors ( X n ) converge en probabilit´e vers c.

C ONVERGENCE PRESQUE S URE ˆ

D´efinition

Soit ( X n ) une suite de variables al´eatoires. On dit que ( X n ) converge presque s ˆurement vers X et on note

X n

− −−−− p.s →

n→+∞ X

si P

n→+∞ lim X n = X

= P

ω ∈ Ω; lim

n→+∞ X n (ω) = X (ω)

= 1 .

C ONVERGENCE PRESQUE S URE ˆ V S CONVERGENCE EN PROBABILIT E ´

Proposition

Soit ( X n ) une suite de variables al´eatoires. Si ( X n ) converge presque s ˆurement vers une variable al´eatoire X, alors ( X n ) converge en probabilit´e vers X.

Attention ! La r´eciproque est g´en´eralement fausse !

Contre-exemple : Soit X une variable al´eatoire suivant une loi

uniforme sur [ 0 , 1 ] et la suite d’´ev`enements ( A n ) d´efinie par

A 1 = { X ∈ [ 0 , 1 ]} , A 2 = { X ∈ [ 0 , 1 / 2 ]} , A 3 = { X ∈ [ 1 / 2 , 1 ]} ,

A 4 = { X ∈ [ 0 , 1 / 4 ]} ,... Alors Y n = 1 A

converge en probabilit´e

vers 0 mais ne converge pas presque s ˆurement.

C ONVERGENCE PRESQUE S URE ˆ V S CONVERGENCE EN PROBABILIT E ´

Application du lemme de Borell-Cantelli : Si pour tout > 0, X

n≥1

P [|X n − X| ≥ ] < +∞, alors ( X n ) converge presque s ˆurement vers X.

Exemple : Soit ( X n ) une suite de variables al´eatoires telle que pour tout n ≥ 1,

P [ X n = 0 ] = 1 − 1

n ² et P [ X n = n ] = 1

n ² .

C ONVERGENCE EN MOYENNE QUADRATIQUE

D´efinition

Soit ( X n ) une suite de variables al´eatoires de carr´e int´egrable. On dit que ( X n ) converge en moyenne quadratique vers X et on note

X n L

− −−−− →

n→+∞ X

si

E

h |X n − X| ² i

− −−−− →

n→+∞ 0 .

Exemple : lancer de pi`ece θ ˆ _n converge en moyenne

quadratique vers θ .

C ONVERGENCE EN MOYENNE QUADRATIQUE V S CONVERGENCE EN PROBABILIT E ´

Proposition

Soit (X n ) une suite de variables al´eatoires. Si (X n ) converge en moyenne quadratique vers une variable al´eatoire X, alors (X n ) converge en probabilit´e vers X.

Attention ! La r´eciproque est g´en´eralement fausse ! Contre-exemple : Soit (X n ) la suite de variables al´eatoires d´efinie pour tout n ≥ 1 par

P [ X n = 0 ] = n − 1

n , P [ X n = n ] = 1

n .

R ´ ESUM E ´

X n

− −−−− p.s →

n→+∞ X = ⇒ X n − −−−− P →

n→+∞ X = ⇒ X n

− −−−− L →

n→+∞ X

X n L

− −−−− →

n→+∞ X = ⇒ X n − −−−− P →

n→+∞ X = ⇒ X n

− −−−− L →

n→+∞ X

Remarque : Il n’y a pas d’implication ”g´en´erale” entre

convergence presque s ˆure et convergence en moyenne

quadratique.

C ONTRE - EXEMPLES

Contre-exemple 1 : moyenne quadratique ⇒ presque s ˆure.

Soit X une variable al´eatoire suivant une loi uniforme sur [ 0 , 1 ] et la suite d’´ev`enements ( A n ) d´efinie par A 1 = { X ∈ [ 0 , 1 ]} , A 2 = { X ∈ [ 0 , 1 / 2 ]} ..., et on consid`ere la suite Y n = 1 A

. Contre-exemple 2 : presque s ˆure ⇒ moyenne quadratique.

On consid`ere une suite de variables al´eatoires ( X n ) telle que pour tout n ≥ 1,

P [ X n = 0 ] = 1 − 1

n ² et P [ X n = n ] = 1

n ² .

III.In´egalit´es classiques

I N EGALIT ´ E DE ´ M ARKOV

Proposition (In´egalit´e de Markov)

Soient c, p > 0 et X une variable al´eatoire admettant un moment d’ordre p, on a

P [| X | ≥ c ] ≤ E

| X | ^p

c ^p .

I N EGALIT ´ E DE ´ B IENAYM E ´ -T CHEBYCHEV

Corollaire (In´egalit´e de Bienaym´e-Tchebychev)

Soit c > 0 et X une variable al´eatoire admettant un moment d’ordre 2, alors

P [| X − E [ X ]| ≥ c ] ≤ V [ X ] c ² .

Exemple : lancer de pi`ece : On a pour tout > 0,

P h

θ ˆ _n − θ ≥ i

≤ θ(1 − θ)

² n .

I N EGALIT ´ ES DE ´ C AUCHY -S CHWARZ

Th´eor`eme (In´egalit´e de Cauchy-Schwarz)

Soit X , Y deux variables al´eatoires admettant un moment d’ordre 2.

Alors

E [|XY|] ≤ q

E [ X ² ] E [ Y ² ].

Exemple : Soit (X n ) , (Y n ) deux suites d’estimateurs convergeant en moyenne quadratique vers 0. On suppose qu’ils convergent ´egalement `a l’ordre 4, i.e ils admettent des moments d’ordre 4 et

E

h |X n − x| ⁴ i

− −−−− →

n→+∞ 0 et E

h |Y n − y| ⁴ i

− −−−− →

n→+∞ 0.

Alors X n Y n converge en moyenne quadratique vers xy.

I N EGALIT ´ E DE ´ H ¨ OLDER

Th´eor`eme (In´egalit´e de H ¨older)

Soit X , Y deux variables al´eatoires, et p , q > 1 tel que ¹ _p + ¹ _q = 1. Si X admet un moment d’ordre p et si Y admet un moment d’ordre q, alors

E [|XY|] ≤ ( E [|X| ^p ])

( E [|Y| ^q ])

.

Exemple 1 : Si X admet un moment d’ordre r, alors pour tout r ⁰ ∈ ( 0 , r) ,

E h |X| ^r

i

≤ ( E [|X| ^r ])

0 r

.

Exemple 2 : Soit ( X n ) , ( Y n ) deux suites d’estimateurs o `u X n

converge `a l’ordre r vers 0, avec 2 < r < 4, et Y n converge `a

l’ordre _r−2 ^2r vers 0.

IV. Th´eor`emes asymptotiques

L OI FAIBLE DES G RANDS N OMBRES

Soit X 1 , . . . , X n des variables al´eatoires ind´ependantes et identiquement distribu´ees, on note

S n =

n

X

i=1

X i .

Th´eor`eme (Loi faible des Grands Nombres)

Soient X 1 , . . . , X n des variables al´eatoires ind´ependantes et

identiquement distribu´ees admettant une moyenne m = E [ X 1 ] , alors S n

n

− −−−− P →

n→+∞ m .

L OI F ORTE DES G RANDS N OMBRES

Th´eor`eme (Loi Forte des Grands Nombres)

Soient X 1 , . . . , X n des variables al´eatoires ind´ependantes et

identiquement distribu´ees admettant une moyenne m = E [X 1 ], alors S n

n

− −−−− p.s →

n→+∞ m.

Exemple : lancer de pi`ece On a θ ˆ _n − −−−− ^p.s →

n→+∞ θ.

L ANCER DE PI ECE `

0 500 1000 1500 2000

0.200.300.400.50

F IGURE – Evolution en fonction de n d’une r´ealisation de θ ˆ

avec

θ = 0.5

T H EOR ´ EME ` C ENTRAL L IMITE

Th´eor`eme (Th´eor`eme Central Limite)

Soient X 1 , . . . , X n des variables al´eatoires ind´ependantes et identiquement distribu´ees de moyenne m = E [ X 1 ] et de variance σ ² = V [ X 1 ] , alors

√ n S n

n − m L

− −−−− →

n→+∞ N 0 , σ ² ce que l’on peut ´ecrire comme

√ n σ

S n

n − m L

− −−−− →

n→+∞ N ( 0 , 1 ).

L ANCER DE PI ECE ` EQUILIBR ´ EE ´

Dans le cas du lancer de pi`ece, on a E [X 1 ] = ¹ ₂ et V [X 1 ] = ¹ ₄ , et

donc √

n

θ ˆ _n − 1 2

L

− −−−− →

n→+∞ N

0 , 1

4

,

ce que l’on peut ´ecrire comme

P n := 2 √ n

θ ˆ _n − 1

2 L

− −−−− →

n→+∞ N ( 0 , 1 ).

L ANCER DE PI ECE ` EQUILIBR ´ EE ´

−4 −2 0 2 4

0.00.20.40.60.81.0

●●●

●

●

●

●

●

●

●

●

●

●

●●●●

−4 −2 0 2 4

0.00.20.40.60.81.0

●●●●●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●●●●●●

−4 −2 0 2 4

0.00.20.40.60.81.0

●●●●● ●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●

●●●

●●●●●●●●●●

●●●

●

●

●

●

●●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●●●

●●

●●●●●●

●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●● ●●●●●●●

F IGURE – Fonctions de r´epartition de P

(en bleu) et d’une loi normale

centr´ee r´eduite (en rouge) pour n = 20 (`a gauche) n = 50 (au centre) et

n = 2000 (`a droite).

V. Op´erations sur les limites

O P ERATION SUR LES LIMITES ´

Exemple : lancer de pi`ece On ne sait pas si la pi`ece est

´equilibr´ee. On a

√ n

θ ˆ _n − θ _L

− −−−− →

n→+∞ N ( 0 , θ ( 1 − θ)) , ce que l’on peut ´ecrire comme

√ n p θ( 1 − θ)

θ ˆ _n − θ _L

− −−−− →

n→+∞ N ( 0 , 1 ).

T H EOR ´ EME DE CONTINUIT ` E ´

Th´eor`eme (Th´eor`eme de continuit´e)

Soit ( X n ) une suite de variables al´eatoires et c une constante. Soit g une fonction une fonction continue en c, alors la suite g ( X n ) h´erite du mode de convergence de la suite ( X n ) , i.e

1. Si (X n ) converge presque s ˆurement vers c, alors g (X n ) converge presque s ˆurement vers g (c) .

2. Si ( X n ) converge en probabilit´e vers c, alors g ( X n ) converge en probabilit´e vers g ( c ) .

3. Si ( X n ) converge en loi vers c, alors g ( X n ) converge en loi vers

g ( c ) .

T H EOR ´ EME DE CONTINUIT ` E ´ ( REMARQUE )

Remarque : Le th´eor`eme de continuit´e n’est g´en´eralement pas vrai pour la convergence en moyenne quadratique.

Contre-exemple : Soit (X n ) une suite de variables al´eatoires telle que pour tout n ≥ 1,

P [X n = 0 ] = 1 − 1

n ³ et P [X n = n] = 1

n ³ .

L ANCER DE PI ECE `

Si θ ∈ ( 0 , 1 ) , on a 1 r

θ ˆ _n 1 − θ ˆ _n

− −−−− p.s →

n→+∞

1 p θ( 1 − θ) .

et en particulier

p θ(1 − θ) r

θ ˆ _n 1 − θ ˆ _n

− −−−− p.s →

n→+∞ 1 .

T H EOR ´ EME DE ` S LUTSKY

Th´eor`eme (Th´eor`eme de Slutsly)

Soient ( X n ) et ( Y n ) des suites de variables al´eatoires telles que ( X n ) converge en loi vers une variable al´eatoire X et ( Y n ) converge en probabilit´e vers une constante c, alors

X n + Y n

− −−−− L →

n→+∞ X + c X n Y n

− −−−− L →

n→+∞ cX.

Exemple : lancer de pi`ece On a

√ n r

θ ˆ _n 1 − θ ˆ _n

θ ˆ _n − θ _L

− −−−− →

n→+∞ N ( 0 , 1 ).

T H EOR ´ EME DE ` S LUTSKY ( REMARQUE )

Remarque : Le th´eor`eme de Slutsky est g´en´eralement faux si Y n converge en loi vers une variable al´eatoire.

Contre-exemple : Soient X ∼ N ( 0 , 1 ) et ( X n ) , ( Y n ) deux suite

de variables al´eatoires d´efinie pour tout n ≥ 1 par X n = − X et

Y n = X.

T H EOR ´ EME ` C ENTRAL L IMITE ET CONVERGENCE EN PROBABILIT E ´

Corollaire

Soit ( X n ) une suite de variables al´eatoires, a et σ ² des constantes telles que

√ n ( X n − a ) − −−−− ^L →

n→+∞ N 0 , σ ²

,

alors ( X n ) converge en probabilit´e vers a.

D ELTA M ´ ETHODE

Th´eor`eme (Delta m´ethode)

Soit (X n ) une suite de variables al´eatoires, a, σ ² des constantes telles

que √

n ( X n − a ) − −−−− ^L →

n→+∞ N 0 , σ ² ,

alors √

n ( g ( X n ) − g ( a )) − −−−− ^L →

n→+∞ N

0 , ( g ⁰ ( a )) ² σ ²

.

L ANCER DE PI ECE `

Exemple : lancer de pi`ece Soit θ ∈ (0, 1). Supposons que l’on s’int´eresse `a l’estimation de _θ ¹ . On a

√ n 1

θ ˆ _n − 1 θ

L

− −−−− →

n→+∞ N

0 , 1 − θ

θ ³

.