Mise `a niveau Rappels de probabilit´es

Rappels de probabilit´es

A. Godichon-Baggioni

I. Modes de convergence

C ONVERGENCES DE VARIABLES AL EATOIRES ´

On consid`ere une suite de variables al´eatoires (X n ) et on s’int´eresse `a ses diff´erents modes de convergence, i.e

I Convergence en loi

I Convergence en probabilit´e I Convergence presque s ˆure

I Convergence en moyenne quadratique

C ONVERGENCE EN LOI

D´efinition

Soit (X n ) une suite de variables al´eatoires. On dit que (X n ) converge en loi vers une variable al´eatoire X et on note

X n

− −−−−

→

n→+∞ X

si pour toute fonction continue born´ee ϕ, on a E [ϕ ( X n )] − −−−− →

n→+∞ E [ϕ ( X )] .

De mani`ere ´equivalente, on dit que (X n ) converge en loi vers X si pour toute fonction uniform´ement continue et born´ee ϕ, on a

E [ϕ (X n )] − −−−− →

n→+∞ E [ϕ (X)] .

E XEMPLES

Exemple 1 : Soit (X n ) une suite de variables al´eatoires telle que pour tout n ≥ 1, X n ∼ B

p +

_n , alors

X n

− −−−−

→

n→+∞ X ∼ B(p).

Exemple 2 : Soit ( X n ) une suite de variables al´eatoires telle que pour tout n ≥ 1, X n = − X, o `u X ∼ N ( 0 , 1 ) , alors

X n

−−−→

n→∞ X.

C ONVERGENCE EN LOI

Proposition

Soit ( X n ) une suite de variables al´eatoires. X n converge en loi vers une variable al´eatoire X si et seulement si en tout point de continuit´e x de la fonction de r´epartition F X de X on a

F X

( x ) − −−−− →

n→+∞ F X ( x ).

E XEMPLES

Exemple 1 : Soit (X n ) une suite de variables al´eatoires telle que pour tout n ≥ 1, X n ∼ B

p +

_n , alors

X n

− −−−−

→

n→+∞ X ∼ B(p).

Exemple 2 : Soit ( X n ) une suite de variables al´eatoires telle que pour tout n ≥ 1, X n = − X, o `u X ∼ N ( 0 , 1 ) , alors

X n

−−−→

n→∞ X.

C ONVERGENCE EN LOI Corollaire

Soient ( X n ) une suite de variables al´eatoires et X une variable al´eatoire telles que X n , X sont absolument continues de densit´es f n , f , alors X n converge en loi vers X si et seulement si pour tout x ∈ R,

f n ( x ) − −−−− →

n→+∞ f ( x ).

Exemple 1 : Soit (X n ) une suite de variables al´eatoires telle que pour tout n ≥ 1, X n ∼ B

p +

_n , alors

X n

− −−−−

→

n→+∞ B( p ).

Exemple 2 : Soit ( X n ) une suite de variables al´eatoires telle que pour tout n ≥ 1, X n = −X, o `u X ∼ N ( 0 , 1 ) , alors

X n

−−−→

n→∞ X .

C ONVERGENCE EN LOI

Soit X une variable al´eatoire, on rappelle que sa fonction caract´eristique Φ _X est d´efinie pour tout t par

Φ _X ( t ) = E e ^itX

.

Proposition

Soit (X n ) une suite de variables al´eatoires, X n converge en loi vers X si et seulement si pour tout t ∈ R,

Φ _X

(t) − −−−− →

n→+∞ Φ _X (t).

Application : Th´eor`eme Central Limite (cf suite)

C ONVERGENCE EN PROBABILIT E ´

D´efinition

Soit ( X n ) une suite de variables al´eatoires. On dit que ( X n ) converge en probabilit´e vers X et on note

X n − −−−−

→

n→+∞ X

si pour tout > 0,

P [|X n − X| > ] − −−−− →

n→+∞ 0.

Exemple : Soit (X n ) une suite de variables al´eatoires, avec pour tout n ≥ 1, X n ∼ B ^p _n

, o `u p ∈ (0, 1), alors X n

− −−−− →

n→+∞ 0.

C ONVERGENCE EN LOI V S C ONVERGENCE EN PROBABILIT E ´

Proposition

Soit (X n ) une suite de variables al´eatoires. Si (X n ) converge en probabilit´e vers une variable al´eatoire X, alors (X n ) converge en loi vers X.

Attention ! La r´eciproque est g´en´eralement fausse !

Contre-exemple : Soit (X n ) une suite de variables al´eatoires, avec X n = −X, o `u X ∼ N (0, 1).

Proposition

Soit ( X n ) une suite de variables al´eatoires. Si ( X n ) converge en loi

vers une constante c, alors ( X n ) converge en probabilit´e vers c.

C ONVERGENCE PRESQUE S URE ˆ

D´efinition

Soit ( X n ) une suite de variables al´eatoires. On dit que ( X n ) converge presque s ˆurement vers X et on note

X n

− −−−− p.s →

n→+∞ X

si P

n→+∞ lim X n = X

= P

ω ∈ Ω; lim

n→+∞ X n (ω) = X (ω)

= 1 .

C ONVERGENCE PRESQUE S URE ˆ V S CONVERGENCE EN PROBABILIT E ´

Proposition

Soit ( X n ) une suite de variables al´eatoires. Si ( X n ) converge presque s ˆurement vers une variable al´eatoire X, alors ( X n ) converge en probabilit´e vers X.

Attention ! La r´eciproque est g´en´eralement fausse !

C ONVERGENCE PRESQUE S URE ˆ V S CONVERGENCE EN PROBABILIT E ´

Application du lemme de Borell-Cantelli : Si pour tout > 0, X

n≥1

P [|X n − X| ≥ ] < +∞, alors ( X n ) converge presque s ˆurement vers X.

Exemple : Soit ( X n ) une suite de variables al´eatoires telle que pour tout n ≥ 1,

P [ X n = 0 ] = 1 − 1

n

et P [ X n = n ] = 1

n

.

C ONVERGENCE EN MOYENNE QUADRATIQUE

D´efinition

Soit ( X n ) une suite de variables al´eatoires de carr´e int´egrable. On dit que ( X n ) converge en moyenne quadratique vers X et on note

X n L

− −−−− →

n→+∞ X

si

E

h |X n − X|

i

− −−−− →

n→+∞ 0 .

Exemple : lancer de pi`ece θ ˆ _n converge en moyenne

quadratique vers θ .

C ONVERGENCE EN MOYENNE QUADRATIQUE V S CONVERGENCE EN PROBABILIT E ´

Proposition

Soit (X n ) une suite de variables al´eatoires. Si (X n ) converge en moyenne quadratique vers une variable al´eatoire X, alors (X n ) converge en probabilit´e vers X.

Attention ! La r´eciproque est g´en´eralement fausse ! Contre-exemple : Soit (X n ) la suite de variables al´eatoires d´efinie pour tout n ≥ 1 par

P [ X n = 0 ] = n − 1

n , P [ X n = n ] = 1

n .

R ´ ESUM E ´

X n

− −−−− p.s →

n→+∞ X = ⇒ X n

− −−−− →

n→+∞ X = ⇒ X n

− −−−−

→

n→+∞ X

X n L

− −−−− →

n→+∞ X = ⇒ X n − −−−−

→

n→+∞ X = ⇒ X n

− −−−−

→

n→+∞ X

Remarque : Il n’y a pas d’implication ”g´en´erale” entre convergence presque s ˆure et convergence en moyenne quadratique.

Contre-exemple 1 : moyenne quadratique ⇒ presque s ˆure.

TD

Contre-exemple 2 : presque s ˆure ⇒ moyenne quadratique.

On consid`ere une suite de variables al´eatoires (X n ) telle que pour tout n ≥ 1,

P [X n = 0] = 1 − 1

n

et P [X n = n] = 1

n

.

II.In´egalit´es classiques

I N EGALIT ´ E DE ´ M ARKOV

Proposition (In´egalit´e de Markov)

Soient c, p > 0 et X une variable al´eatoire admettant un moment d’ordre p, on a

P [| X | ≥ c ] ≤ E

| X | ^p

c ^p .

I N EGALIT ´ E DE ´ B IENAYM E ´ -T CHEBYCHEV

Corollaire (In´egalit´e de Bienaym´e-Tchebychev)

Soit c > 0 et X une variable al´eatoire admettant un moment d’ordre 2, alors

P [| X − E [ X ]| ≥ c ] ≤ V [ X ] c

.

Exemple : lancer de pi`ece : On a pour tout > 0,

P h

θ ˆ _n − θ ≥ i

≤ θ(1 − θ)

n .

I N EGALIT ´ ES DE ´ C AUCHY -S CHWARZ ET H ¨ OLDER

Th´eor`eme (In´egalit´e de Cauchy-Schwarz)

Soit X , Y deux variables al´eatoires admettant un moment d’ordre 2.

Alors

E [| XY |] ≤ q

E [ X

] E [ Y

].

Th´eor`eme (In´egalit´e de H ¨older)

Soit X , Y deux variables al´eatoires, et p , q > 1 tel que

_p +

_q = 1. Si X admet un moment d’ordre p et si Y admet un moment d’ordre q, alors

E [|XY|] ≤ ( E [|X| ^p ])

( E [|Y| ^q ])

.

Exemples : Voir TD

III. Th´eor`emes asymptotiques

L OI FAIBLE DES G RANDS N OMBRES

Soit X

, . . . , X n des variables al´eatoires ind´ependantes et identiquement distribu´ees, on note

S n =

n

X

i=1

X i .

Th´eor`eme (Loi faible des Grands Nombres)

Soient X

, . . . , X n des variables al´eatoires ind´ependantes et

identiquement distribu´ees admettant une moyenne m = E [ X

] , alors S n

n

− −−−−

→

n→+∞ m .

L OI F ORTE DES G RANDS N OMBRES

Th´eor`eme (Loi Forte des Grands Nombres)

Soient X

, . . . , X n des variables al´eatoires ind´ependantes et

identiquement distribu´ees admettant une moyenne m = E [X

], alors S n

n

− −−−− p.s →

n→+∞ m.

Exemple : lancer de pi`ece On a θ ˆ _n − −−−− ^p.s →

n→+∞ θ.

L ANCER DE PI ECE `

0 500 1000 1500 2000

0.200.300.400.50

F

– Evolution en fonction de n d’une r´ealisation de θ ˆ

avec

θ = 0.5

T H EOR ´ EME ` C ENTRAL L IMITE

Th´eor`eme (Th´eor`eme Central Limite)

Soient X

, . . . , X n des variables al´eatoires ind´ependantes et identiquement distribu´ees de moyenne m = E [ X

] et de variance σ

= V [ X

] , alors

√ n S n

n − m

− −−−− →

n→+∞ N 0 , σ

ce que l’on peut ´ecrire comme

√ n σ

S n

n − m

− −−−− →

n→+∞ N ( 0 , 1 ).

L ANCER DE PI ECE ` EQUILIBR ´ EE ´

Dans le cas du lancer de pi`ece, on a E [X

] =

et V [X

] =

, et

donc √

n

θ ˆ _n − 1 2

− −−−− →

n→+∞ N

0 , 1

4

, ce que l’on peut ´ecrire comme

P n := 2 √ n

θ ˆ _n − 1

2

− −−−− →

n→+∞ N ( 0 , 1 ).

L ANCER DE PI ECE ` EQUILIBR ´ EE ´

−4 −2 0 2 4

0.00.20.40.60.81.0

●●●

●

●

●

●

●

●

●

●

●

●

●●●●

−4 −2 0 2 4

0.00.20.40.60.81.0

●●●●●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●●●●●●

−4 −2 0 2 4

0.00.20.40.60.81.0

●●●●● ●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●

●●●

●●●●●●●●●●

●●●

●

●

●

●

●●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●●●

●●

●●●●●●

●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●● ●●●●●●●

F

– Fonctions de r´epartition de P

(en bleu) et d’une loi normale

centr´ee r´eduite (en rouge) pour n = 20 (`a gauche) n = 50 (au centre) et

n = 2000 (`a droite).

IV. Op´erations sur les limites

O P ERATION SUR LES LIMITES ´

Exemple : lancer de pi`ece On ne sait pas si la pi`ece est

´equilibr´ee. On a

√ n

θ ˆ _n − θ

− −−−− →

n→+∞ N ( 0 , θ ( 1 − θ)) , ce que l’on peut ´ecrire comme

√ n p θ( 1 − θ)

θ ˆ _n − θ

− −−−− →

n→+∞ N ( 0 , 1 ).

T H EOR ´ EME DE CONTINUIT ` E ´

Th´eor`eme (Th´eor`eme de continuit´e)

Soit ( X n ) une suite de variables al´eatoires et soit X une variable al´eatoire. Soit g une fonction dont l’ensemble des points de discontinuit´e est not´e D g . Si P

X ∈ D g

= 0, alors la suite g ( X n ) h´erite du mode de convergence de la suite ( X n ) , i.e

1. Si (X n ) converge presque s ˆurement vers X, alors g (X n ) converge presque s ˆurement vers g ( X ) .

2. Si (X n ) converge en probabilit´e vers X, alors g (X n ) converge en probabilit´e vers g (X) .

3. Si ( X n ) converge en loi vers X, alors g ( X n ) converge en loi vers

g ( X ) .

T H EOR ´ EME DE CONTINUIT ` E ´ ( REMARQUE )

Remarque : Le th´eor`eme de continuit´e n’est g´en´eralement pas vrai pour la convergence en moyenne quadratique.

Contre-exemple : Soit ( X n ) une suite de variables al´eatoires telle que pour tout n ≥ 1,

P [X n = 0] = 1 − 1

n

et P [X n = n] = 1

n

,

et la fonction g : x 7−→ x

.

L ANCER DE PI ECE `

Si θ ∈ ( 0 , 1 ) , on a 1 r

θ ˆ _n 1 − θ ˆ _n

− −−−− p.s →

n→+∞

1 p θ( 1 − θ) .

et en particulier

p θ(1 − θ) r

θ ˆ _n 1 − θ ˆ _n

− −−−− p.s →

n→+∞ 1 .

T H EOR ´ EME DE ` S LUTSKY

Th´eor`eme (Th´eor`eme de Slutsly)

Soient ( X n ) et ( Y n ) des suites de variables al´eatoires telles que ( X n ) converge en loi vers une variable al´eatoire X et ( Y n ) converge en probabilit´e vers une constante c, alors

X n + Y n

− −−−−

→

n→+∞ X + c X n Y n

− −−−−

→

n→+∞ cX.

Exemple : lancer de pi`ece On a

√ n r

θ ˆ _n 1 − θ ˆ _n

θ ˆ _n − θ

− −−−− →

n→+∞ N ( 0 , 1 ).

T H EOR ´ EME DE ` S LUTSKY ( REMARQUE )

Remarque : Le th´eor`eme de Slutsky est g´en´eralement faux si Y n converge en loi vers une variable al´eatoire.

Contre-exemple : Soient X ∼ N ( 0 , 1 ) et ( X n ) , ( Y n ) deux suite

de variables al´eatoires d´efinie pour tout n ≥ 1 par X n = − X et

Y n = X.

T H EOR ´ EME ` C ENTRAL L IMITE ET CONVERGENCE EN PROBABILIT E ´

Corollaire

Soit (v n ) une suite d´eterministe tendant vers +∞, (X n ) une suite de variables al´eatoires, X une variable al´eatoire et a une une constante telles que

v n ( X n − a ) − −−−−

→

n→+∞ X , alors

X n

− −−−− →

n→+∞ a . En particulier, si

√ n ( X n − a ) − −−−−

→

n→+∞ X , alors

X n

− −−−− →

n→+∞ a .

D ELTA M ´ ETHODE

Th´eor`eme (Delta M´ethode)

Soient (X n ) une suite de variables al´eatoires, (v n ) une suite de r´eels tendant vers +∞, X une variable al´eatoire et a une constante telles

que √

v n ( X n − a ) − −−−−

→

n→+∞ X . Soit g une fonction d´erivable en a, alors

√ v n ( g ( X n ) − g ( a )) − −−−−

→

n→+∞ g

( a ) X . En particulier, si il existe σ

> 0 tel que

√ v n ( X n − a ) − −−−−

→

n→+∞ N 0 , σ

, alors

√ v n ( g ( X n ) − g ( a )) − −−−−

→

n→+∞ N

0 , ( g

( a ))

σ

.

L ANCER DE PI ECE `

Exemple : lancer de pi`ece Soit θ ∈ (0, 1). Supposons que l’on s’int´eresse `a l’estimation de

. On a

√ n 1

θ ˆ _n − 1 θ

− −−−− →

n→+∞ N

0 , 1 − θ

θ

.