A.Godichon-Baggioni Vecteursal´eatoires,VecteursGaussiens,Th´eor`emedeCochranetapplications Mise`aniveau

Vecteurs al´eatoires, Vecteurs Gaussiens, Th´eor`eme de Cochran

et applications

A. Godichon-Baggioni

I. Vecteurs al´eatoires

V ECTEURS AL EATOIRES ´

D´efinition

I Un vecteur al´eatoire X = ( X

, . . . , X

) ∈ R

est un vecteur dont toutes les composantes sont des variables al´eatoires r´eelles.

I La fonction de r´epartition F

de X est d´efinie pour tout t = (t

, . . . , t

) par

F

(t

, . . . , t

) = P [X

≤ t

, . . . , X

≤ t

] .

I Dans le cas o `u X est continue, i.e o `u X admet une densit´e f

par rapport `a la mesure de Lebesgue sur R

, on a

F

( t ) = Z

−∞

. . . Z

−∞

f

( u

, . . . , u

) du

, . . . , du

avec pour presque tout t

f

( t ) = ∂

∂t

, . . . , ∂t

F

( t ).

D ENSIT E ET PROPRI ´ ET ´ ES ´

Proposition

I Toute densit´e de probabilit´e f

v´erifie pour tout t ∈ R

, f

( t ) ≥ 0 et

Z

−∞

. . . Z

−∞

f

(t

, . . . , t

) dt

, . . . , dt

= 1.

I Soit X ˜ = (X

, . . . , X

)

avec k ≤ d, la densit´e marginale de X ˜ est d´efinie pour tout ˜ t = (t

, . . . , t

) par

f

˜ t

= Z

−∞

. . . , Z

−∞

f

( t

, . . . , t

, u

, . . . , u

) du

. . . , du

.

Remarque : La connaissance des lois marginales de toutes les

composantes de X ne suffit par `a d´eterminer sa loi.

V ECTEURS AL EATOIRES ´

Soit X =



 X

. . . X



 ∈ R

un vecteurs al´eatoire tel que E

h X

i

< +∞. Pour tout i , j, la covariance entre X

et X

est d´efinie par

Cov X

, X

= E

( X

− E [ X

]) X

− E X

Remarque : Si X

et X

sont ind´ependantes, Cov X

, X

= 0

mais la r´eciproque est g´en´eralement fausse (sauf pour les

vecteurs gaussiens).

E SP ERANCE ET MATRICE DE ´ C OVARIANCE D´efinition

Soit X un vecteur al´eatoire de R

tel que pour tout i , ..., d, E

X

< +∞ . Le vecteur moyenne de X est d´efini par

E [ X ] =





 E [ X

]

.. . E [ X

]







et sa matrice de covariance est d´efinie par Var [X] = E

h (X − E [X]) (X − E [X])

i

=











Var [ X

] Cov ( X

, X

) . . . Cov ( X

, X

)

Cov (X

, X

) Var [X

] . . . Cov (X

, X

)

.. . .. . . .. .. .

Cov (X

, X

) Cov (X

, X

) . . . Var [X

]











M ATRICE DE COVARIANCE

Th´eor`eme

La matrice de covariance est une matrice sym´etrique semi-d´efinie positive.

Th´eor`eme

Soit X un vecteur al´eatoire de R

de moyenne m et de matrice de

covariance C. Alors, si A est une matrice r´eelle p × d, le vecteur

al´eatoire AX ∈ R

a pour vecteur moyen Am et pour matrice de

covariance ACA

.

F ONCTION CARACT ERISTIQUE ´

D´efinition

Soit X un vecteur al´eatoire de R

. Sa fonction caract´eristique Φ

est d´efinie pour tout u ∈ R

par

Φ

( u ) = E h

e

i

= E h

e

i

.

I ND EPENDANCE ´

D´efinition

Soient X ∈ R

, Y ∈ R

0

deux vecteurs al´eatoires. X et Y sont ind´ependants si pour tout A ∈ B R

et pour tout B ∈ B R

0

P [( X , Y ) ∈ A × B ] = P [ X ∈ A ] P [ Y ∈ B ] .

C ARACT ERISATION ´

Proposition

Soient X ∈ R

, Y ∈ R

0

deux vecteurs al´eatoires.

I X et Y sont ind´ependants si et seulement si pour tout t = (t

, t

),

Φ

(t) = Φ

(t

) Φ

(t

) . I X et Y sont ind´ependants si et seulement si pour tout

t = ( t

, t

) ,

f

( t ) = f

( t

) f

( t

) .

II. Vecteurs al´eatoires Gaussiens

V ECTEURS AL EATOIRES GAUSSIENS ´

D´efinition

Soit X un vecteur al´eatoire de R

. X est un vecteur gaussien de R

si et seulement si toute combinaison lin´eaire de ses composantes est une variable al´eatoire r´eelle gaussienne, i.e

∀ u ∈ R

, u

X ∼ N m

, σ

.

Exemple : Un vecteur X dont les composantes X

sont

ind´ependantes et suivent une loi normale est un vecteur

gaussien.

V ECTEUR GAUSSIEN ET FONCTION CARACT ERISTIQUE ´

Th´eor`eme

Soit X un vecteur al´eatoire de R

. Les assertions suivantes sont

´equivalentes :

1. Le vecteur X est un vecteur gaussien de moyenne m et de matrice de covariance Γ .

2. La fonction caract´eristique de X est donn´ee pour tout u ∈ R

par Φ

(u) = E

h e

i

= exp

iu

m − 1 2 u

Γu

.

C OROLLAIRES

Corollaire

Soit X ∼ N ( m , Γ) `a valeurs dans R

. Soit A une matrice p × d et b ∈ R

, alors

AX + b ∼ N Am + b, AΓA

Corollaire

Soit X ∼ N ( m , Γ) , et Γ inversible, alors

Γ

( X − m ) ∼ N ( 0 , I

) .

D ENSIT E D ´ ’ UN VECTEUR GAUSSIEN

Th´eor`eme

Soit X ∈ R

avec X ∼ N (m, Γ). X admet une densit´e par rapport `a la mesure de Lebesgue de R

si et seulement si Γ est inversible. Dans ce cas, la densit´e de f est donn´ee pour tout x ∈ R

par

f (x) = 1

p ( 2 π)

|det (Γ)| exp

− 1

2 (x − m)

Γ

(x − m)

V ECTEUR GAUSSIEN ET IND EPENDANCE ´

Th´eor`eme

Pour tout vecteur gaussien X de R

, les propri´et´es suivantes sont

´equivalentes :

I Les composantes X

, . . . , X

de X sont ind´ependantes.

I La matrice de covariance Γ de X est diagonale.

Corollaire

Soit X un vecteur gaussien, alors pour tout i 6= j, X

et X

sont ind´ependantes si et seulement si

Cov ( X

, X

) = 0 .

III. Convergences

C ONVERGENCE EN LOI

D´efinition

Soit ( X

) une suite de vecteurs al´eatoires. On dit que ( X

) converge en loi vers le vecteur al´eatoire X si pour tout point de continuit´e t de F

on a

F

(t) − −−−− →

n→+∞

F

(t).

Proposition

( X

) converge en loi vers le vecteur al´eatoire X si et seulement si pour toute fonction continue born´ee h,

E [ h ( X

)] − −−−− →

n→+∞

E [ h ( X )] .

C ONVERGENCE EN PROBABILIT E ´

Soit ( X

) une suite de vecteurs al´eatoires `a valeurs dans R

que l’on munit d’une norme k.k .

D´efinition

La suite (X

) converge en probabilit´e vers un vecteur al´eatoire X si pour tout > 0,

P [kX

− Xk > ] − −−−− →

n→+∞

0.

Remarque : Comme toutes les normes sont ´equivalentes dans

R

, alors si la suite ( X

) converge pour une norme k.k, alors

elle converge aussi pour une norme k.k

.

D´efinition

La suite ( X

) converge presque s ˆurement vers un vecteur al´eatoire X si

P hn

ω, lim

n→∞

X

(ω) = X (ω) oi

− −−−− →

n→+∞

0 .

Remarque : Si pour tout > 0, X

n≥1

P [k X

− X k > ] < +∞

alors ( X

) converge presque s ˆurement vers X.

L IEN ENTRE LES MODES DE CONVERGENCE

X

− −−−−

→

n→+∞

X = ⇒ X

− −−−−

→

n→+∞

X = ⇒ X

− −−−−

→

n→+∞

X

X

− −−−− →

n→+∞

X = ⇒ X

− −−−− →

n→+∞

X = ⇒ X

− −−−−

→

n→+∞

X

IV. Th´eor`emes asymptotiques

T H EOR ´ EME DE CONTINUIT ` E ´

Th´eor`eme (Th´eor`eme de continuit´e)

Soit g : D −→ R

0

une fonction continue sur un ouvert D ⊂ R

et soit X un vecteur al´eatoire `a valeurs dans D. Soit (X

) une suite de vecteurs al´eatoires `a valeurs dans R

. Si (X

) converge vers X, alors g (X

) h´erite du mode de convergence de (X

), i.e

X

− −−−−

→

n→+∞

X = ⇒ g ( X

) − −−−−

→

n→+∞

g ( X ) X

− −−−−

→

n→+∞

X = ⇒ g ( X

) − −−−−

→

n→+∞

g ( X ) X

− −−−−

→

n→+∞

X = ⇒ g ( X

) − −−−−

→

n→+∞

g ( X )

T H EOR ´ EME DE ` S LUTSKY

Th´eor`eme

Soit ( X

) une suite de vecteurs al´eatoires convergeant en loi vers X et ( Y

) une suite de vecteurs al´eatoires convergeant en probabilit´e vers un vecteur constant c. Alors

X

+ Y

− −−−−

→

n→+∞

X + c et

X

Y

− −−−−

→

n→+∞

Xc et Y

X

− −−−−

→

n→+∞

cX

Remarque : Les r´esultats pr´ec´edents sous entendent bien

´evidemment que les dimensions de X et c sont ”adapt´ees”.

T H EOR ´ EMES LIMITES `

Th´eor`eme (Loi des grands nombres)

Soient X

, . . . , X

une suite de vecteurs al´etoires ind´ependants et identiquement distribu´es tel que E [k X

k] < +∞ . Alors

X

− −−−−

→

n→+∞

E [ X

] .

Th´eor`eme (Th´eor`eme Central Limite)

Soient X

, . . . , X

une suite de vecteurs al´eatoires ind´ependants et identiquement distribu´ees tel que E

h kX

k

i

< +∞. Alors

√ n X

− E [X

]

− −−−− →

n→+∞

N ( 0 , Var [X

]) .

D ELTA M ETHODE ´

Th´eor`eme

Soit (X

) une suite de vecteurs al´eatoires, X un vecteur al´eatoire, v

une suite de r´eels telle que lim

v

= +∞ et m un vecteur tel que

v

( X

− m ) − −−−−

→

n→+∞

X . Soit g = (g

, . . . , g

) : D −→ R

0

avec m ∈ D ⊂ R

une fonction continuement diff´erentiable, alors

v

( g ( X

) − g ( m )) − −−−−

→

n→+∞

J

( m ) X o `u J

(m) =

∂

∂mi

g

(m)

i,j

est la matrice Jacobienne de g en m.

C AS PARTICULIER

Soit (X

) une suite d’estimateurs de m asymptotiquement normaux, i.e il existe une matrice Σ ∈ M

( R ) tel que

√ n (X

− m) − −−−−

→

n→+∞

N (0, Σ) . Soit g = (g

, . . . , g

) : D −→ R

0

avec m ∈ D ⊂ R

une fonction continuement diff´erentiable, alors

√ n (g (X

) − g(m)) − −−−−

→

n→+∞

N 0, J

(m)ΣJ

(m)

.

V. Th´eor`eme de Cochran et applications

T H EOR ´ EME DE ` C OCHRAN

Th´eor`eme (Th´eor`eme de Cochran)

Soit X une vecteur al´eaoire de R

suivant une loi N m, σ

I

avec σ

> 0. Soit R

= E

⊕ E

⊕ . . . ⊕ E

une d´ecomposition de R

en somme directe de p sous-espaces vectoriels orthogonaux de

dimensions respectives d

, . . . , d

. Soit P

le projecteur orthogonal sur E

et Y

= P

X la projection orthogonale de X sur E

.

1. Les projections Y

, . . . , Y

sont des vecteurs gaussiens ind´ependants et Y

∼ N P

m , σ

P

. 2. Les variables al´eatoires k Y

− P

m k

, . . . ,

Y

− P

m

2

sont ind´ependantes et

kY

− P

mk

σ

∼ χ

C OROLLAIRE

Corollaire

Soient X

, . . . , X

des variables al´eatoires ind´ependantes et identiquement distribu´ees avec X

∼ N m , σ

. On a alors 1. X

∼ N

m ,

. 2.

S

∼ χ

.

3. X

et S

sont ind´ependantes.

A UTRES R ESULTATS ´

Proposition

Soient Z , Z

, Z

trois variables al´eatoires telles que 1. Z = Z

+ Z

2. Z

∼ χ

et Z

∼ χ

3. Z

et Z

sont ind´ependantes

alors Z ∼ χ

.

T EST DU K HI DEUX

Corollaire (Test du Khi deux d’ajustement)

Soit X une variable al´eatoire `a valeurs dans {a

, . . . , a

} avec P [X = a

] = p

> 0. Soient X

, . . . , X

des variables al´eatoires i.i.d de mˆeme loi que X. Soit E

= P

i=1

1

. On a alors

K

X

k=1

( E

− np

)

np

− −−−−

→

n→+∞

χ

.