Covariance

× . . . × Z Rdn gn(yn)dyn  .

La formule des densit´es marginales permet de v´erifier que la densit´e de Xi est pi. Et comme p(x) = p₁(x₁)× . . . × pn(x_n), les X_i sont ind´ependants.

La caract´erisation suivante de l’ind´ependance de vecteurs al´eatoires qui ne poss`edent pas n´ecessairement des densit´es est parfois utile :

Proposition 3.3.11. Soient X1 : Ω→ Rd1, . . . , Xn: Ω→ Rdn des vecteurs al´eatoires. 1. Si ces vecteurs al´eatoires sont ind´ependants alors pour toutes fonctions f1 : Rd1 →

R, . . . , fn : Rdn → R telles que f1(X1), . . . , fn(Xn) sont int´egrables alors f1(X1)× . . .× fn(Xn) est int´egrable et E(f1(X1)× . . . × fn(Xn)) = n Y i=1 E(fi(Xi)).

2. Inversement, si pour toutes fonctions f1 : Rd1 → R, . . . , fn : Rdn → R born´ees, E(f1(X1)× . . . × fn(Xn)) =Qn

i=1E(fi(Xi)), alors les vecteurs al´eatoires X1, . . . , Xn

sont ind´ependants.

Remarque 3.3.12. Lorsque les vecteurs al´eatoires X1, . . . , Xn sont ind´ependants, alors ∀m ∈ [1, n], ∀1 ≤ d1 < d₂ < . . . < d_m ≤ n, les vecteurs (X1, X₂, . . . , X_d1), (Xd1+1, . . . , Xd2),...,(Xd_m−1+1, . . . , Xdm) et (Xdm+1, . . . , Xn) sont ind´ependants, propri´et´e d´emontr´ee dans la remarque 2.2.7 dans le cas discret.

3.3.5 Covariance

On rappelle que si Y et Z sont deux variables al´eatoires de carr´e int´egrable, comme |Y Z| ≤ (Y2+ Z2)/2, leur produit Y Z est int´egrable.

D´efinition 3.3.13. — Soit Y et Z deux variables al´eatoires r´eelles de carr´e int´egrable (non n´ecessairement `a densit´e). On appelle covariance de Y et Z le nombre Cov(Y, Z) d´efini par

— Soit X = (X1, . . . , Xd) un vecteur al´eatoire `a valeurs Rd (non n´ecessairement `a den-sit´e) dont les composantes sont de carr´e int´egrable. On appelle matrice de covariance du vecteur X la matrice KX de dimension d× d et d’´el´ement courant

K_i,j^X = Cov(Xi, Xj) = E((Xi− E(Xi))(Xj− E(Xj)), 1≤ i, j ≤ d.

Propri´et´es 3.3.14. 1. Cov(Y, Y ) = Var(Y ) et les ´el´ements diagonaux de la matrice de covariance KX sont les variances des composantes de X.

2. Cov(Y, Z) = E(Y Z)− E(Y )E(Z).

3. Si Y et Z sont ind´ependantes Cov(Y, Z) = 0.

4. La matrice de covariance KX est sym´etrique et positive. En outre,

∀u ∈ R^d, Var(u.X) = u.K^Xu o`u u.v d´esigne le produit scalaire de u et v dans Rd.

En utilisant la propri´et´e 4. pour u = (1, 1, . . . , 1), on obtient que Var(X1+ . . . + Xd) = Pd

i,j=1Cov(Xi, Xj). Avec les propri´et´es 1. et 3., on en d´eduit que

Corollaire 3.3.15. Si X1, . . . , Xd sont des variables al´eatoires r´eelles de carr´e int´egrable ind´ependantes, Var(X1+ . . . + Xd) =Pd

i=1Var(Xi).

D´emonstration : La preuve des trois premiers est laiss´ee `a titre d’exercice. Soit u = (u1, . . . , ud)∈ Rd. Var(u.X) = E   d X i=1 uiXi− E d X i=1 uiXi !!2  = E d X i,j=1 uiuj(Xi− E(Xi))(Xj− E(Xj)) ! = d X i,j=1 uiujCov(Xi, Xj) = u.K^Xu.

Comme la variance d’une variable al´eatoire est toujours positive, on conclut que ∀u ∈ Rd,

u.KXu≥ 0. 

Remarque 3.3.16. — Notons que lorsque KX est d´eg´en´er´ee, il existe u0 non nul tel que KXu₀ = 0. Alors Var(u₀.X) = 0, ce qui entraˆıne que u₀.X est une constante i.e. X prend ses valeurs dans dans le sous espace affine strict de Rd,E = {x ∈ Rd: u0.x = u0.E(X)}. Comme E a une mesure nulle pour la mesure de Lebesgue (mesure de volume) sur Rd, pour toute densit´e de probabilit´e p sur Rd,R

Rd1_E(x)p(x)dx = 0. On en d´eduit que X ne poss`ede pas de densit´e. Par contrapos´ee, la matice de covariance d’un vecteur al´eatoire X de carr´e int´egrable et qui poss`ede une densit´e est d´efinie positive.

3.3. VECTEURS AL ´EATOIRES `A DENSIT ´E 49

— La covariance de deux variables al´eatoires ind´ependantes est nulle mais il ne suffit pas que Cov(Y, Z) = 0 pour que Y et Z soient ind´ependantes.

En effet si Y ∼ U[−1, 1] et Z = εY o`u ε est une variable al´eatoire ind´ependante de Y t.q. P(ε = 1) = P(ε = −1) = 1

2 alors E(Y ) = 0 et E(Y Z) = E(εY2) = E(ε)E(Y2) = 0× E(Y2) si bien que Cov(Y, Z) = 0. Mais comme ε2 = 1,

E(Y²Z²) = E(ε²Y⁴) = E(Y⁴) = ¹ 2 Z 1 −1 y⁴dy = ¹ 5 E(Y²) = ¹ 2 Z 1 −1 y²dy = ¹ 3 ^{et E(Z} 2) = E(ε²Y²) = E(Y²) = ¹ 3 si bien que E(Y2Z2) = ¹

5 6= ¹

9 ^{= E(Y}

2)E(Z2),

et les variables Y et Z ne sont donc pas ind´ependantes.

3.3.6 Loi et esp´erance conditionnelles

Dans tout ce paragraphe, on consid`ere un couple (X, Y ) : Ω→ Rd1×Rd2 tel que (X, Y ) poss`ede la densit´e p_X,Y(x, y) et on note p_X(x) et p_Y(y) les densit´es marginales respectives de X et de Y .

On souhaite d´efinir la notion de loi conditionnelle de X sachant Y = y. Bien sˆur, comme pour tout y ∈ Rd2, P(Y = y) = 0, conditionner par Y = y n’a pas de sens math´ematique. C’est pourquoi il faut revenir au point de vue infinit´esimal et conditionner par Y ∈ [y, y + dy]. Ainsi formellement,

P(X ∈ [x, x + dx]|Y ∈ [y, y + dy]) = ^{P(X ∈ [x, x + dx], Y ∈ [y, y + dy])}_P (Y ∈ [y, y + dy])

= ^{pX,Y(x, y)dxdy} pY(y)dy ⁼

p_X,Y(x, y) pY(y) ^dx. Notons que lorsque pY(y) > 0, comme pY(y) = R

Rd1 pX,Y(x, y)dx, alors la fonction x → pX,Y(x, y)/pY(y) est une densit´e de probabilit´e sur Rd1.

D´efinition 3.3.17. Pour y∈ Rd2, on appelle densit´e conditionnelle de X sachant Y = y la densit´e pX,y(x) donn´ee par la formule

pX,y(x) =    pX,Y(x, y) pY(y) ^{si pY(y) > 0,} pX(x) sinon.

Comme dans le cas discret, on peut traduire l’ind´ependance de X et de Y sur la loi conditionnelle de X sachant Y .

Proposition 3.3.18. Les variables X et Y sont ind´ependantes si et seulement si la densit´e conditionnelle de X sachant Y = y ne d´epend pas de y.

La preuve s’effectue en rempla¸cant les sommes par des int´egrales dans celle de la pro-position 2.5.3.

D´efinition 3.3.19. Soit f : Rd1 × Rd2 → R telle que f(X, Y ) est int´egrable.

On appelle esp´erance conditionnelle de f (X, Y ) sachant Y et on note E(f (X, Y )|Y ) la variable al´eatoire

E(f (X, Y )|Y ) = ψ(Y ) o`u ∀y ∈ Rd2, ψ(y) = Z Rd1 f (x, y)pX,y(x)dx. Notons que Z Rd2 Z Rd1|f(x, y)|pX,y(x)dx  pY(y)dxdy = Z

Rd1×Rd2 |f(x, y)|pX,Y(x, y)dxdy = E|f(X, Y )| < +∞.

On en d´eduit que l’ensemble A =y ∈ R : RRd2 |f(x, y)|pX,y(x)dx = +∞ sur lequel ψ(y) n’est pas d´efini v´erifie P(Y ∈ A) = R

Rd21A(y)pY(y)dy = 0. Ainsi les variables al´eatoires ψ(Y ) et donc E(f (X, Y )|Y ) sont bien d´efinies avec probabilit´e 1.

Dans le cas particulier o`u X et Y sont ind´ependantes, on a ψ(y) = E(f (X, y)) pour tout y ∈ Rd2.

Comme dans la proposition 2.5.6 et le corollaire 2.5.7 relatifs au cas des variables al´eatoires discr`etes, on peut d´emontrer en rempla¸cant les sommes par des int´egrales que

Proposition 3.3.20. On suppose que f (X, Y ) est int´egrable. Pour toute fonction g : R^d2 → R telle que f(X, Y )g(Y ) est int´egrable, la variable al´eatoire E(f(X, Y )|Y )g(Y ) est int´egrable et on a

E(E(f (X, Y )|Y )g(Y )) = E(f(X, Y )g(Y )).

En outre, E (E(f (X, Y )|Y )) = E(f(X, Y )). Enfin, si f(X, Y ) est de carr´e int´egrable, E(f (X, Y )|Y ) l’est aussi et Var(E(f(X, Y )|Y )) ≤ Var(f(X, Y )).

Exercice r´esolu 3.3.21. Soient U et V deux variables al´eatoires uniformes sur [0, 1] ind´ependantes et Y = U− V . Donner la loi conditionnelle de U sachant Y = y et calculer E(U|Y ).

On commence par d´eterminer la loi de (U, Y ). Pour f : R2 → R born´ee, en posant y = u− v, on obtient E(f (U, Y )) = Z R 1_{0<u<1} Z R f (u, u− v)1{0<v<1}dvdu = Z R2

f (u, y)1_{0<u<1}1_{y<u<1+y}dudy.

Donc (U, Y ) poss`ede la densit´e pU,Y(u, y) = 1_{0<u<1}1_{y<u<1+y}. On en d´eduit la densit´e marginale de Y : pY(y) =      R1+y 0 du = 1 + y si − 1 ≤ y ≤ 0, R1 y du = 1− y si 0 ≤ y ≤ 1, 0 sinon.

On en d´eduit que pour y dans [−1, 0], pU,y(u) = 1_{0<u<1+y}/(1 + y) c’est-`a-dire que la loi conditionnelle de U sachant Y = y est la loi uniforme sur [0, 1 + y] d’esp´erance (1 + y)/2. Pour y dans [0, 1], pU,y(u) = 1<sub>{y<u<1}</sub>/(1− y) c’est-`a-dire que la loi conditionnelle de U sachant Y = y est la loi uniforme sur [y, 1] d’esp´erance (1 + y)/2. Comme pY(y) = 0 pour y en dehors de [−1, 1], il n’est pas utile d’´etudier le cas y /∈ [−1, 1].

On conclut donc que E(U|Y ) = ^{1 + Y}

2 ^{formule qui montre bien que si Y est proche de 1,} U l’est aussi et que si Y est proche de −1, U est proche de 0.