2 Régression linéaire

(1)

UNIVERSITÉ GRENOBLE ALPES Année 2015-2016

D. Piau, L. Coquille M1 – MAT414

Processus stochastiques – Feuille d’exercices 3 Espérance conditionnelle et régression linéaire

Soit (Ω,F,P) un espace probabilisé. On se place dans l’espaceL²(Ω,F,P) des variables aléatoires de carré intégrable sur (Ω,F,P) où l’on quotiente implicitement par la relation d’équivalence X ∼ Y ⇔ P(X = Y) = 1. On suppose connu (cf. théorie de la mesure) que L²(Ω,F,P) muni du produit scalaire suivant :

hX|Yi:=E[XY] = Z

Ω

XY dP ∀X, Y ∈L²(Ω,F,P) est un espace de Hilbert.

1 Projection

Question 1.1. Soit G une sous-tribu deF. Montrer que pour tout Y ∈ L²(F,P) l’espérance condi- tionnelleYG:=E[Y|G]est la projection orthogonale deY sur L²(G,P).

Montrer qu’elle est unique, et constitue la meilleure approximation deY au sensL² par des variables aléatoires deL²(G,P), i.e.E(|Y −YG|²) = inf{E(|Y −X|²) :X∈L²(G,P)}

Question 1.2. Soient X, Y ∈ L²(F,P). Montrer que E(Y|X) est la projection orthogonale de Y sur L²(σ(X),P), c’est-à-dire la meilleure approximation (au sens des moindres carrés) de Y par une fonction de X.

2 Régression linéaire

Question 2.1. Soit Yˆ = aX +b la meilleure approximation de Y par une fonction affine de X, autrement dit la projection orthogonale deY sur le sous-espace de dimension finie deL²(F,P)engendré parX et les v.a. constantes. Montrer que

a= Cov(Y, X)

V ar(X) et b=E(Y −aX).

Vérifier que

a,b∈minRE((Y −aX−b)²) = (1−ρ(X, Y)²)V ar(Y) avec ρ(X, Y) := √ ^Cov(X,Y⁾

V ar(X)V ar(Y) le coefficient de corrélation de X etY.

(2)

Question 2.2. Considérons maintenant des variables aléatoires vectorielles, X = (X1, . . . , Xn)^t à valeurs dans Rⁿ etY = (Y1, . . . , Ym)^t à valeurs dansR^m. SoitYˆ =AX+b avecA une matricem×n à coefficients réels etb∈R^m. On noteX˜ =X−E(X),Y˜ =Y −E(Y) et

Cov(X, Y) =

ΓX ΓX,Y

ΓY,X ΓY

avec Γ_X =E( ˜XX˜^t),Γ_Y =E( ˜YY˜^t),Γ_X,Y =E( ˜XY˜^t) Γ_Y,X =E( ˜YX˜^t).

On cherche donc à minimiser E(kY −Yˆk²) =E(kY −AX−bk²).

1. Montrer queA= Γ_Y,XΓ⁻¹_X etb=E(Y)−AE(X).Autrement dit Yˆ = Γ_Y,XΓ⁻¹_X (X−E(X)) +E(Y) 2. Montrer que

infA,bE(kY −AX−bk²) =T r(ΓY −ΓY,XΓ⁻¹_X ΓX,Y).

3 Cas gaussien

Supposons que le couple (X, Y) est gaussien.

Question 3.1. Montrer qu’il existeA, btels queE(Y|X) =AX+b. La régressionlinéaire est donc la meilleure approximation de X.

Question 3.2. Montrer que la loi conditionnelle de Y sachant X=x est la loi normale d’espérance Mx = ΓY,XΓ⁻¹_X (x−E(X)) +E(Y)

et de matrice de covariance

Σ²= ΓY −ΓY,XΓ⁻¹_X ΓX,Y.