Correction de la feuille de TD 4 : Théorème de Cochran et modèle linéaire

Sorbonne Université Année 2020/2021

L3 Deuxième semestre

Correction de la feuille de TD 4 : Théorème de Cochran et modèle linéaire

Exercice : Le principe de la régression linéaire est de modéliser une variable y à partir de variables explicatives x = x

, . . . , x

, i.e de considérer y = β

x

+ . . . + β

x

, où β = x

, . . . , x

est inconnu. En pratique, on dispose d’un échantillon ( x

, y

) , . . . , ( x

, y

) , mais on obtient jamais réellement une droite (erreurs de mesures...). On va donc considérer le modèle linéaire

y = β

x

+ _{. . .} + β

x

+ e avec e ∼ N 0, σ

. On parle alors de modèle linéaire gaussien. On suppose maintenant que les données suivent le modèle suivant :

Y

= β

x

+ . . . + β

x

+ e

, avec

— Y

est une variable aléatoire et on observe les réalisations y

.

— Les x

= x

, . . . , x

sont déterministes.

— Le paramètre β = β

, . . . , β

est inconnu et déterministe.

— Les e

sont i.i.d et e

∼ N 0, σ

.

1. Vérifier que le modèle peut s’écrire comme

Y = Xβ + e,

avec Y = ( Y

, . . . , Y

)

, e = ( e

, . . . , e

)

et

X =









x

. . . x

.. . .. . .. . x

.. . x









Pour tout i, on a bien

Y [ i ] = x

, . . . , x

β + e

= x

β

+ . . . + x

β

+ e

= Y

.

2. Donner la loi de e et en déduire la loi de Y. Quelle est la loi de Y

? On a e ∼ N 0, σ

I

et donc

Y ∼ N Xβ, σ

I

et en particulier Y

∼ N ( Xβ )[ i ] , σ

.

On considère à partir de maintenant que rang ( X ) = p, et on note D = Im ( X ) . On s’intéresse à l’estimateur des moindres carrés défini par

β ˆ = arg min

h∈_R^p

k Y − Xh k

3. Montrer que la matrice X

X est symétrique et définie positive. On rappellera qu’une matrice p × p M symétrique est définie positive si pour tout h ∈ _R

\{ 0 } ,

h

Mh > ₀ Elle est clairement symétrique. De plus pour tout h,

h

X

Xh = k Xh k

≥ 0.

De plus, comme X est de taille n × d et de rang p, elle est injective, donc Xh = 0 = ⇒ h = 0

.

4. On note G ( h ) = k Y − Xh k

. Calculer le gradient et la Hessienne de G et en déduire ˆ β.

On a pour tout h,

∇ G ( h ) = − 2X

( Y − Xh ) et ∇

G ( h ) = X

X.

Comme X

X est positive, la fonction est fortement convexe et si le gradient admet un 0, c’est donc l’unique minimiseur. A noter que comme X

X est symétrique positive, elle est inversible et d’inverse symétrique. On résout donc

∇ G ( h ) = 0 ⇔ X

Y − − X

Xh = 0 ⇔ h = X

X

X

Y On obtient donc ˆ β = X

X

X

Y qui est l’unique minimiseur des moindres carrés.

5. Soit R

= E ⊗

F. Soit P une matrice p × p. On rappelle que P est le projecteur orthogonale sur E (parallèlement à F) si

— P est symétrique.

— P

= P.

— Pour tout h ∈ E, P ( h ) = h.

— Pour tout h ∈ F, P ( h ) = 0.

Montrer que P

= X X

X

X

est le projecteur orthogonale sur D parallèlement à D

. P

est clairement symétrique et

P

= _{X X}

_X

_X

_{X X}

_X

_X

= _{X X}

_X

_X

_{X X}

_X

_X

= _P

_. De plus pour tout h

∈ D, il existe h ∈ _R

tel que h

= Xh. On a donc

P

( h

) = P

( Xh ) = X

X

X

X

Xh = X

X

X

( X

X ) h = Xh = h

Pour tout h

∈ D

⇔ ∀ h ∈ _R

, ( Xh )

h

= 0. De plus, pour tout h ∈ _R

et h

∈ D

, on a P

( h

)

h = h

|{z}

∈D^⊥

P

h

|{z}

=P_D(h)∈D

= 0

et donc P

( h

) = 0.

6. Que pouvez vous en déduire sur X β ˆ ? On a

X β ˆ = X

X

X

X

Y = P

Y et X β ˆ est donc la projection orthogonale de Y sur D.

7. Donner la loi de X β ˆ et en déduire celle de ˆ β.

Comme Y ∼ N _β, σ

I

, on obtient

X β ˆ ∼ N P

Xβ, σ

P

I

P

Comme Xβ ∈ D et P

est une projection orthogonale, on obtient

X β ˆ ∼ N Xβ, σ

P

En multipliant par X

, on obtient

X

X β ˆ ∼ N X

Xβ, σ

X

P

X et comme X

X est inversible, et en remarquant que X

X

X

P

X = X

X

, β ˆ ∼ N

β, σ

X

X

.

8. On suppose σ

connu. Soit x

∈ _R

\{ 0 } , donner un intervalle de confiance de niveau au moins 1 − α de x

β. Que se passe-t-il si σ

est inconnu ?

On a

x

β ˆ ∼ N

x

β, σ

x

X

X

x

.

En remarquant que x

X

X

x

∈ _R

, on obtient (en centrant et réduisant) x

β ˆ − x

β

σ q

x

( X

X )

x

∼ N ( 0, 1 ) .

On a donc 1 − α = _P



 − q

≤ ^x

T0

β ˆ − x

β σ

q

x

( X

X )

x

≤ q



 = _P

x

β ∈ x

β ˆ ± q

σ q

x

( X

X )

x

.

Si σ

est inconnu, pour le moment on est mort.

9. On suppose maintenant que σ

est inconnu et on considère l’estimateur ˆ

σ

= ¹ n − p

Y − X β ˆ

2

(a) Expliquer ce choix d’estimateur.

Comme σ

est la variance des e

(et en particulier le moment d’ordre 2), un estimateur naturel aurait été

˜ σ

= ¹

n

∑

e

= ¹ n

∑

( Y

− Xβ )

= ¹

n k Y − Xβ k

.

Cependant, comme β est inconnu, on le remplace par son estimateur. Le remplaçement de n par n − p permet (a priori) d’obtenir un estimateur sans biais de σ

.

(b) Exprimer ˆ σ

à l’aide de projections.

On a 1

n − p σ ˆ

= ¹ n − p

Y − X β ˆ

2

= ¹

n − p k Y − P

Y k

= ¹

n − p k P

Y k

(c) Enoncer le théorème de Cochran dans ce cas. On a R

= D ⊕ D

. Ainsi, X β ˆ = P

( Y ) et P

( Y ) sont indépendants et comme Xβ ∈ D,

1

σ

k P

Y − P

Xβ k

= ⁿ − p

σ

σ

∼ χ

et en particulier, ˆ β et ˆ σ

sont indépendants.

(d) En déduire un intervalle de confiance pour x

β.

Grâce à la question précédente, on a

x

β ˆ − x

β ˆ

σ q

x

( X

X )

x

∼ T

.

On a donc 1 − α = _P



 − t

≤ ^x

0T

β ˆ − x

β ˆ

σ q

x

( X

X )

x

≤ t



 = _P

x

β ∈ x

β ˆ ± t

σ ˆ q

x

( X

X )

x

.