Correction de la feuille de TD 3 : Théorème de Cochran et modèle linéaire

Sorbonne Université Année 2019/2020

1ère année ISUP Deuxième semestre

Correction de la feuille de TD 3 : Théorème de Cochran et modèle linéaire

Exercice : Le principe de la régression linéaire est de modéliser une variable y à partir de variables explicatives x = x

, . . . , x

, i.e de considérer y = β

x

+ . . . + β

x

, où β = x

, . . . , x

est inconnu. En pratique, on dispose d’un échantillon ( x

, y

) , . . . , ( x

, y

) , mais on obtient jamais réellement une droite (erreurs de mesures...). On va donc considérer le modèle linéaire

y = β

x

+ _{. . .} + β

x

+ e avec e ∼ N 0, σ

. On parle alors de modèle linéaire gaussien. On suppose maintenant que les données suivent le modèle suivant :

Y

= β

x

+ . . . + β

x

+ e

, avec

— Y

est une variable aléatoire et on observe les réalisations y

.

— Les x

= x

, . . . , x

sont déterministes.

— Le paramètre β = β

, . . . , β

est inconnu et déterministe.

— Les e

sont i.i.d et e

∼ N 0, σ

. 1. Ecrire le modèle de manière matricielle.

Y = Xβ + e,

avec Y = ( Y

, . . . , Y

)

, e = ( e

, . . . , e

)

et

X =









x

. . . x

.. . .. . .. . x

.. . x









Pour tout i, on a bien

Y [ i ] = x

, . . . , x

β + e

= x

β

+ . . . + x

β

+ e

= Y

.

2. Donner la loi du vecteur Y. Quelle est la loi de Y

? On a e ∼ N 0, σ

I

et donc

Y ∼ N Xβ, σ

I

et en particulier Y

∼ N ( Xβ )[ i ] , σ

.

On considère à partir de maintenant que rang ( X ) = p, et on note D = Im ( X ) . On s’intéresse à l’estimateur des moindres carrés défini par

β ˆ = arg min

h∈_R^p

k Y − Xh k

Montrer que la matrice X

X est inversible et en déduire ˆ β.

La matrice X

X est clairement symétrique. De plus pour tout h, h

X

Xh = k Xh k

≥ 0.

De plus, comme X est de taille n × d et de rang p, elle est injective, donc Xh = 0 = ⇒ h = 0

.

On note G ( h ) = k Y − Xh k

.

∇ G ( h ) = − 2X

( Y − Xh ) et ∇

G ( h ) = X

X.

Comme X

X est positive, la fonction est fortement convexe et si le gradient admet un 0, c’est donc l’unique minimiseur. On résout donc

∇ G ( h ) = 0 ⇔ X

Y − − X

Xh = 0 ⇔ h = X

X

X

Y On obtient donc ˆ β = X

X

X

Y qui est l’unique minimiseur des moindres carrés.

3. Montrer que P

= X X

X

X

est le projecteur orthogonale sur D parallèlement à D

. P

est clairement symétrique et

P

= X

X

X

X

X

X

X

X

= X

X

X

X

X X

X

X

= P

. De plus pour tout h

∈ D, il existe h ∈ _R

tel que h

= Xh. On a donc

P

( h

) = P

( Xh ) = X

X

X

X

Xh = X

X

X

( X

X ) h = Xh = h

Pour tout h

∈ D

⇔ ∀ h ∈ _R

, ( Xh )

h

= 0. De plus, pour tout h ∈ _R

et h

∈ D

, on a P

( h

)

h = h

|{z}

∈D^⊥

P

h

|{z}

=PD(h)∈D

= 0

et donc P

( h

) = 0.

4. Que pouvez vous en déduire sur X β ˆ ? On a

X β ˆ = X

X

X

X

Y = P

Y et X β ˆ est donc la projection orthogonale de Y sur D.

5. Donner la loi de X β ˆ et en déduire celle de ˆ β.

Comme Y ∼ N _β, σ

I

, on obtient

X β ˆ ∼ N P

Xβ, σ

P

I

P

Comme Xβ ∈ D et P

est une projection orthogonale, on obtient

X β ˆ ∼ N Xβ, σ

P

En multipliant par X

, on obtient

X

X β ˆ ∼ N X

Xβ, σ

X

P

X et comme X

X est inversible, et en remarquant que X

X

X

P

X = X

X

, β ˆ ∼ N

β, σ

X

X

.

6. On suppose σ

connu. Soit x

∈ _R

\{ ₀ } , donner un intervalle de confiance de niveau au moins 1 − α de x

β.

On a

x

β ˆ ∼ N

x

β, σ

x

X

X

x

. En remarquant que x

X

X

x

∈ _R

, on obtient (en centrant et réduisant) x

β ˆ − x

β

σ q

x

( X

X )

x

∼ N ( 0, 1 ) .

On a donc 1 − α = _P



 − q

≤ ^x

T0

β ˆ − x

β σ

q

x

( X

X )

x

≤ q



 = _P

x

β ∈ x

β ˆ ± q

σ q

x

( X

X )

x

.

7. On suppose maintenant que σ

est inconnu et on considère l’estimateur ˆ

σ

= ¹ n − p

Y − X β ˆ

2

(a) Expliquer ce choix d’estimateur.

Comme σ

est la variance des e

(et en particulier le moment d’ordre 2), un estimateur naturel aurait été

˜ σ

= ¹

n

∑

e

= ¹ n

∑

( Y

− Xβ )

= ¹

n k Y − Xβ k

.

Cependant, comme β est inconnu, on le remplace par son estimateur. Le remplaçement de n par n − p permet (a priori) d’obtenir un estimateur sans biais de σ

.

(b) Exprimer ˆ σ

à l’aide de projections.

On a 1

n − p σ ˆ

= ¹ n − p

Y − X β ˆ

2

= ¹

n − p k Y − P

Y k

= ¹

n − p k P

Y k

(c) Enoncer le théorème de Cochran dans ce cas. On a R

= D ⊕ D

. Ainsi, X β ˆ = P

( Y ) _et P

( Y ) sont indépendants et comme Xβ ∈ D,

1

σ

k P

Y − P

Xβ k

= ⁿ − p

σ

σ ˆ

∼ χ

et en particulier, ˆ β et ˆ σ

sont indépendants. De plus, on a

1 σ

Xβ − X β ˆ

2

∼ χ

et est également indépendants de ˆ σ

.

(d) En déduire un intervalle de confiance pour x

β.

Grâce à la question précédente, on a

x

β ˆ − x

β ˆ

σ q

x

( X

X )

x

∼ T

.

On a donc 1 − α = _P



 − t

≤ ^x

0T

β ˆ − x

β ˆ

σ q

x

( X

X )

x

≤ t



 = _P

x

β ∈ x

β ˆ ± t

σ ˆ q

x

( X

X )

x

.

(e) En déduire un test de niveau α pour tout tester β

= β

.

En notant e

= ( 0, . . . , 1, 0, . . . , 0 )

, on a β

= e

β. On a donc l’intervalle de confiance IC

β

=

x

β ˆ ± t

σ ˆ

X

X

[ j, j ]

où X

X

[ j, j ] est la j, j-ème coordonnée de X

X

. On rejette donc le test si β

n’est pas dans l’intervalle de confiance.

(f) Construire un intervalle de confiance pour σ.

Comme

n − p

σ

σ ˆ

∼ χ

en notant k

et k

les quantiles d’ordre α/2 et 1 − α/2, on obtient l’intervalle IC

σ

=

( n − p ) σ ˆ

k

; ( n − p ) σ ˆ

k

(g) Construire un test di niveau α pour tester β = β

. D’après la question c), on a

1 σ

Xβ − X β ˆ

2

∼ χ

et n − p

σ

σ ˆ

∼ χ

et ces deux variables sont indépendantes. On a donc

Xβ − X β ˆ

2

σ ˆ

∼ F ( p, n − p ) . On cherche donc c

tel que

P

"

Xβ − X β ˆ

2

ˆ

σ

≥ c

#

= α ⇔ _P [F ( p, n − p ) ≥ c

] ⇔ c

= f

où f

est le quantile d’ordre 1 − α d’une loi de Fisher de paramètre p, n − p.

8. On considère maintenant une n + 1-ème donnée x

et on souhaite prédire Y

. (a) Proposer un prédicteur ˆ Y

. On considère ˆ Y

= x

β. ˆ

(b) Donner sa loi.

On a

x

β ˆ ∼ N

x

β, σ

x

X

X

x

. (c) Donner la loi de l’erreur de prédiction ˆ e

= Y

− Y ^ˆ

.

On a

Y

− Y ^ˆ

= x

β − x

β ˆ + e

∼ N

0, σ

x

X

X

x

+ σ

(d) En déduire un intervalle de prédiction.

D’après la question précédente, et comme ˆ σ

et ˆ β sont indépendants, on a Y

− Y ^ˆ

σ ˆ q

x

( X

X )

x

+ 1

∼ T

.

On obtient donc l’intervalle de prédiction IP

( Y

) =

Y ˆ

± t

σ ˆ q

x

( X

X )

x

+ 1