TD 3 : Théorème de Cochran et modèle linéaire

Sorbonne Université Année 2019/2020

1ère année ISUP Deuxième semestre

TD 3 : Théorème de Cochran et modèle linéaire

Exercice : Le principe de la régression linéaire est de modéliser une variableyà partir de variables explicativesx= _{x1, . . . ,xp}^T, i.e de considérer

y=β₁x₁+. . .+β_px_p, oùβ= x₁, . . . ,xp

est inconnu. En pratique, on dispose d’un échantillon(x₁,y₁), . . . ,(xn,yn), mais on obtient jamais réellement une droite (erreurs de mesures...). On va donc considérer le modèle linéaire

y=β₁x₁+. . .+βpxp+e avece∼ N 0,σ²

. On parle alors de modèle linéaire gaussien. On suppose maintenant que les données suivent le modèle suivant :

Y_i =β₁x_i,1+. . .+β_px_i,p+e_i, avec

— Y_iest une variable aléatoire et on observe les réalisationsy_i.

— Lesx_i = x_i,1, . . . ,x_i,pT

sont déterministes.

— Le paramètreβ= β₁, . . . ,β_pT

est inconnu et déterministe.

— Lese_isont i.i.d ete₁ ∼ N 0,σ² . 1. Ecrire le modèle de manière matricielle.

2. Donner la loi du vecteurY. Quelle est la loi deY_i?

3. On considère à partir de maintenant que rang(X) = p, et on noteD=Im(X). On s’intéresse à l’estimateur des moindres carrés défini par

βˆ =arg min

h∈_R^pkY−Xhk² Montrer que la matriceX^TXest inversible et en déduire ˆβ.

4. Montrer queP_D =X X^TX−1

X^T est le projecteur orthogonale surDparallèlement àD^⊥. 5. Que pouvez vous en déduire surXβˆ?

6. Donner la loi deXβˆet en déduire celle de ˆβ.

7. On supposeσ²connu. Soitx₀ ∈_R^p\{0}, donner un intervalle de confiance de niveau au moins 1−αdex₀^Tβ.

8. On suppose maintenant queσ²est inconnu et on considère l’estimateur ˆ

σ²= ¹ n−p

Y−Xβˆ

2

(a) Expliquer ce choix d’estimateur.

(b) Exprimer ˆσ²à l’aide de projections.

(c) Enoncer le théorème de Cochran dans ce cas.

(d) En déduire un intervalle de confiance pourx^T₀β.

(e) En déduire un test de niveauαpour tout testerβ_j =β_j,0. (f) Construire un intervalle de confiance pourσ.

(g) Construire un test di niveauαpour testerβ= β₀.

9. On considère maintenant unen+1-ème donnéex_n+1et on souhaite prédireY_n+1. (a) Proposer un prédicteur ˆY_n+1.

(b) Donner la loi de l’erreur de prédiction ˆe_n+1=Y_n+1−Y^ˆ_n+1. (c) En déduire un intervalle de prédiction.