ECO 4272 : Introduction ` a l’´ Econom´ etrie Le mod` ele de r´ egression multiple
Steve Ambler
D´epartement des sciences ´economiques Ecole des sciences de la gestion´ Universit´e du Qu´ebec `a Montr´eal
2018: Steve Amblerc
Hiver 2018
Objectifs
1. Pr´esenter le mod`ele de r´egression multiple.
2. D´eriver l’estimateur MCO.
3. Etudier ses propri´´ et´es alg´ebriques.
4. Regarder les hypoth`eses statistiques du mod`ele et analyser leurs cons´equences (absence de biais, convergence, efficience). 5. Distinguer entre les cas d’erreurs h´et´erosc´edastiques et erreurs
homosc´edastiques.
6. Analyser les tests d’hypoth`esesimples et le calcul d’intervalles de confiance dans le cadre du mod`ele.
7. Les tests d’hypoth`esesjointes et les ensembles de confiance.
Objectifs
1. Pr´esenter le mod`ele de r´egression multiple.
2. D´eriver l’estimateur MCO.
3. Etudier ses propri´´ et´es alg´ebriques.
4. Regarder les hypoth`eses statistiques du mod`ele et analyser leurs cons´equences (absence de biais, convergence, efficience). 5. Distinguer entre les cas d’erreurs h´et´erosc´edastiques et erreurs
homosc´edastiques.
6. Analyser les tests d’hypoth`esesimples et le calcul d’intervalles de confiance dans le cadre du mod`ele.
7. Les tests d’hypoth`esesjointes et les ensembles de confiance.
Objectifs
1. Pr´esenter le mod`ele de r´egression multiple.
2. D´eriver l’estimateur MCO.
3. Etudier ses propri´´ et´es alg´ebriques.
4. Regarder les hypoth`eses statistiques du mod`ele et analyser leurs cons´equences (absence de biais, convergence, efficience). 5. Distinguer entre les cas d’erreurs h´et´erosc´edastiques et erreurs
homosc´edastiques.
6. Analyser les tests d’hypoth`esesimples et le calcul d’intervalles de confiance dans le cadre du mod`ele.
7. Les tests d’hypoth`esesjointes et les ensembles de confiance.
Objectifs
1. Pr´esenter le mod`ele de r´egression multiple.
2. D´eriver l’estimateur MCO.
3. Etudier ses propri´´ et´es alg´ebriques.
4. Regarder les hypoth`eses statistiques du mod`ele et analyser leurs cons´equences (absence de biais, convergence, efficience).
5. Distinguer entre les cas d’erreurs h´et´erosc´edastiques et erreurs homosc´edastiques.
6. Analyser les tests d’hypoth`esesimples et le calcul d’intervalles de confiance dans le cadre du mod`ele.
7. Les tests d’hypoth`esesjointes et les ensembles de confiance.
Objectifs
1. Pr´esenter le mod`ele de r´egression multiple.
2. D´eriver l’estimateur MCO.
3. Etudier ses propri´´ et´es alg´ebriques.
4. Regarder les hypoth`eses statistiques du mod`ele et analyser leurs cons´equences (absence de biais, convergence, efficience).
5. Distinguer entre les cas d’erreurs h´et´erosc´edastiques et erreurs homosc´edastiques.
6. Analyser les tests d’hypoth`esesimples et le calcul d’intervalles de confiance dans le cadre du mod`ele.
7. Les tests d’hypoth`esesjointes et les ensembles de confiance.
Objectifs
1. Pr´esenter le mod`ele de r´egression multiple.
2. D´eriver l’estimateur MCO.
3. Etudier ses propri´´ et´es alg´ebriques.
4. Regarder les hypoth`eses statistiques du mod`ele et analyser leurs cons´equences (absence de biais, convergence, efficience).
5. Distinguer entre les cas d’erreurs h´et´erosc´edastiques et erreurs homosc´edastiques.
6. Analyser les tests d’hypoth`esesimples et le calcul d’intervalles de confiance dans le cadre du mod`ele.
7. Les tests d’hypoth`esesjointes et les ensembles de confiance.
Objectifs
1. Pr´esenter le mod`ele de r´egression multiple.
2. D´eriver l’estimateur MCO.
3. Etudier ses propri´´ et´es alg´ebriques.
4. Regarder les hypoth`eses statistiques du mod`ele et analyser leurs cons´equences (absence de biais, convergence, efficience).
5. Distinguer entre les cas d’erreurs h´et´erosc´edastiques et erreurs homosc´edastiques.
6. Analyser les tests d’hypoth`esesimples et le calcul d’intervalles de confiance dans le cadre du mod`ele.
7. Les tests d’hypoth`esesjointes et les ensembles de confiance.
Introduction
I Presque rien de nouveau par rapport au mod`ele de r´egression simple.
I Quasiment un rappel de la mati`ere d’avant l’examen intra.
I Introduction et utilisation de la notation matricielle.
I Nouveau concept : tester les hypoth`eses jointes.
Introduction
I Presque rien de nouveau par rapport au mod`ele de r´egression simple.
I Quasiment un rappel de la mati`ere d’avant l’examen intra.
I Introduction et utilisation de la notation matricielle.
I Nouveau concept : tester les hypoth`eses jointes.
Introduction
I Presque rien de nouveau par rapport au mod`ele de r´egression simple.
I Quasiment un rappel de la mati`ere d’avant l’examen intra.
I Introduction et utilisation de la notation matricielle.
I Nouveau concept : tester les hypoth`eses jointes.
Introduction
I Presque rien de nouveau par rapport au mod`ele de r´egression simple.
I Quasiment un rappel de la mati`ere d’avant l’examen intra.
I Introduction et utilisation de la notation matricielle.
I Nouveau concept : tester les hypoth`eses jointes.
Biais dˆ u ` a une variable omise
I Fa¸con de motiverle mod`ele de r´egression multiple.
I Si nous omettons un ou des facteurs qui ont un impact sur la variable d´ependante, l’estim´e de l’impact de la variable explicative d’int´erˆet peut ˆetre biais´e.
Biais dˆ u ` a une variable omise
I Fa¸con de motiverle mod`ele de r´egression multiple.
I Si nous omettons un ou des facteurs qui ont un impact sur la variable d´ependante, l’estim´e de l’impact de la variable explicative d’int´erˆet peut ˆetre biais´e.
Biais dˆ u ` a une variable omise (suite)
I L’estimateur ˆβ1 est ´egal `a βˆ1 =β1+
1 n
Pn
i=1 Xi −X¯ ui
1 n
Pn
i=1 Xi −X¯2 .
I Modifions les hypoth`ese statistiques : 1
n
n
X
i=1
Xi−X¯
ui −→p Cov (u, X) = Corr (u, X)σuσX, et
1 n
n
X
i=1
Xi−X¯2 p
−→σ2X.
Biais dˆ u ` a une variable omise (suite)
I L’estimateur ˆβ1 est ´egal `a βˆ1 =β1+
1 n
Pn
i=1 Xi −X¯ ui
1 n
Pn
i=1 Xi −X¯2 .
I Modifions les hypoth`ese statistiques : 1
n
n
X
i=1
Xi−X¯
ui −→p Cov (u, X) = Corr (u, X)σuσX,
et
1 n
n
X
i=1
Xi−X¯2 p
−→σ2X.
Biais dˆ u ` a une variable omise (suite)
I L’estimateur ˆβ1 est ´egal `a βˆ1 =β1+
1 n
Pn
i=1 Xi −X¯ ui
1 n
Pn
i=1 Xi −X¯2 .
I Modifions les hypoth`ese statistiques : 1
n
n
X
i=1
Xi−X¯
ui −→p Cov (u, X) = Corr (u, X)σuσX, et
1 n
n
X
i=1
Xi−X¯2 p
−
→σ2X.
Biais dˆ u ` a une variable omise (suite)
I On a βˆ1
−→p β1+Corr (u , X)σuσX
σ2X =β1+ Corr (u, X) σu
σX.
I L’estimateur ne converge plus `aβ1 en probabilit´e.
I Le signe du biais d´epend (mˆeme lorsquen → ∞) du signe de la corr´elation entre Xi et ui.
I Notez que dans ce cas-ci
E (ui|X =Xi)6= 0.
I S’il y a une variable dans la banque de donn´ees qui en principe pourrait affecter la variable d´ependante de l’´etude et qui risque d’ˆetre corr´el´ee avec une variable qui est incluse comme variable explicative dans le mod`ele, il y a probablement un probl`eme de variable omise.
Biais dˆ u ` a une variable omise (suite)
I On a βˆ1
−→p β1+Corr (u , X)σuσX
σ2X =β1+ Corr (u, X) σu
σX.
I L’estimateur ne converge plus `aβ1 en probabilit´e.
I Le signe du biais d´epend (mˆeme lorsquen → ∞) du signe de la corr´elation entre Xi et ui.
I Notez que dans ce cas-ci
E (ui|X =Xi)6= 0.
I S’il y a une variable dans la banque de donn´ees qui en principe pourrait affecter la variable d´ependante de l’´etude et qui risque d’ˆetre corr´el´ee avec une variable qui est incluse comme variable explicative dans le mod`ele, il y a probablement un probl`eme de variable omise.
Biais dˆ u ` a une variable omise (suite)
I On a βˆ1
−→p β1+Corr (u , X)σuσX
σ2X =β1+ Corr (u, X) σu
σX.
I L’estimateur ne converge plus `aβ1 en probabilit´e.
I Le signe du biais d´epend (mˆeme lorsquen → ∞) du signe de la corr´elation entre Xi et ui.
I Notez que dans ce cas-ci
E (ui|X =Xi)6= 0.
I S’il y a une variable dans la banque de donn´ees qui en principe pourrait affecter la variable d´ependante de l’´etude et qui risque d’ˆetre corr´el´ee avec une variable qui est incluse comme variable explicative dans le mod`ele, il y a probablement un probl`eme de variable omise.
Biais dˆ u ` a une variable omise (suite)
I On a βˆ1
−→p β1+Corr (u , X)σuσX
σ2X =β1+ Corr (u, X) σu
σX.
I L’estimateur ne converge plus `aβ1 en probabilit´e.
I Le signe du biais d´epend (mˆeme lorsquen → ∞) du signe de la corr´elation entre Xi et ui.
I Notez que dans ce cas-ci
E (ui|X =Xi)6= 0.
I S’il y a une variable dans la banque de donn´ees qui en principe pourrait affecter la variable d´ependante de l’´etude et qui risque d’ˆetre corr´el´ee avec une variable qui est incluse comme variable explicative dans le mod`ele, il y a probablement un probl`eme de variable omise.
Biais dˆ u ` a une variable omise (suite)
I On a βˆ1
−→p β1+Corr (u , X)σuσX
σ2X =β1+ Corr (u, X) σu
σX.
I L’estimateur ne converge plus `aβ1 en probabilit´e.
I Le signe du biais d´epend (mˆeme lorsquen → ∞) du signe de la corr´elation entre Xi et ui.
I Notez que dans ce cas-ci
E (ui|X =Xi)6= 0.
I S’il y a une variable dans la banque de donn´ees qui en principe pourrait affecter la variable d´ependante de l’´etude et qui risque d’ˆetre corr´el´ee avec une variable qui est incluse comme variable explicative dans le mod`ele, il y a probablement un probl`eme de variable omise.
Exemple
I Nous pouvons ˆetre encore plus explicite.
I Suppons que le vrai mod`ele est donn´e par Yi =β0+β1X1i+β2X2i +ui
I Le mod`ele estim´e est
Yi =β0+β1X1i + ˜ui
I Le terme d’erreur du mod`ele estim´e incorpore la variable omiseX2i avec le vrai terme d’erreurui.
Exemple
I Nous pouvons ˆetre encore plus explicite.
I Suppons que le vrai mod`ele est donn´e par Yi =β0+β1X1i+β2X2i +ui
I Le mod`ele estim´e est
Yi =β0+β1X1i + ˜ui
I Le terme d’erreur du mod`ele estim´e incorpore la variable omiseX2i avec le vrai terme d’erreurui.
Exemple
I Nous pouvons ˆetre encore plus explicite.
I Suppons que le vrai mod`ele est donn´e par Yi =β0+β1X1i+β2X2i +ui
I Le mod`ele estim´e est
Yi =β0+β1X1i + ˜ui
I Le terme d’erreur du mod`ele estim´e incorpore la variable omiseX2i avec le vrai terme d’erreurui.
Exemple
I Nous pouvons ˆetre encore plus explicite.
I Suppons que le vrai mod`ele est donn´e par Yi =β0+β1X1i+β2X2i +ui
I Le mod`ele estim´e est
Yi =β0+β1X1i + ˜ui
I Le terme d’erreur du mod`ele estim´e incorpore la variable omiseX2i avec le vrai terme d’erreurui.
Exemple (suite)
I Nous avons βˆ1=
1 n
Pn
i=1 X1i−X¯1
Yi −Y¯
1 n
Pn
i=1 X1i−X¯1
2 =
1 n
Pn
i=1 X1i −X¯1
β0+β1X1i+β2X2i +ui−β0−β1X¯1−β2X¯2−u¯
1 n
Pn
i=1 X1i −X¯1
2
=β1
1 n
Pn
i=1 X1i −X¯12 1
n
Pn
i=1 X1i −X¯1
2 +β2
1 n
Pn
i=1 X1i −X¯1
X2i−X¯2
1 n
Pn
i=1 X1i −X¯1
2
+
1 n
Pn
i=1 X1i −X¯1
(ui −u)¯
1 n
Pn
i=1 X1i−X¯12
Exemple (suite)
I Nous avons βˆ1=
1 n
Pn
i=1 X1i−X¯1
Yi −Y¯
1 n
Pn
i=1 X1i−X¯1
2 =
1 n
Pn
i=1 X1i −X¯1
β0+β1X1i+β2X2i +ui−β0−β1X¯1−β2X¯2−u¯
1 n
Pn
i=1 X1i −X¯1
2
=β1
1 n
Pn
i=1 X1i −X¯12 1
n
Pn
i=1 X1i −X¯1
2 +β2
1 n
Pn
i=1 X1i −X¯1
X2i−X¯2
1 n
Pn
i=1 X1i −X¯1
2
+
1 n
Pn
i=1 X1i −X¯1
(ui −u)¯
1 n
Pn
i=1 X1i−X¯12
Exemple (suite)
I Nous avons βˆ1=
1 n
Pn
i=1 X1i−X¯1
Yi −Y¯
1 n
Pn
i=1 X1i−X¯1
2 =
1 n
Pn
i=1 X1i −X¯1
β0+β1X1i+β2X2i +ui−β0−β1X¯1−β2X¯2−u¯
1 n
Pn
i=1 X1i −X¯1
2
=β1
1 n
Pn
i=1 X1i −X¯12 1
n
Pn
i=1 X1i −X¯1
2 +β2
1 n
Pn
i=1 X1i−X¯1
X2i−X¯2
1 n
Pn
i=1 X1i −X¯1
2
+
1 n
Pn
i=1 X1i −X¯1
(ui −u)¯
1 n
Pn
i=1 X1i−X¯12
Exemple (suite)
I ce qui doit enfin ˆetre ´egal `a
=β1+β2 1 n
Pn
i=1 X1i−X¯1
X2i−X¯2
1 n
Pn
i=1 X1i −X¯12
+
1 n
Pn
i=1 X1i−X¯1
(ui−u)¯
1 n
Pn
i=1 X1i −X¯1
2 .
I Calculant l’esp´erance de ˆβ1, nous obtenons E ˆβ1=β1+β2E
1 n
Pn
i=1 X1i −X¯1
X2i −X¯2
1 n
Pn
i=1 X1i−X¯12
!
+E +
1 n
Pn
i=1 X1i −X¯1
E ((ui−u)¯ |X11,X12, . . . ,X1n)
1 n
Pn
i=1 X1i −X¯12
!
Exemple (suite)
I ce qui doit enfin ˆetre ´egal `a
=β1+β2 1 n
Pn
i=1 X1i−X¯1
X2i−X¯2
1 n
Pn
i=1 X1i −X¯12
+
1 n
Pn
i=1 X1i−X¯1
(ui−u)¯
1 n
Pn
i=1 X1i −X¯1
2 .
I Calculant l’esp´erance de ˆβ1, nous obtenons E ˆβ1 =β1+β2E
1 n
Pn
i=1 X1i −X¯1
X2i −X¯2
1 n
Pn
i=1 X1i−X¯12
!
+E +
1 n
Pn
i=1 X1i −X¯1
E ((ui−u)¯ |X11,X12, . . . ,X1n)
1 n
Pn
i=1 X1i −X¯12
!
Exemple (suite)
I ce qui doit enfin ˆetre ´egal `a
=β1+β2E
1 n
Pn
i=1 X1i −X¯1
X2i −X¯2
1 n
Pn
i=1 X1i −X¯12
!
par la loi des esp´erances it´er´ees.
I En g´en´eral E
1 n
Pn
i=1 X1i−X¯1
X2i−X¯2
1 n
Pn
i=1 X1i −X¯12
! 6= 0.
I L’estimateur est biais´e, le biais ´etant donn´e par la valeur de l’esp´erance dans l’´equation pr´ec´edente.
Exemple (suite)
I ce qui doit enfin ˆetre ´egal `a
=β1+β2E
1 n
Pn
i=1 X1i −X¯1
X2i −X¯2
1 n
Pn
i=1 X1i −X¯12
!
par la loi des esp´erances it´er´ees.
I En g´en´eral E
1 n
Pn
i=1 X1i−X¯1
X2i−X¯2
1 n
Pn
i=1 X1i −X¯12
! 6= 0.
I L’estimateur est biais´e, le biais ´etant donn´e par la valeur de l’esp´erance dans l’´equation pr´ec´edente.
Exemple (suite)
I ce qui doit enfin ˆetre ´egal `a
=β1+β2E
1 n
Pn
i=1 X1i −X¯1
X2i −X¯2
1 n
Pn
i=1 X1i −X¯12
!
par la loi des esp´erances it´er´ees.
I En g´en´eral E
1 n
Pn
i=1 X1i−X¯1
X2i−X¯2
1 n
Pn
i=1 X1i −X¯12
! 6= 0.
I L’estimateur est biais´e, le biais ´etant donn´e par la valeur de l’esp´erance dans l’´equation pr´ec´edente.
Exemple (suite)
I Nous avons 1 n
n
X
i=1
X1i −X¯1
X2i −X¯2
qui est (presque) la covariance ´echantillonnale entre X1 et X2.
I Et
1 n
n
X
i=1
X1i−X¯1
2
est (presque) la variance ´echantillonnale deX1.
Exemple (suite)
I Nous avons 1 n
n
X
i=1
X1i −X¯1
X2i −X¯2
qui est (presque) la covariance ´echantillonnale entre X1 et X2.
I Et
1 n
n
X
i=1
X1i−X¯1
2
est (presque) la variance ´echantillonnale deX1.
Exemple (suite)
I Si les deux expressions sont des estimateurs convergents de leurs ´equivalents dans la population, nous avons :
1 n
n
X
i=1
X1i −X¯1
X2i −X¯2 p
−→Cov (X1 , X2)
I et
1 n
n
X
i=1
X1i−X¯12 p
−
→Var (X1).
Exemple (suite)
I Si les deux expressions sont des estimateurs convergents de leurs ´equivalents dans la population, nous avons :
1 n
n
X
i=1
X1i −X¯1
X2i −X¯2 p
−→Cov (X1 , X2)
I et
1 n
n
X
i=1
X1i−X¯12 p
−
→Var (X1).
Exemple (suite)
I Th´eor`eme de Slutsky =>
βˆ1 −→p β1+β2Cov (X1 , X2) Var (X1)
I L’´ecart entre ˆβ1 et sa vraie valeur est approximativement
´
egale `a la vraie valeur de β2 fois le ratio de la covariance entre X1 etX2 et la variance de X1.
I Si on connaˆıt au moins le signe de β2 et de la covariance, on peut pr´edire le signe de cet ´ecart. Aussi, nous savons que
Cov (X1, X2) Var (X1)
est la valeur (asymptotique) du coefficient de pente d’une r´egression o`u X2 est la variable d´ependante et X1 est la variable explicative.
Exemple (suite)
I Th´eor`eme de Slutsky =>
βˆ1 −→p β1+β2Cov (X1 , X2) Var (X1)
I L’´ecart entre ˆβ1 et sa vraie valeur est approximativement
´
egale `a la vraie valeur de β2 fois le ratio de la covariance entre X1 etX2 et la variance de X1.
I Si on connaˆıt au moins le signe de β2 et de la covariance, on peut pr´edire le signe de cet ´ecart. Aussi, nous savons que
Cov (X1, X2) Var (X1)
est la valeur (asymptotique) du coefficient de pente d’une r´egression o`u X2 est la variable d´ependante et X1 est la variable explicative.
Exemple (suite)
I Th´eor`eme de Slutsky =>
βˆ1 −→p β1+β2Cov (X1 , X2) Var (X1)
I L’´ecart entre ˆβ1 et sa vraie valeur est approximativement
´
egale `a la vraie valeur de β2 fois le ratio de la covariance entre X1 etX2 et la variance de X1.
I Si on connaˆıt au moins le signe de β2 et de la covariance, on peut pr´edire le signe de cet ´ecart. Aussi, nous savons que
Cov (X1, X2) Var (X1)
est la valeur (asymptotique) du coefficient de pente d’une r´egression o`u X2 est la variable d´ependante et X1 est la variable explicative.
Mod` ele de r´ egression multiple
I Mod`ele :
Yi =β0+X1iβ1+X2iβ2+. . .+Xkiβk +ui.
I Version matricielle :
Y =Xβ+U,
I Il faut d´efinir les matrices/vecteurs (page suivante).
Mod` ele de r´ egression multiple
I Mod`ele :
Yi =β0+X1iβ1+X2iβ2+. . .+Xkiβk +ui.
I Version matricielle :
Y =Xβ+U,
I Il faut d´efinir les matrices/vecteurs (page suivante).
Mod` ele de r´ egression multiple
I Mod`ele :
Yi =β0+X1iβ1+X2iβ2+. . .+Xkiβk +ui.
I Version matricielle :
Y =Xβ+U,
I Il faut d´efinir les matrices/vecteurs (page suivante).
Mod` ele de r´ egression multiple (suite)
Y ≡
Y1 Y2 . . . Yn
0
X ≡
1 X11 X21 . . . Xk1
1 X12 X22 . . . Xk2 ... ... ... . .. ... 1 X1n X2n . . . Xkn
,
β ≡
β0 β1 β2 . . . βk 0
U ≡
u1 u2 . . . un
0
Mod` ele de r´ egression multiple (suite)
Y ≡
Y1 Y2 . . . Yn
0
X ≡
1 X11 X21 . . . Xk1
1 X12 X22 . . . Xk2 ... ... ... . .. ... 1 X1n X2n . . . Xkn
,
β ≡
β0 β1 β2 . . . βk 0
U ≡
u1 u2 . . . un
0
Mod` ele de r´ egression multiple (suite)
Y ≡
Y1 Y2 . . . Yn
0
X ≡
1 X11 X21 . . . Xk1
1 X12 X22 . . . Xk2 ... ... ... . .. ... 1 X1n X2n . . . Xkn
,
β ≡
β0 β1 β2 . . . βk 0
U ≡
u1 u2 . . . un
0
Mod` ele de r´ egression multiple (suite)
Y ≡
Y1 Y2 . . . Yn
0
X ≡
1 X11 X21 . . . Xk1
1 X12 X22 . . . Xk2 ... ... ... . .. ... 1 X1n X2n . . . Xkn
,
β ≡
β0 β1 β2 . . . βk 0
U ≡
u1 u2 . . . un
0
Estimateur MCO
I Probl`eme de minimisation : min
β U0U.
I Rempla¸cons U par sa d´efinition.
minβ (Y −Xβ)0(Y −Xβ).
I Equivalent `´ a :
minβ Y0Y −β0X0Y −Y0Xβ+β0X0Xβ .
Estimateur MCO
I Probl`eme de minimisation : min
β U0U.
I Rempla¸cons U par sa d´efinition.
minβ (Y −Xβ)0(Y −Xβ).
I Equivalent `´ a :
minβ Y0Y −β0X0Y −Y0Xβ+β0X0Xβ .
Estimateur MCO
I Probl`eme de minimisation : min
β U0U.
I Rempla¸cons U par sa d´efinition.
minβ (Y −Xβ)0(Y −Xβ).
I Equivalent `´ a :
minβ Y0Y −β0X0Y −Y0Xβ+β0X0Xβ .
Estimateur MCO (suite)
I CPOs (d´eriv´ee par rapport `a β) :
−X0Y −X0Y +X0Xβ+ X0X0
β = 0
⇒2X0Xβ−2X0Y = 0
⇒X0Xβ =X0Y.
I Nous avons k+ 1 ´equations lin´eaires pour trouverk+ 1 inconnus (les ´el´ements deβ).
I Nous appelons commun´ement ces ´equations les´equations normales.
Estimateur MCO (suite)
I CPOs (d´eriv´ee par rapport `a β) :
−X0Y −X0Y +X0Xβ+ X0X0
β = 0
⇒2X0Xβ−2X0Y = 0
⇒X0Xβ =X0Y.
I Nous avons k+ 1 ´equations lin´eaires pour trouverk+ 1 inconnus (les ´el´ements deβ).
I Nous appelons commun´ement ces ´equations les´equations normales.
Estimateur MCO (suite)
I CPOs (d´eriv´ee par rapport `a β) :
−X0Y −X0Y +X0Xβ+ X0X0
β = 0
⇒2X0Xβ−2X0Y = 0
⇒X0Xβ =X0Y.
I Nous avons k+ 1 ´equations lin´eaires pour trouverk+ 1 inconnus (les ´el´ements deβ).
I Nous appelons commun´ement ces ´equations les´equations normales.
Estimateur MCO (suite)
I CPOs (d´eriv´ee par rapport `a β) :
−X0Y −X0Y +X0Xβ+ X0X0
β = 0
⇒2X0Xβ−2X0Y = 0
⇒X0Xβ =X0Y.
I Nous avons k+ 1 ´equations lin´eaires pour trouver k+ 1 inconnus (les ´el´ements deβ).
I Nous appelons commun´ement ces ´equations les´equations normales.
Estimateur MCO (suite)
I CPOs (d´eriv´ee par rapport `a β) :
−X0Y −X0Y +X0Xβ+ X0X0
β = 0
⇒2X0Xβ−2X0Y = 0
⇒X0Xβ =X0Y.
I Nous avons k+ 1 ´equations lin´eaires pour trouver k+ 1 inconnus (les ´el´ements deβ).
I Nous appelons commun´ement ces ´equations les´equations normales.
Estimateur MCO (suite)
I Nous obtenons X0X−1
X0Xβ = X0X−1
X0Y =β.
I R´esultat fondamental :
βˆ= X0X−1
X0Y
Estimateur MCO (suite)
I Nous obtenons X0X−1
X0Xβ = X0X−1
X0Y =β.
I R´esultat fondamental :
βˆ= X0X−1
X0Y
Diff´ erentiation matricielle
I Application de :
y ∂y∂x
Ax A0 x0A A x0x 2x x0Ax Ax +A0x
I Etudiez bien la CPO pour comprendre pourquoi c’est une´ application de ces r`egles.
I Etudiez bien les exemples simples dans les notes.´
Diff´ erentiation matricielle
I Application de :
y ∂y∂x
Ax A0 x0A A x0x 2x x0Ax Ax +A0x
I Etudiez bien la CPO pour comprendre pourquoi c’est une´ application de ces r`egles.
I Etudiez bien les exemples simples dans les notes.´
Diff´ erentiation matricielle
I Application de :
y ∂y∂x
Ax A0 x0A A x0x 2x x0Ax Ax +A0x
I Etudiez bien la CPO pour comprendre pourquoi c’est une´ application de ces r`egles.
I Etudiez bien les exemples simples dans les notes.´
Approche non matricielle
I Le probl`eme est
β0,βmin1,...,βk
n
X
i=1
(Yi−β0−X1iβ1−X2iβ2−. . .−Xkiβk)2.
I CPOs :
β0 : 0 =−2
n
X
i=1
(Yi −β0−X1iβ1−. . .−Xkiβk) ;
βj : 0 =−2
n
X
i=1
Xji(Yi −β0−X1iβ1−. . .−Xkiβk) pour j 6= 0.
I k+ 1 ´equations (lin´eaires) enk+ 1 inconnus.
Approche non matricielle
I Le probl`eme est
β0,βmin1,...,βk
n
X
i=1
(Yi−β0−X1iβ1−X2iβ2−. . .−Xkiβk)2.
I CPOs :
β0 : 0 =−2
n
X
i=1
(Yi −β0−X1iβ1−. . .−Xkiβk) ;
βj : 0 =−2
n
X
i=1
Xji(Yi −β0−X1iβ1−. . .−Xkiβk) pour j 6= 0.
I k+ 1 ´equations (lin´eaires) enk+ 1 inconnus.
Approche non matricielle
I Le probl`eme est
β0,βmin1,...,βk
n
X
i=1
(Yi−β0−X1iβ1−X2iβ2−. . .−Xkiβk)2.
I CPOs :
β0 : 0 =−2
n
X
i=1
(Yi −β0−X1iβ1−. . .−Xkiβk) ;
βj : 0 =−2
n
X
i=1
Xji(Yi−β0−X1iβ1−. . .−Xkiβk) pour j 6= 0.
I k+ 1 ´equations (lin´eaires) enk+ 1 inconnus.
Approche non matricielle
I Le probl`eme est
β0,βmin1,...,βk
n
X
i=1
(Yi−β0−X1iβ1−X2iβ2−. . .−Xkiβk)2.
I CPOs :
β0 : 0 =−2
n
X
i=1
(Yi −β0−X1iβ1−. . .−Xkiβk) ;
βj : 0 =−2
n
X
i=1
Xji(Yi−β0−X1iβ1−. . .−Xkiβk) pour j 6= 0.
I k+ 1 ´equations (lin´eaires) enk+ 1 inconnus.
Approche non matricielle (suite)
I Nous obtenons
n
X
i=1
Yi =
n
X
i=1
(β0+X1iβ1+. . .+Xkiβk) ;
n
X
i=1
X1iYi =
n
X
i=1
X1i(β0+X1iβ1+. . .+Xkiβk) ;
n
X
i=1
X2iYi =
n
X
i=1
X2i(β0+X1iβ1+. . .+Xkiβk) ; . . .
n
X
i=1
XkiYi =
n
X
i=1
Xki(β0+X1iβ1+. . .+Xkiβk).
Approche non matricielle (suite)
I Nous pouvons maintenant convertir en notation matricielle.
1 . . . 1
Y1
... Yn
=
1 . . . 1 Xβ;ˆ
X11 . . . X1n
Y1
... Yn
=
X11 . . . X1n Xβ;ˆ ...
Xk1 . . . Xkn
Y1
... Yn
=
Xk1 . . . Xkn Xβ,ˆ
Approche non matricielle (suite)
I Onempile les k+ 1 ´equations les unes pardessus les autres :
1 . . . 1 X11 . . . X1n X21 . . . X2n
... ... ... Xk1 . . . Xkn
Y1
... Yn
=
1 . . . 1 X11 . . . X1n X21 . . . X2n
... ... ... Xk1 . . . Xkn
Xβˆ
⇒X0Y =X0Xβˆ
⇒βˆ= (X0X)−1X0Y.
I On obtient la mˆeme solution (pas surprenant).
Approche non matricielle (suite)
I Onempile les k+ 1 ´equations les unes pardessus les autres :
1 . . . 1 X11 . . . X1n X21 . . . X2n
... ... ... Xk1 . . . Xkn
Y1
... Yn
=
1 . . . 1 X11 . . . X1n X21 . . . X2n
... ... ... Xk1 . . . Xkn
Xβˆ
⇒X0Y =X0Xβˆ
⇒βˆ= (X0X)−1X0Y.
I On obtient la mˆeme solution (pas surprenant).
Approche non matricielle (suite)
I Onempile les k+ 1 ´equations les unes pardessus les autres :
1 . . . 1 X11 . . . X1n X21 . . . X2n
... ... ... Xk1 . . . Xkn
Y1
... Yn
=
1 . . . 1 X11 . . . X1n X21 . . . X2n
... ... ... Xk1 . . . Xkn
Xβˆ
⇒X0Y =X0Xβˆ
⇒βˆ= (X0X)−1X0Y.
I On obtient la mˆeme solution (pas surprenant).
Approche non matricielle (suite)
I Onempile les k+ 1 ´equations les unes pardessus les autres :
1 . . . 1 X11 . . . X1n X21 . . . X2n
... ... ... Xk1 . . . Xkn
Y1
... Yn
=
1 . . . 1 X11 . . . X1n X21 . . . X2n
... ... ... Xk1 . . . Xkn
Xβˆ
⇒X0Y =X0Xβˆ
⇒βˆ= (X0X)−1X0Y.
I On obtient la mˆeme solution (pas surprenant).
Propri´ et´ es alg´ ebriques de l’estimateur MCO
I Plus facile de les d´eriver en notation matricielle.
I Orthogonalit´e : les ´equations normales sont X0Xβˆ=X0Y
⇒X0
Xβˆ−Y
= 0
⇒X0
Y −Xβˆ
= 0. Y −Xβb≡Ub. Donc, nous avons :
X0Ub= 0.
I Une cons´equence directe est que la somme des r´esidus est
´
egale `a z´ero.
Propri´ et´ es alg´ ebriques de l’estimateur MCO
I Plus facile de les d´eriver en notation matricielle.
I Orthogonalit´e : les ´equations normales sont X0Xβˆ=X0Y
⇒X0
Xβˆ−Y
= 0
⇒X0
Y −Xβˆ
= 0. Y −Xβb≡Ub. Donc, nous avons :
X0Ub= 0.
I Une cons´equence directe est que la somme des r´esidus est
´
egale `a z´ero.
Propri´ et´ es alg´ ebriques de l’estimateur MCO
I Plus facile de les d´eriver en notation matricielle.
I Orthogonalit´e : les ´equations normales sont X0Xβˆ=X0Y
⇒X0
Xβˆ−Y
= 0
⇒X0
Y −Xβˆ
= 0. Y −Xβb≡Ub. Donc, nous avons :
X0Ub= 0.
I Une cons´equence directe est que la somme des r´esidus est
´
egale `a z´ero.
Propri´ et´ es alg´ ebriques de l’estimateur MCO
I Plus facile de les d´eriver en notation matricielle.
I Orthogonalit´e : les ´equations normales sont X0Xβˆ=X0Y
⇒X0
Xβˆ−Y
= 0
⇒X0
Y −Xβˆ
= 0.
Y −Xβb≡Ub. Donc, nous avons :
X0Ub= 0.
I Une cons´equence directe est que la somme des r´esidus est
´
egale `a z´ero.
Propri´ et´ es alg´ ebriques de l’estimateur MCO
I Plus facile de les d´eriver en notation matricielle.
I Orthogonalit´e : les ´equations normales sont X0Xβˆ=X0Y
⇒X0
Xβˆ−Y
= 0
⇒X0
Y −Xβˆ
= 0.
Y −Xβb≡Ub.
Donc, nous avons :
X0Ub= 0.
I Une cons´equence directe est que la somme des r´esidus est
´
egale `a z´ero.
Propri´ et´ es alg´ ebriques de l’estimateur MCO
I Plus facile de les d´eriver en notation matricielle.
I Orthogonalit´e : les ´equations normales sont X0Xβˆ=X0Y
⇒X0
Xβˆ−Y
= 0
⇒X0
Y −Xβˆ
= 0.
Y −Xβb≡Ub. Donc, nous avons :
X0Ub= 0.
I Une cons´equence directe est que la somme des r´esidus est
´
egale `a z´ero.
Propri´ et´ es alg´ ebriques de l’estimateur MCO
I Plus facile de les d´eriver en notation matricielle.
I Orthogonalit´e : les ´equations normales sont X0Xβˆ=X0Y
⇒X0
Xβˆ−Y
= 0
⇒X0
Y −Xβˆ
= 0.
Y −Xβb≡Ub. Donc, nous avons :
X0Ub= 0.
I Une cons´equence directe est que la somme des r´esidus est
´
egale `a z´ero.
Orthogonalit´ e (suite)
I Mˆeme interpr´etation g´eom´etrique que dans le mod`ele de r´egression simple.
Figure 1
Propri´ et´ es alg´ ebriques (suite)
I D´efinissons
Yˆ ≡Xβ,ˆ
I Nous avons Yˆ0Ub=
X X0X−1
X0Y 0
Ub=Y0X X0X−1
X0Ub= 0.
I Les valeurs pr´edites de Y sont orthogonales aux r´esidus.
I Finalement, nous avons X0
Yb−Y
=X0
X X0X−1
X0Y −Y
=X0X X0X−1
X0Y −X0Y =X0Y −X0Y = 0.
I Cons´equence : la moyenne ´echantillonnale des valeurs pr´edites est ´egale `a ¯Y.
Propri´ et´ es alg´ ebriques (suite)
I D´efinissons
Yˆ ≡Xβ,ˆ
I Nous avons Yˆ0Ub=
X X0X−1
X0Y 0
Ub
=Y0X X0X−1
X0Ub= 0.
I Les valeurs pr´edites de Y sont orthogonales aux r´esidus.
I Finalement, nous avons X0
Yb−Y
=X0
X X0X−1
X0Y −Y
=X0X X0X−1
X0Y −X0Y =X0Y −X0Y = 0.
I Cons´equence : la moyenne ´echantillonnale des valeurs pr´edites est ´egale `a ¯Y.
Propri´ et´ es alg´ ebriques (suite)
I D´efinissons
Yˆ ≡Xβ,ˆ
I Nous avons Yˆ0Ub=
X X0X−1
X0Y 0
Ub=Y0X X0X−1
X0Ub
= 0.
I Les valeurs pr´edites de Y sont orthogonales aux r´esidus.
I Finalement, nous avons X0
Yb−Y
=X0
X X0X−1
X0Y −Y
=X0X X0X−1
X0Y −X0Y =X0Y −X0Y = 0.
I Cons´equence : la moyenne ´echantillonnale des valeurs pr´edites est ´egale `a ¯Y.