• Aucun résultat trouvé

ECO 4272 : Introduction ` a l’´ Econom´ etrie Le mod` ele de r´ egression multiple

N/A
N/A
Protected

Academic year: 2022

Partager "ECO 4272 : Introduction ` a l’´ Econom´ etrie Le mod` ele de r´ egression multiple"

Copied!
370
0
0

Texte intégral

(1)

ECO 4272 : Introduction ` a l’´ Econom´ etrie Le mod` ele de r´ egression multiple

Steve Ambler

D´epartement des sciences ´economiques Ecole des sciences de la gestion´ Universit´e du Qu´ebec `a Montr´eal

2018: Steve Amblerc

Hiver 2018

(2)

Objectifs

1. Pr´esenter le mod`ele de r´egression multiple.

2. D´eriver l’estimateur MCO.

3. Etudier ses propri´´ et´es alg´ebriques.

4. Regarder les hypoth`eses statistiques du mod`ele et analyser leurs cons´equences (absence de biais, convergence, efficience). 5. Distinguer entre les cas d’erreurs h´et´erosc´edastiques et erreurs

homosc´edastiques.

6. Analyser les tests d’hypoth`esesimples et le calcul d’intervalles de confiance dans le cadre du mod`ele.

7. Les tests d’hypoth`esesjointes et les ensembles de confiance.

(3)

Objectifs

1. Pr´esenter le mod`ele de r´egression multiple.

2. D´eriver l’estimateur MCO.

3. Etudier ses propri´´ et´es alg´ebriques.

4. Regarder les hypoth`eses statistiques du mod`ele et analyser leurs cons´equences (absence de biais, convergence, efficience). 5. Distinguer entre les cas d’erreurs h´et´erosc´edastiques et erreurs

homosc´edastiques.

6. Analyser les tests d’hypoth`esesimples et le calcul d’intervalles de confiance dans le cadre du mod`ele.

7. Les tests d’hypoth`esesjointes et les ensembles de confiance.

(4)

Objectifs

1. Pr´esenter le mod`ele de r´egression multiple.

2. D´eriver l’estimateur MCO.

3. Etudier ses propri´´ et´es alg´ebriques.

4. Regarder les hypoth`eses statistiques du mod`ele et analyser leurs cons´equences (absence de biais, convergence, efficience). 5. Distinguer entre les cas d’erreurs h´et´erosc´edastiques et erreurs

homosc´edastiques.

6. Analyser les tests d’hypoth`esesimples et le calcul d’intervalles de confiance dans le cadre du mod`ele.

7. Les tests d’hypoth`esesjointes et les ensembles de confiance.

(5)

Objectifs

1. Pr´esenter le mod`ele de r´egression multiple.

2. D´eriver l’estimateur MCO.

3. Etudier ses propri´´ et´es alg´ebriques.

4. Regarder les hypoth`eses statistiques du mod`ele et analyser leurs cons´equences (absence de biais, convergence, efficience).

5. Distinguer entre les cas d’erreurs h´et´erosc´edastiques et erreurs homosc´edastiques.

6. Analyser les tests d’hypoth`esesimples et le calcul d’intervalles de confiance dans le cadre du mod`ele.

7. Les tests d’hypoth`esesjointes et les ensembles de confiance.

(6)

Objectifs

1. Pr´esenter le mod`ele de r´egression multiple.

2. D´eriver l’estimateur MCO.

3. Etudier ses propri´´ et´es alg´ebriques.

4. Regarder les hypoth`eses statistiques du mod`ele et analyser leurs cons´equences (absence de biais, convergence, efficience).

5. Distinguer entre les cas d’erreurs h´et´erosc´edastiques et erreurs homosc´edastiques.

6. Analyser les tests d’hypoth`esesimples et le calcul d’intervalles de confiance dans le cadre du mod`ele.

7. Les tests d’hypoth`esesjointes et les ensembles de confiance.

(7)

Objectifs

1. Pr´esenter le mod`ele de r´egression multiple.

2. D´eriver l’estimateur MCO.

3. Etudier ses propri´´ et´es alg´ebriques.

4. Regarder les hypoth`eses statistiques du mod`ele et analyser leurs cons´equences (absence de biais, convergence, efficience).

5. Distinguer entre les cas d’erreurs h´et´erosc´edastiques et erreurs homosc´edastiques.

6. Analyser les tests d’hypoth`esesimples et le calcul d’intervalles de confiance dans le cadre du mod`ele.

7. Les tests d’hypoth`esesjointes et les ensembles de confiance.

(8)

Objectifs

1. Pr´esenter le mod`ele de r´egression multiple.

2. D´eriver l’estimateur MCO.

3. Etudier ses propri´´ et´es alg´ebriques.

4. Regarder les hypoth`eses statistiques du mod`ele et analyser leurs cons´equences (absence de biais, convergence, efficience).

5. Distinguer entre les cas d’erreurs h´et´erosc´edastiques et erreurs homosc´edastiques.

6. Analyser les tests d’hypoth`esesimples et le calcul d’intervalles de confiance dans le cadre du mod`ele.

7. Les tests d’hypoth`esesjointes et les ensembles de confiance.

(9)

Introduction

I Presque rien de nouveau par rapport au mod`ele de r´egression simple.

I Quasiment un rappel de la mati`ere d’avant l’examen intra.

I Introduction et utilisation de la notation matricielle.

I Nouveau concept : tester les hypoth`eses jointes.

(10)

Introduction

I Presque rien de nouveau par rapport au mod`ele de r´egression simple.

I Quasiment un rappel de la mati`ere d’avant l’examen intra.

I Introduction et utilisation de la notation matricielle.

I Nouveau concept : tester les hypoth`eses jointes.

(11)

Introduction

I Presque rien de nouveau par rapport au mod`ele de r´egression simple.

I Quasiment un rappel de la mati`ere d’avant l’examen intra.

I Introduction et utilisation de la notation matricielle.

I Nouveau concept : tester les hypoth`eses jointes.

(12)

Introduction

I Presque rien de nouveau par rapport au mod`ele de r´egression simple.

I Quasiment un rappel de la mati`ere d’avant l’examen intra.

I Introduction et utilisation de la notation matricielle.

I Nouveau concept : tester les hypoth`eses jointes.

(13)

Biais dˆ u ` a une variable omise

I Fa¸con de motiverle mod`ele de r´egression multiple.

I Si nous omettons un ou des facteurs qui ont un impact sur la variable d´ependante, l’estim´e de l’impact de la variable explicative d’int´erˆet peut ˆetre biais´e.

(14)

Biais dˆ u ` a une variable omise

I Fa¸con de motiverle mod`ele de r´egression multiple.

I Si nous omettons un ou des facteurs qui ont un impact sur la variable d´ependante, l’estim´e de l’impact de la variable explicative d’int´erˆet peut ˆetre biais´e.

(15)

Biais dˆ u ` a une variable omise (suite)

I L’estimateur ˆβ1 est ´egal `a βˆ11+

1 n

Pn

i=1 Xi −X¯ ui

1 n

Pn

i=1 Xi −X¯2 .

I Modifions les hypoth`ese statistiques : 1

n

n

X

i=1

Xi−X¯

ui −→p Cov (u, X) = Corr (u, X)σuσX, et

1 n

n

X

i=1

Xi−X¯2 p

−→σ2X.

(16)

Biais dˆ u ` a une variable omise (suite)

I L’estimateur ˆβ1 est ´egal `a βˆ11+

1 n

Pn

i=1 Xi −X¯ ui

1 n

Pn

i=1 Xi −X¯2 .

I Modifions les hypoth`ese statistiques : 1

n

n

X

i=1

Xi−X¯

ui −→p Cov (u, X) = Corr (u, X)σuσX,

et

1 n

n

X

i=1

Xi−X¯2 p

−→σ2X.

(17)

Biais dˆ u ` a une variable omise (suite)

I L’estimateur ˆβ1 est ´egal `a βˆ11+

1 n

Pn

i=1 Xi −X¯ ui

1 n

Pn

i=1 Xi −X¯2 .

I Modifions les hypoth`ese statistiques : 1

n

n

X

i=1

Xi−X¯

ui −→p Cov (u, X) = Corr (u, X)σuσX, et

1 n

n

X

i=1

Xi−X¯2 p

→σ2X.

(18)

Biais dˆ u ` a une variable omise (suite)

I On a βˆ1

−→p β1+Corr (u , X)σuσX

σ2X1+ Corr (u, X) σu

σX.

I L’estimateur ne converge plus `aβ1 en probabilit´e.

I Le signe du biais d´epend (mˆeme lorsquen → ∞) du signe de la corr´elation entre Xi et ui.

I Notez que dans ce cas-ci

E (ui|X =Xi)6= 0.

I S’il y a une variable dans la banque de donn´ees qui en principe pourrait affecter la variable d´ependante de l’´etude et qui risque d’ˆetre corr´el´ee avec une variable qui est incluse comme variable explicative dans le mod`ele, il y a probablement un probl`eme de variable omise.

(19)

Biais dˆ u ` a une variable omise (suite)

I On a βˆ1

−→p β1+Corr (u , X)σuσX

σ2X1+ Corr (u, X) σu

σX.

I L’estimateur ne converge plus `aβ1 en probabilit´e.

I Le signe du biais d´epend (mˆeme lorsquen → ∞) du signe de la corr´elation entre Xi et ui.

I Notez que dans ce cas-ci

E (ui|X =Xi)6= 0.

I S’il y a une variable dans la banque de donn´ees qui en principe pourrait affecter la variable d´ependante de l’´etude et qui risque d’ˆetre corr´el´ee avec une variable qui est incluse comme variable explicative dans le mod`ele, il y a probablement un probl`eme de variable omise.

(20)

Biais dˆ u ` a une variable omise (suite)

I On a βˆ1

−→p β1+Corr (u , X)σuσX

σ2X1+ Corr (u, X) σu

σX.

I L’estimateur ne converge plus `aβ1 en probabilit´e.

I Le signe du biais d´epend (mˆeme lorsquen → ∞) du signe de la corr´elation entre Xi et ui.

I Notez que dans ce cas-ci

E (ui|X =Xi)6= 0.

I S’il y a une variable dans la banque de donn´ees qui en principe pourrait affecter la variable d´ependante de l’´etude et qui risque d’ˆetre corr´el´ee avec une variable qui est incluse comme variable explicative dans le mod`ele, il y a probablement un probl`eme de variable omise.

(21)

Biais dˆ u ` a une variable omise (suite)

I On a βˆ1

−→p β1+Corr (u , X)σuσX

σ2X1+ Corr (u, X) σu

σX.

I L’estimateur ne converge plus `aβ1 en probabilit´e.

I Le signe du biais d´epend (mˆeme lorsquen → ∞) du signe de la corr´elation entre Xi et ui.

I Notez que dans ce cas-ci

E (ui|X =Xi)6= 0.

I S’il y a une variable dans la banque de donn´ees qui en principe pourrait affecter la variable d´ependante de l’´etude et qui risque d’ˆetre corr´el´ee avec une variable qui est incluse comme variable explicative dans le mod`ele, il y a probablement un probl`eme de variable omise.

(22)

Biais dˆ u ` a une variable omise (suite)

I On a βˆ1

−→p β1+Corr (u , X)σuσX

σ2X1+ Corr (u, X) σu

σX.

I L’estimateur ne converge plus `aβ1 en probabilit´e.

I Le signe du biais d´epend (mˆeme lorsquen → ∞) du signe de la corr´elation entre Xi et ui.

I Notez que dans ce cas-ci

E (ui|X =Xi)6= 0.

I S’il y a une variable dans la banque de donn´ees qui en principe pourrait affecter la variable d´ependante de l’´etude et qui risque d’ˆetre corr´el´ee avec une variable qui est incluse comme variable explicative dans le mod`ele, il y a probablement un probl`eme de variable omise.

(23)

Exemple

I Nous pouvons ˆetre encore plus explicite.

I Suppons que le vrai mod`ele est donn´e par Yi01X1i2X2i +ui

I Le mod`ele estim´e est

Yi01X1i + ˜ui

I Le terme d’erreur du mod`ele estim´e incorpore la variable omiseX2i avec le vrai terme d’erreurui.

(24)

Exemple

I Nous pouvons ˆetre encore plus explicite.

I Suppons que le vrai mod`ele est donn´e par Yi01X1i2X2i +ui

I Le mod`ele estim´e est

Yi01X1i + ˜ui

I Le terme d’erreur du mod`ele estim´e incorpore la variable omiseX2i avec le vrai terme d’erreurui.

(25)

Exemple

I Nous pouvons ˆetre encore plus explicite.

I Suppons que le vrai mod`ele est donn´e par Yi01X1i2X2i +ui

I Le mod`ele estim´e est

Yi01X1i + ˜ui

I Le terme d’erreur du mod`ele estim´e incorpore la variable omiseX2i avec le vrai terme d’erreurui.

(26)

Exemple

I Nous pouvons ˆetre encore plus explicite.

I Suppons que le vrai mod`ele est donn´e par Yi01X1i2X2i +ui

I Le mod`ele estim´e est

Yi01X1i + ˜ui

I Le terme d’erreur du mod`ele estim´e incorpore la variable omiseX2i avec le vrai terme d’erreurui.

(27)

Exemple (suite)

I Nous avons βˆ1=

1 n

Pn

i=1 X1i−X¯1

Yi −Y¯

1 n

Pn

i=1 X1i−X¯1

2 =

1 n

Pn

i=1 X1i −X¯1

β01X1i2X2i +ui−β0−β11−β22−u¯

1 n

Pn

i=1 X1i −X¯1

2

1

1 n

Pn

i=1 X1i −X¯12 1

n

Pn

i=1 X1i −X¯1

22

1 n

Pn

i=1 X1i −X¯1

X2i−X¯2

1 n

Pn

i=1 X1i −X¯1

2

+

1 n

Pn

i=1 X1i −X¯1

(ui −u)¯

1 n

Pn

i=1 X1i−X¯12

(28)

Exemple (suite)

I Nous avons βˆ1=

1 n

Pn

i=1 X1i−X¯1

Yi −Y¯

1 n

Pn

i=1 X1i−X¯1

2 =

1 n

Pn

i=1 X1i −X¯1

β01X1i2X2i +ui−β0−β11−β22−u¯

1 n

Pn

i=1 X1i −X¯1

2

1

1 n

Pn

i=1 X1i −X¯12 1

n

Pn

i=1 X1i −X¯1

22

1 n

Pn

i=1 X1i −X¯1

X2i−X¯2

1 n

Pn

i=1 X1i −X¯1

2

+

1 n

Pn

i=1 X1i −X¯1

(ui −u)¯

1 n

Pn

i=1 X1i−X¯12

(29)

Exemple (suite)

I Nous avons βˆ1=

1 n

Pn

i=1 X1i−X¯1

Yi −Y¯

1 n

Pn

i=1 X1i−X¯1

2 =

1 n

Pn

i=1 X1i −X¯1

β01X1i2X2i +ui−β0−β11−β22−u¯

1 n

Pn

i=1 X1i −X¯1

2

1

1 n

Pn

i=1 X1i −X¯12 1

n

Pn

i=1 X1i −X¯1

22

1 n

Pn

i=1 X1i−X¯1

X2i−X¯2

1 n

Pn

i=1 X1i −X¯1

2

+

1 n

Pn

i=1 X1i −X¯1

(ui −u)¯

1 n

Pn

i=1 X1i−X¯12

(30)

Exemple (suite)

I ce qui doit enfin ˆetre ´egal `a

12 1 n

Pn

i=1 X1i−X¯1

X2i−X¯2

1 n

Pn

i=1 X1i −X¯12

+

1 n

Pn

i=1 X1i−X¯1

(ui−u)¯

1 n

Pn

i=1 X1i −X¯1

2 .

I Calculant l’esp´erance de ˆβ1, nous obtenons E ˆβ112E

1 n

Pn

i=1 X1i −X¯1

X2i −X¯2

1 n

Pn

i=1 X1i−X¯12

!

+E +

1 n

Pn

i=1 X1i −X¯1

E ((ui−u)¯ |X11,X12, . . . ,X1n)

1 n

Pn

i=1 X1i −X¯12

!

(31)

Exemple (suite)

I ce qui doit enfin ˆetre ´egal `a

12 1 n

Pn

i=1 X1i−X¯1

X2i−X¯2

1 n

Pn

i=1 X1i −X¯12

+

1 n

Pn

i=1 X1i−X¯1

(ui−u)¯

1 n

Pn

i=1 X1i −X¯1

2 .

I Calculant l’esp´erance de ˆβ1, nous obtenons E ˆβ112E

1 n

Pn

i=1 X1i −X¯1

X2i −X¯2

1 n

Pn

i=1 X1i−X¯12

!

+E +

1 n

Pn

i=1 X1i −X¯1

E ((ui−u)¯ |X11,X12, . . . ,X1n)

1 n

Pn

i=1 X1i −X¯12

!

(32)

Exemple (suite)

I ce qui doit enfin ˆetre ´egal `a

12E

1 n

Pn

i=1 X1i −X¯1

X2i −X¯2

1 n

Pn

i=1 X1i −X¯12

!

par la loi des esp´erances it´er´ees.

I En g´en´eral E

1 n

Pn

i=1 X1i−X¯1

X2i−X¯2

1 n

Pn

i=1 X1i −X¯12

! 6= 0.

I L’estimateur est biais´e, le biais ´etant donn´e par la valeur de l’esp´erance dans l’´equation pr´ec´edente.

(33)

Exemple (suite)

I ce qui doit enfin ˆetre ´egal `a

12E

1 n

Pn

i=1 X1i −X¯1

X2i −X¯2

1 n

Pn

i=1 X1i −X¯12

!

par la loi des esp´erances it´er´ees.

I En g´en´eral E

1 n

Pn

i=1 X1i−X¯1

X2i−X¯2

1 n

Pn

i=1 X1i −X¯12

! 6= 0.

I L’estimateur est biais´e, le biais ´etant donn´e par la valeur de l’esp´erance dans l’´equation pr´ec´edente.

(34)

Exemple (suite)

I ce qui doit enfin ˆetre ´egal `a

12E

1 n

Pn

i=1 X1i −X¯1

X2i −X¯2

1 n

Pn

i=1 X1i −X¯12

!

par la loi des esp´erances it´er´ees.

I En g´en´eral E

1 n

Pn

i=1 X1i−X¯1

X2i−X¯2

1 n

Pn

i=1 X1i −X¯12

! 6= 0.

I L’estimateur est biais´e, le biais ´etant donn´e par la valeur de l’esp´erance dans l’´equation pr´ec´edente.

(35)

Exemple (suite)

I Nous avons 1 n

n

X

i=1

X1i −X¯1

X2i −X¯2

qui est (presque) la covariance ´echantillonnale entre X1 et X2.

I Et

1 n

n

X

i=1

X1i−X¯1

2

est (presque) la variance ´echantillonnale deX1.

(36)

Exemple (suite)

I Nous avons 1 n

n

X

i=1

X1i −X¯1

X2i −X¯2

qui est (presque) la covariance ´echantillonnale entre X1 et X2.

I Et

1 n

n

X

i=1

X1i−X¯1

2

est (presque) la variance ´echantillonnale deX1.

(37)

Exemple (suite)

I Si les deux expressions sont des estimateurs convergents de leurs ´equivalents dans la population, nous avons :

1 n

n

X

i=1

X1i −X¯1

X2i −X¯2 p

−→Cov (X1 , X2)

I et

1 n

n

X

i=1

X1i−X¯12 p

→Var (X1).

(38)

Exemple (suite)

I Si les deux expressions sont des estimateurs convergents de leurs ´equivalents dans la population, nous avons :

1 n

n

X

i=1

X1i −X¯1

X2i −X¯2 p

−→Cov (X1 , X2)

I et

1 n

n

X

i=1

X1i−X¯12 p

→Var (X1).

(39)

Exemple (suite)

I Th´eor`eme de Slutsky =>

βˆ1 −→p β12Cov (X1 , X2) Var (X1)

I L’´ecart entre ˆβ1 et sa vraie valeur est approximativement

´

egale `a la vraie valeur de β2 fois le ratio de la covariance entre X1 etX2 et la variance de X1.

I Si on connaˆıt au moins le signe de β2 et de la covariance, on peut pr´edire le signe de cet ´ecart. Aussi, nous savons que

Cov (X1, X2) Var (X1)

est la valeur (asymptotique) du coefficient de pente d’une r´egression o`u X2 est la variable d´ependante et X1 est la variable explicative.

(40)

Exemple (suite)

I Th´eor`eme de Slutsky =>

βˆ1 −→p β12Cov (X1 , X2) Var (X1)

I L’´ecart entre ˆβ1 et sa vraie valeur est approximativement

´

egale `a la vraie valeur de β2 fois le ratio de la covariance entre X1 etX2 et la variance de X1.

I Si on connaˆıt au moins le signe de β2 et de la covariance, on peut pr´edire le signe de cet ´ecart. Aussi, nous savons que

Cov (X1, X2) Var (X1)

est la valeur (asymptotique) du coefficient de pente d’une r´egression o`u X2 est la variable d´ependante et X1 est la variable explicative.

(41)

Exemple (suite)

I Th´eor`eme de Slutsky =>

βˆ1 −→p β12Cov (X1 , X2) Var (X1)

I L’´ecart entre ˆβ1 et sa vraie valeur est approximativement

´

egale `a la vraie valeur de β2 fois le ratio de la covariance entre X1 etX2 et la variance de X1.

I Si on connaˆıt au moins le signe de β2 et de la covariance, on peut pr´edire le signe de cet ´ecart. Aussi, nous savons que

Cov (X1, X2) Var (X1)

est la valeur (asymptotique) du coefficient de pente d’une r´egression o`u X2 est la variable d´ependante et X1 est la variable explicative.

(42)

Mod` ele de r´ egression multiple

I Mod`ele :

Yi0+X1iβ1+X2iβ2+. . .+Xkiβk +ui.

I Version matricielle :

Y =Xβ+U,

I Il faut d´efinir les matrices/vecteurs (page suivante).

(43)

Mod` ele de r´ egression multiple

I Mod`ele :

Yi0+X1iβ1+X2iβ2+. . .+Xkiβk +ui.

I Version matricielle :

Y =Xβ+U,

I Il faut d´efinir les matrices/vecteurs (page suivante).

(44)

Mod` ele de r´ egression multiple

I Mod`ele :

Yi0+X1iβ1+X2iβ2+. . .+Xkiβk +ui.

I Version matricielle :

Y =Xβ+U,

I Il faut d´efinir les matrices/vecteurs (page suivante).

(45)

Mod` ele de r´ egression multiple (suite)

Y ≡

Y1 Y2 . . . Yn

0

X ≡

1 X11 X21 . . . Xk1

1 X12 X22 . . . Xk2 ... ... ... . .. ... 1 X1n X2n . . . Xkn

 ,

β ≡

β0 β1 β2 . . . βk 0

U ≡

u1 u2 . . . un

0

(46)

Mod` ele de r´ egression multiple (suite)

Y ≡

Y1 Y2 . . . Yn

0

X ≡

1 X11 X21 . . . Xk1

1 X12 X22 . . . Xk2 ... ... ... . .. ... 1 X1n X2n . . . Xkn

 ,

β ≡

β0 β1 β2 . . . βk 0

U ≡

u1 u2 . . . un

0

(47)

Mod` ele de r´ egression multiple (suite)

Y ≡

Y1 Y2 . . . Yn

0

X ≡

1 X11 X21 . . . Xk1

1 X12 X22 . . . Xk2 ... ... ... . .. ... 1 X1n X2n . . . Xkn

 ,

β ≡

β0 β1 β2 . . . βk 0

U ≡

u1 u2 . . . un

0

(48)

Mod` ele de r´ egression multiple (suite)

Y ≡

Y1 Y2 . . . Yn

0

X ≡

1 X11 X21 . . . Xk1

1 X12 X22 . . . Xk2 ... ... ... . .. ... 1 X1n X2n . . . Xkn

 ,

β ≡

β0 β1 β2 . . . βk 0

U ≡

u1 u2 . . . un

0

(49)

Estimateur MCO

I Probl`eme de minimisation : min

β U0U.

I Rempla¸cons U par sa d´efinition.

minβ (Y −Xβ)0(Y −Xβ).

I Equivalent `´ a :

minβ Y0Y −β0X0Y −Y0Xβ+β0X0Xβ .

(50)

Estimateur MCO

I Probl`eme de minimisation : min

β U0U.

I Rempla¸cons U par sa d´efinition.

minβ (Y −Xβ)0(Y −Xβ).

I Equivalent `´ a :

minβ Y0Y −β0X0Y −Y0Xβ+β0X0Xβ .

(51)

Estimateur MCO

I Probl`eme de minimisation : min

β U0U.

I Rempla¸cons U par sa d´efinition.

minβ (Y −Xβ)0(Y −Xβ).

I Equivalent `´ a :

minβ Y0Y −β0X0Y −Y0Xβ+β0X0Xβ .

(52)

Estimateur MCO (suite)

I CPOs (d´eriv´ee par rapport `a β) :

−X0Y −X0Y +X0Xβ+ X0X0

β = 0

⇒2X0Xβ−2X0Y = 0

⇒X0Xβ =X0Y.

I Nous avons k+ 1 ´equations lin´eaires pour trouverk+ 1 inconnus (les ´el´ements deβ).

I Nous appelons commun´ement ces ´equations les´equations normales.

(53)

Estimateur MCO (suite)

I CPOs (d´eriv´ee par rapport `a β) :

−X0Y −X0Y +X0Xβ+ X0X0

β = 0

⇒2X0Xβ−2X0Y = 0

⇒X0Xβ =X0Y.

I Nous avons k+ 1 ´equations lin´eaires pour trouverk+ 1 inconnus (les ´el´ements deβ).

I Nous appelons commun´ement ces ´equations les´equations normales.

(54)

Estimateur MCO (suite)

I CPOs (d´eriv´ee par rapport `a β) :

−X0Y −X0Y +X0Xβ+ X0X0

β = 0

⇒2X0Xβ−2X0Y = 0

⇒X0Xβ =X0Y.

I Nous avons k+ 1 ´equations lin´eaires pour trouverk+ 1 inconnus (les ´el´ements deβ).

I Nous appelons commun´ement ces ´equations les´equations normales.

(55)

Estimateur MCO (suite)

I CPOs (d´eriv´ee par rapport `a β) :

−X0Y −X0Y +X0Xβ+ X0X0

β = 0

⇒2X0Xβ−2X0Y = 0

⇒X0Xβ =X0Y.

I Nous avons k+ 1 ´equations lin´eaires pour trouver k+ 1 inconnus (les ´el´ements deβ).

I Nous appelons commun´ement ces ´equations les´equations normales.

(56)

Estimateur MCO (suite)

I CPOs (d´eriv´ee par rapport `a β) :

−X0Y −X0Y +X0Xβ+ X0X0

β = 0

⇒2X0Xβ−2X0Y = 0

⇒X0Xβ =X0Y.

I Nous avons k+ 1 ´equations lin´eaires pour trouver k+ 1 inconnus (les ´el´ements deβ).

I Nous appelons commun´ement ces ´equations les´equations normales.

(57)

Estimateur MCO (suite)

I Nous obtenons X0X−1

X0Xβ = X0X−1

X0Y =β.

I R´esultat fondamental :

βˆ= X0X−1

X0Y

(58)

Estimateur MCO (suite)

I Nous obtenons X0X−1

X0Xβ = X0X−1

X0Y =β.

I R´esultat fondamental :

βˆ= X0X−1

X0Y

(59)

Diff´ erentiation matricielle

I Application de :

y ∂y∂x

Ax A0 x0A A x0x 2x x0Ax Ax +A0x

I Etudiez bien la CPO pour comprendre pourquoi c’est une´ application de ces r`egles.

I Etudiez bien les exemples simples dans les notes.´

(60)

Diff´ erentiation matricielle

I Application de :

y ∂y∂x

Ax A0 x0A A x0x 2x x0Ax Ax +A0x

I Etudiez bien la CPO pour comprendre pourquoi c’est une´ application de ces r`egles.

I Etudiez bien les exemples simples dans les notes.´

(61)

Diff´ erentiation matricielle

I Application de :

y ∂y∂x

Ax A0 x0A A x0x 2x x0Ax Ax +A0x

I Etudiez bien la CPO pour comprendre pourquoi c’est une´ application de ces r`egles.

I Etudiez bien les exemples simples dans les notes.´

(62)

Approche non matricielle

I Le probl`eme est

β0min1,...,βk

n

X

i=1

(Yi−β0−X1iβ1−X2iβ2−. . .−Xkiβk)2.

I CPOs :

β0 : 0 =−2

n

X

i=1

(Yi −β0−X1iβ1−. . .−Xkiβk) ;

βj : 0 =−2

n

X

i=1

Xji(Yi −β0−X1iβ1−. . .−Xkiβk) pour j 6= 0.

I k+ 1 ´equations (lin´eaires) enk+ 1 inconnus.

(63)

Approche non matricielle

I Le probl`eme est

β0min1,...,βk

n

X

i=1

(Yi−β0−X1iβ1−X2iβ2−. . .−Xkiβk)2.

I CPOs :

β0 : 0 =−2

n

X

i=1

(Yi −β0−X1iβ1−. . .−Xkiβk) ;

βj : 0 =−2

n

X

i=1

Xji(Yi −β0−X1iβ1−. . .−Xkiβk) pour j 6= 0.

I k+ 1 ´equations (lin´eaires) enk+ 1 inconnus.

(64)

Approche non matricielle

I Le probl`eme est

β0min1,...,βk

n

X

i=1

(Yi−β0−X1iβ1−X2iβ2−. . .−Xkiβk)2.

I CPOs :

β0 : 0 =−2

n

X

i=1

(Yi −β0−X1iβ1−. . .−Xkiβk) ;

βj : 0 =−2

n

X

i=1

Xji(Yi−β0−X1iβ1−. . .−Xkiβk) pour j 6= 0.

I k+ 1 ´equations (lin´eaires) enk+ 1 inconnus.

(65)

Approche non matricielle

I Le probl`eme est

β0min1,...,βk

n

X

i=1

(Yi−β0−X1iβ1−X2iβ2−. . .−Xkiβk)2.

I CPOs :

β0 : 0 =−2

n

X

i=1

(Yi −β0−X1iβ1−. . .−Xkiβk) ;

βj : 0 =−2

n

X

i=1

Xji(Yi−β0−X1iβ1−. . .−Xkiβk) pour j 6= 0.

I k+ 1 ´equations (lin´eaires) enk+ 1 inconnus.

(66)

Approche non matricielle (suite)

I Nous obtenons

n

X

i=1

Yi =

n

X

i=1

0+X1iβ1+. . .+Xkiβk) ;

n

X

i=1

X1iYi =

n

X

i=1

X1i0+X1iβ1+. . .+Xkiβk) ;

n

X

i=1

X2iYi =

n

X

i=1

X2i0+X1iβ1+. . .+Xkiβk) ; . . .

n

X

i=1

XkiYi =

n

X

i=1

Xki0+X1iβ1+. . .+Xkiβk).

(67)

Approche non matricielle (suite)

I Nous pouvons maintenant convertir en notation matricielle.

1 . . . 1

 Y1

... Yn

=

1 . . . 1 Xβ;ˆ

X11 . . . X1n

 Y1

... Yn

=

X11 . . . X1n Xβ;ˆ ...

Xk1 . . . Xkn

 Y1

... Yn

=

Xk1 . . . Xkn Xβ,ˆ

(68)

Approche non matricielle (suite)

I Onempile les k+ 1 ´equations les unes pardessus les autres :

1 . . . 1 X11 . . . X1n X21 . . . X2n

... ... ... Xk1 . . . Xkn

 Y1

... Yn

=

1 . . . 1 X11 . . . X1n X21 . . . X2n

... ... ... Xk1 . . . Xkn

 Xβˆ

⇒X0Y =X0Xβˆ

⇒βˆ= (X0X)−1X0Y.

I On obtient la mˆeme solution (pas surprenant).

(69)

Approche non matricielle (suite)

I Onempile les k+ 1 ´equations les unes pardessus les autres :

1 . . . 1 X11 . . . X1n X21 . . . X2n

... ... ... Xk1 . . . Xkn

 Y1

... Yn

=

1 . . . 1 X11 . . . X1n X21 . . . X2n

... ... ... Xk1 . . . Xkn

 Xβˆ

⇒X0Y =X0Xβˆ

⇒βˆ= (X0X)−1X0Y.

I On obtient la mˆeme solution (pas surprenant).

(70)

Approche non matricielle (suite)

I Onempile les k+ 1 ´equations les unes pardessus les autres :

1 . . . 1 X11 . . . X1n X21 . . . X2n

... ... ... Xk1 . . . Xkn

 Y1

... Yn

=

1 . . . 1 X11 . . . X1n X21 . . . X2n

... ... ... Xk1 . . . Xkn

 Xβˆ

⇒X0Y =X0Xβˆ

⇒βˆ= (X0X)−1X0Y.

I On obtient la mˆeme solution (pas surprenant).

(71)

Approche non matricielle (suite)

I Onempile les k+ 1 ´equations les unes pardessus les autres :

1 . . . 1 X11 . . . X1n X21 . . . X2n

... ... ... Xk1 . . . Xkn

 Y1

... Yn

=

1 . . . 1 X11 . . . X1n X21 . . . X2n

... ... ... Xk1 . . . Xkn

 Xβˆ

⇒X0Y =X0Xβˆ

⇒βˆ= (X0X)−1X0Y.

I On obtient la mˆeme solution (pas surprenant).

(72)

Propri´ et´ es alg´ ebriques de l’estimateur MCO

I Plus facile de les d´eriver en notation matricielle.

I Orthogonalit´e : les ´equations normales sont X0Xβˆ=X0Y

⇒X0

Xβˆ−Y

= 0

⇒X0

Y −Xβˆ

= 0. Y −Xβb≡Ub. Donc, nous avons :

X0Ub= 0.

I Une cons´equence directe est que la somme des r´esidus est

´

egale `a z´ero.

(73)

Propri´ et´ es alg´ ebriques de l’estimateur MCO

I Plus facile de les d´eriver en notation matricielle.

I Orthogonalit´e : les ´equations normales sont X0Xβˆ=X0Y

⇒X0

Xβˆ−Y

= 0

⇒X0

Y −Xβˆ

= 0. Y −Xβb≡Ub. Donc, nous avons :

X0Ub= 0.

I Une cons´equence directe est que la somme des r´esidus est

´

egale `a z´ero.

(74)

Propri´ et´ es alg´ ebriques de l’estimateur MCO

I Plus facile de les d´eriver en notation matricielle.

I Orthogonalit´e : les ´equations normales sont X0Xβˆ=X0Y

⇒X0

Xβˆ−Y

= 0

⇒X0

Y −Xβˆ

= 0. Y −Xβb≡Ub. Donc, nous avons :

X0Ub= 0.

I Une cons´equence directe est que la somme des r´esidus est

´

egale `a z´ero.

(75)

Propri´ et´ es alg´ ebriques de l’estimateur MCO

I Plus facile de les d´eriver en notation matricielle.

I Orthogonalit´e : les ´equations normales sont X0Xβˆ=X0Y

⇒X0

Xβˆ−Y

= 0

⇒X0

Y −Xβˆ

= 0.

Y −Xβb≡Ub. Donc, nous avons :

X0Ub= 0.

I Une cons´equence directe est que la somme des r´esidus est

´

egale `a z´ero.

(76)

Propri´ et´ es alg´ ebriques de l’estimateur MCO

I Plus facile de les d´eriver en notation matricielle.

I Orthogonalit´e : les ´equations normales sont X0Xβˆ=X0Y

⇒X0

Xβˆ−Y

= 0

⇒X0

Y −Xβˆ

= 0.

Y −Xβb≡Ub.

Donc, nous avons :

X0Ub= 0.

I Une cons´equence directe est que la somme des r´esidus est

´

egale `a z´ero.

(77)

Propri´ et´ es alg´ ebriques de l’estimateur MCO

I Plus facile de les d´eriver en notation matricielle.

I Orthogonalit´e : les ´equations normales sont X0Xβˆ=X0Y

⇒X0

Xβˆ−Y

= 0

⇒X0

Y −Xβˆ

= 0.

Y −Xβb≡Ub. Donc, nous avons :

X0Ub= 0.

I Une cons´equence directe est que la somme des r´esidus est

´

egale `a z´ero.

(78)

Propri´ et´ es alg´ ebriques de l’estimateur MCO

I Plus facile de les d´eriver en notation matricielle.

I Orthogonalit´e : les ´equations normales sont X0Xβˆ=X0Y

⇒X0

Xβˆ−Y

= 0

⇒X0

Y −Xβˆ

= 0.

Y −Xβb≡Ub. Donc, nous avons :

X0Ub= 0.

I Une cons´equence directe est que la somme des r´esidus est

´

egale `a z´ero.

(79)

Orthogonalit´ e (suite)

I Mˆeme interpr´etation g´eom´etrique que dans le mod`ele de r´egression simple.

Figure 1

(80)

Propri´ et´ es alg´ ebriques (suite)

I D´efinissons

Yˆ ≡Xβ,ˆ

I Nous avons Yˆ0Ub=

X X0X−1

X0Y 0

Ub=Y0X X0X−1

X0Ub= 0.

I Les valeurs pr´edites de Y sont orthogonales aux r´esidus.

I Finalement, nous avons X0

Yb−Y

=X0

X X0X−1

X0Y −Y

=X0X X0X−1

X0Y −X0Y =X0Y −X0Y = 0.

I Cons´equence : la moyenne ´echantillonnale des valeurs pr´edites est ´egale `a ¯Y.

(81)

Propri´ et´ es alg´ ebriques (suite)

I D´efinissons

Yˆ ≡Xβ,ˆ

I Nous avons Yˆ0Ub=

X X0X−1

X0Y 0

Ub

=Y0X X0X−1

X0Ub= 0.

I Les valeurs pr´edites de Y sont orthogonales aux r´esidus.

I Finalement, nous avons X0

Yb−Y

=X0

X X0X−1

X0Y −Y

=X0X X0X−1

X0Y −X0Y =X0Y −X0Y = 0.

I Cons´equence : la moyenne ´echantillonnale des valeurs pr´edites est ´egale `a ¯Y.

(82)

Propri´ et´ es alg´ ebriques (suite)

I D´efinissons

Yˆ ≡Xβ,ˆ

I Nous avons Yˆ0Ub=

X X0X−1

X0Y 0

Ub=Y0X X0X−1

X0Ub

= 0.

I Les valeurs pr´edites de Y sont orthogonales aux r´esidus.

I Finalement, nous avons X0

Yb−Y

=X0

X X0X−1

X0Y −Y

=X0X X0X−1

X0Y −X0Y =X0Y −X0Y = 0.

I Cons´equence : la moyenne ´echantillonnale des valeurs pr´edites est ´egale `a ¯Y.

Références

Documents relatifs

Par exemple, dans ce chapitre, nous avons utilis´e n tantˆot pour indiquer toutes les r´ealisations distinctes possibles d’une variable al´eatoire lorsqu’on d´efinit les moments

1.2 Diagnostics pour d´ etecter des observations qui ont une influence d´ emesur´ ee sur les r´ esultats de l’estimation (coefficients, valeurs pr´ edites, variance estim´ ee

I D´ efinissons ˆ β (i ) comme le vecteur de param` etres estim´ es apr` es avoir laiss´ e tomber l’observation i de l’´ echantillon, et ˆ Y (i) le vecteur de valeurs pr´

Savoir comment tester une hypoth`ese simple concernant un moment (esp´erance, variance, etc.) d’une variable al´eatoire, avec hypoth`ese alternative unilat´erale ou

• Savoir que le test F effectu´e le plus souvent dans le contexte du mod`ele de r´egression multiple, c’est le test de l’hypoth`ese jointe nulle que tous les coefficients sauf

En d´epit de l’insistance sur une variance des erreurs qui n’est pas constante dans les donn´ees, on ne pr´esente pas de tests statistiques formels dans le manuel de Stock et

I Th´ eor` eme de la limite centrale : la moyenne d’un nombre suffisamment ´ elev´ e de variables al´ eatoires qui sont ind´ ependamment distribu´ ees et qui ont une moyenne et

I But : pr´ esenter quelques strat´ egies g´ en´ erales pour sp´ ecifier et estimer des mod` eles ´ econom´ etriques non lin´ eaires.. I Mod` eles non lin´ eaires dans les