ECO 4272 : Introduction ` a l’´ Econom´ etrie Le mod` ele de r´ egression multiple

ECO 4272 : Introduction ` a l’´ Econom´ etrie Le mod` ele de r´ egression multiple

Steve Ambler

D´epartement des sciences ´economiques Ecole des sciences de la gestion´ Universit´e du Qu´ebec `a Montr´eal

2018: Steve Amblerc

Hiver 2018

Objectifs

1. Pr´esenter le mod`ele de r´egression multiple.

2. D´eriver l’estimateur MCO.

3. Etudier ses propri´´ et´es alg´ebriques.

4. Regarder les hypoth`eses statistiques du mod`ele et analyser leurs cons´equences (absence de biais, convergence, efficience).

5. Distinguer entre les cas d’erreurs h´et´erosc´edastiques et erreurs homosc´edastiques.

6. Analyser les tests d’hypoth`esesimples et le calcul d’intervalles de confiance dans le cadre du mod`ele.

7. Les tests d’hypoth`esesjointes et les ensembles de confiance.

Introduction

I Presque rien de nouveau par rapport au mod`ele de r´egression simple.

I Quasiment un rappel de la mati`ere d’avant l’examen intra.

I Introduction et utilisation de la notation matricielle.

I Nouveau concept : tester les hypoth`eses jointes.

Biais dˆ u ` a une variable omise

I Fa¸con de motiverle mod`ele de r´egression multiple.

I Si nous omettons un ou des facteurs qui ont un impact sur la variable d´ependante, l’estim´e de l’impact de la variable explicative d’int´erˆet peut ˆetre biais´e.

Biais dˆ u ` a une variable omise (suite)

I L’estimateur ˆβ₁ est ´egal `a βˆ1 =β1+

1 n

Pn

i=1 X_i −X¯ u_i

1 n

Pn

i=1 X_i −X¯2 .

I Modifions les hypoth`ese statistiques : 1

n

n

X

i=1

X_i−X¯

u_i −→^p Cov (u, X) = Corr (u, X)σuσ_X, et

1 n

n

X

i=1

Xi−X¯2 p

−

→σ²_X.

Biais dˆ u ` a une variable omise (suite)

I On a βˆ1

−→p β1+Corr (u , X)σuσX

σ²_X =β1+ Corr (u, X) σu

σ_X.

I L’estimateur ne converge plus `aβ1 en probabilit´e.

I Le signe du biais d´epend (mˆeme lorsquen → ∞) du signe de la corr´elation entre X_i et u_i.

I Notez que dans ce cas-ci

E (u_i|X =X_i)6= 0.

I S’il y a une variable dans la banque de donn´ees qui en principe pourrait affecter la variable d´ependante de l’´etude et qui risque d’ˆetre corr´el´ee avec une variable qui est incluse comme variable explicative dans le mod`ele, il y a probablement un probl`eme de variable omise.

Exemple

I Nous pouvons ˆetre encore plus explicite.

I Suppons que le vrai mod`ele est donn´e par Yi =β0+β1X1i+β2X2i +ui

I Le mod`ele estim´e est

Y_i =β₀+β₁X_1i + ˜u_i

I Le terme d’erreur du mod`ele estim´e incorpore la variable omiseX_2i avec le vrai terme d’erreuru_i.

Exemple (suite)

I Nous avons βˆ₁=

1 n

Pn

i=1 X_1i−X¯₁

Y_i −Y¯

1 n

Pn

i=1 X1i−X¯1

2 =

1 n

Pn

i=1 X_1i −X¯₁

β₀+β₁X_1i+β₂X_2i +u_i−β₀−β₁X¯₁−β₂X¯₂−u¯

1 n

Pn

i=1 X1i −X¯1

2

=β₁

1 n

Pn

i=1 X_1i −X¯₁2 1

n

Pn

i=1 X1i −X¯1

2 +β₂

1 n

Pn

i=1 X_1i−X¯₁

X_2i−X¯₂

1 n

Pn

i=1 X1i −X¯1

2

+

1 n

P_n

i=1 X_1i −X¯₁

(u_i −u)¯

1 n

Pn

i=1 X_1i−X¯₁2

Exemple (suite)

I ce qui doit enfin ˆetre ´egal `a

=β1+β2 1 n

Pn

i=1 X1i−X¯1

X2i−X¯2

1 n

Pn

i=1 X_1i −X¯₁2

+

1 n

Pn

i=1 X_1i−X¯₁

(u_i−u)¯

1 n

Pn

i=1 X1i −X¯1

2 .

I Calculant l’esp´erance de ˆβ₁, nous obtenons E ˆβ₁ =β₁+β₂E

1 n

P_n

i=1 X_1i −X¯₁

X_2i −X¯₂

1 n

Pn

i=1 X_1i−X¯₁2

!

+E +

1 n

Pn

i=1 X1i −X¯1

E ((ui−u)¯ |X₁₁,X12, . . . ,X1n)

1 n

Pn

i=1 X_1i −X¯₁2

!

Exemple (suite)

I ce qui doit enfin ˆetre ´egal `a

=β1+β2E

1 n

Pn

i=1 X1i −X¯1

X2i −X¯2

1 n

Pn

i=1 X_1i −X¯₁2

!

par la loi des esp´erances it´er´ees.

I En g´en´eral E

1 n

Pn

i=1 X1i−X¯1

X2i−X¯2

1 n

Pn

i=1 X_1i −X¯₁2

! 6= 0.

I L’estimateur est biais´e, le biais ´etant donn´e par la valeur de l’esp´erance dans l’´equation pr´ec´edente.

Exemple (suite)

I Nous avons 1 n

n

X

i=1

X_1i −X¯₁

X_2i −X¯₂

qui est (presque) la covariance ´echantillonnale entre X₁ et X₂.

I Et

1 n

n

X

i=1

X_1i−X¯1

2

est (presque) la variance ´echantillonnale deX₁.

Exemple (suite)

I Si les deux expressions sont des estimateurs convergents de leurs ´equivalents dans la population, nous avons :

1 n

n

X

i=1

X_1i −X¯₁

X_2i −X¯₂ p

−→Cov (X₁ , X₂)

I et

1 n

n

X

i=1

X_1i−X¯₁2 p

−

→Var (X₁).

Exemple (suite)

I Th´eor`eme de Slutsky =>

βˆ₁ −→^p β₁+β₂Cov (X₁ , X₂) Var (X₁)

I L’´ecart entre ˆβ1 et sa vraie valeur est approximativement

´

egale `a la vraie valeur de β₂ fois le ratio de la covariance entre X₁ etX₂ et la variance de X₁.

I Si on connaˆıt au moins le signe de β₂ et de la covariance, on peut pr´edire le signe de cet ´ecart. Aussi, nous savons que

Cov (X1, X2) Var (X₁)

est la valeur (asymptotique) du coefficient de pente d’une r´egression o`u X2 est la variable d´ependante et X1 est la variable explicative.

Mod` ele de r´ egression multiple

I Mod`ele :

Y_i =β₀+X_1iβ₁+X_2iβ₂+. . .+X_kiβ_k +u_i.

I Version matricielle :

Y =Xβ+U,

I Il faut d´efinir les matrices/vecteurs (page suivante).

Mod` ele de r´ egression multiple (suite)

Y ≡

Y1 Y2 . . . Yn

0

X ≡











1 X11 X21 . . . Xk1

1 X₁₂ X₂₂ . . . X_k2 ... ... ... . .. ... 1 X1n X2n . . . X_kn









 ,

β ≡

β₀ β₁ β₂ . . . β_k 0

U ≡

u1 u2 . . . un

0

Estimateur MCO

I Probl`eme de minimisation : min

β U⁰U.

I Rempla¸cons U par sa d´efinition.

minβ (Y −Xβ)⁰(Y −Xβ).

I Equivalent `´ a :

minβ Y⁰Y −β⁰X⁰Y −Y⁰Xβ+β⁰X⁰Xβ .

Estimateur MCO (suite)

I CPOs (d´eriv´ee par rapport `a β) :

−X⁰Y −X⁰Y +X⁰Xβ+ X⁰X0

β = 0

⇒2X⁰Xβ−2X⁰Y = 0

⇒X⁰Xβ =X⁰Y.

I Nous avons k+ 1 ´equations lin´eaires pour trouver k+ 1 inconnus (les ´el´ements deβ).

I Nous appelons commun´ement ces ´equations les´equations normales.

Estimateur MCO (suite)

I Nous obtenons X⁰X−1

X⁰Xβ = X⁰X−1

X⁰Y =β.

I R´esultat fondamental :

βˆ= X⁰X−1

X⁰Y

Diff´ erentiation matricielle

I Application de :

y ^∂y_∂x

Ax A⁰ x⁰A A x⁰x 2x x⁰Ax Ax +A⁰x

I Etudiez bien la CPO pour comprendre pourquoi c’est une´ application de ces r`egles.

I Etudiez bien les exemples simples dans les notes.´

Approche non matricielle

I Le probl`eme est

β0,βmin1,...,βk

n

X

i=1

(Yi−β0−X1iβ1−X2iβ2−. . .−Xkiβk)².

I CPOs :

β₀ : 0 =−2

n

X

i=1

(Y_i −β₀−X_1iβ₁−. . .−X_kiβ_k) ;

βj : 0 =−2

n

X

i=1

Xji(Yi−β0−X1iβ1−. . .−Xkiβk) pour j 6= 0.

I k+ 1 ´equations (lin´eaires) enk+ 1 inconnus.

Approche non matricielle (suite)

I Nous obtenons

n

X

i=1

Y_i =

n

X

i=1

(β₀+X_1iβ₁+. . .+X_kiβ_k) ;

n

X

i=1

X_1iY_i =

n

X

i=1

X_1i(β₀+X_1iβ₁+. . .+X_kiβ_k) ;

n

X

i=1

X_2iY_i =

n

X

i=1

X_2i(β₀+X_1iβ₁+. . .+X_kiβ_k) ; . . .

n

X

i=1

X_kiY_i =

n

X

i=1

X_ki(β₀+X_1iβ₁+. . .+X_kiβ_k).

Approche non matricielle (suite)

I Nous pouvons maintenant convertir en notation matricielle.

1 . . . 1





 Y1

... Y_n





=

1 . . . 1 Xβ;ˆ

X₁₁ . . . X_1n





 Y1

... Y_n





=

X₁₁ . . . X_1n Xβ;ˆ ...

X_k1 . . . X_kn





 Y₁

... Y_n





=

X_k1 . . . X_kn Xβ,ˆ

Approche non matricielle (suite)

I Onempile les k+ 1 ´equations les unes pardessus les autres :















1 . . . 1 X₁₁ . . . X_1n X21 . . . X2n

... ... ... X_k1 . . . X_kn



















 Y₁

... Y_n





=















1 . . . 1 X₁₁ . . . X_1n X21 . . . X2n

... ... ... X_k1 . . . X_kn













 Xβˆ

⇒X⁰Y =X⁰Xβˆ

⇒βˆ= (X⁰X)⁻¹X⁰Y.

I On obtient la mˆeme solution (pas surprenant).

Propri´ et´ es alg´ ebriques de l’estimateur MCO

I Plus facile de les d´eriver en notation matricielle.

I Orthogonalit´e : les ´equations normales sont X⁰Xβˆ=X⁰Y

⇒X⁰

Xβˆ−Y

= 0

⇒X⁰

Y −Xβˆ

= 0.

Y −Xβb≡Ub. Donc, nous avons :

X⁰Ub= 0.

I Une cons´equence directe est que la somme des r´esidus est

´

egale `a z´ero.

Orthogonalit´ e (suite)

I Mˆeme interpr´etation g´eom´etrique que dans le mod`ele de r´egression simple.

Figure 1

Propri´ et´ es alg´ ebriques (suite)

I D´efinissons

Yˆ ≡Xβ,ˆ

I Nous avons Yˆ⁰Ub=

X X⁰X−1

X⁰Y 0

Ub=Y⁰X X⁰X−1

X⁰Ub= 0.

I Les valeurs pr´edites de Y sont orthogonales aux r´esidus.

I Finalement, nous avons X⁰

Yb−Y

=X⁰

X X⁰X−1

X⁰Y −Y

=X⁰X X⁰X−1

X⁰Y −X⁰Y =X⁰Y −X⁰Y = 0.

I Cons´equence : la moyenne ´echantillonnale des valeurs pr´edites est ´egale `a ¯Y.

Ecart type de la r´ ´ egression

I On d´efinit

SER≡s_u, o`u

s_u² ≡ 1 n−k−1

n

X

i=1

ˆ

u²_i = SSR

n−k−1 = Ub⁰Ub n−k−1.

I Donc SSR est la somme des r´esidus au carr´e. On divise par (n−k−1) afin d’obtenir un estim´e non biais´e de la variance de l’erreur dans l’´equation de r´egression (si les erreurs sont homosc´edastiques).

Ajustement statistique

I La mesure R² est d´efinie de la mˆeme fa¸con que dans le cas du mod`ele de r´egression simple :

R²= ESS

TSS = 1− SSR TSS, o`u on d´efinit

ESS≡

n

X

i=1

Yˆ_i −Y¯2

,

o`u ¯Y est la moyenne ´echantillonnale desY_i, et TSS≡

n

X

i=1

Yi−Y¯2

Ajustement statistique (suite)

I Il faut montrer que TSS = ESS + SSR.

I Puisque Y ≡Yˆ +Ub, nous avons TSS = Y −Y¯0

Y −Y¯

=

Yˆ +Ub−Y¯0

Yˆ +Ub−Y¯

=

Yˆ−Y¯

+Ub 0

Yˆ −Y¯

+Ub

=

Yˆ−Y¯ 0

Yˆ−Y¯

+

Yˆ −Y¯ 0

Ub+Ub⁰

Yˆ −Y¯

+Ub⁰Ub

=

Yˆ −Y¯0

Yˆ −Y¯ +Ub⁰Ub

≡ESS + SSR, ce qui fut `a d´emontrer.

Ajustement statistique (suite)

I R² est aussi ´egal `a la corr´elation (´echantillonnale) au carr´e entre Y et ˆY.

I Pour rendre la preuve plus facile, introduisons un peu de notation.

M⁰ ≡

I−i i⁰i−1

i⁰ .

I On a

M⁰Y =Y −Y,¯

M⁰⁰=M⁰, et M⁰M⁰ =M⁰.

I M⁰ est une matrice idempotente.

Ajustement statistique (suite)

I Nous pouvons r´e´ecrire leR² comme

R² ≡ ESS TSS =

Yˆ −Y¯0

Yˆ −Y¯ Y −Y¯0

Y −Y¯

= Yˆ⁰M⁰Yˆ Y⁰M⁰Y. Nous avons aussi

M⁰Uˆ= ˆU puisque la somme des r´esidus est z´ero.

Ajustement statistique (suite)

I Donc, nous avons

Yˆ⁰M⁰Yˆ = ˆY⁰M⁰

Y −Uˆ

= ˆY⁰M⁰Y −Yˆ⁰M⁰Uˆ

= ˆY⁰M⁰Y −Yˆ⁰Uˆ

= ˆY⁰M⁰Y −βˆ⁰X⁰Uˆ (puisque ˆY ≡Xβ)ˆ

= ˆY⁰M⁰Y −0 = ˆY⁰M⁰Y

puisque X⁰Uˆ= 0 (orthogonalit´e entre les variables expicatives et les r´esidus).

Ajustement statistique (suite)

I Nous pouvons donc ´ecrire leR² comme R² = Yˆ⁰M⁰Y

Y⁰M⁰Y

= Yˆ⁰M⁰Y Y⁰M⁰Y

Yˆ⁰M⁰Y Yˆ⁰M⁰Y

(multipliant num´erateur et d´enominateur par la mˆeme chose)

=

Yˆ⁰M⁰Y Yˆ⁰M⁰Y (Y⁰M⁰Y)

Yˆ⁰M⁰Y

=

Yˆ⁰M⁰Y Yˆ⁰M⁰Y (Y⁰M⁰Y)

Yˆ⁰M⁰Yˆ .

Ajustement statistique (suite)

I On peut r´e´ecrire ceci en notation non matricielle pour obtenir Yˆ⁰M⁰Y Yˆ⁰M⁰Y

(Y⁰M⁰Y)

Yˆ⁰M⁰Yˆ =

Yˆ⁰M⁰M⁰Y Yˆ⁰M⁰M⁰Y (Y⁰M⁰M⁰Y)

Yˆ⁰M⁰M⁰Yˆ

=

Pn i=1

Yˆi−Y¯

Yi −Y¯2

Pn

i=1 Yi −Y¯2 Pn

i=1

Yˆi−Y¯ 2

=

1 n−1

Pn i=1

Yˆi −Y¯

Yi−Y¯2

1 n−1

Pn

i=1 Yi −Y¯2

1 n−1

Pn i=1

Yˆi −Y¯ 2

Ajustement statistique (suite)

=









1 n−1

Pn i=1

Yˆi−Y¯

Yi−Y¯ q 1

n−1

Pn

i=1 Y_i−Y¯2

r

1 n−1

Pn i=1

Yˆ_i −Y¯2









2

≡ Corr

Y,Yˆ2

.

I Le R² nous dit `a quel point le mod`ele de r´egression permet de pr´edire les variations de la variable d´ependante autour de sa moyenne (mesur´e par la corr´elation entre les valeurs pr´edites et les valeurs r´ealis´ees).

Ajustement statistique (suite)

I Dans le cas du mod`ele de r´egression simple, nous avons Yˆ_i−Y¯

= X_i−X¯βˆ₁.

I Nous avons tout de suite









1 n−1

Pn i=1

Yˆ_i−Y¯

Y_i −Y¯ q 1

n−1

Pn

i=1 Y_i −Y¯2

r

1 n−1

Pn i=1

Yˆ_i −Y¯2









2

=









1 n−1

Pn i=1

X_i −X¯βˆ₁

Y_i−Y¯ q 1

n−1

Pn

i=1 Y_i −Y¯2

r

1 n−1

Pn i=1

X_i−X¯βˆ₁2









2

Ajustement statistique (suite)

=





1 n−1

Pn

i=1 X_i −X¯

Y_i −Y¯ q 1

n−1

Pn

i=1 Yi −Y¯2q

1 n−1

Pn

i=1 Xi−X¯2





2

≡ Corr (Y,X)2

⇒R² = Corr (Y,X)2

.

I On voit que le r´esultat trouv´e dans le chapitre sur le mod`ele de r´egression simple n’est qu’un cas sp´ecial du r´esultat g´en´eral d´evelopp´e ici.

R

ajust´ e

I Ajouter une variable explicative au mod`ele ne peut que faire augmenter R².

I Avec autant de variables explicatives que d’observations ((k+ 1) =n), on aura R² = 1.X est alors une matrice carr´ee et on a

0 =U =Y −Xβˆ

⇒Y =Xβ.ˆ

⇒βˆ=X⁻¹Y.

I Donc, unR² ´elev´e n’est pas toujours et partout une bonne chose.

R

ajust´ e (suite)

I Une autre mesure qui p´enalisel’ajustement lorsqu’on ajoute des variables explicatives.

R¯²≡1− n−1 n−k−1

SSR

TSS = 1− s_u²_ˆ s_Y² .

I Trois propri´et´es importantes du ¯R². 1. _n−k−1ⁿ⁻¹ >1, et donc ¯R²<R².

2. Ajouter une variable explicative suppl´ementaire a deux effets sur ¯R². 1) SSR doit baisser, ce qui fait augmenter ¯R². 2) Le facteur _n−kⁿ⁻¹₋₁ augmente, ce qui fait diminuer ¯R². L’effet net est ambigu.

3. R¯²peut ˆetre n´egatif.

R

ajust´ e (suite)

I La d´efinition du R² ajust´e semble arbitraire.

I Elle a une justificationstatistique.

I Si on ajoute une variable explicative additionnelle X_k+1 `a un mod`ele, on peut tester sa significativit´e.

I Si la statistique t normalis´ee pour le test `a une valeur absolue sup´erieure `a 1, leR² ajust´e augmente. Si non, il diminue.

I Nous allons revenir `a cette question apr`es la section sur les tests d’hypoth`ese.

Propri´ et´ es statistiques de l’estimateur MCO

I Hypoth`eses de base : 1. E (ui|Xi) = 0.

2. (Xi, Yi) i.i.d.

3. Xi etui ont des quatri`emes moments non nuls et finis.

4. X est de rang plein en colonnes. En fait, cette hypoth`ese est n´ecessaire pour que l’estimateur MCO existe.

I Hypoth`eses additionnelles : 1. Var (ui|Xi) =σ²_u.

2. La distribution deui conditionnelle `a la valeur deXi suit une loi normale.

Absence de biais

I Nous avons

βˆ= (X⁰X)⁻¹X⁰Y

= (X⁰X)⁻¹X⁰(Xβ+U)

=β+ (X⁰X)⁻¹X⁰U

→E βˆ

=β+ E (X⁰X)⁻¹X⁰U

=β+ E (X⁰X)⁻¹X⁰E (U|X)

=β.

La derni`ere ´egalit´e d´epend de la loi des esp´erances it´er´ees.

Th´ eor` eme de Slutsky

I Sous certaines conditions, X_n−→^p X ⇒h(X_n)−→^p h(X).

I En g´en´eral,

Zn=f (Xn,Yn), et si Xn

−→p X et Yn

−→p Y, alors Zn

−p

→f(X,Y).

I Convergence en probabilit´e et en distribution. Sian

−→p ao`u a est une constante et si S_n−→^d S, alors

a_n+S_n−→^d a+S, a_nS_n−→^d aS, et si a6= 0,

Sn

a_n

−→d S a.

Convergence

I Nous avons

βˆ= (X⁰X)⁻¹X⁰Y

= (X⁰X)⁻¹X⁰(Xβ+U)

=β+ (X⁰X)⁻¹X⁰U

→ βˆ−β

=

(X⁰X) n

−1 (X⁰U)

n

Nous avons divis´e et multipli´e par le scalaire n afin de pouvoir parler de convergence en probabilit´e. ^(X_n^0X) est une matrice dont l’´el´ement i,j est donn´e par

X_i⁰X_j n = 1

n

n

X

l=1

Xi−1,lXj−1,l.

Convergence (suite)

I Par une des hypoth`eses du mod`ele de r´egression multiple, nous avons

n→∞lim Xi0Xj

n = E X_i⁰X_j .

I Ceci veut dire qu’il y a convergence en probabilit´e vers l’esp´erance deXi0Xj. Donc, ^(X_n^0X) converge en probabilit´e `a Q_x, qui est d´efinie comme

Q_x ≡E X⁰X

n

.

I Donc, le premier terme converge en probabilit´e `a (Q_x)⁻¹

Convergence (suite)

I Le 2e terme converge en probabilit´e `a z´ero. Voici l’argument.

E

(X⁰U) n

= E

(X⁰E (U|X)) n

= 0.

I Si on consid`ere l’i`eme colonne de la matrice X, nous avons Var

1 nX_i⁰U

= 1

n 2

Var X_i⁰U

= 1

n 2

Var

n

X

l=1

X_i−1,lU_l

!

= 1

n 2 n

X

l=1

Var (Xi−1,lU_l). D´efinissonsX_i−1,lU_l ≡V_i,l. Nous avons

Var 1

nXi0

U

= 1

n 2 n

X

l=1

Var (Vi,l) = 1

n 2

nVar (Vi)

= 1

n

Var (V_i).

Convergence (suite)

I Avec une esp´erance de z´ero et une variance qui tend vers z´ero, on a (presque) la preuve de la convergence :

(X⁰U) n

−p

→0.

I Les hypoth`eses du th´eor`eme de Slutsky sont satisfaites, donc la limite de probabilit´e du produit est le produit des limites de probabilit´e. Donc, nous avons :

βˆ−β _p

−

→0.

Covariances en notation matricielle

I Notation matricielle pour les covariances. Consid´erons (Y −E(Y)) (Y −E(Y))⁰.

I L’´el´ement (i,j) est :

(Yi−E (Yi)) (Yj −E (Yj)).

I Donc son esp´erance est une covariance (variance si i =j).

E ((Y_i−E (Y_i)) (Y_j −E (Y_j)))

I Donc, la matrice suivante contient toutes les variances et covariances possibles entre les ´el´ements de Y.

E (Y −E(Y)) (Y −E(Y))⁰ .

Distribution ´ echantillonnale de ˆ β

I Nous avons √

n

βˆ−β

=

(X⁰X) n

−1 (X⁰U)

√n

.

I Nous avons d´ej`a vu que E

βˆ−β

= 0.

I Donc, une expression qui nous donne la matrice de variance-covariance de√

n βˆ−β

est donn´ee par :

E

n

βˆ−β βˆ−β 0

Distribution ´ echantillonnale de ˆ β (suite)

I Nous devons examiner le comportement en grand ´echantillon de

(X⁰X) n

−1 (X⁰U)

√n

!

(X⁰X) n

−1 (X⁰U)

√n !0

=

(X⁰X) n

−1 (X⁰U)

√n

(X⁰U)

√n 0

(X⁰X) n

−1

.

I Nous avons d´ej`a vu que_(X0X) n

−1 p

−→(Q_x)⁻¹. Regardons (X⁰U)

√n

(X⁰U)

√n 0

.

Distribution ´ echantillonnale de ˆ β (suite)

I Nous avons :

(X⁰U) =

n

X

i=1













 ui

X_1iu_i X_2iu_i

... X_kiu_i















≡

n

X

i=1

Vi.

I Selon leKey Concept 18.1, les Vi sont i.i.d., donc 1

n

n

X

i=1

Vi

−→p 0,

√1 n

n

X

i=1

V_i −→^d N(0, Σ_V), Σ_V ≡E ViVi0

.

Distribution ´ echantillonnale de ˆ β (suite)

I Donc (th´eor`eme de Slutsky)

√n

βˆ−β _d

−→N 0k+1 , Qx−1

ΣVQx−1 ,

Cas homosc´ edastique

I Nous pouvons ´ecrire

E UU⁰

=σ²_uIn. Nous avons

(X⁰U)

√n

(X⁰U)

√n 0

=

X⁰UU⁰X n

p

−→E 1

nσ²_uX⁰InX

= E 1

nσ²_uX⁰X

=σ²_uQx.

I Donc

√n

βˆ−β _d

−→N 0_k+1 , σ_u²Q_x⁻¹Q_xQ_x⁻¹

=N 0_k+1, σ_u²Q_x⁻¹ .

Estimateurs convergents

I Nous rempla¸cons Q_X avec

Qˆ_x ≡ (X⁰X) n .

I Nous rempla¸cons ΣV avec Σˆ_V ≡ 1

n−k−1

n

X

i=1

X_iX_i⁰( ˆu_i)²

I Nous pouvons finalement ´ecrire βˆ≈N

β , 1

n

Qˆ_x−1

Σˆ_v

Qˆ_x−1

≡N

β , Σˆ_βˆ .

Cas homosc´ edastique

I Un estimateur convergent de σ_u² est donn´e par s_u² ≡ 1

n−k−1

n

X

i=1

ˆ u_i².

Nous utilisons le mˆeme estimateur deQ_x, et donc βˆ≈N

β , 1

n

Qˆ_x−1

s_u²

Qˆ_x Qˆ_x−1

≡N

β , Σ˜_βˆ ,

βˆ≈N

β , 1 ns_u²

Qˆ_x−1

≡N

β , Σ˜_βˆ ,

Gauss-Markov

I Dans le cas homosc´edastique, si ˜β est n’importe quel estimateur lin´eaire et non biais´e de β, il faut que

Var

c⁰βˆ

≤Var

c⁰β˜

pour toute combinaison lin´eairec⁰β.

I Il y a une preuve dans la section 18.5 du manuel.

I Notez que cette preuve ne suppose pas la normalit´e du terme d’erreur. Voir Giles (2011b).

I Il y a aussi une preuve simple si on suppose que les variables explicatives X sont fixes ou non stochastiques. Voir la page suivante.

Gauss-Markov : preuve

I Soit ˜β=CY un autre estimateur lin´eaire de β.

I On suppose que C peut s’´ecrireC = (X⁰X)⁻¹X⁰+D o`u D est une matrice non nulle.

I Nous avons

E(CY) =E

X⁰X−1

X⁰+D

(Xβ+U)

=

X⁰X−1

X⁰+D

Xβ+E

X⁰X−1

X⁰+D U

=β+DXβ+E

X⁰X−1

X⁰+D

E(U|X)

=β+DXβ

Gauss-Markov : preuve (suite)

I Nous voulons prouver que ˆβ a la plus petite variance parmi les estimateursnon biais´es. Il faut donc queDX = 0

I Nous avons

Var(CY|X,D) =CVar(Y|X,D)C⁰

=CVar(U|X)C⁰ =σ²_uCC⁰

=σ²_u

X⁰X−1

X⁰X X⁰X−1

+ X⁰X−1

X⁰D⁰ +DX X⁰X−1

+DD⁰

=σ_u² X⁰X−1

+σ_u²DD⁰ o`u DD⁰ est positive semi-d´efinie.

Gauss-Markov : preuve (suite)

I Nous avons

Var β˜

−Var βˆ

=σ²_uDD⁰

⇒Var c⁰β˜

−Var c⁰βˆ

=σ²_uc⁰DD⁰c ≥0, ce qui fut `a d´emontrer.

Tests d’hypoth` eses simples par rapport ` a un seul coefficient

I Nous utilison la statistiquet donn´ee par t =

βˆ_i −β_i^H0 s_βˆ

i

.

I Toutela discussion du chapitre sur la statistique et l’inf´erence s’applique. Nous avons

t∼N(0, 1).

I Si H₁ :β_i 6=β_i^H0 nous avons

Φ (−|t^a|) = Pr (t ≤ −|t^a|)

= Pr t≤ −

βˆi−β_i^H0 s_βˆ

i

! .

Tests d’hypoth` eses simples : H

unilat´ erale 1

I On a

H₀ :β_i =β_i^H0 et

H1 :βi > β_i^H0,

I Lap-value du test est donn´ee par p= Pr z >t^act

= 1−Φ t^act .

Tests d’hypoth` eses simples : H

unilat´ erale 2

I On a

H₀ :β_i =β_i^H0 et

H1 :βi < β_i^H0,

I Lap-value du test est donn´ee par p= Pr z <t^act

= Φ t^act .

Tests par rapport ` a une combinaison lin´ eaire de coefficients

I Mod`ele en notation non matricielle :

Y_i =β₀+X_1iβ₁+X_2iβ₂+. . .+X_kiβ_k +u_i.

I Nous voulons tester la restriction suivante : H0 : β1+β2 = 1, contre

H1 : β1+β2 6= 1.

Combinaison lin´ eaire de coefficients (suite)

I Version ´equivalente au mod`ele original :

Yi =β0+X1i(β1+β2) + (X2i−X1i)β2+. . .+X_kiβ_k+ui.

I Nous pouvons r´e´ecrire le mod`ele comme

Y_i =β₀+X_1iγ₁+Z_iβ₂+. . .+X_kiβ_k +u_i, o`u Z_i ≡X_2i −X_1i et γ1 ≡β1+β2.

I Tester H0 : β1+β2 = 1 revient `a testerH0: γ1= 1.

Les tests s´ equentiels ne sont pas valides

I Supposons que nous voulons tester l’hypoth`ese jointe suivante :

H₀ : β₁=β₂= 0.

contre

H1 : ∃i, i = 1,2 tel que βi 6= 0.

I Pourquoi pas tester les 2 hypoth`eses de fa¸con s´equentielle ? t₁ = βˆ₁−β₁^H0

sβˆ1

,

t₂ = βˆ₂−β₂^H0 sβˆ2

.

I On pourrait rejeter si une des deux hypoth`eses est rejet´ee par un test d’hypoth`ese simple.

Les tests s´ equentiels ne sont pas valides (suite)

I Le probl`eme avec cette id´ee est qu’il s’agit de distributions de probabilit´e jointes.

I Prenons le cas simple o`u les 2 coefficients sont ind´ependamment distribu´es.

I Dans les deux cas, on ne rejetterait pas l’hypoth`ese nulle `a un niveau de significativit´e marginal de 5% si |t₁|<1.96 et

|t₂|<1.96.

I La probabilit´e d’obtenir au moins un rejet en effectuant deux tests si les hypoth`eses nulles sont vraies serait ´egale `a 1−0.95².

I Il faudrait au moins ajuster le niveau de significativit´e marginal.

Test Bonferroni

I L’annexe (7.1) du livre d´ecrit une fa¸con d’ajuster les niveaux de significativit´e marginaux pour tenir compte de la

corr´elation non nulle entre les coefficients.

I Cette m´ethodologie peut ˆetre utile dans certains cas,

notamment lorsqu’on lit les r´esultats de r´egressions rapport´es dans des articles publi´es ou des cahiers de recherche o`u onne donne pasla matrice variance-covariance compl`ete des coefficients estim´es.

Test Bonferroni

I Choisir une valeur critique o`u la probabilit´e de rejeter H<sub>0</sub> ne d´epasse pas la probabilit´e de la rejeter si on tient compte de la non-ind´ependance entre les hypoth`eses faisant partie de l’hypoth`ese jointe.

I On rejetteH0 si on rejette au moins une des hypoth`eses individuelles.

I Cas de 2 hypoth`eses simples : appelonsA l’´ev´enement que nous rejetons la premi`ere hypoth`ese, etB l’´ev´enement que nous rejetons la 2e hypoth`ese simple :

Pr (A∪B)≤Pr (A) + Pr (B),

I Avec des p-values identiques, on va choisir desp-values tel que leur somme soit ´egale `a la p-value d´esir´ee du test joint.

I Le test Bonferroni est tr`es conservateur : minimiser la probabilit´e de rejeter H0 (jointe) lorsqu’elle est vraie.

Tests d’hypoth` eses jointes

I Reprenons l’exemple de la sous-section pr´ec´edente.

L’hypoth`ese nulle `a tester est

H₀ : β₁+β₂ = 1,

I Nous pouvons ´ecrire cette hypoth`ese sous forme matricielle de la fa¸con suivante :

0 1 1 0 . . . 0

















 β0

β₁ β2

β3

... βk



















= 1

I Ceci est de la forme :

Rβ=r,

Tests d’hypoth` eses jointes (suite)

I Prenons un cas o`u le nombre d’hypoth`eses est ´egal `a deux.

H₀:β₁=β₂= 0 et

H₁ :∃i, i = 1,2 tel que β_i 6= 0.

I Sous forme matricielle, nous avons

H₀ :

0 1 0 0 . . . 0 0 0 1 0 . . . 0

















 β₀ β1

β₂ β₃ ... β_k



















= 0

0

.

Tests d’hypoth` eses jointes (suite)

I On peut montrer que la statistique suivante ob´eit, (en grand

´

echantillon et sous H0) `a une loiFq,∞ : F ≡

Rβˆ−r0h

RΣˆ_βˆR⁰i−1

Rβˆ−r /q.

I Ici, on aq le nombre de restrictions que l’on veut tester et ˆΣβˆ

la matrice variance-covariance de l’estim´e ˆβ.

I Dans l’exemple que nous venons d’´etudier, q= 2, et donc F −→^d Fq,∞.

I La plupart des logiciels de r´egression, dontRoffrent la possibilit´e de sp´ecifier les ´equivalents deR et r afin de tester des hypoth`eses jointes quelconques.

Une seule restriction comme cas sp´ ecial

I Dans les cas q = 1, la statistiqueF est le carr´e de la statistique t.

I Nous ne pouvons pas faire la distinction entre une statistique t qui serait grande en valeur absolue et n´egative et une statistique t grande en valeur absolue et positive.

I Pour illustrer l’´equivalence prenons l’exempleH0:β1= 0.

Sous forme matricielle

0 1 0 . . . 0













 β₀ β1

β₂ ... βk















=β₁ = 0.

Une seule restriction comme cas sp´ ecial (suite)

I Nous avons dans ce cas

F =

βˆ1−0















0 1 0 . . . 0 Σˆ_βˆ













 0 1 0 ... 0





























−1

βˆ1−0

.

I On peut montrer (exercice) que

0 1 0 . . . 0 Σˆ_βˆ













 0 1 0 ... 0















= ˆσ²_ˆ

β1,

Une seule restriction comme cas sp´ ecial (suite)

I Donc, nous avons

F = βˆ1−0 s_βˆ

1

!2

=t².

I Deuxi`eme exemple :

H0 :β1+β2= 1.

I Sous forme matricelle :

0 1 1 0 . . . 0

















 β0

β₁ β₂ β3

... β_k



















=β1+β2 = 1.

Une seule restriction comme cas sp´ ecial (suite)

I Dans ce cas

F =

βˆ1+ ˆβ2−1



































 0 1 1 0 ... 0



















0

Σˆβˆ

















 0 1 1 0 ... 0





































−1

βˆ1+ ˆβ2−1

.

I On peut v´erifier que

0 1 1 0 . . . 0 Σˆ_βˆ

















 0 1 1 0 ... 0



















=s²_ˆ

β1+s²_ˆ

β2+ 2s_βˆ

1,βˆ2

Une seule restriction comme cas sp´ ecial (suite)

I Ici, s_βˆ

1,βˆ2 est l’´el´ement hors-diagonale de la matrice

variance-covariance, un estim´e convergent de la covariance entre ˆβ₁ et ˆβ₂.

I Il s’agit donc de l’estimateur convergent de la variance de βˆ₁+ ˆβ₂.

I La statistique F devient

F =

βˆ₁+ ˆβ₂−12

s²_ˆ

β1+s²_ˆ

β2+ 2sβˆ1,βˆ2

=t².

I On voit l’´equivalence entre la statistique F et le carr´e de la statistique t.

Significativit´ e de la r´ egression

I Souvent, on veut tester l’hypoth`ese nulle selon laquelle tous les coefficients de la r´egression sauf la constante sont ´egaux

` a z´ero.

I Nous pouvons ´ecrire cette restriction sous forme matricielle sans probl`eme avec

R =















0 1 0 0 . . . 0 0 0 1 0 . . . 0 0 0 0 1 . . . 0 ... ... ... ... . .. ...

0 0 0 0 . . . 1













 ,

et

r =













 0 0 0 ... 0













 .

Cas homosc´ edastique

I Rien de diff´erent par rapport au cas g´en´eral. On remplace ˆΣ_βˆ par ˜Σ_βˆ.

I Donc, nous avons : F ≡

Rβˆ−r0h

RΣ˜_βˆR⁰i−1

Rβˆ−r /q,

I Alternative : estimer le mod`ele sous l’hypoth`ese nulle et sous l’hypoth`ese alternative, et utiliser la formule suivante :

F = (SSR_restricted −SSRunrestricted)/q SSRunrestricted/(n−kunrestricted −1).

Cas homosc´ edastique (suite)

I Formule ´equivalente :

F = Runrestricted² −R_restricted² /q 1−Runrestricted²

/(n−kunrestricted −1),

I Vous devriez montrer alg´ebriquement comment passer de la premi`ere `a la deuxi`eme version de ce test. La d´emonstration est en fait tr`es simple.

I Nous n’allons pas montrer formellement pourquoi les statistiques F dans le cas homosc´edastique peuvent ˆetre

´

ecrites sous cette forme. Voir par exemple Greene (2000).