Ind´ependance des erreurs

• Ce sujet est beaucoup plus pertinent dans le cas o`u les donn´ees sont des s´eries chronologiques. Il s’agit de tests pour d´etecter la pr´esence

d’autocorr´elationdans les erreurs.

• Sans une etude du chapitre sur les s´eries chronologiques il est difficile d’´elaborer sur ce sujet.

• Les tests cl´es dans cette sous-section sont le test Durbin-Watson, la statistiquehde Durbin, et le test Breusch-Godfrey.

• Pour des pr´ecisions sur le test Durbin-Watson et le test Breusch-Godfrey, voir la documentation du packagelmtest. Pour des pr´ecisions sur la statistiquehde Durbin, voir la documentation du packageecm.

6 Multicollin´earit´e

• Voir Giles (2011, 2013f). Giles est assez sarcastique au sujet de la multicollin´earit´e, surtout dans son article de 2011. Il cite le manuel de Goldberger qui a une section sur le probl`eme de

micronumerosity dans le cadre de l’estimation de la moyenne d’une variable al´eatoire :A generally reliable guide may be obtained by counting the number of observations. Most of the time in econometric analysis, when n is close to zero, it is also far from infinity.

• L’interpr´etation : le probl`eme de la multicollin´earit´e survient puisque nous n’avons pas assez d’observations pour distinguer entre les impacts

de variables explicatives diff´erentes.

• Comme nous avons d´ej`a vu, la multicollin´earit´e (lorsqu’elle n’est pas parfaite) est une propri´et´e de l’´echantillon de donn´ees qui est `a notre disposition. Tel que sugg´er´e par Giles et Goldberger, puisque c’est une propri´et´e de l’´echantillon que nous avons, il n’y pas forc´ement un rem`ede au probl`eme.

• D´etection de la multicollin´earit´e :

1. Changements importants dans les valeurs estim´ees de coefficients lors de l’ajout ou du retrait d’une ou plusieurs variables.

2. Coefficients non significatifs individuellement mais significatifs en bloc.

3. Variance inflation factor:

VIF≡ 1

1−R_j²

o`uR<sup>2</sup><sub>j</sub> est l’ajustement statistique d’une r´egression o`u la variable explicativej est la variable d´ependante et les variables explicatives sont toutes les autres variables explicatives du mod`ele. On appelle

1−R²_j

latol´erance. La commande enRvif(·)permet d’´evaluer ce crit`ere pour un mod`ele estim´e.

4. Conditionnement deX⁰X. Racine carr´ee du ratio de la plus grande valeur caract´eristique sur la plus petite valeur caract´eristique.

qu’il y a un probl`eme potentiel.

5. Test Farrar-Glauber. Bas´e sur Farrar et Glauber (1967). Giles (2013f) est assez critique `a l’´egard de ce test. Il note que dans l’article

original, les auteurs font l’hypoth`ese que les variablesX suivent une distribution normale multivari´ee. Le test peut ˆetre interpr´et´e comme un test des corr´elations entre les variables dansX dans la population.

Mais l’´echantillon de donn´ees que nous avons est celui que nous avons.

6. Construction d’une matrice de corr´elations. Un coefficient de corr´elation ´elev´ee entre deux variables explicatives potentielles indique un probl`eme possible.

• Cons´equences de la multicollin´earit´e.

1. Dans des cas extrˆemes, l’ordinateur pourrait avoir des difficult´es (num´eriques) `a inverser la matriceX⁰X.

2. L’estim´e de l’impact d’une des variables sur la variable d´ependante peut devenir beaucoup moins pr´ecis.

3. La multicollin´earit´e peut aggraver les effets de variables omises.

• Rem`edes possibles.

1. V´erifier la pr´esence de la trappe aux variables dichotomiques.

2. Essayer de r´eestimer le mod`ele utilisant un sous-´echantillon des donn´ees.

3. Ne rien faire. Les donn´ees sont ce qu’elles sont, et essayer de faire parler les donn´ees lorsqu’elles sont muettes sur la question que nous leur posons.

4. Laisser tomber une variable. Attention au probl`eme du biais dˆu aux variables omises !

5. Obtenir davantage d’observations si possible.

6. Centrer les variables explicatives en soustrayant leurs moyennes.

7. Renormaliser les variables explicatives, par exemple en changeant les unit´es de mesure pour que les variables explicatives soient d’un ordre de grandeur comparable. Ceci peut affecter le conditionnement de la matrice(X⁰X).

8. Utiliser la technique de la r´egression pseudo-orthogonale (ridge regression en anglais). C’est un sujet qui est au-del`a de la mati`ere du cours `a part son id´ee de base. L’id´ee de base est d’utiliser l’estimateur

β˜≡(X⁰X+ Γ⁰Γ)⁻¹X⁰Y,

o`u souvent la matriceΓest une matrice diagonale d´efinie comme

Γ≡αI

o`uαest une constante arbitraire. L’ajout de cette matrice introduit un

l’estimateur. Pour cette raison, le r´esultat dans certains cas peut ˆetre un estimateur avec une erreur quadratique moyenne inf´erieure `a celle de l’estimateur MCO (qui est un cas sp´ecial de cet estimateur avec α= 0). En g´en´eral, la taille du biais de l’estimateur augmente avec la valeur deαet la variance diminue (voir la section 1.4.3 de van

Wieringen 2018). Il y a donc un arbitrage entre biais et variance.

Malheureusement, il est impossible de connaˆıtre a priori la valeur exacte deαqui va minimiser l’erreur quadratique moyenne.

9. Si les variables explicatives qui sont corr´el´ees sont des retards (dans le contexte de donn´ees qui sont des s´eries chronologiques), on peut utiliser la technique desretards distribu´es qui impose une structure sur les coefficients `a estimer.

7 Endog´en´eit´e

• Ce sujet nous m`ene vraiment `a la fronti`ere de la mati`ere du cours, puisqu’il nous am`ene `a parler de la technique d’estimation parvariables instrumentales. Le principe de base est (j’esp`ere) relativement simple `a comprendre. Pour plus de d´etails, voir le chapitre 12 du manuel de Stock et Watson (version en langue anglaise). Il y a aussi un encadr´e `a la fin de cette section o`u je d´eveloppe l’estimateur IV (variables instrumentales).

Les d´eveloppements alg´ebriques dans l’encadr´e sont relativement abordables.

• C’est une fac¸on g´en´erale de r´esumer tout ce qui peut causer une corr´elation non nulle entre les variables explicatives du mod`ele et le terme d’erreur. Nous avons d´ej`a vu en d´etail le probl`eme de variables omises. Il y a d’autres sources possibles du probl`eme.

• Causes possibles de l’endog´en´eit´e.

1. Variable(s) omise(s). Nous avons vu ce probl`eme en d´etail.

2. Erreurs de mesure. La vraie variable explicative estX˜_j mais ce qu’on mesure est donn´e par

X_j = ˜X_j+

o`uest un vecteur d’erreurs d’observation. Le vrai mod`ele est

Y_i =β₀+β₁X_1i +. . .+β_jX˜_ji+. . .+β_kX_ki+u_i

et le mod`ele estim´e est donn´e par

Y_i =β₀+β₁X_1i +. . .+β_jX_ji+. . .+β_kX_ki+ (u_i−β_ji).

PuisqueX_jid´epend de_i, il y a ´evidemment une corr´elation non nulle entreX_jiet le terme d’erreur.

3. Simultan´eit´e. Une variable exog`ene influence simultan´ement la variable d´ependanteY et une ou plusieurs des variables explicatives.

L’influence de la variable exog`ene surY peut ˆetre indirecte. Pensez au

l’´equation suivante (o`u l’´echantillon d’observations porte sur la quantit´e de caf´e vendue dans des supermarch´es diff´erents `a des prix possiblement diff´erents) :

Y_i =β₀+β₁X_i+u_i

o`uY<sub>i</sub>est la quantit´e de caf´e etX<sub>i</sub> est le prix par unit´e du caf´e. Est-ce que ceci est une courbe d’offre ou une courbe de demande ? En fait,Y<sub>i</sub> etX<sub>i</sub> d´ependent en principe de facteurs exog`enes et l’´equation est ce que l’on observe sont des combinaisons de quantit´es et de prix `a l’´equilibre, l’´equation est ce qu’on appelle uneforme r´eduiteet non une ´equation structurelle. Pour estimer la courbe d’offre, il faut trouver un facteur qui fait d´eplacer la courbe de demande (comme, par exemple, le prix du th´e, un bien qui est substitut pour le caf´e). Si les seuls changements exog`enes sont des variations du prix du th´e, on pourra observer des combinaisons diff´erentes de prix du caf´e et de quantit´es vendues de caf´e qui r´esultent ded´eplacementsde la courbe de demande le long de la courbe d’offre. Ici, l’impact du prix du th´e sur la quantit´e vendue du caf´e estindirect. Il affecte la quantit´e vendue du caf´e parce qu’il affecte lademandepour le caf´e. On verra dans la section suivante sur les estimateurs `a variables instrumentales qu’une variable comme le prix du th´e serait un boninstrument`a utiliser pour estimer l’´equation ci-dessus.

7.1 Tests d’endog´en´eit´e

Nous consid´erons dans cette sous-section le test Durbin-Hausman-Wu et la fac¸on relativement simple de l’effectuer qui provient du manuel de Woodridge (2009).

• Test Durbin-Hausman-Wu. Ce test d´epend de la construction d’un estimateur `a variables instrumentales. Nous d´eveloppons cette id´ee dans l’encadr´e qui se trouve `a la fin de cette section. Je conseille fortement la lecture de cet encadr´e avant de lire plus loin.

1. Le test a pour but de tester si le probl`eme d’endog´en´eit´e est s´ev`ere.

Pour le faire, il faut avoir identifi´e un ensemble d’instruments qui permet d’obtenir un estimateur convergent deβ.

2. Il faut avoir deux estim´es diff´erents du mˆeme ensemble de param`etres : l’estimateur MCOβˆet l’estimateur IV (variables instrumentales)βˆ_IV.

3. Sous l’hypoth`ese nulle, les deux estim´es sont convergents, et il y a un estim´e (donn´e par l’estimateur MCO) qui est plus efficient que l’autre (qui est donn´e par l’estimateur IV).

4. Sous l’hypoth`ese alternative, le deuxi`eme estimateur est toujours convergent, tandis que le premier est non convergent.

5. La statistique s’´ecrit comme

DHW ≡

βˆ−βˆ_IV⁰

ΣˆβˆIV −Σˆβˆ

^†

βˆ−βˆ_IV

o`uΣˆβˆIV est l’estimateur convergent de la matrice variance-covariance des param`etres estim´es par la m´ethode IV et†d´enote l’inverse

g´en´eralis´ee Moore-Penrose (qui g´en´eralise la notion d’inverser une matrice).

6. La statistique en grand ´echantillon (asymptotiquement) suit une distribution chi-carr´e avec un nombre de degr´es de libert´e ´egal au rang de la matrice

ΣˆβˆIV −Σˆβˆ

.

7. Le test peut ˆetre effectu´e enRpar le bias de la commande

hausman.systemfit(·)provenant du packagesystemfit. La commande prend deux arguments, qui sont les r´esultats du mod`ele estim´e de deux fac¸ons diff´erentes (MCO et IV dans l’exemple qui nous pr´eoccupe).

• Il y a une fac¸on beaucoup plus facile d’effectuer le test. Voir la section 15.5 dans Wooldridge (2009).

1. Soit le mod`ele lin´eaire donn´e par

Y_i =β₀+β₁W_1,i+. . .+β_kW_k,i+β_k+1X_i+u_i,

o`u on sait que les variablesW ne sont pas corr´el´ees avec le terme d’erreurutandis que la variableXestpossiblementcorr´el´ee avec le terme d’erreur.

2. On a un ensemble de variables instrumentales qui comprennent les variables dans le mod`ele initial qui ne sont pas corr´el´ees avecU

(W₁, W₂, . . . , W_k)plus possiblement d’autres variables.

3. Soit le mod`ele auxiliaire donn´e par

X_i =γ₀+γ₁W_1,i+. . .+γ_k2W_k2,i+_i,

o`uk2 ≥k+ 1. Donc il doit y avoir au moins une variable instrumentale qui n’est pas incluse dans le mod`ele initial.

4. Par hypoth`ese, les variablesW ne sont pas corr´el´ees avecu, alorsX sera non corr´el´ee avecU si et seulement si l’erreurn’est pas corr´el´ee avecu.

5. On voudrait inclurecomme variable explicative additionnelle dans le mod`ele initial. On ne peut le faire puisque l’erreur n’est pas observable, mais on peut inclure les r´esidus d’une estimation du mod`ele auxiliaire par MCO. Donc, on estime le mod`ele

Y_i =β₀+β₁W_1,i+. . .+β_kW_k,i+β_k+1X_i+β_k+2ˆ_i+ ˜u_i.

Puisque ce n’est pas le mˆeme mod`ele que le mod`ele initial, le terme d’erreur n’est pas identique, et donc j’ai remplac´eu_i paru˜_i.

6. On teste l’hypoth`ese nulle queβk+2 = 0avec une statistiquet. Si on rejette l’hypoth`ese nulle, on conclut que la variableXest endog`ene (corr´el´ee avec le terme d’erreurU) puisqueetusont corr´el´ees.

variable qui est potentiellement endog`ene dans le mod`ele initial.

Estimateur `a variables instrumentales

Le d´eveloppement dans cet encadr´e est tr`es semblable `a celui de l’encadr´e sur l’interpr´etation alternative de l’estimateur MCO dans le chapitre sur le mod`ele de r´egression multiple.

On commence avec le mod`ele lin´eaire habituel donn´e par

Y =Xβ+U.

On suppose maintenant qu’il n’est plus forc´ement le cas que

E(U|X) = 0.

Par contre, on suppose l’existence d’une matrice de dimensionsn×k₂avec k₂ ≥k+ 1et o`u

E(U|W) = 0.

I´l s’agit d’une matrice d’observations surk₂variables instrumentalesqui ne sont pas corr´el´ees avec le terme d’erreur du mod`ele. Uninstrumentpar d´efinition est une variable corr´el´ee avec les variables explicatives dans le mod`ele et non corr´el´ee avec le terme d’erreur du mod`ele. Notez que s’il y a

des variables parmi les variables dansX qui ne sont pas conditionnellement corr´el´ees avecU, ces variables peuvent ˆetre incluses dansW.

Consid´erez maintenant le mod`ele transform´e

R⁰W⁰Y =R⁰W⁰Xβ+R⁰W⁰U

o`uRest une matrice de pond´erations (nous reviendrons sur cette matrice un peu plus tard). Nous pouvons pour l’instat consid´ererRcomme une matrice de constantes.

Laissant tomber le dernier terme du membre droit pour obtenir

R⁰W⁰Y =R⁰W⁰Xβ

D´efinissons maintenant l’estimateur IV (variables instrumentales) comme

βˆ_IV = (R⁰W⁰X)⁻¹R⁰W⁰Y.

Nous avons tout de suite que

(R⁰W⁰X)

βˆ_IV −β

= (R⁰W⁰X) (R⁰W⁰X)⁻¹R⁰W⁰Y −(R⁰W⁰X)β

0 0 0 0 −1 0 0 − ^{0 0}

=R⁰W⁰U.

Nos hypoth`eses concernant l’esp´erance conditionnelle du terme d’erreur a tout de suite pour cons´equence que

1

Notez que dans le cas de l’estimateur IV, nousne pouvons pasmonter l’absence de biais. Nous avons

βˆ_IV = (R⁰W⁰X)⁻¹R⁰W⁰Y

= (R⁰W⁰X)⁻¹R⁰W⁰(Xβ+U)

=β+ (R⁰W⁰X)⁻¹R⁰W⁰U.

Nous pouvons calculer l’esp´erance de cet estimateur et appliquer, comme d’habitude, la loi des esp´erances it´er´ees pour obtenir

E

Le probl`eme `a ce stade-ci est la pr´esence deXdans l’expression (R⁰W⁰X)⁻¹R⁰W⁰.Mˆeme ´etant donn´eesles valeurs desW, le terme (R⁰W⁰X)⁻¹R⁰W⁰est encore stochastique. Nous ne pouvons pas traiter l’expression comme une matrice de constantes et, pour cette raison, l’´ecrire du cˆot´e gauche de l’op´erateur d’esp´erance (conditionnelle).

Donc, pour cette raison, l’estimateur IV estconvergentmais il est possiblementbiais´een ´echantillons finis.

Justification alternative

Une autre fac¸on de justifier l’estimateurβˆIV est la suivante. Si les instrumentsW ne sont pas corr´el´es avec le terme d’erreur, nous avons

Y =Xβ+U

⇒E(R⁰W⁰Y) = E(R⁰W⁰(Xβ+U))

=E((R⁰W⁰X)β) +E(R⁰W⁰U)

=E(R⁰W⁰X)β+E(R⁰W⁰U)

=E(R⁰W⁰X)β+E(E(R⁰W⁰U|W))

=E(R⁰W⁰X)β

−1

Comme dans la section sur la justification alternative de l’estimateur MCO.

les vraies valeurs desβ sont une fonction des esp´erances deR⁰W⁰Xet de R⁰W⁰Y, Un estimateur naturel serait de remplacer les moments dans la population par leurs ´equivalents calcul´es avec notre ´echantillon de donn´ees.

Nous avons tout de suite

βˆ_IV = 1

n−1(R⁰W⁰X) −1

1

n−1(R⁰W⁰Y)

= (R⁰W⁰X)⁻¹R⁰W⁰Y.

C’est une autre exemple d’un estimateur dans la classe de la m´ethode des moments : on remplace les moments dans la population par les moments

´echantillonnaux.

Estimateur des moindres carr´es `a deux ´etapes

Si les erreursU sont ind´ependantes et homosc´edastiques, on peut montrer que le choix optimal deRest donn´e par

R= (W⁰W)⁻¹W⁰X,

qui a l’interpr´etation de la matrice de coefficients estim´es d’une r´egression de toutes les variablesXsur les instrumentsW. (C’est une autre version encore

du th´eor`eme Gauss-Markov.) Autrement dit, si on a

X =W ρ+,

alors

R ≡ρˆ= (W⁰W)⁻¹W⁰X.

De cette fac¸on

Wρˆ=W R ≡Xˆ

a l’interpr´etation des valeurspr´editesdesXprovenant de cette r´egression.

Notez bien queρˆest unematricede coefficients puisqueX est une matrice de dimensions(n×(k+ 1))au lieu d’ˆetre un vecteur de dimensions(n×1).

Dans ce cas, on a βˆ_IV =

X⁰W(W⁰W)⁻¹W⁰X−1

X⁰W(W⁰W)⁻¹W⁰Y.

≡

Xˆ⁰X⁻¹ XY.ˆ

Dans ce cas, l’estimateur IV est connu sous le nom de l’estimateurmoindres carr´es `a deux ´etapes(2SLS en anglais ce qui veut diretwo-stage least squares), la premi`ere ´etape ´etant la r´egression de toutes les variables

Quelques qualifications

Le probl`eme fondamental avec l’estimateur IV est la n´ecessit´e d’identifier des variables instrumentales appropri´ees. Ceci est un grand sujet de recherche en ´econom´etrie (le nombre de papiers sur le probl`emed’instruments faibles est ´enorme). Le probl`eme essentiellement est de trouver des variables qui non seulement ne sont pas corr´el´ees avec le terme d’erreur du mod`ele mais aussi sont fortement corr´el´ees avec les variables explicatives dans le mod`ele qui sont endog`enes (corr´el´ees avec le terme d’erreur).

Une rechercheGoogleouGoogle Scholaravec les mots cl´esweak instruments devrait suffire pour constater que c’est un sujet de recherche tr`es actif.

8 Un exemple d´etaill´e avec R

Je donne ici un exemple tr`es simple de calculs que l’on peut effectuer rapidement et facilement avecR.

L’exemple est bas´e sur le quatri`eme chapitre dans Kleiber et Zeileis (2008). Voir le livre pour des explications plus d´etaill´ees.

Les commandes peuvent ˆetre ex´ecut´ees comme un script.

R> # Charger les packages n´ecessaires en m´emoire.

R> library("stats") R> library("car")

R> library("sandwich") R> library("faraway")

R> # Les donn´ees proviennent du package sandwich.

R> # Charger les donn´ees en m´emoire.

R> data("PublicSchools")

R> # Permettre d’appeler les variables directement R> # sans utiliser le nom de la base de donn´ees.

R> attach(PublicSchools)

R> # Calculer des statistiques descriptives.

R> summary(PublicSchools)

R> # Il y a une observation manquante. L’enlever.

R> ps <- na.omit(PublicSchools) R> attach(ps)

R> # Renormaliser la variable Income.

R> Income <- Income/10000

R> # Recalculer les statistiques descriptives.

R> summary(ps)

R> # Estimer le mod`ele de r´egression simple.

R> # Sortir les r´esultats principaux.

R> summary(ps lm)

R> # Faire un graphique de la ligne de r´egression.

R> plot(Expenditure ∼ Income,ylim=c(230,830)) R> abline(ps lm)

R> # Ajouter 3 noms d’´etat au graphique.

R> id <- c(2,24,48)

R> text(ps[id,2:1],rownames(ps)[id],pos=1,xpd=TRUE) R> # Calculer un certain nombre de statistiques.

R> # diagnostiques.

R> # D’abord, calculer les "hatvalues".

R> ps hat <- hatvalues(ps lm)

R> # Sortir un graphique avec les hatvalues.

R> plot(ps hat)

R> # Ajouter des lignes pour la moyenne R> # et pour trois fois la moyenne.

R> abline(h=c(1,3)*mean(ps hat),col=2)

R> # Identifier les observations aberrantes R> # sur le graphique.

R> id <- which(ps hat>3*mean(ps hat)) R>

text(id,ps hat[id],rownames(ps)[id],pos=1,xpd=TRUE)

R> # Utiliser "plot(ps lm)" pour cr´eer une R> # s´erie de graphiques.

R> plot(ps lm,which = 1:6)

R> # Utiliser "influence.measures(ps lm)" pour R> # identifier les observations abberrantes R> # ou influentes.

R> summary(influence.measures(ps lm))

R> # R´eestimer en enlevant les 3 observations.

R> plot(Expenditure ∼ Income, data = ps, ylim = c(230, 830))

R> abline(ps lm) R> id

<-which(apply(influence.measures(ps lm)$is.inf, 1, any))

R> text(ps[id, 2:1], rownames(ps)[id], pos = 1, xpd

= TRUE)

R> ps noinf <- lm(Expenditure ∼ Income, data = ps[-id,])

R> abline(ps noinf, lty = 2) R> # Utiliser avPlots(ps lm).

R> avPlots(ps lm)

R> # Utiliser prplot(ps lm).

R> prplot(ps lm,1)

R> # Estimer le mod`ele non lin´eaire avec R> # Expenditure<sup>2</sup> dans le mod`ele.

R> ps lm2 <- lm(Income Expenditure + I(Expenditureˆ2))

R> summary(ps lm2)

R> plot(ps lm2,which=1:6)

R> summary(influence.measures(ps lm2)) R> avPlots(ps lm2)

R> prplot(ps lm2,1) R> prplot(ps lm2,2)

R> # Estimer un autre mod`ele de r´egression R> # multiple.

R> # Les donn´ees proviennent du package faraway.

R> # Les donn´ees contiennent des taux d’´epargne R> # dans 50 pays.

R> data(savings)

R> # Permettre d’appeler les variables directement R> attach(savings)

R> summary(savings)

R> m1 <- lm(sr ∼ pop15 + pop75 + dpi + ddpi) R> summary(m1)

R> plot(hatvalues(m1))

R> # G´en´erer des graphiques de variables ajout´ees.

R> avPlots(m1)

R> # G´en´erer des graphiques de r´esidus partiels.

R> prplot(m1,1) R> prplot(m1,2) R> prplot(m1,3) R> prplot(m1,4)

R´ef´erences

Voir ce lien : http:

//www.steveambler.uqam.ca/4272/chapitres/referenc.pdf

Derni`ere modification : 23/04/2018

Dans le document D´epartement des sciences ´economiques Ecole des sciences de la gestion ´ Universit´e du Qu´ebec `a Montr´eal (Page 33-54)