Département des sciences économiques Ecole des sciences de la gestion ´ Université du Québec à Montréal

(1)

ECO 4272 : Introduction à l’économétrie Notes sur la Régression Multiple

Steve Ambler

^∗

Département des sciences économiques Ecole des sciences de la gestion ´ Université du Québec à Montréal

2018 : Steve Ambler c

Hiver 2018

∗Ces notes sont en cours de développement. J’ai besoin de vos commentaires et de vos suggestions pour les améliorer. Vous pouvez me faire part de vos commentaires en personne ou en envoyant un message à ambler.steven@uqam.ca.

(2)

Table des mati`eres

1 Introduction 4

2 Biais d ˆu `a une variable omise 4

2.1 Exemple . . . 6

3 Modèle de régression multiple 10 3.1 Spécification . . . 10

3.2 Sp´ecification matricielle . . . 11

3.3 Hypoth`eses de base du mod`ele . . . 12

3.4 Estimateur MCO . . . 14

3.4.1 Diff´erentiation matricielle . . . 16

3.4.2 Quelques exemples simples des r`egles de diff´erentiation . . . 18

3.5 Approche non matricielle au probl`eme de minimisation . . . 20

4 Propriétés algébriques de l’estimateur MCO 23 4.1 Orthogonalité . . . 23

4.2 Somme des r´esidus . . . 25

4.3 Valeurs pr´edites . . . 25

4.4 Ecart type de la r´egression´ . . . 26

4.5 Mesures d’ajustement statistique . . . 27

4.5.1 LeR² . . . 27

4.5.2 LeR² ajust´e . . . 33

5 Propriétés statistiques de l’estimateur MCO 37 5.1 Propriétés statistiques : absence de biais . . . 37

5.2 Petite note : th´eor`eme de Slutsky . . . 38

5.3 Propri´et´es statistiques : convergence . . . 39

5.4 Petite note sur les covariances en notation matricielle . . . 45

5.5 Propriétés statistiques : distribution en grand échantillon . . . 46

5.5.1 Cas homosc´edastique . . . 49

6 Variance ´echantillonnale deβˆ 49 6.1 Cas homosc´edastique . . . 52

6.2 Homoscédasticité versus Hétéroscédasticité . . . 53

7 Efficience de l’estimateur MCO sous l’homoscédasticité 54 7.1 Preuve du théorème Gauss-Markov. . . 55

8 Biais d û à des variables omises (bis) 57 9 Tests d’hypothèses et ensembles de confiance 65 9.1 Tests d’hypothèses simples par rapport à un seul coefficient . . . 65

9.2 Tests d’hypothèses simples par rapport à une combinaison linéaire de coefficients . 67 9.2.1 Méthode indirecte . . . 67

(3)

9.2.2 M´ethode directe . . . 69

9.3 Pourquoi les tests s´equentiels ne sont pas valides . . . 70

9.4 Tests d’hypoth`eses jointes . . . 71

9.5 Que faire lorsqueΣˆ_β_ˆ n’est pas disponible ?. . . 74

9.6 Une seule restriction comme un cas sp´ecial . . . 75

9.7 Significativit´e de la r´egression . . . 79

9.8 Tests d’hypothèse en présence d’homoscédasticité . . . 80

9.9 Test de significativité de la régression dans le cas homoscédastique . . . 88

9.10 Tests exacts . . . 89

9.11 Ensembles de confiance . . . 90

10 Multicollinéarité 91 10.1 Multicollinéarité parfaite . . . 91

10.2 Multicollin´earit´e imparfaite . . . 93

10.3 Trucs pratiques . . . 96

11 Un Exemple 97

12 Un Autre Exemple 102

13 Concepts `a retenir 119

14 R´ef´erences 121

(4)

1 Introduction

Dans ce chapitre sur le modèle de régression multiple, il n’y a presque rien de fondamentalement nouveau par rapport au modèle de régression simple. Une lecture de la table des matières de ces notes servira à vous convaincre que ce sont les mêmes sujets qui reviennent. C’est comme si on allait réapprendre la matière sur le modèle de régression simple mais en notation matricielle.

C’est donc une bonne occasion de faire de la révision, surtout en ce qui concerne les propriétés de l’estimateur MCO. À peu près le seul aspect novateur (à part la notation matricielle elle-même) sera l’idée de tester des hypothèses jointes (et une notion qui y est très reliée, celle des ensembles de confiance).¹

Une fois la notation matricielle apprise, toutes les dérivations algébriques concernant les propriétés algébriques de l’estimateur MCO et les propriétés statistiques de l’estimateur MCO sontplus simplesen notation matricielle qu’en notation de sommations. J’espère vous convaincre de ce principe avant de terminer notre étude sur le modèle de régression multiple.

2 Biais d ˆu `a une variable omise

On peut motiver le modèle de régression multiple en montrant que, si nous voulons analyser l’impact d’une variable explicative sur une variable dépendante et si nous omettons une ou des variables qui ont un impact sur la variable dépendante, notre estimé de cet impact sera en général biaisé, dans la mesure où la corrélation entre cette variable omise ou ces variables omises et la variable explicative du modèle est non nulle.

Cela veut dire que, même si nous ne nous intéressons pas particulièrement à l’impact de ces variables omises, il faut néanmoins en tenir compte dans notre modèle de régression afin d’obtenir un estimé non biaisé de l’impact de notre variable d’intérêt (pour utiliser l’exemple empirique du manuel, l’impact de la taille moyenne des classes sur le rendement scolaire).

1. Le concept de tester une hypothèse simple qui porte sur unecombinaisonde coefficients est nouveau aussi, mais nous allons montrer comment transformer le modèle de régression multiple pour traiter ce cas comme un test d’une hypothèse nulle qui porte sur un seul coefficient. Voir la sous-section9.2.

(5)

On sait à partir de notre étude du modèle de régression simple, que l’estimateur du coefficient de penteβ₁ est égal à :

βˆ₁ =β₁+

1 n

Pn

i=1 X_i−X¯ u_i

1 n

Pn

i=1 X_i−X¯2 .

Maintenant, on modifie nos hypothèses statistiques par rapport au modèle de régression simple

étudié dans le dernier chapitre. On n’impose plus que l’espérance (conditionnelle à la valeur observéeX_i) soit égale à zéro. Maintenant, on a :

1 n

n

X

i=1

X_i−X¯

u_i −→^p Cov(u , X) =Corr(u , X)σ_uσ_X,

et

1 n

n

X

i=1

X_i−X¯2 p

−

→σ_X².

Donc, par le théorème de Slutsky (voir la section5.2ci-dessous), ce qui nous permet d’étudier séparément les propriétés en grand échantillon du numérateur et du dénominateur du deuxième terme dans l’expression pour la valeur de notre estimateurβˆ₁, on a :

βˆ₁ −→^p β₁ +Corr(u , X)σ_uσ_X

σ_X² =β₁+Corr(u , X) σ_u σ_X.

L’estimateur n’est plus convergent. Il y a un biais, même asymptotiquement (lorsque le nombre d’observations tend vers l’infini). Le signe du biais dépend du signe de la corrélation entre la variable explicativeX_iet le terme d’erreuru_i.

Notez que, dans ce cas, les hypothèses de base du modèle ne sont pas respectées. La variable omise, qui est incluse dans le terme d’erreur du modèle, est corrélée avec la variable explicative du modèleX. Autrement dit, l’hypothèse

E(u_i|X =X_i) = 0

ne tient plus. Dans le cadre d’une étude empirique, il faut évaluer la plausibilité de cette

(6)

hypothèse avec les données qu’on a. S’il y a une variable dans la banque de données qui en principe pourrait affecter la variable dépendante de l’étude et qui risque d’être corrélée avec une variable qui est incluse comme variable explicative dans le modèle, il y a probablement un problème de variable omise.²

Une solution possible est d’inclure les variables omises explicitement comme variables

explicatives additionnelles dans le modèle de régression. Le modèle de régression simple devient un modèle de régression multiple. Nous verrons dans la section suivante la spécification du modèle de régression multiple et les hypothèses standard qui permettront, comme dans le modèle de régression simple, de démontrer certaines propriétés souhaitables de l’estimateur MCO des coefficients.

2.1 Exemple

Nous pouvons être encore plus explicites. Supposons que le vrai modèle est donné par

Y_i =β₀+β₁X_1i+β₂X_2i+u_i

tandis que le mod`ele estim´e est

Y_i =β₀+β₁X_1i+ ˜u_i o`u

˜

u_i ≡β₂X_2i+u_i.

Le terme d’erreur du mod`ele estim´e incorpore la variable omiseX2iavec le vrai terme d’erreur u_i. Nous avons

βˆ₁ =

1 n

Pn

i=1 X_1i−X¯₁

Y_i−Y¯

1 n

Pn

i=1 X1i−X¯1

2

2. Dans des cours plus avancés, vous allez apprendre des façons formelles de tester l’absence de corrélation entre les variables explicatives du modèle et le terme d’erreur. Voir par exemple McFadden (2002). Sans ces méthodologies avancées, il faut se fier à la logique et à son intuition.

(7)

=

1 n

Pn

i=1 X_1i−X¯₁

β₀+β₁X_1i+β₂X_2i+u_i−β₀−β₁X¯₁ −β₂X¯₂−u¯

1 n

Pn

i=1 X_1i−X¯₁2

=β1 1 n

Pn

i=1 X_1i−X¯₁2 1

n

Pn

i=1 X_1i−X¯₁2 +β2 1 n

Pn

i=1 X_1i−X¯₁

X_2i−X¯₂

1 n

Pn

i=1 X_1i−X¯₁2

+

1 n

Pn

i=1 X_1i−X¯₁

(u_i−u)¯

1 n

Pn

i=1 X_1i−X¯₁2

=β₁+β₂

1 n

Pn

i=1 X1i−X¯1

X2i−X¯2

1 n

Pn

i=1 X_1i−X¯₁2 +

1 n

Pn

i=1 X1i−X¯1

(ui−u)¯

1 n

Pn

i=1 X_1i−X¯₁2 . Calculant l’esp´erance deβˆ₁, nous obtenons

E βˆ₁

=β₁+β₂E

1 n

Pn

i=1 X_1i−X¯₁

X_2i−X¯₂

1 n

Pn

i=1 X_1i−X¯₁2

!

+E +

1 n

Pn

i=1 X_1i−X¯₁

E((u_i−u)¯ |X₁₁, X₁₂, . . . , X_1n)

1 n

Pn

i=1 X_1i−X¯₁2

!

=β₁+β₂E

1 n

Pn

i=1 X_1i −X¯₁

X_2i−X¯₂

1 n

Pn

i=1 X_1i −X¯₁2

!

par la loi des espérances itérées. En général,

E

1 n

Pn

i=1 X_1i−X¯₁

X_2i−X¯₂

1 n

Pn

i=1 X_1i−X¯₁2

! 6= 0.

L’estimateur est biaisé, le biais étant donné par la valeur de l’espérance dans l’équation précédente.

Nous pouvons dire plus que cela, au moins asymptotiquement (lorsque la taille de l’´echantillonn tend vers l’infini). L’expression

1 n

n

X

i=1

X_1i−X¯₁

X_2i−X¯₂

est tout simplement la covariance ´echantillonnale entreX₁etX₂. (C’est diff´erent par un facteur

(8)

den/(n−1)qui est presqu’´egal `a un sinest grand.) L’expression 1

n

X

i=1

X_1i−X¯₁2

est tout simplement (ou presque) la variance ´echantillonnale deX1. Si les deux expressions sont des estimateurs convergents de leurs ´equivalents dans la population, nous avons :

1 n

n

X

i=1

X_1i−X¯₁

X_2i−X¯₂ p

−

→Cov(X₁ , X₂)

et

1 n

n

X

i=1

X_1i−X¯₁2 p

−

→Var(X₁). Par le th´eor`eme de Slutsky (voir la section5.2ci-dessous), nous avons

βˆ₁ −→^p β₁+β₂Cov(X₁ , X₂) Var(X₁)

La différence entreβˆ₁et sa vraie valeur est approximativement égale à la vraie valeur deβ₂ fois le ratio de la covariance entreX₁etX₂ et la variance deX₂. Si on connaˆıt au moins le signe deβ₂ (on pourrait avoir de l’information a priori sur le signe deβ₂) et de la covariance, on peut prédire le signe de cet écart. Aussi, nous savons que

Cov(X₁ , X₂) Var(X₁)

est la valeur (asymptotiquement) du coefficient de pente d’une régression oùX₂ est la variable dépendante etX₁ est la variable explicative, cela veut dire l’estimation du modèle de régression linéaire simple suivant :

X2i =γ0+γ1X1i+εi.

(9)

Dans cet encadré, j’élabore un peu sur cette interprétation alernative.

Si on remonte un peu en arri`ere nous constatons que nous pouvons exprimer notre estimateur βˆ₁ comme

βˆ₁ =β₁+β₂

1 n

Pn

i=1 X1i−X¯1

X2i−X¯2

1 n

Pn

i=1 X_1i−X¯₁2 +

1 n

Pn

i=1 X1i−X¯1

(ui−u)¯

1 n

Pn

i=1 X_1i−X¯₁2 . Nous constatons aussi que le terme qui multiplieβ₂, soit

1 n

Pn

i=1 X_1i−X¯₁

X_2i−X¯₂

1 n

Pn

i=1 X_1i−X¯₁2

ressemble à quelque chose que nous connaissons. Il est égal (presque) à la covariance

échantillonnale entreX₁ etX₂divisée par la variance échantillonnale deX₁. C’est exactement ce que l’on obtiendrait si on estimait un modèle de régression simple avecX₂ comme variable dépendante etX₁ comme la seule variable explicative (à part la constante).

Autrement dit, avec ce que l’on pourrait appeler le mod`eleauxiliaire suivant :

X2i =γ0 +γ1X1i+εi

on obtiendrait l’estimateur MCO suivant :

ˆ γ=

1 n

Pn

i=1 X_1i−X¯₁

X_2i−X¯₂

1 n

Pn

i=1 X_1i−X¯₁2 . Nous obtenons donc

βˆ₁ =β₁+β₂γˆ₁+

1 n

Pn

i=1 X_1i−X¯₁

(u_i−u)¯

1 n

Pn

i=1 X_1i−X¯₁2 . Ainsi, si

ˆ γ₁ −→^p γ₁⁰

(10)

nous avons

βˆ1

−p

→β1+β2γ₁⁰.

On ne peut présumer que l’estimateurγˆ1 est un estimateur convergent, puisqu’il faudrait faire des hypothèses statistiques maintenues (notamment concernant l’espérance conditionnelle de l’erreurε_i) afin de pouvoir montrer cette convergence. C’est pourquoi j’ai écritγ₁⁰ ici et non γ₁.

Nous allons montrer une généralisation de ce résultat dans la section (8) ci-dessous, oùX₁ pourrait être un vecteur de plusieurs variables explicatives incluses etX₂ pourrait être un vecteur de plusieurs variables omises.

3 Mod`ele de r´egression multiple

A la lumière de ce que nous venons de montrer que l’omission d’une variable qui est pertinente` pour la prédiction de la variable dépendanteYi peut mener à un estimateur biaisé de l’influence d’une variable d’intérêtX_1i sur la variable dépendante. Donc, si nous voulons estimer son impact sans biais, il faut en principe inclure toutes les variables qui pourraient aider à prédireY_i et qui sont potentiellement corrélées avecX_1i.³Ceci nous mène aumodèle de régression multiple.

3.1 Sp´ecification

Y_i =β₀+X_1iβ₁+X_2iβ₂+. . .+X_kiβ_k+u_i. (1)

3. Est-il possible d’inclure toutesles variables qui peuvent aider à prédire Yi? La réponse à cette question est

non pour des raisons que nous allons étudier plus tard. Alors, quelles variables inclure ? Le choix de variables à inclure dans un modèle de régression multiple peut être une question très compliquée. Nous allons voir quelques critères de sélection dans ce chapitre. Voir le vidéoclip https://www.youtube.com/watch?v=

HP3RhjLhRjY pour une discussion qui n’est pas trop technique. Voir aussi https://www.youtube.com/

watch?v=kl4RxV37ebk.

(11)

Chaque variable explicative porte deux indices inférieurs. Le premier fait référence à son identité.

Le deuxième fait référence à l’unité d’observation (ou période dans le cas de séries

chronologiques). Cette convention suit la convention du manuel. On suppose un ´echantillon den observations.

3.2 Sp´ecification matricielle

Y =Xβ+U, o`u

Y ≡

Y₁ Y₂ . . . Y_n 0

,

X ≡







1 X₁₁ X₂₁ . . . X_k1 1 X₁₂ X₂₂ . . . X_k2 ... ... ... . .. ... 1 X_1n X_2n . . . X_kn





 ,

β ≡

β₀ β₁ β₂ . . . β_k 0

,

U ≡

u₁ u₂ . . . u_n 0

.

donc,Y est un vecteur colonne de dimensionsn×1,X est une matrice de dimensions

n×(k+ 1),β est un vecteur colonne de dimensions(k+ 1)×1, etU est un vecteur colonne de dimensionsn×1. Le modèle contient une constanteβ₀et par convention la première colonne de Xcontient un vecteur de valeurs égales à un.

Notez que la convention concernant les indices inférieurs associés aux variables explicatives du modèle (qui, répétons-le, suit la notation du chapitre 6 du manuel), qui stipule queX_ij est la j-ième observation de la i-ième variable explicative, n’est pas strictement conforme avec la notation conventionnelle de l’algèbre linéaire ou des matrices. SoitX une matrice de dimensions

(12)

k×l. En algèbre linéaire on peut faire référence à un élément de la matriceXpar le biais

d’indices inférieurs. La convention est queX_ij est l’élément dans l’i-ième rangée et la j-ième colonne. Donc, il s’agit d’un mariage malheureux entre deux notations qui sont incompatibles.

Dans ces notes, la notationX_ij fera référence par défaut à la spécification du modèle dans l’équation (1). Lorsque je veux utiliser la notation conventionnelle de l’algèbre linéaire, je vais l’écrire explicitement.⁴

Relire le paragraphe précédent. Il est très important de saisir la différence entre la notation utilisée par Stock et Watson et la notation matricielle standard.

Pour l’instant, il ne s’agit que de la notation. L’avantage d’introduire cette notation est la simplificationde l’algèbre. Nous verrons de quoi il s’agit lors de la dérivation de l’estimateur MCO.⁵ Avant de dériver l’estimateur MCO, nous allons nous pencher dans la sous-section suivante sur les hypothèses statistiques derrière le modèle de régression multiple.

3.3 Hypoth`eses de base du mod`ele

Les hypothèses sont les équivalents des hypothèses de base du modèle de régression simple du chapitre 4.

Voir l’encadréKey Concept 18.1 à la page 707 du manuel (version anglaise — la traduction française omet ce chapitre).

1. E(u_i|X_i) = 0. Cette hypothèse est reliée à la preuve que l’estimateur MCO deβest un estimateur non biaisé.

2. (Xi , Yi)i.i.d. Cette hypothèse est reliée à la preuve que l’estimateur MCO deβ est un estimateur convergent.

3. X_ietu_iont des quatrièmes moments non nuls et finis. Cette hypothèse est aussi reliée à la preuve que l’estimateur MCO deβ est un estimateur convergent.⁶

4. Si vous soupc¸onnez qu’il y a des incoh´erences de notation, je vous prie de bien vouloir me les signaler.

5. Toutes les preuves que nous allons voir (absence de biais de l’estimateur MCO, propriétés échantillonnales de l’estimateur, etc., sontbeaucoupplus faciles à montrer en notation matricielle qu’en utilisant des sommations. J’espère que vous allez finir par être convaincus de ce principe.

(13)

4. X est de rang plein en colonnes. Cela revient à dire qu’il n’y a pas une colonne de la matriceX qui peut être exprimée comme une combinaison linéaire exacte des autres colonnes de la matrice. Une des conséquences de cette hypothèse sera que la matrice (X⁰X)(qui est une matrice carrée par construction) sera une matrice de rang plein (k+ 1), et donc il sera possible de calculer son inverse(X⁰X)⁻¹. Cet inverse (voir ci-dessous) fait partie de la définition de l’estimateur MCO deβ. Donc, sans cette hypothèse, l’estimateur MCO deβne sera même pas bien défini.

5. Var(u_i|X_i) = σ_u².

6. La distribution deu_iconditionnelle `a la valeur deX_i suit une loi normale.

Les quatre premières hypothèses sont les hypothèses retenues par défaut. Nous n’aurons besoin des deux dernières hypothèses que pour des cas spéciaux. L’avant dernière hypothèse s’applique seulementdans le cas spécial d’erreurs homoscédastiques. Si nous sommes prêts à supposer des erreurs homoscédastiques, nous obtiendrons une version plus simple de la matrice de

variance-covariance des estimateurs MCO. Cette simplification correspond à ce que nous avons vu dans le cadre du modèle de régression simple dans le cas homoscédastique. Cette hypothèse correspond aussi au cas où l’estimateur MCO est l’estimateur linéaire le plus efficient, autrement dit l’estimateur linéaire non biaisé avec la plus petite variance (théorème Gauss-Markov). Le terme consacré en anglais est l’estimateurBLUE (Best Linear Unbiased Estimator). Avec l’avant-dernière hypothèse plus la dernière concernant la normalité des erreurs, on pourra effectuer des tests d’hypothèseexacts— les statistiquestpour tester des hypothèses simples auront des distributionstde Student même en petit échantillon, et les statistiquesF de Fisher pour tester des hypothèse jointes (voir plus loin dans le chapitre) auront des distributionsF même en petit échantillon.

loin de la moyenne (si la moyenne existe).

(14)

3.4 Estimateur MCO

Nous voulons choisir les valeurs des éléments deβqui minimisent la somme des résidus carrés.

Pourquoi l’estimateur MCO et non un autre type d’estimateur ? Nous avons d´ej`a vu des

justifications pour l’utilisation de la somme des erreurs au carré dans le chapitre sur le modèle de régression simple.

1. L’algèbre est relativement simple. Le critère (la fonction à minimiser) est une expression quadratique (du deuxième degré), et donc les conditions du premier ordre donnent un système d’équationslinéaires. Il est très facile de résoudre un système d’équations linéaires, soit par substitution soit par le calcul de l’inverse d’une matrice de constantes (voir ci-dessous).

2. L’autre justification se trouve plus loin, dans la section7de ces notes. On peut montrer que, sous les hypothèses de base du modèle et sous l’homoscédasticité des erreurs, l’estimateur MCO est l’estimateur le plusefficientdans la classe d’estimateurs linéaires (une fonction linéaire des observationsY_i) et non biaisés. C’est le théorème

Gauss-Markov, célèbre dans l’histoire de la pensée en statistique et en économétrie.

Comme nous avons vu dans le chapitre sur le modèle de régression simple, il y a d’autres estimateurs possibles à part l’estimateur MCO. Il y en a aussi qui satisfont un ou plusieurs des critères souhaitables d’un estimateur (absence de biais, convergence, etc.) même s’ils sont moins efficients. Il faut aussi signaler l’existence d’estimateurs qui peuvent être robustes en présence d’observations aberrantes. Voir la remarque ci-dessus à propos d’une de nos hypothèses statistiques de base, l’existence de quatrièmes moments finis pourXi etui. J’invite ceux qui s’intéressent à poursuivre plus loin ce sujet à consulter l’articleRobust Statistics sur Wikipedia.

Le probl`eme peut s’´ecrire comme

min

β U⁰U.

(15)

Simple, non ? RemplaçonsU par sa définition. Le problème devient :

minβ (Y −Xβ)⁰(Y −Xβ),

ce qui est ´equivalent `a :

min

β (Y⁰Y −β⁰X⁰Y −Y⁰Xβ+β⁰X⁰Xβ).

Vous devez être parfaitement à l’aise avec cette multiplication matricielle. On applique les mêmes règles que pour la multiplication de scalaires en faisant bien attention à l’orientation (est-ce qu’elles sont transposées ou non ?) des matrices.

D´erivant par rapport `aβ, nous obtenons :

−X⁰Y −X⁰Y +X⁰Xβ+ (X⁰X)⁰β = 0.

Ici, on applique les règles de différenciation matricielle auxquelles nous reviendrons dans la sous-section suivante. Notez aussi que le0 du côté droit est implicitement unvecteurde zéros. L’expression du côté gauche est de dimensions(k+ 1)×1et donc l’expression du côté droit doit être conforme. Lorsqu’il n’y a pas d’ambigu¨ıté entre scalaire et vecteur nous allons utiliser cette notation. Pour dénoterexplicitementun vecteur de zéros au lieu d’un scalaire lorsqu’il pourrait y avoir ambigu¨ıté, nous utiliserons 0 ou le nombre de colonnes sera défini selon le contexte : si nous voulons être encore plus explicites concernant les dimensions du vecteur nous allons utiliser0_mpour dénoter un vecteur de zéros de dimensionsm×1. Ceci nous donne

X⁰Xβ =X⁰Y.

Cet ensemble d’équations s’appelle communément leséquations normales de l’estimation MCO. Notez qu’il y a(k+ 1) équations. Les inconnus sont les valeurs des coefficients, dont il y a

(16)

(k+ 1). Les ´equations sont des fonctions lin´eaires des coefficients. Si la matrice(X⁰X)est de rang plein nous pouvons l’inverser afin d’obtenir

(X⁰X)⁻¹X⁰Xβ = (X⁰X)⁻¹X⁰Y.

En fait, l’hypothèse de la possibilité d’inverser la matriceX⁰X fait partie des hypothèses de base du modèle de régression multiple. (Voir quand même la discussion plus loin sur la

multicollin´earit´e parfaite.) Nous avons

(X⁰X)⁻¹X⁰Xβ =Iβ =β,

o`uI est la matrice d’identit´e de dimensions(k+ 1)×(k+ 1),

I ≡







1 0 0 . . . 0 0 1 0 . . . 0 0 0 1 . . . 0 ... ... ... . .. ...

0 0 0 . . . 1





 ,

et donc

β ≡βˆ= (X⁰X)⁻¹X⁰Y.

J’ai écrit un chapeau surβpour indiquer qu’il s’agit de notre estimateur MCO. Simple, non ? C’est la première fois que nous voyons une application de la différentiation de matrices dans le cours. Ce sera d’ailleurs presque la dernière fois.

3.4.1 Diff´erentiation matricielle

Rappelez-vous la page D-4 du document que je vous ai donné à lire (je donne la référence exacte encore une fois à la fin de ces notes), spécifiquement l’encadré en bas de la page :

(17)

y _∂x^∂y

Ax A⁰ x⁰A A x⁰x 2x x⁰Ax Ax+A⁰x

Etudiez bien la condition du premier ordre pour être sûr à 100% de comprendre comment on´ l’obtient en appliquant ces règles. Notez bien aussi que, pour les fins de notre différentiation, il y a une fonction (la somme des résidus carrés) dek+ 1variables explicatives qui sont les éléments deβ.

Notez bien que le calcul deβˆimplique l’inversion d’une matrice de dimensions

(k+ 1)×(k+ 1). Dans le cas général (oùk > 3), nous savons que nous ne pouvons pas obtenir une expression algébrique pour cette matrice inversée. Résoudre ce problème équivaut (ou presque) à trouver les racines d’un polynôme d’ordrek+ 1, et il y a un théorème qui dit ceci est impossible en général (algébriquement) pour des polynômes d’ordre 5 et plus. La solution algébrique pour un polynôme d’ordre 4 s’étale sur plusieurs pages, et elle n’est pas d’une grande utilité pratique. Si nous voulions écrire la solution pourβ aveck > 3avec une notation de sommations, ça serait plus qu’affreux, ça serait carrément impossible. Il y a des moyens de contourner ce problème, mais ce sont des moyens qui datent d’avant l’époque d’ordinateurs personnels puissants. De nos jours, nous pouvons toujours demander à l’ordinateur d’inverser nos matrices(X⁰X), utilisant des algorithmes numériques puissants et efficaces.

(18)

3.4.2 Quelques exemples simples des r`egles de diff´erentiation

Pour illustrer le fonctionnement de ces règles de différentiation, prenons quelques exemples concrets très simples. D’abord, supposons que

y =

A₁ A₂





 x₁ x₂







=A₁x₁+A₂x₂.

La fonctionydans ce cas-ci est une seule fonction (un scalaire donc). Il y a deux arguments de la fonction (x₁ etx₂) et donc deux dérivées partielles distinctes. Par convention, on écrit les dérivées partielles en colonne :

∂y

∂x ≡







∂y

∂x1

∂y

∂x2.







Nous constatons que

∂y

∂x₁ =A₁ et

∂y

∂x₂ =A₂. Donc,

∂y

∂x =





 A1

A₂





=A⁰, ce qui est conforme à la première règle du tableau ci-dessus.

Maintenant, supposons que

y=







A₁₁ A₁₂ A₂₁ A₂₂











 x₁ x₂







(19)

=







A₁₁x₁+A₁₂x₂ A₂₁x₁+A₂₂x₂





≡





 y₁ y₂







Maintenant,yest composée de deux fonctions, définies par les deux rangées de l’expression ci-dessus. Il y a deux fonctions avec deux arguments chacune (x1etx2), et donc on a un total de quatre dérivées partielles. Nous avons

∂y₁

∂x1

=A₁₁,

∂y₁

∂x₂ =A₁₂,

∂y2

∂x₁ =A21, et

∂y₂

∂x₂ =A₂₂.

Par convention, on écrit ces quatre dérivées en notation matricielle comme







∂y1

∂x1

∂y2

∂x1

∂y1

∂x2

∂y2

∂x2





.

Donc, la convention revient à aligner toutes les dérivées de la même fonction dans la même colonne, et toutes les dérivées par rapport au même argument dans la même rangée. Dans notre cas, nous avons







∂y1

∂x1

∂y2

∂x1

∂y1

∂x2

∂y2

∂x2





=







A₁₁ A₂₁ A₁₂ A₂₂





=A⁰, et encore une fois la première règle du tableau est respectée.

Maintenant, supposons que

y=

x₁ x₂







A₁₁ A₁₂ A₂₁ A₂₂











 x₁ x₂







(20)

=

x₁A₁₁+x₂A₂₁ x₁A₁₂+x₂A₂₂





 x₁ x₂







=A11x12

+A21x1x2+A12x1x2+A22x22

.

Cette fois-ci la fonctionyest scalaire. Il y a deux d´eriv´ees partielles possibles. Nous avons

∂y

∂x₁ = 2A₁₁x₁+A₂₁x₂+A₁₂x₂ et

∂y

∂x₂ = 2A₂₂x₂+A₂₁x₁+A₁₂x₁. Ecrivant ces r´esultats en notation matricielle nous avons´







∂y

∂x1

∂y

∂x2





=







A₁₁A₁₂ A21A22











 x₁ x2





+







A₁₁A₂₁ A12A22











 x₁ x2





=Ax+A⁰x,

ce qui est conforme à la quatrième règle du tableau (il est important de vérifier ceci).

Pour des cas plus compliqués (plusieurs fonctions, plusieurs arguments), les expressions non matricielles peuvent devenir assez longues et assez compliquées. Ces règles de différentiation matricielle permettent de tenir compte automatiquement et systématiquement (sans oublier des termes !) de toutes les dérivées partielles possibles. Elles permettent aussi d’écrire toutes les dérivées partielles dans une notation très compacte.

3.5 Approche non matricielle au probl`eme de minimisation

Nous pouvons facilement vérifier qu’une approche non matricielle au problème de minimisation mène à exactement les mêmes résultats que l’approche matricielle, comme il se doit. C’est le but de cette sous-section des notes.

Nous avons vu que le modèle de régression multiple peut s’écrire en notation non matricielle

(21)

comme suit :

Y_i =β₀+X_1iβ₁+X_2iβ₂+. . .+X_kiβ_k+u_i.

On veut minimiser la somme des résidus au carré. Le problème peut s’écrire comme suit :

β0,βmin1,...,βk

n

X

i=1

(Y_i−β₀−X_1iβ₁−X_2iβ₂−. . .−X_kiβ_k)².

Les conditions du premier ordre pour minimiser cette fonction sont les suivantes (bien sûr, il y a k+ 1conditions dur premier ordre puisqu’il y ak+ 1variables de choix pour minimiser notre fonction (la somme des résidus au carré) :

β0 : 0 =−2

n

X

i=1

(Yi−β0−X1iβ1−. . .−Xkiβk) ;

β₁ : 0 = −2

n

X

i=1

X_1i(Y_i−β₀−X_1iβ₁−. . .−X_kiβ_k) ;

β₂ : 0 = −2

n

X

i=1

X_2i(Y_i−β₀−X_1iβ₁−. . .−X_kiβ_k) ; . . .

β_k: 0 = −2

n

X

i=1

X_ki(Y_i−β₀−X_1iβ₁−. . .−X_kiβ_k).

Il s’agit d’un système dek+ 1 équations enk+ 1inconnus (lesβs). S’il n’y a pas de dépendance linéaire exacte entre lesk+ 1 équations (cette condition est l’équivalent non matriciel à notre hypothèse concernant le rang de la matriceX), il y a une solution unique pour les inconnus. Nous pouvons réécrire le système comme suit :

n

X

i=1

Y_i =

n

X

i=1

(β₀ +X_1iβ₁+. . .+X_kiβ_k) ;

n

X

i=1

X_1iY_i =

n

X

i=1

X_1i(β₀+X_1iβ₁+. . .+X_kiβ_k) ;

(22)

n

X

i=1

X_2iY_i =

n

X

i=1

X_2i(β₀+X_1iβ₁+. . .+X_kiβ_k) ; . . .

n

X

i=1

X_kiY_i =

n

X

i=1

X_ki(β₀+X_1iβ₁+. . .+X_kiβ_k). Nous pouvons maintenant convertir ses ´equations en notation matricielle :

1 . . . 1





 Y₁

... Yn







=

1 . . . 1

Xβ;ˆ

X11 . . . X1n





 Y1

... Y_n







=

X11 . . . X1n

Xβ;ˆ

...

X_k1 . . . X_kn





 Y₁

... Y_n







=

X_k1 . . . X_kn

Xβ,ˆ

où j’ai écrit un chapeau surβ pour indiquer qu’il s’agit d’un système d’équations dont la solution nous donne nos estimateurs moindres carrés ordinaires. Soyez sûr de comprendre ce passage à la notation matricielle. Maintenant, enempilantlesk+ 1 équations les unes pardessus les autres, nous avons tout de suite







1 . . . 1 X₁₁ . . . X_1n X₂₁ . . . X_2n

... ... ...











 Y₁

... Yn







=







1 . . . 1 X₁₁ . . . X_1n X₂₁ . . . X_2n

... ... ...





 Xβˆ

(23)

⇒X⁰Y =X⁰Xβˆ

⇒βˆ= (X⁰X)⁻¹X⁰Y.

Nous retrouvons la mˆeme solution en notation matricielle (ce qui n’est point surprenant).

4 Propriétés algébriques de l’estimateur MCO

Comme dans le chapitre 4, nous allons montrer que l’estimateur a des propriétésalgébriquesqui doivent tenir indépendamment des hypothèses statistiques concernant les variables (explicatives et dépendante) du modèle. Ces propriétés doivent tenir pour n’importe quel échantillon de données Nous utiliserons les résultats de cette section par la suite pour dériver certaines des propriétés statistiques de l’estimateur MCO.

4.1 Orthogonalit´e

Nous avons, directement `a partir des CPOs (ou `a partir de la CPO matricielle),

X⁰Xβˆ=X⁰Y

⇒X⁰

Xβˆ−Y

= 0

⇒X⁰

Y −Xβˆ

= 0.

Entre parenthèses, nous avons un vecteur de dimensionsn×1qui nous donne les résidus de la régression (variable dépendante moins la valeur prédite de la variable dépendante donnée par X⁰β). Autrement dit,ˆ

Y −Xβˆ≡U .b Donc, nous avons :

X⁰Ub = 0,

(24)

oùUb est le vecteur de résidus de la régression. Les résidus sontorthogonauxaux variables explicatives. Par définition, deux vecteursZ₁etZ₂de dimensionsn×1sont orthogonaux si et seulement si

Z₁⁰Z₂ = 0

Cela veut dire que chaque variable explicative (chaque colonne de la matriceX) est orthogonale aux résidus de la régression. Ce résultat est une généralisation du résultat dans le chapitre sur la régression simple de l’orthogonalité entre la seule variable explicative (à part la constante) et les résidus. C’est une généralisation, mais la preuve est beaucoup plus succincte que celle qu’on a vue dans le chapitre sur la régression simple. Encore un avantage de la notation matricielle.

Nous avons vu dans le chapitre sur le modèle de régression simple que l’orthogonalité est reliée à l’interprétation géométrique de la méthode de MCO. Estimer un modèle par MCO revient à projeterla variable dépendante dans l’espace traversé par la variable explicative (ou les variables explicatives dans le cas de la régression multiple). La Figure 1 ci-dessous reprend le graphique que nous avons vu dans le chapitre précédent. C’est donc pour le cas où il y a deux variables explicatives. La ligne de régression est considéré comme un vecteur. La ligne pointillée sur le graphique est un vecteur dont la longueur égale la valeur deuˆ_i à ce point. Il forme un angle droit par rapport à la ligne de régression, d’où le termeorthogonal.⁷

Figure 1

7. Pour plus de détails voir Davidson et MacKinnon (1999) et Kachapova et Kachapova (2010). Les références détaillées sont dans le chapitre de références.

(25)

4.2 Somme des r´esidus

Notez que, par convention, la première colonne deXreprésente la constante et donc contient un vecteur de valeurs égales à un. Si nous dénotons cette première colonne parX₁(notez que nous utilisons ici une notation d’algèbre linéaire), nous avons tout de suite

X₁⁰Ub =1⁰Ub =

n

X

i=1

ˆ u_i = 0.

Une preuve sur une seule ligne !

Donc, la somme des résidus est égale à zéro, comme dans le modèle de régression simple. Notez que ce résultat découle directement du résultat concernant l’orthogonalité.

4.3 Valeurs pr´edites

D´efinissons

Yˆ ≡Xβ,ˆ

le vecteur de valeurs pr´edites de la variable d´ependante. Nous avons

Yˆ⁰Ub =

X(X⁰X)⁻¹X⁰Y0

Ub

=Y⁰X(X⁰X)⁻¹X⁰Ub = 0.

Les valeurs prédites de la variable dépendante sont orthogonales aux résidus.

Finalement, nous avons

X⁰

Yˆ −Y

=X⁰

X(X⁰X)⁻¹X⁰Y −Y

=X⁰X(X⁰X)⁻¹X⁰Y −X⁰Y =X⁰Y −X⁰Y = 0.

Puisque la premi`ere colonne deXest un vecteur de valeurs unitaires, une cons´equence directe de

(26)

ce résultat est que la moyenne échantillonnale des valeurs prédites est égale à la moyenne

échantillonnale de la variable dépendante elle-même. Autrement dit : 1

n

X

i=1

Yˆ_i = 1 n

n

X

i=1

Y ≡Y ,¯

un résultat semblable à ce que nous avons vu dans le chapitre sur la régression simple.

4.4 Ecart type de la r´egression ´

On d´efinit

SER≡s_u, o`u

s²_u ≡ 1 n−k−1

n

X

i=1

ˆ

u²_i = SSR n−k−1,

et donc SSR est la somme des résidus au carré. On divise par(n−k−1)afin d’obtenir un estimé non biaisé de la variance de l’erreur dans l’équation de régression lorsque celle-ci est constante.⁸ Je sais que j’insiste beaucoup là-dessus, mais les démonstrations algébriques dans cette section sont beaucoup plus courtes que leurs équivalents dans le chapitre précédent. C’est dans ce sens que je dis que l’utilisation de la notation matricielle dans le contexte du modèle de régression multiple simplifie énormément l’analyse. S’il fallait dériver les mêmes propriétés sans avoir recours aux matrices, les démonstrations s’étaleraient sur plusieurs pages.

8. Ici on suppose implicitement des erreurshomosc´edastiques, ou `a variance constante. Sinon il n’est pas logique de parler dela variance de l’erreur.

(27)

4.5 Mesures d’ajustement statistique

4.5.1 LeR²

La mesureR² est définie de la même façon que dans le cas du modèle de régression simple :

R² = ESS

TSS = 1− SSR TSS, o`u on d´efinit

ESS≡

n

X

i=1

Yˆ_i−Y¯2

, o`uY¯ est la moyenne ´echantillonnale desY_i, et

TSS≡

n

X

i=1

Y_i−Y¯2

Nous avons suppos´e implicitement ici que

TSS=SSR+ESS.

En fait, il faut démontrer ce résultat, comme nous avons fait dans le chapitre sur le modèle de régression simple. Nous avons

Y⁰Y =

Xβˆ+Ub⁰

Xβˆ+Ub

= ˆβ⁰X⁰Xβˆ+ ˆβ⁰X⁰Ub +Ub⁰Xβˆ+Ub⁰Ub

= ˆβ⁰X⁰Xβˆ+Ub⁰Ub

≡Yˆ⁰Yˆ +Ub⁰Ub =Yb⁰Yb +SSR.

Nous avons utilisé pour passer à l’avant dernière ligne de cette séquence d’équations le résultat

(28)

queX⁰Ub = 0. Nous avonspresquemontr´e le r´esultat voulu en quatre lignes, mais nous avons

TSS≡(Y −Y)¯ ⁰(Y −Y)¯

=Y⁰Y −Y¯⁰Y −Y⁰Y¯ + ¯Y⁰Y¯

oùY est un vecteur de constantes avec chaque valeur égale à¯ Y¯, et nous avons

ESS≡

Yˆ −Y¯0

Yˆ −Y¯

Yˆ⁰Yˆ −Y¯⁰Yˆ −Yˆ⁰Y¯ + ¯Y⁰Y.¯ Donc, nous devons montrer que

Y¯⁰Yˆ = ¯Y⁰Y

⇐⇒ Y¯

n

X

i=1

Yˆ_i = ¯Y

n

X

i=1

Y_i

⇐⇒ 1 n

n

X

i=1

Yˆ_i = 1 n

n

X

i=1

Y_i = ¯Y ,

ce qui doit être le cas puisque nous avons montré parmi les propriétés algébriques de l’estimateur MCO que la moyenne échantillonnale des valeurs prédites de la variable dépendante doit être

égale a la moyenne échantillonnale de la variable dépendante elle-même. Donc, nous venons de montrer que

TSS=ESS+SSR.

Sachant queY ≡Yˆ +Ub, une fac¸on plus succincte de le faire est comme suit :

TSS= (Y −Y)¯ ⁰(Y −Y)¯

=

Yˆ +Ub−Y¯0

Yˆ +Ub−Y¯

(29)

=

Yˆ −Y¯

+Ub0

Yˆ −Y¯ +Ub

=

Yˆ −Y¯0

Yˆ −Y¯ +

Yˆ −Y¯0

Ub +Ub⁰

Yˆ −Y¯

+Ub⁰Ub

=

Yˆ −Y¯0

Yˆ −Y¯

+Ub⁰Ub

≡ESS+SSR, puisque nous avons montr´e auparavant queYˆ⁰Ub = 0et

Y¯⁰Ub =

n

X

i=1

Y¯Uˆ_i = ¯Y

n

X

i=1

Uˆ_i = 0.

Dans le chapitre sur le modèle de régression simple, nous avons appris que l’ajustement statistiqueR² était égal au coefficient de corrélation (échantillonalle) au carré entre la variable dépendante et la (seule) variable explicative. Il y a un résultat semblable pour le modèle de régression multiple. Nous pouvons montrer que leR²est égale au coefficient de corrélation (échantillonnale) au carré entreY etYˆ, le vecteur de valeurs prédites de la variable

d´ependante.

La preuve de ce résultat est facile, mais il faut introduire un peu de notation pour la rendre plus succincte. (Pour plus d’explications, voir le 3e chapitre du livre de Greene, 2011.) Soiti le vecteur colonne où chaque élément est égal à un. La longueur du vecteur (nombre de rangées) dépendra du contexte. Définissons

M⁰ ≡

I−i(i⁰i)⁻¹i⁰

.

Si on prémultiplie un vecteur quelconqueY parM⁰ la multiplication aura pour effet de soustraire la moyenneY¯ de chaque élément du vecteurY. Nous avons

M⁰Y =

I−i(i⁰i)⁻¹i⁰

Y

(30)

=Y −i(i⁰i)⁻¹i⁰Y

=Y −i1 n

n

X

i=1

Yi

=Y −iY¯ ≡Y −Y,¯ puisque(i⁰i)⁻¹ = ¹_n eti⁰Y =Pn

i=1Y_i. Il est aussi facile de montrer que M⁰⁰ =M⁰

et

M⁰M⁰ =M⁰.

Une matrice qui a ces propriétés est appelée une matriceidempotente. De cette façon, nous pouvons redéfinir leR² comme

R² ≡ ESS T SS =

Yˆ −Y¯ 0

Yˆ −Y¯ (Y −Y)¯ ⁰(Y −Y)¯

= Yˆ⁰M⁰Yˆ Y⁰M⁰Y . Nous avons aussi

M⁰Uˆ = Û puisque la somme des résidus est zéro. Donc, nous avons

Yˆ⁰M⁰Yˆ = ˆY⁰M⁰

Y −Uˆ

= ˆY⁰M⁰Y −Yˆ⁰M⁰Uˆ

= ˆY⁰M⁰Y −Yˆ⁰Uˆ

(31)

= ˆY⁰M⁰Y −βˆ⁰X⁰Uˆ (puisqueYˆ ≡Xβ)ˆ

= ˆY⁰M⁰Y −0 = ˆY M⁰Y

puisqueX⁰Uˆ = 0(orthogonalit´e entre les variables expicatives et les r´esidus).

Nous pouvons donc ´ecrire leR²comme

R² =

Yˆ⁰M⁰Y Y⁰M⁰Y

= Yˆ⁰M⁰Y Y⁰M⁰Y

Yˆ⁰M⁰Y Yˆ⁰M⁰Y (multipliant numérateur et dénominateur par la même chose)

=

Yˆ⁰M⁰Y Yˆ⁰M⁰Y (Y⁰M⁰Y)

Yˆ⁰M⁰Y

=

Yˆ⁰M⁰Yˆ. On peut r´e´ecrire ceci en notation non matricielle pour obtenir

Yˆ⁰M⁰Yˆ =

Yˆ⁰M⁰M⁰Y Yˆ⁰M⁰M⁰Y (Y⁰M⁰M⁰Y)

Yˆ⁰M⁰M⁰Yˆ

=

Pn i=1

Yˆ_i−Y¯

Y_i−Y¯2

Pn

i=1 Y_i−Y¯2 Pn

i=1

Yˆ_i−Y¯2

=

1 n−1

Pn i=1

Yˆ_i−Y¯

Y_i−Y¯2

1 n−1

Pn

i=1 Y_i−Y¯2

1 n−1

Pn i=1

Yˆ_i−Y¯ 2