4.5 Mesures d’ajustement statistique
4.5.2 Le R 2 ajust´e
On peut facilement montrer math´ematiquement que le fait de rajouter une variable explicative additionnelle `a un mod`ele de r´egression multiple ne peut que faire augmenter sonR2. Si vous ˆetes
`a l’aise avec les principes de base de l’optimisation sous contrainte, ce r´esultat est ´evident.
L’estimateur MCO est la solution `a un probl`eme de minimisation. Si on minimise la somme des r´esidus carr´es sujet `a la contrainte qu’un des coefficients est ´egal `a z´ero (on enl`eve la variable du mod`ele), et puis on minimise la somme des r´esidus carr´es en ne pas imposant cette contrainte, la somme des r´esidus carr´esdoit ˆetre au moins aussi petite dans le dernier cas, puisque nous relˆachons une des contraintes du probl`eme de minimisation.
De cette fac¸on, nous pouvons toujoursam´eliorer l’ajustement statistique d’une r´egression en ajoutant des variables explicatives. En fait, si nous avons autant de variables explicatives que d’observations ((k+ 1) =n), il est possible d’atteindre un ajustement statistiqueparfait. Il faudrait trouver la solution `a
0 =U =Y −Xβˆ
⇒Y =Xβ.ˆ
Nous avonsn ´equations etninconnus. Dans la mesure o`uXest de rang plein (rangn), nous avons
βˆ=X−1Y.
Donc, unR2 ´elev´e n’est pas toujours et partout une bonne chose.
Puisque l’ajustement mesur´e par leR2 ne peut qu’augmenter quand on ajoute des variables explicatives, il serait bien d’avoir une autre mesure qui p´enalise la mesure par un facteur lorsqu’on ajoute des variables explicatives. LeR2 ajust´e, d´enot´e parR¯2est une telle mesure.
Voici sa d´efinition :
R¯2 ≡1− n−1 n−k−1
SSR
TSS = 1− s2uˆ s2Y . On peut souligner trois propri´et´es duR¯2.
1. Puisque n−k−1n−1 >1, on sait queR¯2 < R2.
2. Le fait d’ajouter une variable explicative suppl´ementaire a deux effets surR¯2. D’une part, la somme des r´esidus carr´es SSR doit baisser, ce qui fait augmenterR¯2. D’autre part, le facteur n−k−1n−1 augmente, ce qui fait diminuerR¯2.
3. Il est possible queR¯2 soit n´egatif.
La p´enalit´e pour l’ajout d’une variable explicative additionnelle peut sembler arbitraire. Par contre, on peut montrer que la mesureR¯2 est reli´ee au concept de tests d’hypoth`ese. Voir Edwards (1969) ou Giles (2013b). Je pr´esente dans cet encadr´e la preuve telle que pr´esent´ee par Giles. Je sugg`ere de revenir en arri`ere pour relire cet encadr´e une fois que vous aurez lu la section (9) sur les tests d’hypoth`ese, puisqu’il s’agit ici de tester une hypoth`esejointe, un sujet que nous n’avons pas encore couvert.
Consid´erez le mod`ele de r´egression lin´eaire donn´e par
Y =Xβ+U.
Nous avons, comme d’habitude,
Ub ≡Y −Xβ.ˆ Nous avons aussi
R2 ≡1− SSR
T SS = 1− Ub0Ub Y −Y¯0
Y −Y¯ et
R¯2 ≡1− SSR/(n−k−1)
T SS/(n−1) = 1− Ub0U /(nb −k−1) Y −Y¯0
Y −Y¯
/(n−1).
Consid´erez maintenant le mod`ele o`u on laisse tomberjdes variables explicatives du mod`ele initial. (Notez qu’au lieu de raisonner en termes de l’ajout de variables explicatives, nous raisonnons en termes de ce qui arrive si on laisse tomber des variables explicatives.) Appelons la mesure d’ajustement statistique de ce nouveau mod`eleR2ro`u l’indice inf´erieur est cens´e faire penser `arestreint. Nous avons
R2r ≡1− SSRr
T SS = 1− Ubr0Ubr Y −Y¯0
Y −Y¯ et
R¯2r ≡1− SSRr/(n−k−1 +j)
T SS/(n−1) = 1− Ubr0Ubr/(n−k−1 +j) Y −Y¯0
Y −Y¯
/(n−1)
o`uUbr est le vecteur de r´esidus du mod`ele contraint o`u nous laissons tomberj des variables explicatives etSSRrest la somme des r´esidus au carr´e de ce mod`ele contraint. Nous avons maintenant
R¯2
R¯2r = 1− SSR/(n−k−1) T SS/(n−1)
1− SSRT SS/(n−1)r/(n−k−1+j)
= T SS/(n−1)−SSR/(n−k−1) T SS/(n−1)−SSRr/(n−k−1 +j). Nous pouvons voir tout de suite queR¯2 >R¯r2si
T SS/(n−1)−SSR/(n−k−1)> T SS/(n−1)−SSRr/(n−k−1 +j)
⇒SSRr/(n−k−1 +j)> SSR/(n−k−1)
⇒SSR(n−k−1 +j)< SSRr(n−k−1)
⇒SSR(n−k−1) +SSRj < SSRr(n−k−1)
⇒SSRr > SSR+SSRj/(n−k−1)
⇒(SSRr−SSR)/j > SSR/(n−k−1)
⇒ (SSRr−SSR)/j SSR/(n−k−1) >1.
Le bras gauche de cette derni`ere in´egalit´e est `a comparer avec la stastiqueF pour testerj restrictions lin´eairesdans le cas d’erreurs homosc´edastiquesdans la sous-section9.8.
(Nous n’avons pas encore introduit le concept de tester des hypoth`eses jointes : il fera l’objet de la section9).
Donc, leR¯2va augmenter avec l’ajout dej variables explicatives si la statistiqueF pour tester leur significativit´e a une valeur sup´erieure `a un. Ceci n’est pas un crit`ere tr`es restrictif.
Comment peut-on savoir que ce n’est pas un crit`ere tr`es restrictif ? Par exemple, pour la distributionF avec 3 et 1000 degr´es de libert´e, la fonction de distribution cumul´ee ´evalu´ee `a Fact = 1est ´egale `a 0.462. Donc, si on ajoute 3 variables `a un mod`ele de r´egression (estim´e avec un ´echantillon d’un peu plus de 1000 observations) qui,par constructionn’aident pas `a pr´edire la variable d´ependante, on va rejeter l’hypoth`ese nulle de la non-significativit´e de ces trois variables plus que la moiti´e du temps (avec une probabilit´e de1−0.462 = 0.538) mˆeme si on sait qu’elle est vraie.
On montre dans la section9sur les tests d’hypoth`ese que dans le cas d’une seule restriction (j = 1), la statistiqueF est ´egale au carr´e de la statistiquet. Donc, lorsqu’on ajoute une seule variable explicative `a un mod`ele de r´egression, leR¯2 va augmenter si la statistiquetpour tester sa significativit´e a une valeur absolue sup´erieure `a un. Pour une variable al´eatoire qui suit une loi normale centr´ee r´eduite, la probabilit´e d’obtenir une valeur sup´erieure `a un en valeur absolue est approximativement ´egale `a 32%. Donc, l’ajout d’une variable au mod`ele de r´egression fait augmenter leR¯2si le taux de significativit´e marginale pour un test de sa
significativit´e est ´egal `a 0.32 ou moins, ce qui n’est pas un crit`ere tr`es conservateur ou tr`es exigeant.
5 Propri´et´es statistiques de l’estimateur MCO
5.1 Propri´et´es statistiques : absence de biais
Toutes les propri´et´es (alg´ebriques) de l’estimateur MCO que nous avons montr´ees jusqu’`a maintenant tiennent ind´ependamment des hypoth`eses statistiques de la section3.3. La seule hypoth`ese que nous avons utilis´e pour d´eriver les propri´et´es alg´ebriques est celle du rang plein en colonnes deXet donc de la possibilit´e de calculer(X0X)−1.
Pour montrer l’absence de biais, nous utilisons la strat´egie habituelle. Nous remplac¸onsY dans la d´efinition de l’estimateur par sa d´efinition (Xβ+U), nous simplifions, et finalement nous
calculons la valeur esp´er´ee de l’estimateur en utilisant la loi des esp´erances it´er´ees.
Nous avons :
βˆ= (X0X)−1X0Y
= (X0X)−1X0(Xβ+U)
=β+ (X0X)−1X0U
→E βˆ
=β+E (X0X)−1X0U
=β+E E (X0X)−1X0U|X
=β+E (X0X)−1X0E(U|X)
=β.
L’avant-derni`ere ´egalit´e d´epend de la loi des esp´erances it´er´ees.
Je ne sais pas si vous ˆetes d’accord, mais je crois que la d´emonstration de l’absence de biais dans le cas du mod`ele de r´egression multiple est beaucoup plus simple que dans le cas du mod`ele de r´egression simple, `a cause de l’utilisation de la notation matricielle. La preuve s’´ecrit sur quelques lignes seulement est elle est assez transparente.