3.1 Qualit´ e globale du mod` ele

(1)

UNIVERSIT´E DE BRETAGNE OCCIDENTALE Ann´ee 2019 - 2020 EURIA Licence 3

R´egression lin´eaire Franck Vermet

Ce cours ayant déjà démarré, je vais continuer dans ce polycopié où nous étions arrivés, après avoir rappelé les résultats vus sur le modèle linéaire gaussien.

1 Inf´ erence sur les param` etres du mod` ele lin´ eaire gaussien

Le modèle de régression linéaire gaussien s’écrit

Y⁽ⁱ⁾=β0+β1x⁽ⁱ⁾₁ +. . .+βpx⁽ⁱ⁾_p +W⁽ⁱ⁾, i= 1, . . . , n, (1) où les (W⁽ⁱ⁾) sont des variables aléatoires indépendantes de loi normale centrée et variance σ².

Les p variables explicatives sont supposées déterministes. Nous avons montré que les estimateurs par moindres carrés des paramètres β_i sont donnés par

Bˆ = (x⁰x)⁻¹x⁰Y, o`ux est la matrice

x=







1 x⁽¹⁾₁ . . . x⁽¹⁾p

. . . .

1 x⁽ⁿ⁾₁ . . . x⁽ⁿ⁾p







et Y =





 y⁽¹⁾ . . y⁽ⁿ⁾





 .

Nous avons également montré la propriété suivante :

Proposition 1 : Sous les hypothèses du modèle linéaire gaussien, nous avons les propriétés suivantes :

a) ˆB est de loi normaleN(β, σ²(x⁰x)⁻¹).

b) ˆY =xBˆ est de loi normale N(xβ, σ²x(x⁰x)⁻¹x⁰).

c) Notons ˆW =Y −Yˆ et S² = _n−p−1¹ Pn

i=1( ˆW_i)². Alors (n−p−1)^S_σ²2 suit une loi deχ²_n−p−1 et est ind´ependante de ˆB et ˆY.

Nous en d´eduisons le corollaire suivant :

Corollaire 1 : Notons H= (x⁰x)⁻¹. Sous les hypothèses du modèle linéaire gaussien, nous avons les propriétés suivantes :

a) ˆB_i est de loi normaleN(β_i, σ²H_ii).

(2)

b)

Bˆi−βi

√S²H_ii est de loi de Student à n−p−1 degrés de liberté.

Preuve du corollaire 1 : la propriété a) découle directement de la proposition.

- Pour montrer b), remarquons que U := √^B^ˆⁱ^−βⁱ

σ²Hii

est de loi normale centr´ee r´eduite et V :=

(n−p−1)^S_σ²2 suit une loi de χ²_n−p−1 et est ind´ependante de U. Par d´efinition d’une loi de Student, nous avons donc que p

n−p−1 U

√V est de loi de Student à (n−p−1) degrés de liberté.

Nous pouvons alors utiliser ces r´esultats pour calculer des intervalles de confiance et faire des tests sur les param`etres inconnus.

Intervalle de confiance au niveau de confiance (1−α) pour β_i : [ ˆB_i−tn−p−1,1−α/2Sp

H_ii,Bˆ_i+tn−p−1,1−α/2Sp H_ii],

oùtn−p−1,1−α/2 est le quantile d’ordre 1−α/2 d’une v.a. de Student à (n−p−1) degrés de liberté.

Intervalle de confiance au niveau de confiance (1−α) pour σ² : [(n−p−1) S²

χ²n−p−1,1−α/2

,(n−p−1) S² χ²_{n−p−1,α/2}],

oùχ²_{n−p−1,α/2} etχ²n−p−1,1−α/2 sont les quantiles respectivement d’ordreα/2 et 1−α/2 d’une v.a. de loi deχ² à (n−p−1) degrés de liberté. Remarquons qu’une v.a. de loi de χ² étant

`

a valeurs positives, l’intervalle de confiance n’est pas sym´etrique.

Test d’hypoth`ese pour β_i :

Nous souhaitons tester l’hypothèse H₀ :β_i =ccontre H₁ :β_i 6=c, où cest une valeur fixée.

Nous consid´erons alors la statistique de test T_i = Bˆ_i−c

√S²H_ii. SousH₀, la v.a. T_i suit une loi de Student à (n−p−1) d.d.l., d’après le corollaire ci-dessus. Nous acceptons donc l’hypothèse H₀, avec un risque de première espèce α fixé, si et seulement si |T_i| < tn−p−1,1−α/2. Dans le cas contraire, nous rejetons l’hypothèseH₀ et acceptonsH₁.

Remarque : un cas particulier est celui où c = 0, i.e. nous testons l’hypothèse H₀ : β_i = 0. Ce cas particulier est important, car si nous acceptons H₀, cela signifie que la ième variable explicative peut être retirée du modèle de régression linéaire et qu’elle n’a pas de rôle explicatif significatif dans ce modèle.

Pour quantifier l’importance de chacune des variables explicatives, il est courant de calculer lap-value associée à chaque variable, qui est définie par : p_i =P[|T|>|T_i,obs|], où T est une v.a. de loi de Student à (n−p−1) d.d.l., et T_i,obs est la valeur observée pour la statistique Ti dans le cas où c= 0.

(3)

En conséquence, si la ième variable explicative a une p-value supérieure à α, on peut la retirer du modèle, avec un risque de première espèce de niveau α.

Les variables explicatives ayant les p-value les plus petites sont les plus significatives.

Il faut prendre garde cependant à l’interprétation de ces p-value lorsque les variables explicatives sont corrélées. En particulier, on ne peut pas supprimer simultanément toutes les variables ayant une p-value supérieure à α. Les techniques de sélection de variables seront

´

etudiées dans le cours de modèles linéaires de Master 1.

Ce test dans le cas particulier c = 0 est réalisé par défaut dans la fonction lm de R pour chacune des variables explicatives.

Test d’hypoth`ese pour σ² :

Nous souhaitons tester l’hypothèse H₀ : σ = s contre H₁ : σ 6=s, où s est une valeur fixée strictement positive.

Nous consid´erons alors la statistique de test X = (n−p−1)S²

s². Sous H₀, la v.a. X suit une loi de χ²_n−p−1. Nous acceptons donc l’hypothèseH₀, avec un risque de première espèce αfixé, si et seulement siχ²_{n−p−1,α/2} < X < χ²n−p−1,1−α/2. Dans le cas contraire, nous rejetons l’hypothèseH₀ et acceptonsH₁.

2 Pr´ evision

Une application usuelle des modèles de régression est de prévoir la valeur prise par la réponse Y pour un nouvel individu pour lequel on connaˆıt seulement les valeurs des variables explicatives x⁽⁰⁾ = (1, x⁽⁰⁾₁ , . . . , x⁽⁰⁾p ). La prévision naturelle est alors x⁽⁰⁾β que l’on estime par la prévision ponctuelle

Yˆ⁽⁰⁾=x⁽⁰⁾Bˆ = ˆB₀+ ˆB₁x⁽⁰⁾₁ +. . .+ ˆB_px⁽⁰⁾_p .

Nous allons voir comment construire des intervalles de confiance et de pr´ediction associ´es, en utilisant la proposition suivante :

Proposition 2 : Sous les hypothèses du modèle linéaire gaussien, nous avons les propriétés suivantes :

a) ˆY⁽⁰⁾ =x⁽⁰⁾Bˆ est de loi normale N(x⁽⁰⁾β, σ²x⁽⁰⁾(x⁰x)⁻¹(x⁽⁰⁾)⁰).

b)

Yˆ⁽⁰⁾−x⁽⁰⁾β

pS²x⁽⁰⁾(x⁰x)⁻¹(x⁽⁰⁾)⁰ est de loi de Student à (n−p−1) degrés de liberté.

Preuve de la proposition 2 : La proposition se d´emontre comme la proposition 1 et son corollaire, en remarquant que ˆY⁽⁰⁾ etS sont ind´ependantes.

Nous en d´eduisons ais´ement un intervalle de confiance pourx⁽⁰⁾β :

(4)

Intervalle de confiance au niveau de confiance (1−α) pour x⁽⁰⁾β : [ ˆY⁽⁰⁾−tn−p−1,1−α/2S

q

x⁽⁰⁾(x⁰x)⁻¹(x⁽⁰⁾)⁰ , Yˆ⁽⁰⁾+tn−p−1,1−α/2S q

x⁽⁰⁾(x⁰x)⁻¹(x⁽⁰⁾)⁰], oùtn−p−1,1−α/2 est le quantile d’ordre 1−α/2 d’une v.a. de Student à (n−p−1) degrés de liberté.

Cependant, x⁽⁰⁾β ne tient pas compte de l’aléa présent dans le modèle linéaire gaussien. Si nous voulons rester conforme à ce modèle, nous devons considérer

Y⁽⁰⁾ =x⁽⁰⁾β+W⁽⁰⁾,

avec W⁽⁰⁾ de loi normale N(0, σ²) ind´ependante de (W⁽ⁱ⁾, i= 1, . . . , n).

Nous pouvons montrer que

Yˆ⁽⁰⁾−Y⁽⁰⁾

pS²(1 +x⁽⁰⁾(x⁰x)⁻¹(x⁽⁰⁾)⁰) est de loi de Student à (n−p−1) degrés de liberté.

Exercice 1 : démontrer cette propriété.

Nous en d´eduisons alors :

Intervalle de pr´ediction au niveau de confiance (1−α) pour Y⁽⁰⁾ : [ ˆY⁽⁰⁾−tn−p−1,1−α/2S

q

1 +x⁽⁰⁾(x⁰x)⁻¹(x⁽⁰⁾)⁰ , Yˆ⁽⁰⁾+tn−p−1,1−α/2S q

1 +x⁽⁰⁾(x⁰x)⁻¹(x⁽⁰⁾)⁰], oùtn−p−1,1−α/2 est le quantile d’ordre 1−α/2 d’une v.a. de Student à (n−p−1) degrés de liberté.

L’intervalle de prédiction est plus large que l’intervalle de confiance. Il prend mieux en compte la dispersion des données, modélisée par l’aléa W présent dans le modèle linéaire gaussien.

3 Qualit´ e et validation du mod` ele

Bien entendu, les intervalles de confiance pour les paramètres et les prévisions reposent sur les hypothèses du modèle linéaire gaussien. Ceci n’a donc de sens que si les hypothèses de ce modèle sont bien vérifiées par les données. Il convient donc de construire des outils pour mesurer la qualité du modèle choisi et vérifier si les hypothèses faites sont réalistes.

3.1 Qualit´ e globale du mod` ele

Notons x₁, . . . , x_p les vecteurs de IRⁿ générés par les p variables explicatives observées sur lesn exemples etu= (1, . . . ,1)∈IRⁿ. Nous avons démontré au début du cours que ˆY est la projection orthogonale de Y sur le sous-espace vectorielF de IRⁿ engendré par les vecteurs {u, x₁, . . . , x_p}. Notons ¯Y_n = 1

n

X

i=1

Y_i et ¯Y = ¯Y_n u= ( ¯Y_n, . . . ,Y¯_n)∈IRⁿ.

(5)

Un bon modèle de régression est un modèle tel que les données observéesY soient proches des valeurs théoriques prédites par le modèle ˆY. Une fa¸con de mesurer ceci est de quantifier l’écart entreY et sa projection ˆY sur le sous-espace vectorielF. Nous pouvons par exemple considérer ||Yˆ −Y||², mais l’interprétation de la valeur obtenue est délicate, car elle est liée aussi à l’échelle des valeurs prises parY. Nous pouvons également considérer l’angle θ entre Y−Y¯ et ˆY−Y¯. Cet angle est compris entre−π/2 etπ/2 et un angle proche de±π/2 indique un modèle de mauvaise qualité, alors qu’un angle proche de 0 indique de Y est proche de son projeté ˆY sur F. Nous définissons alors le coefficient de détermination R² par :

R² = cos(θ)² = ||Yˆ −Y¯||²

||Y −Y¯||² ∈[0,1].

Un modèle de bonne qualité correspond à des valeurs de R² proches de 1. Au contraire, si R² est proche de 0, cela veut dire queY est quasiment dans l’orthogonal deF, le modèle est donc inadapté, les variables (x₁, . . . , x_p) n’explique pas la variable Y.

Remarquons que le th´eor`eme de Pythagore nous donne :

||Y −Y¯||² =||Yˆ −Y¯||² +||Y −Yˆ||²

n

X

i=1

(Y_i−Y¯_n)² =

n

X

i=1

( ˆY_i−Y¯_n)²+

n

X

i=1

(Y_i −Yˆ_i)²

Cette formule peut ˆetre vue comme une formule de d´ecomposition de la variance SCT =SCE+SCR,

où SCT (respectivement SCE et SCR) représentent la Somme des Carrés Totale (respectivement Expliquée par le modèle et Résiduelle). Le coefficient de détermination s’écrit alors :

R² = SCE

SCT = 1− SCR SCT,

et représente la part de la variabilité expliquée par le modèle sur la variabilité totale de Y. Exercice 2 : démontrer que pourp= 1 (une seule variable explicative), nous avonsR² =ρ², oùρ est le coefficient de corrélation linéaire entre les (x⁽ⁱ⁾) et les (Y⁽ⁱ⁾).

Le coefficient de détermination peut être utilisé pour comparer des modèles entre eux. Cepen- dant, si on ajoute une variable explicative dans un modèle, le R² ne peut qu’augmenter, le R² n’est donc pas adapté pour comparer entre eux des modèles avec un nombre différent de variables. C’est pour cette raison que nous définissons le coefficient de détermination ajusté

R²_a = 1− n−1 n−p−1

SCR

SCT = 1−SCR/(n−p−1)

SCT /(n−1) = (n−1)R² −p n−p−1 En fait, le R² s’´ecrit aussi

R² = SCE

SCT = 1−SCR/n SCT /n,

(6)

et SCT /n est un estimateur biaisé de var(Y), tandis que SCR/n est un estimateur biaisé de σ², la variance du résidu. Dans R²_a, on remplace ces estimateurs par les estimateurs non biaisés et R²_a s’interprète alors comme la proportion de variance expliquée par le modèle.

3.2 Analyse des r´ esidus

L’hypothèse principale du modèle linéaire gaussien (1) est que les résidus (W⁽ⁱ⁾) sont des variables aléatoires indépendantes de loi normale centrée et variance σ². Il convient donc de vérifier que ces hypothèses sont vérifiées par les jeux de données considérées, pour pouvoir utiliser les méthodes développées précédemment. Les résidus sont définis par

W⁽ⁱ⁾=Y⁽ⁱ⁾−(β₀+β₁x⁽ⁱ⁾₁ +. . .+β_px⁽ⁱ⁾_p ), i= 1, . . . , n,

mais bien entendu, ils ne peuvent être calculées, car les paramètresβ_j sont inconnus. On les remplace donc par les résidus estimés

Wˆ⁽ⁱ⁾ =Y⁽ⁱ⁾−( ˆB₀+ ˆB₁x⁽ⁱ⁾₁ +. . .+ ˆB_px⁽ⁱ⁾_p ), i= 1, . . . , n.

Nous avons vu que ˆW =Y −Yˆ = (I−A)Y, oùA =x(x⁰x)⁻¹x⁰ est la matrice de projection orthogonale sur le sous-espace vectoriel F et I est la matrice identité de dimension n. La matrice (I−A) est également la matrice de projection orthogonale sur l’orthogonal deF et puisque Y =xβ+W et xβ∈F, nous pouvons donc aussi écrire

Wˆ = (I−A)W.

Nous en d´eduisons alors que ˆW est un vecteur gaussien centr´e et de variance σ²(I−A)⁰(I−A) =σ²(I−A),

car (I − A) = (I −A)⁰ = (I − A)², la matrice (I −A) étant une matrice de projection orthogonale. Remarquons qu’en général, les v.a. ˆW⁽ⁱ⁾ ne sont pas indépendantes, puisque la matriceI −A n’est pas diagonale.

Afin d’éliminer la non-homogénéité de la variances des résidus estimés, nous pouvons alors définir les résidus normalisés

Rˆ⁽ⁱ⁾ = Wˆ⁽ⁱ⁾ σ√

1−Aii

, i= 1, . . . , n,

qui sont de loi normale centrée réduite. Cependant, σ étant inconnu, nous définissons les résidus standardisés

ˆ

ε⁽ⁱ⁾= Wˆ⁽ⁱ⁾ S√

1−A_ii, i= 1, . . . , n, o`u nous avons remplac´e σ par son estimateur S.

Remarquons que les v.a. ˆε⁽ⁱ⁾ ne suivent pas une loi de Student (contrairement à ce que nous avons obtenu dans le Corollaire 1 et la Proposition 2 en rempla¸cantσparS), car les v.a. ˆW⁽ⁱ⁾ ne sont pas indépendantes de S. Cependant, puisque les résidus normalisés sont de variance

(7)

unité et que S ≈ σ, il est usuel de considérer que les observations non probables pour le modèle (d’un point de vue statistique) sont celles correspondant à des résidus standardisés ˆ

ε⁽ⁱ⁾ ∈/ [−2,2]. En effet, une v.a. de loi normale centrée réduite (les résidus standardisés sont proches des résidus normalisés), prend ses valeurs entre −2 et 2 avec une probabilité supérieure à 0.95.

Il est important également de tester le caractère gaussien des résidus W⁽ⁱ⁾. Là encore, le test sera réalisé sur les v.a. ˆε⁽ⁱ⁾, même si ce n’est pas complètement rigoureux, ces v.a.

n’étant qu’approximativement gaussienne, si lesW⁽ⁱ⁾ le sont. Différents tests de normalité existent : parmi les plus courants, citons le test de Kolmogorov-Smirnov, le test de Shapiro-Wilketle test du χ². Pour ces tests, il s’agit de calculer, à partir de l’échantillon des résidus, une statistique T dont on connait la loi sous l’hypothèseH₀ que l’échantillon est gaussien. Si la statistique T prend une valeur t_obs non probable (i.e. tel que P[|T|> t_obs]<

α), alors l’hypothèse H₀ est rejetée au niveau de rejet α (où α est assez petit, α = 0.01 ou 0.05 en pratique).

Il existe également un test graphique usuel pour vérifier que l’échantillon des résidus est gaussien : il s’agit de la droite de Henry pour les résidus standardisés. Le principe est le suivant : soient Z une v.a. de loi N(µ, σ²), (Z₁, . . . , Z_n) un échantillon de v.a.i.i.d.

gaussiennes même loi que Z et (z₁, . . . , z_n) une réalisation de ces v.a.. Nous pouvons écrire F_Z(z_i) = P[Z ≤z_i] =P[Z −µ

σ ≤ zi−µ

σ ] = Φ(zi−µ σ ),

où Φ est la fonction de répartition de la loi normale centrée réduite. Nous en déduisons que zi peut s’écrire sous la forme :

z_i =µ+σΦ⁻¹(F_Z(z_i)).

Nous rempla¸cons alors la fonction de répartition F_Z par la fonction de répartition empirique de l’échantillon :

Fˆ_n(z) = 1 n

n

X

i=1

1_{Z_i_≤z},

qui converge presque surement vers F_Z lorsque n tend vers l’infini.

La méthode de la droite de Henry consiste alors à tracer le nuage de points (Φ⁻¹( ˆFn(ˆε⁽ⁱ⁾)),εˆ⁽ⁱ⁾), i= 1, . . . , n. Si l’échantillon est gaussien, alors les points doivent être proches de la droite d’équationy =σx+µ.

Il est important également de vérifier lalinéaritéde la relation entre la variable à expliquer et les variables explicatives. Pour cela, nous pouvons tracer les résidus estimés ˆW⁽ⁱ⁾ en fonction de la valeur prédite ˆY⁽ⁱ⁾. Si le nuage des résidus présente une structure déterministe, cela signifie qu’un modèle non linéaire serait mieux adapté qu’un modèle linéaire.

Lorsque le modèle linéaire n’est pas adapté, il est possible parfois d’utiliser malgré tout les techniques du modèle linéaire en effectuant un ou des changements de variable sur la variable

`

a expliquer ou les variables explicatives, pour se ramener à un modèle linéaire. L’exercice ci-dessous en donne un exemple.

(8)

Exercice 3 : Pour effectuer des mesures électriques en biologie ou en médecine, on utilise souvent des électrodes en contact avec un tissu biologique. Dans certains cas, le système

´

electrodes-tissu se comporte comme une capacité et une résistance en parallèle et la valeur de la résistance R dépend de la fréquence F du courant traversant les électrodes. L’étalonnage d’une sonde formée d’une paire d’électrodes parcourues par un courant d’intensité fixe a donné les résultats suivants (F en hertz, R en ohms) :

F 30 50 100 200 300 500 1000 2000 3000 5000 10000

R 1180 1010 690 540 450 350 240 160 130 95 58

1) Tracer le nuage de point correspondant à ces observations et calculer le coefficient de corrélation linéaire entre F et R. Un modèle linéaire gaussien du type

R_i =β₀+β₁F_i+W_i serait-il satisfaisant ? Justifier la r´eponse.

2) On propose maintenant d’utiliser un mod`ele lin´eaire gaussien du type R_i =β₀+β₁ 1

√F_i +W_i,

où lesW_i sont des variables aléatoires centrées, indépendantes et de loi normale de variance σ².

2.a) Ce modèle vous semble-t-il être adapté?

2.b)Donner une estimation ponctuelle des paramètres β₀,β₁ et σ² ainsi que des intervalles de confiance à 95% pour ces paramètres.

2.c) Utiliser le modèle précédent pour estimer la valeur de R correspondant à F = 50000.

On donnera les intervalles de pr´ediction et de confiance `a 90% correspondant.

2.d) Peut-on supposer queβ₀ = 0 ? On r´epondra `a l’aide d’un test statistique.

2.e) Les hypothèses du modèle linéaire gaussien sont-elles satisfaites ?

Nous pouvons également vérifier l’hypothèse d’homoscédacité des résidus, i.e. les résidus W⁽ⁱ⁾ ont la même variance. Pour cela, nous pouvons tracer le graphique des points √

ˆ ε⁽ⁱ⁾ en fonction des valeurs pr´edites ˆY⁽ⁱ⁾ et observer si l’ordre de grandeur de la dispersion des√

ˆ ε⁽ⁱ⁾ est homog`ene sur tout l’´echantillon.

R´ef´erences bibliographiques :

- P.A. Cornillon, E. Matzner-Lober, “Régression, théorie et application”, Ed. Springer (2007) - G. Saporta, “Probabilités, analyse des données et statistique”, Ed. Technip (2011)