IRMA, Univ ersité Louis P asteur Str asbourg, F rance Master 1ère Année 04-02-2008

(1)

Introduction Présentationdumodèle Méthodedesmoindescarrés Propriétésdesmoindrescarrés Tests

Rég ression linéaire m ultiple F rédér ic Ber tr and et Myr iam Maum y 1

1

IRMA, Univ ersité Louis P asteur Str asbourg, F rance Master 1ère Année 04-02-2008

FrédéricBertrandetMyriamMaumyRégressionlinéairemultiple Introduction Présentationdumodèle Méthodedesmoindescarrés Propriétésdesmoindrescarrés Tests

Régressionlinéairesimple Exemple Affinerlemodèle

Pr ob lème : Étude de la concentr ation d’oz one dans l’air . Modèle : La tempér ature (v .a. X ) et la concentr ation d’oz one (v .a. Y ) sont liées de manière linéaire : Y = β 0 + β 1 X + ε. Obser v ations : n = 10 mesures de la tempér ature et de la concentr ation d’oz one . But : Estimer β 0 et β 1 afin de prédire la concentr ation d’oz one connaissant la tempér ature .

Régressionlinéairesimple Exemple Affinerlemodèle FrédéricBertrandetMyriamMaumyRégressionlinéairemultiple

Régressionlinéairesimple Exemple Affinerlemodèle

Souv ent la rég ression linéaire est trop simpliste . Il faut alors utiliser d’autres modèles plus réalistes mais parf ois plus comple x es : Utiliser d’autres fonctions que les fonctions affines comme les fonctions polynômiales , e xponentielles , logar ithmiques. .. Considérer plusieurs v ar iab les e xplicativ es . Ex emple : La tempér ature et la vitesse du v ent

FrédéricBertrandetMyriamMaumyRégressionlinéairemultiple

(2)

Régressionlinéairemultiple Visionpratique

Le pr incipe de la rég ression linéaire m ultiple est simple : Déter miner la v ar iab le e xpliquée Y . Ex emple : La concentr ation d’oz one . Déter miner ( p − 1 ) v ar iab les e xplicativ es X 1 , .. ., X p − 1 Ex emple : X 1 tempér ature , X 2 vitesse du v ent. .. Il ne reste plus qu’à appliquer un modèle linéaire : Y = β 0 + β 1 X 1 + ·· · + β p − 1 X p − 1 + ε

Régressionlinéairemultiple Visionpratique

Dans un échantillon de n individus , on mesure y i , x i , 1 , .. ., x i , p − 1 pour i = 1 .. . n . Obser v ations Y X 1 .. . X p − 1 1 y 1 x 1 , 1 .. . x 1 , p − 1 2 y 2 x 2 , 1 .. . x 2 , p − 1

. . . . . . . . . . . . . . .

n y n x n , 1 .. . x n , p − 1 Remar que : Les v ar iab les x i , j sont fix es tandis que les v ar iab les y i sont aléatoires .

Méthode Versionmatricielle Lescalculs Casp=2 ExempleaveclelogicielR

But : Estimer les par amètres β 0 , .. ., β p − 1 du modèle de rég ression et ce de manière optimale . Méthode : La méthode des moindres carrés . Cette méthode re vient à minimiser la quantité suiv ante : n X i = 1 y i − ˆ β 0 + ˆ β 1 x i , 1 + ·· · + ˆ β p − 1 x i , p − 1 2 .

Le système peut se réécr ire :   

y 1 . . . y n

   =

  

1 x 1 , 1 ·· · x 1 , p − 1

. . . . . . . . . . . .

1 x n , 1 ·· · x n , p − 1

  

  

β 0 . . .

β p − 1

   +

  

ε 1 . . . ε n

   y = X β + ε V ecteur des résidus : ε = y − ˆ y = y − X ˆ β . Remar que : Les v ar iab les y et X sont mesurées tandis que l’estimateur ˆ β est à déter miner . La méthode des moindres carrés consiste à trouv er le v ecteur ˆ β qui minimise k ε k 2 = t εε .

(3)

k ε k 2 = t y − X ^ β y − X ^ β = t yy − t ˆ β t Xy − t yX ˆ β + t ˆ β t XX ˆ β = t yy − 2 t ˆ β t Xy + t ˆ β t XX ˆ β car t ˆ β t Xy est un scalaire . Donc il est égal à sa tr ansposée . La dér ivée par rappor t à ˆ β est alors égale à : − 2 t Xy + 2 t XX ˆ β .

• Pr ob lème : On cherche ˆ β qui ann ule cette dér ivée . Donc on doit résoudre l’équation suiv ante : t XX ˆ β = t Xy . • Solution : On trouv e après a v oir in v ersé la matr ice t XX (il faut naturellement vér ifier que t XX est carrée et in v ersib le c’est-à-dire qu’aucune des colonnes qui compose cette matr ice ne soit propor tionnelle aux autres colonnes) ˆ β = ( t XX ) − 1 t Xy .

Retrouv ons les résultats de la rég ression linéaire simple ( p = 2) t XX = n

P x i P x i

P x 2 i

; t Xy =

P y i P x i y i

. Donc : ( t XX ) − 1 = 1 n P x 2 i − ( P x i ) 2 P x 2 i − P x i − P x i n

= 1 P ( x i − ¯x ) 2 P x 2 i / n − ¯ x − ¯ x 1

.

Finalement on retrouv e bien : ˆ β = ˆ β 0 ˆ β 1 =      

¯ y

P x 2 i − ¯ x

P x i y i P ( x i − ¯ x ) 2 P x i y i − n ¯ x ¯ y P ( x i − ¯ x ) 2

      ce qui correspond aux estimateurs de la rég ression linéaire simple que nous a v ons déjà rencontrés dans le cours 1.

(4)

Méthode Versionmatricielle Lescalculs Casp=2 ExempleaveclelogicielR >a<-lm(max03T12+VX) >summary(a) Call: lm(formula=max03T12+VX) Residuals: Min1QMedian3QMax -47.860-10.5615.11910.64526.506 Coefficients: EstimateStd.ErrortvaluePr(>|t|) (Intercept)36.652026.53241.3810.210 T122.66231.42021.8750.103 VX0.54310.77750.6990.507 Residualstandarderror:24.78on7degreesoffreedom MultipleR-Squared:0.3351,AdjustedR-squared:0.1452 F-statistic:1.764on2and7DF,p-value:0.2396 FrédéricBertrandetMyriamMaumyRégressionlinéairemultiple Introduction Présentationdumodèle Méthodedesmoindescarrés Propriétésdesmoindrescarrés Tests

“àlaPythagore” Coefficientdedétermination

Résultats préliminaires : • P

2 ˆy = i

P ˆ y i y i ou (f or me matr icielle) t ˆy ˆy = t y ˆy

• P

ˆy ⁱ

= P y i Pr opriété des moindres carrés : P ( y i − ¯ y ) 2 =

P (ˆ y i − ¯ y ) 2 +

P ( y i − ˆ y i ) 2 SC tot = SC reg + SC res

“àlaPythagore” Coefficientdedétermination FrédéricBertrandetMyriamMaumyRégressionlinéairemultiple

“àlaPythagore” Coefficientdedétermination

Le coefficient de détermination est défini par : R 2 = SC reg SC tot . Intuitiv ement ce coefficient de déter mination quantifie la capacité du modèle à e xpliquer les v ar iations de Y . • Si R 2 est proche de 1 alors le modèle est proche de la réalité. • Si R 2 est proche de 0 alors le modèle e xplique très mal la réalité. Il faut alors trouv er un meilleur modèle .

(5)

Hypothèsespourlestests Hypothèsespourlestests Estimationdeσ2 Testsd’hypothèses

On fait les h ypothèses suiv antes : y = X β + ε où le v ecteur aléatoire ε suit une loi m ultinor male qui vér ifie les h ypothèses suiv antes : E [ ε ] = 0 V ar [ ε ] = σ 2 I n , où σ 2 est la v ar iance de la population et I n est la matr ice identité de taille n .

Ceci implique que : E [ y ] = X β V ar [ y ] = σ 2 I n . On peut alors démontrer , sous ces h ypothèses : • E [ˆ β ] = β . Ce qui signifie que ˆ β est un estimateur sans biais • V ar [ˆ β ] = σ 2 ( t XX ) − 1 . Il reste un pr ob lème : Estimer la v ar iance σ 2 qui est a pr ior i une quantité inconn ue .

Un estimateur sans biais de la v ar iance σ 2 est défini par : s 2 =

P ( y i − ˆ y i ) 2 n − p = SC res n − p = SC tot − SC reg n − p , où n est le nombre d’individus/d’obser v ations , p est le nombre de v ar iab les e xplicativ es . On appelle la quantité ( n − p ) le nombre de degrés de liber té.

But : T ester l’h ypothèse n ulle H 0 : β j = b j pour j = 0 ,. .. , p − 1 contre l’h ypothèse alter nativ e H 1 : β j 6= b j pour j = 0 ,. .. , p − 1 .

(6)

Méthode : • Calculer la statistique t obs = ˆ β j − b j s ( ˆ β j ) où s 2 ( ˆ β j ) est l’élément diagonal d’indice j de s 2 ( t XX ) − 1 . • Si l’h ypothèse n ulle H 0 est vr aie , alors t obs suit une loi de Student a v ec ( n − p ) deg rés de liber té.

• V aleur cr itique : t ( α/ 2 , n − p ) le ( 1 − α / 2 ) -quantile d’une loi de Student a v ec ( n − p ) deg rés de liber té (cf tab le de la loi de Student). • On rejette l’h ypothèse n ulle H 0 si | t obs | ≥ t ( α/ 2 , n − p ) . Cas par ticulier : T ester si « β j = 0 » pour un cer tain j . Si l’h ypothèse n ulle H 0 : « β j = 0 » est acceptab le alors la v ar iab le X j n’est pas significativ e au sein du modèle . On peut simplifier le modèle , .. .et recommencer !

IRMA, Univ ersité Louis P asteur Str asbourg, F rance Master 1ère Année 04-02-2008

Rég ression linéaire m ultiple F rédér ic Ber tr and et Myr iam Maum y 1

IRMA, Univ ersité Louis P asteur Str asbourg, F rance Master 1ère Année 04-02-2008

Dans un échantillon de n individus , on mesure y i , x i , 1 , .. ., x i , p − 1 pour i = 1 .. . n . Obser v ations Y X 1 .. . X p − 1 1 y 1 x 1 , 1 .. . x 1 , p − 1 2 y 2 x 2 , 1 .. . x 2 , p − 1

. . . . . . . . . . . . . . .

n y n x n , 1 .. . x n , p − 1 Remar que : Les v ar iab les x i , j sont fix es tandis que les v ar iab les y i sont aléatoires .

Le système peut se réécr ire :   

y 1 . . . y n

   =

  

1 x 1 , 1 ·· · x 1 , p − 1

. . . . . . . . . . . .

1 x n , 1 ·· · x n , p − 1

  

  

β 0 . . .

β p − 1

   +

  

ε 1 . . . ε n

   y = X β + ε V ecteur des résidus : ε = y − ˆ y = y − X ˆ β . Remar que : Les v ar iab les y et X sont mesurées tandis que l’estimateur ˆ β est à déter miner . La méthode des moindres carrés consiste à trouv er le v ecteur ˆ β qui minimise k ε k 2 = t εε .

Retrouv ons les résultats de la rég ression linéaire simple ( p = 2) t XX = n

P x i P x i

P x 2 i

; t Xy =

P y i P x i y i

. Donc : ( t XX ) − 1 = 1 n P x 2 i − ( P x i ) 2 P x 2 i − P x i − P x i n

= 1 P ( x i − ¯x ) 2 P x 2 i / n − ¯ x − ¯ x 1

.

Finalement on retrouv e bien : ˆ β = ˆ β 0 ˆ β 1 =      

¯ y

P x 2 i − ¯ x

P x i y i P ( x i − ¯ x ) 2 P x i y i − n ¯ x ¯ y P ( x i − ¯ x ) 2

      ce qui correspond aux estimateurs de la rég ression linéaire simple que nous a v ons déjà rencontrés dans le cours 1.

Résultats préliminaires : • P

2 ˆy = i

P ˆ y i y i ou (f or me matr icielle) t ˆy ˆy = t y ˆy

• P

ˆy i

= P y i Pr opriété des moindres carrés : P ( y i − ¯ y ) 2 =

P (ˆ y i − ¯ y ) 2 +

P ( y i − ˆ y i ) 2 SC tot = SC reg + SC res

On fait les h ypothèses suiv antes : y = X β + ε où le v ecteur aléatoire ε suit une loi m ultinor male qui vér ifie les h ypothèses suiv antes : E [ ε ] = 0 V ar [ ε ] = σ 2 I n , où σ 2 est la v ar iance de la population et I n est la matr ice identité de taille n .

Un estimateur sans biais de la v ar iance σ 2 est défini par : s 2 =

P ( y i − ˆ y i ) 2 n − p = SC res n − p = SC tot − SC reg n − p , où n est le nombre d’individus/d’obser v ations , p est le nombre de v ar iab les e xplicativ es . On appelle la quantité ( n − p ) le nombre de degrés de liber té.

But : T ester l’h ypothèse n ulle H 0 : β j = b j pour j = 0 ,. .. , p − 1 contre l’h ypothèse alter nativ e H 1 : β j 6= b j pour j = 0 ,. .. , p − 1 .

Méthode : • Calculer la statistique t obs = ˆ β j − b j s ( ˆ β j ) où s 2 ( ˆ β j ) est l’élément diagonal d’indice j de s 2 ( t XX ) − 1 . • Si l’h ypothèse n ulle H 0 est vr aie , alors t obs suit une loi de Student a v ec ( n − p ) deg rés de liber té.

ˆy ⁱ