Régression linéaireComparer des variables quantitatives, afin de tester leur indépendanceExemple: mesure de la taille et de l’âgedans la population étudiante de ce coursdans la population d’une école primaire

Montpellier III

Régression linéaire

Comparer des variables quantitatives, afin de tester leur indépendance

Exemple: mesure de la taille et de l’âge dans la population étudiante de ce

cours

dans la population d’une école

primaire

Montpellier III

Décrire des données

X Y

14 13 13 11 17 16 15 15 14 12 15 13 16 15 12 10 14 14 12 12 13 13 13 12

16

15

14

13

12

11

10 Y

17 16

15 14

13 12

X

Montpellier III

Inférer un modèle

16

15

14

13

12

11

10 Y

17 16

15 14

13 12

X

En général:

Y = F(X)

Y = X - 1

Modèle linéaire:

Y = a X + b

Montpellier III

Corrélation linéaire

Mesurer si l’on est près ou loin d’un modèle linéaire Test de Bravais Pearson:

calcul du coefficient de corrélation linéaire

BP(X,Y) = cov(X,Y )

σ (X) ×σ (Y )

Montpellier III

σ

(x) = x

− x

σ (x) = σ

(x) = x

− x

Définitions

Rappels:

variance écart type

Covariance: cov(x, y) = x × y − x × y

Montpellier III

16 15 14 13 12 11 10 Y

17 16

15 14

13 12

X 16

15

14

13

12

11

10 Y

17 16

15 14

13 12

X

Test de Bravais Pearson: exemples

0,8745 0,1911

Montpellier III

BP(X,Y) = cov(X,Y ) σ (X) ×σ (Y ) Test de Bravais Pearson

Interprétation de la valeur du coefficient de corrélation linéaire:

proche de 1: bonne corrélation à pente croissante proche de -1: bonne corrélation à pente décroissante proche de 0: peu ou pas de corrélation

Table: d.d.l. = effectif - 2

d.d.l. 10,0% 5,0% 2,0% 1,0%

...

10 0,5 0,58 0,66 0,71

...

Montpellier III

Construction du modèle linéaire

Erreur du modèle =

différence entre la valeur de Y calculée par le modèle et la valeur réelle de Y

Erreur quadratique moyenne = moyenne des carrés des erreurs

16

15

14

13

12

11

10 Y

17 16

15 14

13 12

X

Y = a.X + b

Montpellier III

Quand le test de Bravais Pearson fait apparaitre une bonne corrélation:

Trouver la droite pour laquelle l’erreur quadratique moyenne est la plus petite possible.

Construction du modèle linéaire

Y = a.X + b (Y

− b − aX

)

i=1 i=n

∑

Montpellier III

Le modèle linéaire

Y = a.X + b

a = cov(X,Y) σ

(X)

b = Y − aX

la droite passe par le barycentre

Qualité du modèle:

part de variance expliquée

R

= σ

(aX + b)

σ

(Y) = a

σ

(X)

σ

(Y )

Montpellier III

16

15

14

13

12

11

10 Y

17 16

15 14

13 12

X

Exemple 1

a = 1 b = -1 Y = X - 1

R² = 0,7648 = 76%

Montpellier III

Construction de modèles

Y=F(X)

Les fonctions F intéressantes sont celles pour lesquelles il existe une méthode de calcul directe — autrement que par des essais et erreurs successifs —.

régression linéaire multiple régression polynomiale

Montpellier III

Rappel sur les logarithmes: log(a.b)=log(a)+log(b), la base étant le nombre u tel que log(u)=1. Les bases les plus utilisées sont u=2 (théorie de ‘information), e=2,71828...

(mathématiques) ou 10

Extension par transformation

Exemple: logarithme

Y=a.X+B

Y=y

y=a.x+B

y=bxa y=b.ua.x

uy=bxa

Y=log(y)

(on pose B=log(b))

X=log(x)

(on pose B=log(b)) X=x

Montpellier III

(Y

− b − aX

)

i=1 i=n

∑

Démonstration de la régression

Trouver

a

b

(Y

+ b

+ a

X

i=1 i=n

∑ ^{− 2bY}

^{− 2aX}

^Y

^{+ 2abX}

⁾

Y

+ b

+ a

X

− 2bY − 2a XY + 2abX

Les valeurs de

a

b

a

b

Montpellier III

b = Y − aX b

− 2bY + 2ab X + Y

+ a

X

− 2aXY

Dérivée par rapport à

b

2b − 2Y + 2aX = 0 b

Régression: valeur de b

Montpellier III

7/05/01 16/20

a = cov(X,Y) σ

(X)

Dérivée par rapport à

a 2aX

− 2 XY + 2bX = 0 a( σ

(X) + X

) − (cov(X,Y ) + XY) + b X = 0

Régression: valeur de a

a

X

− 2a XY + 2abX + Y

+ b

− 2bY

a σ

( X) − cov(X,Y ) + X(aX − Y + b) = 0 a σ

( X) − cov(X,Y ) = 0

Qualité du modèle:

Montpellier III

part de variance expliquée R

= σ

(aX + b)

σ

(Y) = a

σ

(X) σ

(Y ) R

= cov(X,Y)

σ

( X)



 



 

2

σ

(X)

σ

(Y ) = cov(X,Y )

σ

(X). σ

(Y) R

= cov(X,Y)

σ (X) × σ (Y)



 



 

2

= BP( X,Y)

Montpellier III

16 15 14 13 12 11 10 Y

17 16

15 14

13 12

X

Exemple 2

a= 0,21 b = 9,63

Y = 0,21.X + 9,63 R² = 0,0365 = 4%

Montpellier III

Le modèle linéaire multiple

Z = a.X + b.Y+c

b = cov(Y, Z) σ

(Y) c = Z − a X − bY

le plan passe par le barycentre

Qualité du modèle: part de variance expliquée

R

= σ

(aX + bY + c)

σ

(Z) = BP(X, Z)

+ BP(Y, Z)

a = cov(X, Z)

σ

(X)

(si cov(X,Y) = 0)

Montpellier III

cas général: si cov(X,Y) non nul

b = σ

( X) cov(Y, Z) − cov(X, Z) cov(X,Y ) σ

(X) σ

(Y) − cov( X,Y)

rien de changé pour c

a = σ

(Y) cov(X, Z) − cov(Y, Z) cov(X,Y ) σ

(X) σ

(Y) − cov( X,Y)

Le modèle linéaire multiple (2)