Cours : Régression Linéaire simple et multiple

(1)

1

Université Abderrahmane MIRA-Bejaia

Faculté des sciences économiques, Commerciales et des Sciences de gestion Département des sciences de Gestion

Polycopié

Réalisée par: Dr BOUKRIF Nouara

Préparée par Dr BOUKRIF Nouara

Année : 2016

Cours :

Régression Linéaire simple et

multiple

(2)

2

Introduction générale du cours Régression linéaire simple et multiple

L’objectif de la régression linéaire simple et multiple est d’apprendre à l’étudiant comment analyser un phénomène quelconque on utilisant des méthodes statistiques dites économétriques.

En effet, la régression linéaire est une relation stochastique entre une ou plusieurs variables. Elle est appliquée dans plusieurs domaines, tels que la physique, la biologie, la chimie, l’économie…etc.

Dans ce cours et dans un premier temps, nous allons introduire la régression linéaire où on explique une variable endogène par une seule variable exogène. A titre d’exemples, on peut citer : la relation entre la variable Prix et la variable Demande, la relation entre la variable Revenu et la variable Consommation, la relation entre la variable Investissement et la variable Croissance économique. Il s’agit de la régression linéaire régression simple. Dans un deuxième temps, nous étudierons la régression linéaire multiple qui représente la relation linéaire entre une variable endogène et plusieurs variables exogènes. Autrement dit, il s’agit de régresser linéairement une grandeur économique (variable à expliquer) sur plusieurs variables explicatives (variables exogènes). Par exemple, d’après la théorie économique, la demande d’un produit peut être expliquée par les grandeurs Prix, Revenu et Publicité.

La régression linéaire simple et multiple est un outil d’analyse qui fait appel à trois domaines scientifique, à savoir :

 la théorie économique ;

 l’analyse statistique ;

 la modélisation mathématique.

Dans ce polycopié on présentera les différents modèles de régressions linéaires à savoir : le modèle de régression linéaire simple et multiple.

(3)

3

Chapitre : Le modèle de régression linéaire simple

I-1 Définition du modèle de régression linéaire simple

Le modèle de régression linéaire simple est une variable endogène (dépendante) expliquée par une seule variable exogène (indépendante) mise sous forme mathématique suivante :

Y_t ₀₁X_t _t, t1...n avec :

Y_t : la variable endogène (dépendante, à expliquer) à la date t ; X_t : la variable exogène (indépendante, explicative) à la date t ; ₀,₁ : les paramètres inconnus du modèles ;

_t : l’erreur aléatoire du modèle ; n: nombre d’observations.

I-2 Hypothèses du modèle

Le modèle repose sur les hypothèses suivantes :

 

. paramètres aux

rapport -

par X en linéaire est

modéle le

- 6

; aléatoire pas

est n' exogène

variable a

5 , 0 ) , cov(

4 ; ées autocorrél pas

sont ne ,

si , 0 cov

- 3

, )

( 2

centrée erreur

l' , 0 ) ( 1

; exogène

variable la

avec corrélée pas

est n' erreur l'

erreurs

les

; ) ticité homoscédas d'

hypothèse (l'

constante est

erreur l'

de variance la

,

2 2

l

x

_t _t

t t t

t

t t























 







I-3 Estimation des paramètres par la méthode des Moindres Carrés Ordinaires (MCO) Soit le modèle suivant : Y_t ₀₁X_t _t

L’estimation des paramètres ₀,₁ est obtenue en minimisant la somme des carrés des erreurs :

(4)

4

  



  







ⁿ

t n

t

t t

n

t

Min Y X Min S

Min

1 2 1

2 1 0 1

2

 



Pour que cette fonction ait un minimum, il faut que les dérivées par-rapport à ₀ et ₁ soient nuls.

 

).

ˆ (

ˆ

. et

puisque

ˆ

bien ou

ˆ ˆ

: ) d

(2),

et (1) équations des

solutions

les ˆ ˆ et notans En

...(2) ...

0 ) )(

( 2 0

...(1) ...

0 ) 1 ( 2

0

1 1

2 1

1 1

0

1 1

0

1 1 1

0

1 0

1 2 1

1 0 1

1 0 1 1

1 1 0 1

1

1 0 0

:

obtient on

, (2) équation l'

dans de valeur la

remlaçant En

(1 après ' obtient on



























































 















 



n

t t n

t t t

n

t t

n

t t n

t t

n

t t n

t t t

n

t t t

t n

t t

n

t t n

t

t t

X X X X

Y X Y

n X X n Y

Y X

n Y

n X n

Y

X X

X Y X

X S Y

X n

Y X

S Y



 



 

D’où

  

 

²

2

1 1

1

2 2

1

1 1

2

1 1

ˆ

1



 



 













t t

t n

t t n

t

t t n

t

n

t t t

n

t

n

t t t

t

X X

X X Y Y X

n X

X Y n Y X X

X X

X Y Y X



(5)

5

Conclusion : les estimateurs des MCO du modèle de régression linéaire simple

t t

t

X

Y  

₀

 

₁

 

Sont :

ˆ

0

 Y  n X



Et

  

 

²

2

1 1

1

2 2

1

ˆ1













t t

t n

t t n

t

t t

X X

X X Y Y X

n X

X Y n Y X



Différentes écritures du modèle de régression linéaire simple : Le modèle théorique ( modèle non ajusté) :

Y

_t

 

₀

 

₁

X

_t

 

_t

Le modèle estimé ( modèle ajusté) :

Y

_t

  ˆ

₀

  ˆ

₁

X

_t

 e

_t

Avec : Y

ˆ

_t ₌

Xt 1

0

ˆ

ˆ 



 Et

e

_t

 Y

_t

 Y ˆ

_t

 Y

_t

  ˆ

₀

  ˆ

₁

X

_t

e

_t : est le résidu du modèle.

Exemple : nous disposons des données qui sont représentés dans le tableau suivant :

Xt 100 200 300 400 500 600 700

Yt 40 50 50 70 65 65 80

Où Y_t désigne les quantités consommées et X_t désigne le prix des quantités consommées.

On trace un graphique des couples de données liant le prix et les quantités Consommées. Nous

(6)

6 Obtenons le nuage de points suivant :

30 40 50 60 70 80 90

0 100 200 300 400 500 600 700 800 X

Y

Estimation des paramètres : Nous savons que :

ˆ

0 Y nX



  

 

²

2

1 1

1

2 2

1

ˆ1













t t

t n

t t n

t

t t

X X

X X Y Y X

n X

X Y n Y X



Application numérique :

ˆ₀ 

36 . 42

et ^ˆ₁= 0.0589

Ajustement du nuage par la droite d’équation

t

X

Y ˆ  36 . 42  0.0589

: désigne la droite qui ajuste le nuage de point.

(7)

7

I-calcul des espérances mathématiques des estimateurs

 calcul de l’espérance de ˆ₁ : Soit le modèle suivant :

Y

_t

  ˆ

₀

  ˆ

₁

X

_t

 e

_t

D’après la méthode des MCO, on a :

  

 

²

2

1 1

ˆ

1









t t

t n

t t

X X

X X Y Y



En posant

Y Y y et

X X x

t t









Nous obtenons

) 1 ( ...

ˆ

1 2 1

1





 _n t

t n

t

t t

x y x



On remplace la valeury_t dans (1), on obtient :

 

) 2 ....(

...

ˆ

0 . ˆ

1 2 1 1

1

1 2 1

1 2 1 2

1 2 1 1

alors

Comme













n

t t

t n

t t n

t t

n

t t n

t t

t n

t t

t t t n

t t

x Y x x

x x Y x

Y x x

Y Y x



(8)

8

car

 

⁰

1 1















 

X n X n X X x

n

t

n

t t

t .

On remplace maintenant

Y

_t

 

₀

 

₁

X

_t

 

_t dans l’équation (2) ,on aura :

 

.

ˆ

car

1 2 1

1 2 1 1

1 2 1

2 1

1 2 1

1 2 1 1 1

1 2

1 1

1

1 2

1 1

0

1 2 1 0 1 1

X x X

x x x

x X

x x

x x x

X x x

x x X

x

x X

x x

x X x

t t

n

t t n

t t t n

t t n

t t

n

t t n

t t t n

t t n

t

t t

n

t t n

t

n

t t t t

t n

t t n

t

n

t t t t

t n

t t

n

t t

t t n

t t



























 



 





 



 























Comme 0

1





 n

t

xt (on l’a déjà démontré), il résulte alors :

(9)

9





 

 _n

t t n

t

t t

x x

1 2 1 1

ˆ

1





En passant à l’espérance mathématique, on trouve:



























 n

t t n

t t t

x x

1 2 1 1

1

) ( )

( ˆ





 























 n

t t n

t

t t

x E x

1 2 1 1

) (





Or, d’après l’hypothèse (1), E

 

_t =0

Finalement :

E    ^ˆ

1

 

1

₁ : est un estimateur sans biais

 Calcul de l’espérance de ˆ₀ On a :

ˆ Y - ˆ X

1

0





ˆ₀





















 n

t t n

t t t

x y x X Y

1 2 1

(10)

10

 

ˆ . ˆ

1 2 1 0

 





 











 





 













n

t t n

t t t n t

t t n

t t

x Y x X Y

Y Y x x X Y



D’ou

ˆ 1 ... ...( 3 )

1 2

0 t

n

t

t t

t

Y

x x X

 n





   





 







 

car

 





 





 



n Y Y

n

t t 1

.

Or que :

Y

_t

 

₀

 

₁

X

_t

 

_t donc :

^t

n

t

t t t t

n

t

t t t n

t

t t t

x x X X n

x x X x n

x X

n  



 

 



^ ^



   





 









 





 









 





 









1 2

1

1 2

0 0

1 1

ˆ 1

^t

n

t

t t t

t t n

t t t

x x X x n

X x X

X  



 





 





 









 





 











1 2

2

1 2 1 1 1

0 0

ˆ 1

Comme X_t x_tX on déduit :

(11)

11

 

t n

t

t t t

t t n

t t

t t t

t

t n

t

t t t

t t n

t

t t

x x X x n

x X

x x X X

x x X x n

X x x X X









 



 





 





 









 





 







 





 











 





 









 





 



 







1 2

2

1 2 2 1

2 1

1 2 2

1 2

1 1 0 0

1 2

2

1 2 1 1 1 0 0

ˆ 1 ˆ 1

On obtient alors :

t

n

t

t t t

x x X

n





 



 

















1 2

0

ˆ 1

.

En passant à l’espérance mathématique, on trouve :

  ^{ }

  ^{ } ^{ }

 





 





 





 











 





 





 





 











 



t n

t

t t t

t n

t

t t t

E x x X E n

E

x x X E n

E E









1 2

0 0

1 2

0 0

ˆ 1 ˆ 1

E

 

ˆ0 = E

 

₀ car E

 

_t =0

Finalement

E     ˆ

0



0 ₀ est un estimateur sans biais.

 Calcul de la variance de ˆ₁

Par définition, la variance de (^ˆ₁) est donnée par : var (ˆ1)



ˆ1(ˆ1)



²

Et

Ε (  ˆ

₁

)  

₁.

(12)

12 d’un autre coté, on sait que :

Ce qui implique :











n

t t n

t

t t n

t

t t

x x

1 2 1 1

1

1 2 1 1

1

ˆ ˆ









Alors on déduit que:

var (  ˆ

1

) ^ ^E    ˆ

1

^ 

1 ²

^ ^E

2

1 2

1 2 2

1 2

1

1 



 





 

 



 

 





 





 





 

 n

i t n t

t t n

t t t

x E x x

x





n n n n n n



n

t t

x x x

x x

E x



₁² ₂² ₂² ² ² ₁ ₂ ₁ ₂ ₁ ₁

2 2 1

1 2

..

2 . ....

2 .

1 ...







 

 



 



D’après les hypothèses (1) ,(2) ,et (3) du modèle de régression simple, on obtient :

  

3² ² ²



2 2 2 2 2 1 2 2

1 2

1

1 ... ... ...

var ˆ

_n

n

t t

x x

x



  





  



 









D’où :

 

 



 



 

 



 

_n

t t n

t t

x x x

1 2 2 2

1 2 1

2 2

ˆ

1

var

^







.

 Calcul de la variance de ˆ₀ : D’après les propriétés de l’estimateur ˆ₀ on a :

(13)

13

t

n

t

t t t t

n

t

t t t

x x X x n

x X

n

   



 

 



^

 





































1 2

0 0

1 2

0

1 ˆ 1

ˆ

Par définition, la variance de

   ˆ

0 est donnée par :

^var ⁽ ^ˆ ⁾  ^ˆ ⁽ ^ˆ ⁾   ^ˆ

0 0



²

2 0

0ˆ



0

  

    Ε  Ε 

_.

Puisque

Ε (  ˆ

₀

)  

₀ nous obtenons : ^var⁽^ˆ₀⁾Ε



^ˆ00



² Alors on déduit que :

1 ˆ )

( var

2

1

1 2 0

 





 





 





 







 





t n

t

n

t t t

x x X

E n 



  ^ˆ ¹ ² ¹ ¹

var

₁ _n

1

1 2 1

2 1 1 2

1

1 2

0

  



_



 





  

  ^ ^

 





 







 





 









 





 





 





 









ⁿ _n

t

n

t n n n

t n n t

n

t

n

t t t

x x X x n

x X E n

x x X E n

 

1 ˆ

var

2

1

1 2 0

































t n

t

n

t t t

x x X

E n 



D’après les hypothèses (1) ,(2) ,et (3) du modèle de régression simple, on obtient:

(14)

14

var    ˆ

0



^



 











 ⁿ 

t

n

t t t

x x X n

1

2

1 2 2

1



Il résulte alors :

  _

 



  















 







 ⁿ

t n

t t

t n

t t t

x x X x

n x X n

1

2

1 2

2 2

1 2 2

2 0

1 2 var ˆ _

Puisque

0

1

 

 n

t

x

t _{alors :}

 

 





 



 

 





 n

t t n

t t

x n

X n x

1 2 1

2 2

2

ˆ

0

var  

_

Et comme

X

_t

 x

_t

 X

donc on déduit que :

    _ ^ ^







 









 





 





 





n

t

t n

t t n

t t

X X n

X x

n X

1

2 1

2 2

1 2 1

2 2

ˆ

0

var  

_



_

Conclusion

Les variances des paramètres

 ˆ

₀,

 ˆ

₁ du modèle

Y

_t

 

₀

 

₁

X

_t

 

_t sont :

 

  _ ^ ^

 





 







 





 







 













n

1

t t

n

1 t

2 t n ε

1 t

2 t n

1 t

2 t 0 ε

X 2 X n

X σ 2

x n

X β 2

ˆ

var

(15)

15

et

 





_n

t

x

t 1

2 2 1





 ^ˆ var

 Calcul de la covariance de (

 ˆ

₀ ,

 ˆ

₁ ):

Par définition, la covariance ente (

 ˆ

₀_,

_ ^ˆ

₁ ) se calcule comme suit :

cov ( β ˆ

0

, β ˆ

1

)  E   β ˆ

0

 E ( β ˆ

0

 β ˆ

1

 E ( β ˆ

1

   E    β ˆ

0

 β β ˆ

1

 β

1

Comme (

 ˆ

₀,

 ˆ

₁ ) sont sans biais,

Alors :

 





 







 





 







 

 





n

t t n

t t t t

n

t

n

t t t

x x x

x X E n

1 2 1 1

1 2 1

0

1 ˆ )

ˆ , ( cov





 







 







 

 



 





 



 



 



 

2

1 2

1 1

1 2

1 1

1 0

, ˆ ) ( ˆ

cov

n

t t n

t

n

t t t t t n

t t n

t n

t t t t

x x x

X x

n x E





 







 







 

 





 

 







 





 









 



 

2

1 2 n 2

1 t

1 2

1 1

1 0

, ˆ ) ( ˆ

cov

n

t t

t t n

t n

t t t t

x x E

X x

n x E

 





D’après les hypothèses (1), (2) et (3) du modèle de régression simple, il résulte que :

(16)

16

 









_n

t

x

t

X

1 2 2 1

0

, ˆ

cov  ˆ  

^

.

I-6 : Théorème de Gauss Markov

Soit le modèle suivant :

Y

_t

 

₀

 

₁

X

_t

 

_t

Par définition un estimateur de moindre carrée est un estimateur de Gauss Markov (blue) s’il est sans biais, linéaire et possède une variance minimale. Pour démonter ce théorème, on définit un autre estimateur linéaire sans biais sous la forme suivante :





ⁿ

t

Y

C b

1

Par la suite on compare la variance de b^ avec la variance de ^ˆ₁ et celui qui a une variance minimale on dira qu’il est le meilleur estimateur.

Démontrons d’abord est ce que ^ˆ₁ est linéaire et sans biais.

 ^ˆ₁ est-il linéaire ?

D’après les propriétés du paramètre ˆ₁ on a :

 













n

t t n

t

t t n

t

t t 1

n

t t n

t

t t 1

x x Y

x Y x β

x Y Y x β

x y x β

1 2 1

1 2 1 1

1 2 1

ˆ ˆ

ˆ