Le modèle linéaire général simple à deux variables

L3MS2_M1.doc 1/16

Le modèle linéaire général simple à deux variables

Introduction générale

Un modèle est une représentation simplifiée, mais la plus exhaustive possible, d’une entité économique donnée. Sous sa forme la plus courante, il est présenté comme un système d’équations, le plus souvent linéaires, équations reliant entre elles deux types de variables que l’on appelle :

- variables endogènes (variables expliquées) - variables exogènes (variables explicatives).

Le modèle est dit parfaitement déterminé si le nombre de ses équations (N) est égal à celui des variables endogènes. Il s’écrit :

) 1 , N ( ) 1 , k ( ) k , N ( ) 1 , N ( ) N , N (

X B Y

A + = ε

avec A la matrice (carrée) des coefficients des variables endogènes, B la matrice des coefficients des variables exogènes, Y le vecteur des variables endogènes, X le vecteur des variables exogènes et ε un aléa que nous définirons ultérieurement.

C’est la théorie économique qui, dans la plupart des cas, postule la forme et le contenu des équations.

Pour cette raison, on appelle l’écriture de ce modèle la forme structurelle.

Si la matrice A est inversible (rang de A = N) alors on peut extraire de l’équation matricielle précédente le seul vecteur Y en fonction de X :

η + θ

= X Y

avec

θ = − A

⁻¹

B

^et

η = A

⁻¹

ε

On appelle cette équation la forme réduite du modèle.

Un cas particulier, mais très utilisé, de cette forme est le Modèle Linéaire Général Simple (MLGS), qui ne comporte qu’une équation linéaire parmi les N.

Il s’écrit différemment selon la manière dont sont observées les variables du modèle :

- lorsque les observations s’effectuent au cours du temps, les variables sont des séries chronologiques et le modèle porte le nom de modèle en séries chronologiques ;

- lorsque les observations sont réalisées sur des échantillons d’individus, à un instant donné, le modèle porte le nom de modèle en coupe instantanée ;

- lorsque les observations portent sur des échantillons au cours du temps, on parle de modèle de Panels.

Si on considère le premier cas, le modèle s’écrit :

{ 1 ,..., n } ; Y

t 1 2

X

2t k

X

kt t

t ,

t ∈ = β + β + + β + ε

∀

L

avec n le nombre d’observations des variables,

Y

_t la variable endogène,

β

₁

,

L

, β

_k les paramètres inconnus du modèle,

X

₂

,

L

, X

_k les (k-1) variables exogènes (en réalité k, mais on considère que

t 1

X

_1t

= ∀

, ce qui permet de tenir compte d’une constante

β

₁) et

ε

_t l’aléa. En faisant varier t dans cette écriture, on obtient le MLGS sous sa forme matricielle :

) 1 , n ( ) 1 , k ( ) k , n ( ) 1 , n (

B X

Y = + ε

L3MS2_M1.doc 2/16 Dans ce cours, nous étudierons un cas particulier de ce MLGS, celui pour lequel on a une variable endogène Y reliée linéairement à une seule variable explicative X et à un aléa. On l’appelle le modèle de régression linéaire simple. Il s’écrit :

n , 1 t X

Y

_t

= α + β

_t

+ ε

_t

=

L pour le modèle en séries chronologiques

M

, 1 i U X

Y

_i

= α + β

_i

+

_i

=

L pour le modèle en coupe instantanée M

, , 1 i

n , , 1 it t it

it

X

Y

^L

L

==

ε + β + α

=

pour le modèle de Panels.

On retient par la suite la seule écriture en séries chronologiques et de ce fait t est le temps et l’ensemble

{ ^{1L , , n} }

est ordonné. Ce modèle se différencie de celui du cours de statistique descriptive qui s’écrit sous la forme exacte :

Y = α + β X

Le modèle de régression linéaire simple rassemble plusieurs formes non linéaires que l’on transforme en linéaire par anamorphose.

• Par exemple, le modèle semi-logarithmique

Y

_t

= α + β log X

_t s’étudie sur les couples

( Z

t

= log X

t

, Y

t

)

.

• Le modèle doublement logarithmique :

t t

t t

T Z

X log log

Y log

β + α′

=

β + α

=

s’étudie avec

( T

t

= log X

t

, Z

t

= log Y

t

)

. Ce modèle a pour paramètre β, le coefficient d’élasticité instantanée entre

Y

_t et

X

_t







 

 ×

∂

= ∂

t t t X t

/

Y

Y

X X E Y

t

t qui mesure la réponse, en pourcentage, de la variable

Y

_t suite à une modification de 1% de la variable explicative.

• Le modèle logistique du type : b

t aX

e

t

1 Y K

+

+

−

=

^s’écrit

1 AX b

Y

ln K

_t

t

+

 =





 

 −

^{avec A = -a, s’étudie avec}

 





 





 



 

 −

=

_t

t

t

1 ; X

Y ln K

T

. Ce modèle est souvent utilisé pour modéliser la pénétration des produits nouveaux sur un marché ou encore pour calculer la part de marché (K) d’un produit.

Il existe bien d’autres formes encore de modèles non linéaires transformables en linéaire par anamorphose.

Il est rare qu’en économie ce type de relation exacte existe. Dans la majorité des cas, X ne fournit qu’une partie de l’explication de la variable Y. On contourne cette difficulté en introduisant, dans le second membre de la relation, une nouvelle variable appelée aléa ou erreur. Cet élément aléatoire va permettre de synthétiser l’ensemble des influences sur Y que X ne peut expliquer. On suppose qu’il rassemble un nombre important mais indépendant de fluctuations, sans qu’aucune n’ait à elle seule une importance par rapport aux autres de telle sorte que cet élément puisse être assimilé à une variable aléatoire obéissant à une loi de probabilité définie sur un domaine.

On considère par la suite l’écriture du modèle linéaire en séries chronologiques :

n

, , 1 t X

Y

_t

= α + β

_t

+ ε

_t

=

L

le problème que nous devons résoudre dans ce cours est le calcul (on dit l’estimation) des paramètres inconnus α et β à partir des couples d’observations

( X

t

, Y

t

)

, ainsi que l’analyse et la pertinence du choix de ce modèle.

L3MS2_M1.doc 3/16 Si on appelle

α ˆ

et

β ˆ

les valeurs calculées du modèle à partir des observations sur Y et X, on peut alors obtenir une série de Y (notée

Y ˆ

_t) calculée à partir de la relation :

Y ˆ

_t

= α ˆ + β ˆ X

_t.

Ces valeurs calculées de

Y ˆ

_t ne coïncident par exactement avec les valeurs

Y

_t. Il y a donc une différence entre

Y

_t et

Y ˆ

_t ; cette distance notée

e

_t est appelée résidu de la valeur

Y

_t. Elle s’écrit :

t t t t t

t

Y Y ˆ Y e Y ˆ

e = − ⇔ = +

Or,

Y ˆ

_t

= α ˆ + β ˆ X

_t

⇒ Y

_t

= α ˆ + β ˆ X

_t

+ e

_t Nous avons donc deux écritures du modèle :

- une écriture de la forme théorique du modèle : t

t

t

X

Y = α + β + ε

- une écriture du modèle calculé : t

t

t

ˆ ˆ X e

Y = α + β +

Remarque : Ne pas confondre

e

_t et

ε

_t.

e

_t est connu,

ε

_t est inconnu ;

e

_t est la seule information dont on dispose concernant l’aléa

ε

_t.

L3MS2_M1.doc 4/16

Module 1 : Les estimateurs des Moindres Carrés Ordinaires (MCO)

Après avoir posé les hypothèses de base du modèle (unité 1), nous verrons dans ce module le principe de calcul des estimateurs des moindres carrés ordinaires (unité 2) ainsi que les propriétés de ces estimateurs (unité 3).

1. Les hypothèses de base du modèle

Le problème statistique à résoudre est le calcul des paramètres α et β, sachant les observations de Y et de X.

Il existe deux méthodes permettant le calcul de α et β : la méthode des moindres carrés ordinaires (MCO) et la méthode du maximum de vraisemblance. L’utilisation de ces deux méthodes conduit à des valeurs calculées de α et β qui possèdent des propriétés statistiques remarquables. Cela implique qu’un certain nombre d’hypothèses de base soient vérifiées avant l’utilisation de ces méthodes.

X est une variable aléatoire contrôlée (indépendante de l’aléa) :

^cov ( ^X

t

^, ε

t

) = ⁰

[ ] ⁰

E ε

_t

=

^V [ ] ^ε

^t

^{= E} { [ ^ε

^t

^{− E} [ ] ^ε

^t

]

²

} ^{= E} [ ] ^ε

^2t

^{= σ}

^2ε

^{∀ t , t ∈ { 1}

^L

^{n }}

hypothèse d’homoscédasticité. Cela implique que la variance des

ε

_t est constante quel que soit t

[ ] ^{. E} { ^{[ E [ ] ]} [ ^{E [ ]} ] } ^E [ ] ^{t et t { n } t t}

cov ε

_t

ε

_t'

= ε

_t

− ε

_t

ε

_t'

− ε

_t′

= ε

_t

ε

_t′

=

0

∀ ′ ∈

1L

≠ ′

hypothèse de non autocorrélation des erreurs.

On peut regrouper ces deux dernières hypothèses et écrire :

[ ]



 



≠ ′

= ′

= σ ε

ε

_′ ^ε

t t si 0

t t E si

2 t

t

Ces trois hypothèses sont fondamentales pour l’application de la méthode des MCO. Pour utiliser la méthode du maximum de vraisemblance, on suppose en outre vérifiée l’hypothèse de normalité des aléas c'est-à-dire :

ε

_t

≡ N ( 0 , σ

_ε

)

Trois quantités sont donc inconnues dans ce modèle : α, β et

σ

²_ε. L’objectif des méthodes d’estimation est de trouver des estimateurs de ces paramètres inconnus qui possèdent les propriétés requises par la théorie statistique.

L3MS2_M1.doc 5/16

2. Les estimateurs des moindres carrés ordinaires

La méthode des MCO consiste à minimiser la somme des carrés des écarts, écarts entre la valeur observée de la variable endogène (pour un point du nuage) et sa valeur calculée par le modèle.

Graphiquement, il s’agit de la distance mesurée parallèlement à l’axe des ordonnées entre ces deux points.

De ce fait, l’écart entre l’observé et le calculé est le résidu, noté

e

_t. t

t

t

Y ˆ e

Y − =

MCO :

∑ ⁼ ∑ ( ⁻ ) ⁼ ∑ ( ^{− α − β} ) ^{= φ} ( ) ^{α β}

=

=

=

, ˆ ˆ Min ˆ X

ˆ Y Min Y ˆ

Y Min e

Min

n 1 t

2 t t

n 1 t

2 t t n

1 t

2 t

Il s’agit de la minimisation d’une fonction

φ

à deux inconnues

α ˆ

et

β ˆ

. La solution, si elle existe, est donnée par le système d’équations normales suivant :

 



 

 β =

∂ φ

∂ α =

∂ φ

∂

ˆ 0 ˆ 0

avec

α

∂ φ

∂

ˆ

la dérivée de la fonction

φ

par rapport à

α ˆ

( ^{Y ˆ ˆ X} ) ^{0 n Y n ˆ ˆ n X 0}

ˆ = − 2

^t

− α − β

^t

= ⇔ − α − β = α

∂ φ

∂ ∑

ˆ X Y ˆ = − β α

⇔

la droite passe par le centre de gravité

^G ( ) ^{X , Y}

du nuage de régression.

( ^{Y ˆ ˆ X} ) ^{X 0}

ˆ = − 2

^t

− α − β

^{t t}

= β

∂ φ

∂ ∑

( )

( ^Y

t

− ^Y − β ^{ˆ X} − β ^{ˆ X}

t

) ^X

t

= ⁰

⇒ ∑

( ^Y

t

^X

t

− ^{Y X}

t

+ β ^{ˆ X X}

t

− β ^{ˆ X}

²t

) = ⁰

⇔ ∑

0 ˆ X

X ˆ n Y X n X

Y

_{t t}

− + β

²

− β

²_t

=

⇔ ∑ ∑

( ^{X n X} ) ⁰

Y ˆ X n X

Y

_{t t}

− − β

²_t

−

²

=

⇔ ∑ ∑

Y

y

Droite des moindres carrés x ou droite de régression

ou droite d'ajustement Nuage de points

x X Y

Yt

Yˆt

t t ˆ ˆX Yˆ =α+β

L3MS2_M1.doc 6/16 2

2 t

t t

X n X

Y X n Y ˆ X

−

= − β

⇔ ∑

∑

Il faut vérifier que

α ˆ

et

β ˆ

minimisent bien la somme des

e

_t. Pour cela, on calcule les dérivées secondes.

∑ ^>

β =

∂ φ

∂

>

α =

∂ φ

∂

0 X ˆ 2

0 2 ˆ

2 2 t

2 2 2

Ecriture du modèle sur données centrées :

Y Y y

X X x

t t

t t

−

=

−

=

t t t

t t

yˆ y e

Y Y ˆ yˆ

−

=

−

=

On peut calculer

α ˆ

et

β ˆ

en fonction des données centrées par une démonstration analogue à la précédente :

MCO :

∑

2

⁼ ∑ (

t

⁻

t

)

²

t

Min y yˆ

e Min

Et on peut vérifier que :

∑

= ∑

β

β

−

= α

2 t

t t

x y ˆ x

ˆ X ˆ Y

Ce changement de variable consiste à modifier le système d’axes dans le nuage de régression en plaçant l’origine au centre de gravité G.

3. Les propriétés des estimateurs des moindres carrés ordinaires 3.1 Les estimateurs des MCO sont des fonctions linéaires des Y

_t

de Y.

( )

∑

∑

∑

∑

∑

∑

∑

∑ ₌ ⁻ _{= −}

=

β

2

t t 2

t t t 2

t t t 2

t t t

x Y x x

Y x x

Y Y x x

y ˆ x

Or :

∑ ^x

t

⁼ ∑ ( ^X

t

^{− X} ) ^{= n X − n X = 0}

∑ ∑

∑ =

= β

⇒

_{t t}

2 t t

t

w Y

x Y

ˆ x

_avec

= ∑

₂

t t t

x w x

Propriétés des

w

_t :

•

0

x x

w

2

t t

t

= =

∑

∑ ∑

^car

∑ ^x

t

= ⁰

Les dérivées partielles secondes sont positives. La solution trouvée par les dérivées partielles premières

( ) ^{α ˆ , β ˆ}

est un minimum.

L3MS2_M1.doc 7/16

•

^{∑ ∑ ∑    =} ( ) ^{∑ ∑ = ∑}











=

2

t 2 2

t 2 t 2

2 t t 2

t

x

1 x

x x

w x

2 1

2 2

=

=

×

=

∑

∑

∑ ∑

∑

t t

t t t t

t

x x

x x x x

w

De plus :

∑ ^w

t

^x

t

⁼ ∑ ^w

t

( ^X

t

^{− X} ) ⁼ ∑ ^w

t

^X

t

^{− X} ∑ ^w

t

⁼ ∑ ^w

t

^X

t

^{= 1}

De ce fait

α ˆ

s’écrit :

t t

t

t t t

Y w n X 1

Y w X n Y

X 1 Y ˆ ˆ

∑

∑

∑

 

 



 −

=

−

= β

−

= α

D’où en résumé :

 



 



 

 



 −

= α

= β

∑

∑

t t

t t t

Y w n X ˆ 1

Y ˆ w

avec

1 X w x

w

x w 1

0 w

t t t

t

2 t 2

t t

=

=

=

=

∑

∑

∑ ∑

∑

3.2 α ˆ et β ˆ sont des estimateurs (linéaires) sans biais de αααα et ββββ .

Considérons

^β ˆ ⁼ ∑ w

t

Y

t _avec

t t

t

X

Y = α + β + ε

, il s’écrit :

( )

∑

∑

∑

∑

∑

ε +

β

=

ε +

β + α

=

ε + β + α

= β

t t

t t t

t t

t t t

w

w X

w w

X ˆ w

D’où :

[ ] ^{β = β +}

_{

^{[ ] ε = β}

=

∑

0 t t

E ˆ w

E

De même :

•

L3MS2_M1.doc 8/16

[ ]

( )

 





 



  ε



 



 −

+ α

=

 





 



  ε



 



 −

+ β

− β + α

=

 





 



 ε − α − β − ε

+ β

+ α

=

 





 



  α + β + ε



 



 −

=

 





 





 

 



 −

= α

∑

∑

∑ ∑ ∑ ∑ ∑ ∑

∑

∑

t

t t t

t t

t t

t t t

t t t

t t

t t

t t

t t t

t

t t

w n X E 1

w n X X 1

X E

w X X

w X w n X

n X n

E 1

X w

n X E 1

Y w n X E 1 ˆ E

[ ] ^{α = α +} ∑ ^ _ ^{ − } _ ^

_{

[ ] ^{ε = α}

=

t 0

t

t

E

w n X ˆ 1

E

En conclusion, les estimateurs

α ˆ

et

β ˆ

de α et β sont des estimateurs sans biais de leur vraie valeur α et β.

[ ] ^{β ˆ = β E [ ] α ˆ = α}

E

3.3 α ˆ et β ˆ sont des estimateurs à variance minimale de αααα et ββββ .

3.3.1 Variances et covariances de

α ˆ

et

β ˆ

Calcul de

^V ( ) ^{β ˆ = E} [ ^{β ˆ − E} ( ) ^{β ˆ} ]

²

( ) [ ] [ ]

[ ]

[ ] ^{[ ]}

∑ ∑

∑ ∑

∑

∑ ∑

∑

∑

ε ε σ

= σ σ

=

ε ε +

ε

=

ε ε +

ε

=

ε

= β

− β

= β

2 t 2 2

t 2

t t' 0

' t t ' t 2 t

t 2 t

' t t ' t t 2

t 2 t

2 t t 2

x w

E w w 2 E w

w w 2 w

E

w ˆ E

ˆ E V

2

43 42 3 1

2 1

( ) ∑

^ε

= σ

β

2

t 2

x V ˆ

Calcul de

^V ( ) ^{α ˆ = E} [ ^{α ˆ − E} ( ) ^{α ˆ} ]

²

L3MS2_M1.doc 9/16

( ) [ ]

[ ] ^{[ ]}

 





 



 +

σ

=

 





 



 + σ

=

 





 





 





 



 − +

σ

=

 

 



 − σ

=

ε ε

 

 



 −

 

 



 −

+ ε

 

 



 −

=

 





 



  ε ε



 



 −

 

 



 −

+ ε

 

 



 −

=

 

 



  ε



 



 −

= α

− α

= α

∑

∑

∑

∑

∑

∑ ∑

∑

∑ ∑

∑

∑

ε ε ε ε

σ_ε

2 t

2 2 t 2

2 t 2 2

2 t 2 2 t

2

2 2 t

t t'

0 ' t t ' t t

t

2 t 2 t

t t'

' t t ' t t

t

2 t 2 t

2 t

t t 2

x n

X n x

x X n 1

w X n w

2 X n

1 w n X 1

E w n X w 1 n X 2 1

E w n X 1

w n X w 1 n X 2 1

w n X E 1

w n X E 1 E ˆ

V ˆ

2

43 42 3 1

2 1

Or

∑ ^x

²t

= ∑ ( ^X

t

− ^X )

²

= ∑ ^X

²t

+ ^{n X}

²

−

²

∑ ^X

t

^X = ∑ ^X

²_t

+ ^{n X}

²

−

²

^{n X}

²

= ∑ ^X

²_t

− ^{n X}

²

( ) ∑

ε

∑

σ

=

α

2

t 2 t 2

x n ˆ X

V

Calcul de

^Cov ( ) ^{α ˆ , β ˆ} ( ) ^{α ˆ , β ˆ = E} { ^{[ α ˆ − α ]} [ ] ^{β ˆ − β} }

Cov

avec

∑

∑

ε

= β

− β

ε

 

 



 −

= α

− α

t t

t t

ˆ w

w n X ˆ 1

( )

[ ]

∑ ∑

∑ ∑

ε ε

 

 



 −

=

 



 

  ε ε



 



 −

= β α

t

' t t '

t

' t t t t'

' t t t t

E w w n X 1

w w n X E 1

, ˆ ˆ Cov

On retient ici t = t’

⇒ E [ ε

t

ε

t'

] = σ

²_ε

( ) ∑  σ

_ε

= − σ

_ε

∑ = − σ

_ε

∑



 



 −

= β α

⇒

2

t 2 2 t 2 t

t 2

t

x

w X X w

w n X ˆ 1

ˆ , Cov

( ) ^{α β = − σ}

^ε

∑

²_t

2

x ˆ X

ˆ , Cov

3.3.2 Les estimateurs sont de variance minimale

L3MS2_M1.doc 10/16 Pour démonter cette propriété, considérons un estimateur linéaire quelconque

β ~

de β par rapport à

Y

t. Il s’écrit :

∑

=

β c

_t

Y

_t

~

Si

β ~

est sans biais et de variance minimale, alors :

t

t

w

c

~ et

= β

= β

Pour que

β ~

soit sans biais, il faut que :

[ ] ^{β ~ = β}

E

. Or,

( )

∑

∑

∑

∑

∑

ε + β

+ α

=

ε + β + α

=

= β

t t t

t t

t t t

t t

c X

c c

X c

Y

~ c

D’où

[ ] [ ]

{

[ ] ε = β +

β + α

=

ε + β

+ α

= β

∑

∑

∑

∑

∑

∑

0 t t t

t t

t t t

t t

E c X

c c

c X

c c

~ E E

Ce qui impose les contraintes sur

c

_t

∑ ^c

t

^{= 0}

∑ ^c

t

^X

t

^{= 1}

Par ailleurs, on sait que si ces contraintes sont vérifiées :

( ) [ ^{( )} ] [ ] ^∑  = σ

ε

^∑



 



 ε

= β

− β

= β

− β

= β

t 2 t 2 2 t

t t 2

2

~ E c c

E

~ E

~ E V

Le problème est de minimiser

^V ( ) ^{β ~}

sachant que les contraintes sont vérifiées. Il s’agit d’une minimisation sous contrainte qu’on résout en utilisant la procédure des multiplicateurs de Lagrange.

Le lagrangien s’écrit :

 





 



 −

µ

− λ

− σ

=

φ

_ε

∑ ^c ∑ ^c ∑ ^{c X 1}

t t t t

t t

2 t 2

Cette fonction admet un minimum pour les valeurs qui annulent les dérivées partielles premières :

 

 







 







=

−

⇔

 =







 



 −

−

= ⇒ µ

∂ φ

∂

=

⇔

=

−

= ⇒ λ

∂ φ

∂

∀

= µ

− λ

− σ

= ⇒

∂ φ

∂

∑

∑

∑

∑

ε

0 1 0

1 0

0 0

0

0 2

0 ²

t t t t

t t

t t t

t

t t

t

X c X

c

c c

t X

c c

Soit :

L3MS2_M1.doc 11/16

 





 







=

= σ

µ +

= λ

∑

∑

^ε

t t t t

t t t

X c c c X

1 0 2 ²

Avec la première et la deuxième contrainte on a :

( ) _X

n X 0

X n

2

c X

^t

t t

t

t 2

t t

t

= λ + µ = ⇒ λ = − µ = − µ

σ µ +

= λ

∑

∑

∑

∑

ε

D’où

( )

2 t 2

t 2

t

t

2

x 2

X X 2

X c X

ε ε

ε

σ

= µ σ

−

= µ σ

µ + µ

= −

En utilisant la troisième contrainte on a :

∑

∑

ε ε

= σ µ

= ⇒ σ µ

t t t

2 2

t t t

X x 1 2

2 X x

Or :

( )

∑

∑

∑

∑

∑

= +

=

+

=

t 2 t 0

t t t

2 t t

t t t

t t

x x

X x

X x x X

x

3 2 1

∑

σ

ε

= µ

⇒

t 2 t 2

x 2

En définitive :

∑

∑

∑ =

σ

= σ σ σ σ =

= µ

ε ε ε

ε

ε 2 2 2

2 2

2 2

2 2

2 2

2

2 _t

t t

t t

t t

t

x

x x

x x

x x c

Or : _t

2 t

t

w

x x =

∑

et donc :

t

t

w

c =

et

β ~ = β

∑ ∑

∑

 

 





 

 





=

= β

⇒

t

t t

2 t t t

t

t

Y

x Y x

~ c

L3MS2_M1.doc 12/16 Or,

^{β =} ∑

t t t

Y

ˆ w

_où

= ⇒ β = β

∑

ˆ ~ x w x

t 2 t t t

Les estimateurs des moindres carrés

α ˆ

et

β ˆ

sont parmi tous les estimateurs linéaires sans biais les meilleurs au sens de la variance minimale.

Les estimateurs des MCO sont des estimateurs linéaires, sans biais et de variance minimale. Ils sont dits estimateurs BLUE (Best Linear Unbiased Estimator).

3.4 α ˆ et β ˆ sont des estimateurs convergents.

Comme ils sont sans biais, les estimateurs sont convergents si :

( ) ^{ˆ 0}

V

n→

→

+∞

β

et

^V ( ) ^{ˆ 0}

n→

→

+∞

α

Or :

( ) ^{ˆ x} ( ^{X X} ) ^{ns 0}

V

2 n 2

t

2 t

2

t 2 t 2

+∞

→ ε ε

ε

= σ →

−

= σ

= σ

β ∑ ∑

avec s² la variance d’échantillon de

X

_t

De même :

( ) ⁰

x n

X ˆ

V

n t

2 t t

2 t 2

+∞

ε →

→

σ

=

α ∑

∑

3.5 Estimateur de la variance de l’erreur σ

²_ε

Détermination d’un estimateur sans biais de

σ

²_ε qui est un paramètre inconnu pour l’utilisation des MCO.

Sachant que : t t

t

X

Y = α + β + ε

Et que :

ε + β + α

= X

Y

Alors

( ^{ε − ε} )

+ β

=

⇔ ε

− β

− α

− ε + β + α

=

−

=

_{t t t t t t}

t

Y Y X X y x

y

Par ailleurs comme :

t t t t t

t

Y Y ˆ y yˆ y ˆ x

e = − = − = − β

( ^{ε − ε} ) ^{− β = −} ( ) ^{β − β + ( ε − ε )}

+ β

=

_{t t t t t}

t

x ˆ x ˆ x

e

On peut alors calculer la somme des carrés des écarts résiduels de la droite de régression :

( )

( ) ∑ ∑ ^{( )} ( ) ∑ ^{( )}

∑

∑

ε

− ε β

− β

− ε

− ε + β

− β

=

−

=

t t t t

2 t t

2 t 2 t

2 t t t

2 t

ˆ x 2 ˆ x

yˆ

y

e

L3MS2_M1.doc 13/16

( ) ^{( )} ( ) ^{( )}

 





 



 β − β ε − ε

 −







 



 ε − ε

 +







 



 β − β

 =







 



 ∑ ∑ ∑ ∑

t t t t

t t

t t

t

E ˆ x E E ˆ x

e

E

^{2 2 2 2} 2

De sorte que :

( ) ^{ =} _ ^ ( ) ^{β − β} _ ^



 



 β − β ∑ ∑

²

t 2 t t

2 t

2

x x E ˆ

E ˆ

Or

( ) [ ]

∑

σ

ε

 =

 

 

 β − β

= β

t 2t 2 2

x E ˆ

V ˆ

D’où :

( )

²

t 2t

ˆ x

V β ∑ = σ

_ε ^et

( )

²

t 2 t

2

x

E ˆ  = σ

_ε



 



 β − β ∑

( )

( ) ^{[ ]}

( )

²

2 2

t t' 0

' t t t

2 t 2

t t' ' t t t

2 t t

2 t

2

t t t

2 t

2 t

2 t t

2 t

1 n n n

n 1

E 2

n E n 1

2 n E

E 1

n nE 1 E

n E

E

ε ε

ε ε

σ

−

= σ

− σ

=

 





 





ε ε

− ε

− σ

=

 





 



 ε + ε ε

 −







 



 ε

=

 





 



 ε

 −







 



 ε

=

 





 



 ε − ε

 =







 



 ε − ε

∑∑

∑

∑∑

∑

∑

∑

∑

∑

∑

43 42 1

( ) ( ) ( )

( )  





 



 β − β ε

=

 

 







 

 







 

 







 

 







ε

− ε β

− β

 =







 



 β − β ε − ε

∑

∑

∑

∑

t t t

0 t

t t

t t t

t t

ˆ x E

x ˆ x

E ˆ x

E

3 2 1

Rappel :

∑

∑

∑

∑

ε

= ε

= β

− β

ε +

β

= β

t 2 t t

t t t

t t t

t t

x x ˆ w

ˆ w

D’où :

L3MS2_M1.doc 14/16

( ) ^{( )}

 

 

 





 

 

 





 





 



 ε

=

 

 





 

 





ε ε

 =



 



 β − β ε − ε

∑

∑

∑ ∑

∑

∑

t 2 t

2 t

t t

t t t t

2 t t

t t t

t t

x x E

x x x E ˆ x

E

( ) ^{( )}

[ ] ^{[ ]}

2

t 0

t t '

t t t 2

t t

2 t t

2 t

t t'

' t t ' t t t

2 t 2 t t

2 t t

t t

E x x 2 E x x 1

x x 2 x

E x x 1

E ˆ

2

ε

σ

σ

=

 

 





 

 





ε ε +

ε

=

 

 



 ε + ε ε

=

 

 



 β − β ε − ε

∑ ∑

∑ ∑

∑ ∑

∑ ∑

∑

ε

3 2 3 1

2 1

En reprenant les résultats, on trouve donc :

( )

^{2 2}

( )

²

2 t

2

t

n 1 2 n 2

e

E = σ

_ε

+ − σ

_ε

− σ

_ε

= − σ

_ε

 





 



 ∑

D’où :

2 n

e E

t 2t 2

−

 

 





= σ

∑

ε

Ainsi en définitive on obtient un estimateur

σ ˆ

²_ε sans biais de

σ

²_ε ^:

⇒ n 2

e

ˆ

^t

2 t 2

= − σ

∑

ε

3.6 Les estimateurs des moindres carrés α ˆ et β ˆ de αααα et ββββ correspondent aux estimateurs du maximum de vraisemblance

Pour parvenir aux résultats précédents, on n’a fait aucune hypothèse concernant la loi de probabilité de

ε

_t. En supposant à présent que

ε

_t obéit à une loi normale, on peut obtenir les estimateurs issus de la méthode du maximum de vraisemblance et réaliser par la suite des tests des paramètres de la régression.

Comme les différents

ε

_t ont des distributions identiques ont peut conclure que les couples

( X

t

, Y

t

)

correspondent à des valeurs de

ε

_t issues d’une même distribution f(ε) et on a :

L3MS2_M1.doc 15/16

[ ] ( )

( )

2 2 t t

2 X Y t

t t

e 2 1

d f d ob

Pr

σε

β

− α

− −

ε

π

= σ ε ε

= ε + ε

<

ε

<

ε

La forme de la densité de probabilité étant connue, la fonction de vraisemblance de l’échantillon s’écrit :

( ) ( ) ( )

2 2 2

2 2

2 1 1

2 2

2

2 1 2

1 2

1 _{ε ε σε}

β

− α

− − ε

σ β

− α

− − ε

σ β

− α

− −

ε

× × σ π

π

× σ π

= σ

n n

t

t X Y X

Y X

Y

e e

e

L

L L

Soit

( )

( )

2 2 t t

2 X Y n

e 2

L 1

^σε

β

− α

− − ε

∑ π

= σ

ou encore

( ) _{− σ − π}

σ β

− α

− −

=

_ε

ε

∑ ln 2

2 ln n n 2

X L Y

ln

2

t 2

t Puisque le maximum de la fonction de vraisemblance est aussi le maximum du logarithme népérien de la fonction de vraisemblance, la fonction Ln étant une fonction monotone croissante.

En maximisant lnL par rapport à α, β et

σ

²_ε on trouve les estimateurs

α ˆ

,

β ˆ

_et

σ ˆ

²_ε qui correspondent au maximum de vraisemblance.

( )

( )

( )

 

 



 

 





σ =

− β

− α σ −

σ =

∂

∂

= β

− α σ −

β =

∂

∂

= β

− α σ −

α =

∂

∂

ε ε

ε ε ε

∑

∑

∑

0 2 2

1 1 0 1 0

2 2 4

2 2 2

X n

~ Y L ln

X Y

~ X L ln

X

~ Y L ln

t t

t t

t

t t

Les deux premières équations permettent de vérifier que :

β

= β

α

= α

~ ˆ

~ ˆ

La dernière équation conduit à :

n

~

²

₌ ∑ e

^2t

σ

_ε

Or d’après le résultat des MCO : 2 2

t

2 n

E e = σ

_ε

 





 





−

∑

D’où

^E _n ^e

^2t

_ ^{ =} _n ¹ [ ] ^e

^2t

⁼ _n ^{1 σ}

²

^{( n − 2 )}





 





∑

ε

∑

L3MS2_M1.doc 16/16 L’estimateur de

σ

²_ε qui correspond au maximum de vraisemblance est donc biaisé et on retient par la suite celui des MCO.