Exercice 1 Mod` ele lin´ eaire : cas des erreurs centr´ ees et non corr´ el´ ees.

Fr´ ed´ eric Bertrand Magist` ere 2` eme ann´ ee - 2007/2008

Devoir en temps libre n ^o 5

Exercice 1 Mod` ele lin´ eaire : cas des erreurs centr´ ees et non corr´ el´ ees.

Nous consid´ erons une variable d’int´ erˆ et Y et k variables exog` enes (X

, . . . , X

) que nous avons pu observer sur un ´ echantillon de taille n. Pour l’observation i, nous avons donc le vecteur ligne (Y

, X

, . . . , X

). Consid´ erons un mod` ele lin´ eaire :

Y = Xθ + , (1)

o` u X est la matrice de taille (n, k) des donn´ ees exog` enes o` u chaque ligne est constitu´ ee par un individu et chaque colonne est associ´ ee ` a l’une des variables X

que nous avons observ´ ees, θ est un vecteur de k param` etres inconnus et un vecteur al´ eatoire de taille n.

Nous faisons uniquement les deux hypoth` eses suivantes sur la loi du vecteur : (H1) E [] = 0.

(H2) V ar [] = σ

I

, o` u σ est inconnu et est de ce fait un param` etre additionnel du mod` ele.

(H3) X

X ∈ GL

( R ).

Nous notons [X], le sous-espace vectoriel de R

engendr´ e par les colonnes de la matrice X. Pour F un sous-espace vectoriel de R

, nous notons P

le projecteur orthogonal sur F .

1. D´ eterminer θ b l’estimateur des moindres carr´ es du vecteur de param` etres θ du mod` ele (1). Pr´ eciser le biais et la variance de θ b ainsi qu’une expression du projecteur P

` a l’aide de la matrice X.

2. Nous nous int´ eressons aux propri´ et´ es du carr´ e moyen r´ esiduel,

Y − X θ b

2

, en tant qu’estimateur σ b

du param` etre σ

.

a. Montrer que (n − k) σ b

= Tr

P

. b. En d´ eduire que (n − k) E

h σ b

i

= σ

Tr P

E [

] . c. Conclure.

3. θ b et σ b

sont-ils corr´ el´ es ?

4. L’objectif est de montrer que l’estimateur des moindres carr´ es θ b est l’unique estimateur lin´ eaire sans biais optimal parmi tous les estimateurs lin´ eaires sans biais (Th´ eor` eme de Gauss-Markov). L’optimalit´ e signifie que pour tout autre estimateur lin´ eaire sans biais θ e de θ :

V ar h θ e i

− V ar h θ b i

∈ S

. (2)

a. Soit θ e un estimateur lin´ eaire sans biais de θ. Justifier qu’il existe une matrice M de taille (k, n) telle que θ e = M Y . Montrer que M X = I

.

1

Fr´ ed´ eric Bertrand Magist` ere 2` eme ann´ ee - 2007/2008

b. Trouver une matrice T de taille (k, n) telle que θ b = T P

Y .

c. Montrer que θ e = θ b + M P

Y et que les deux termes du membre de droite de l’´ equation pr´ ec´ edente ne sont pas corr´ el´ es. En d´ eduire le th´ eor` eme de Gauss-Markov.

Exercice 2 Moindres carr´ es g´ en´ eralis´ es

Nous consid´ erons une variable d’int´ erˆ et Y et k variables exog` enes (X

, . . . , X

) que nous avons pu observer sur un ´ echantillon de taille n. Pour l’observation i, nous avons donc le vecteur ligne (Y

, X

, . . . , X

). Consid´ erons un mod` ele lin´ eaire :

Y = Xθ + , (3)

o` u X est la matrice de taille (n, k) des donn´ ees exog` enes o` u chaque ligne est constitu´ ee par un individu et chaque colonne est associ´ ee ` a l’une des variables X

que nous avons observ´ ees, θ est un vecteur de k param` etres inconnus et un vecteur al´ eatoire de taille n.

Nous faisons uniquement les deux hypoth` eses suivantes sur la loi du vecteur : (H1) E [] = 0.

(H2) V ar [] = σ

Σ, o` u Σ est une matrice connue et σ est inconnu ce qui en fait un param` etre additionnel du mod` ele.

(H3) X

X ∈ GL

( R ).

1. D´ eterminer l’estimateur θ b des moindres carr´ es ordinaires du vexteur de pa- ram` etre θ du mod` ele 3, puis calculer son biais ainsi que sa variance.

2. L’espace vectoriel R

est d´ esormais muni de la m´ etrique d´ efinie par la distance suivante :

∀(y

, y

) ∈ R

× R

, ky

− y

k

= (y

− y

)

Σ

(y

− y

). (4) V´ erifier que l’´ equation (5) suivante permet bien de d´ efinir un unique estimateur des moindres carr´ es g´ en´ eralis´ es θ b

.

θ b

= argmin

kY − Xθk

. (5)

Donner l’expression de θ b

, son esp´ erance et sa variance.

3. Retrouver le r´ esultat de la question 2. en utilisant les changements de variable Y e = Σ

Y , X e = Σ

X et e = Σ

, avec Σ

est l’unique matrice d´ efinie postive dont le carr´ e est ´ egal ` a Σ

, puis en appliquant le th´ eor` eme de Gauss-Markov, d´ emontr´ e ` a l’exercice 1, au mod` ele (6) ci-dessous.

Y e = Xθ e + e , (6) 4. En d´ eduire une g´ en´ eralisation du th´ eor` eme de Gauss-Markov au cas de l’esti- mation par moindres carr´ es g´ en´ eralis´ es ainsi que l’optimalit´ e de l’estimateur θ b

parmi la classe des estimateurs lin´ eaires sans biais de θ.

5. Comparer la variance de θ b et θ b

. Quelle est l’in´ egalit´ e matricielle associ´ ee ? 6. Trouver un estimateur sans biais de σ

.

2