xn)est donc égale à : lnL(x1

Corrigé de l’interrogation n 2 Exercice [8points]

On dispose d’un échantillon (X₁; X₂; :::; X_N) de taille N d’une variable suivant une loi Normale de paramètresmet ² avec >0, de densité :

f(x;m; ²) = 1

p2 ² exp 1

2 ²(x m)²

1- La fonction de vraisemblance associée à la loi Normale de paramètre m et ²est donc:

L(x₁; x₂; :::; x_N;m; ²) = Yn i=1

f(x;m; ²) = YN i=1

p 1

2 ² exp 1

2 ²(x m)²

= (2 ²) ^N2 YN i=1

exp (x_i m)²

2 ² = (2 ²) ^N2 exp 1 2 ²

XN i=1

(xi m)²

!

La log-vraisemblance d’un échantillon(x₁; x₂; :::; x_n)est donc égale à :

lnL(x1; x2; :::; xN;m; ²) = lnh

(2 ²) ^N2i + ln

"

exp 1

2 ² XN i=1

(xi m)²

!#

= N

2 ln 2 ² 1 2 ²

XN i=1

(x_i m)²

= N

2 ln [2 ] N

2 ln ² 1 2 ²

XN i=1

(xi m)²

2- En utilisant la condition du premier ordre portant sur m; déterminer l’estimateur du maximum de vraisemblancemb du paramètrem.

1.b. A…n de déterminer l’estimateur du maximum de vraisemblance mb du paramètre m, il faut maximiser la log-vraisemblance par rapport à la variable m à (x₁; x₂; :::; x_N) donnés. La première étape consiste à résoudre l’équation correspondant à la condition du premier ordre :

@lnL

@m (x1; x2; :::; xN;m; ²) = 0

or ^@_@m^lnL(x₁; x₂; :::; x_N;m; ²) = ₂¹2

PN i=1

( 2) (x_i m) = ¹2

PN i=1

(x_i m)donc :

@lnL

@m (x₁; x₂; :::; x_N;m; ²) = 0() ¹² PN i=1

(x_i m) = 0^ () PN i=1

(x_i m) = 0^ d’où

@lnL

@m (x₁; x₂; :::; x_N;m; ²) = 0 () PN i=1

x_i PN i=1

^

m = 0() PN i=1

x_i =N m^ ()

^ m=_N¹

PN i=1

x_i=x

La fonctionm!lnL(x1; x2; :::; xN;m; ²)atteint donc un extrémum (c’est- à-dire un maximum ou un minimum) au point m^ = _N¹

PN i=1

xi. Il s’agit bien d’un maximum car la fonctionm!lnL(x1; x2; :::; xN;m; ²)est concave. En e¤et, pour tout(x1; x2; :::; xN;m; ²);on a :

@²lnL

@m² (x₁; x₂; :::; x_N;m; ²) = N

2 <0

En particulier, la condition du second ordre^@_@m^2ln2^L(x₁; x₂; :::; x_N;m; ²)<0est satisfaite.

Conclusion: L’estimateur du maximum de vraisemblance du paramètre m estm^ = _n¹

Pn i=1

Xi. 3- On poses= ²:

lnL(x1; x2; :::; xN;m; ²) = N

2 ln [2 ] N

2 ln ² 1 2 ²

XN i=1

(xi m)²

= N

2 ln [2 ] N

2 ln [s] 1 2 s

XN i=1

(x_i m)²

La condition du premier ordre surs: ^@_@s^lnL(x1; x2; :::; xN;m; ²) = 0or

@lnL

@s (x1; x2; :::; xN;m; ²) = N 2

1 s+1

s² 1 2

XN i=1

(xi m)²= 1 2s

"

N +1 s

XN i=1

(xi m)²

#

donc : ^@ln_@s^L(x₁; x₂; :::; x_N;m; ²) = 0 et pour m = ^m = x () N +

1 s

PN i=1

(xi x)²= 0() ¹s

PN i=1

(xi x)² =N d’où ^@_@m^lnL(x1; x2; :::; xN;m; ²) = 0

() PN i=1

(x_i x)²=N ^s()s^ =

PN i=1

(xi x)² N

La fonctions!lnL(x₁; x₂; :::; x_N;m; ²)atteint donc un extrémum (c’est- à-dire un maximum ou un minimum) au point s^ =

PN i=1

(xi x)²

N . Il s’agit bien d’un maximum car, pour tout(x1; x2; :::; xN;m; ²);on a :

@²lnL

@s² (x1; x2; :::; xN;m; ²) = N 2

1 s²

2 s s⁴

1 2

XN i=1

(xi m)²= N 2

1 s²

1 s³

XN i=1

(xi x)²

Pour s = ^s =

PN i=1

(xi x)²

N , ^@2_@s^ln2^L(x1; x2; :::; xN;m; ²) = ^N_{2 s^}¹2 1

^

s³N s^ =

N 2

1

^ s² <0

D’où, la condition du second ordre ^@2_@s^ln2^L(x1; x2; :::; xN;m; ²)<0 est sat- isfaite.

Conclusion: L’estimateur du maximum de vraisemblance du paramètre s ests^=

PN i=1

(xi x)² N

4-E( ^m) = _N¹ PN i=1

E(Xi) =^{N m}_N =m(l’estimateurm^ est sans biais).

V( ^m) =V _N¹ PN i=1

Xi = _N¹2V PN i=1

Xi or V PN i=1

Xi = PN i=1

V(Xi) car les X_i sont supposés indépendants, donc

V( ^m) = _N¹2

PN i=1

V(X_i) = _N¹2N ²= _N²

L’expression de la quantité d’information de Fisher est : I_n(m) =E @ln lnL(X₁; :::; X_N ;m; ²)

@m

2!

= E @²ln lnL(X₁; :::; X_N ;m; ²)

@m²

D’après ce qui précède, on a :^@_@m^2ln2^L(x1; x2; :::; xN ;m; ²) = ^N2 donc E ^{@2lnL(X1;:::;X}_@m2^{N ;m; 2)} = ^N2 et In(m) = ^N2

L’estimateurm^ est un estimateur sans biais et sa variance véri…e V( ^m) =

1

In(p). Il s’agit donc d’un estimateur e¢ cace.

5***(Bonus 2 points) Etudier le biais de s:b Comment peut-on le modi…er pour qu’il devienne sans biais ?

E(^s) = E 2 4

PN i=1

(xi x)² N

3

5 = _N¹ E PN i=1

(xi x)² = _N¹ PN i=1

E (xi x)² Or E (xi x)² =V [(xi x)] + [E(xi x)]²

E(xi x) =E(xi) E(x) =m m= 0 V [(x_i x)] =V(x_i) 2Cov(x_i; x) +V (x) Cov(xi; x) = Cov xi;_N¹

PN i=1

xi = _N¹Cov(xi; xi) + _N¹Cov xi; PN j6=i

xi

!

=

1

NCov(x_i; x_i) + 0 = _N¹V (x_i) = _N²

D’où,V [(xi x)] =V (xi) 2Cov(xi; x)+V (x) = ² 2_N²+_N² = ² _N² =

N 1

N 2 et donc E (xi x)² = V [(xi x)] + [E(xi x)]² = V [(xi x)]

E(^s) = _N¹ PN i=1

E (xi x)² E(^s) = _N¹ PN i=1

N 1 N

2 = ^N_N^{1 2} 6= ² donc l’estimateur des MVS ^s est biaisé. L’estimateur sans biais de ² (s ) est

1 N 1

PN i=1

(xi x)² soit _N^N₁^s:

Problème [15points]:

1.Le modèle : y_i= ₁+ ₂x_i+"_i i= 1; :::N peut s’écrire sous la forme :

y=X +"avecy= 2 66 66 4

y₁ : yi

: yN

3 77 77 5,X=

2 66 66 4

1 x₁ : : 1 xi

: : 1 xN

3 77 77

5, et = ¹

2

"= 2 66 66 4

"₁ :

"i

:

"N

3 77 77 5 2. L’estimation par la méthode des moindres carrés ordinaires se fait à partir de la minimisation de la somme des carrés des résidus

PN i=1

"²_i = PN i=1

(y_{i 1}

2xi)²:Les équations normales s’obtiennent à partir des conditions du premier ordre :

@ PN i=1

(yi 1 2xi)²

@ ₂ = 0

@ PN i=1

(y_{i 1 2}x_i)²

@ ₁ = 0

ces deux conditions étant véri…ées pour ₂=c₂ et ₁=c₁: Or

@ PN i=1

(yi 1 2xi)²

@ ₂ = 2

PN i=1

x_i(y_{i 1 2}x_i) = 2 PN i=1

x_iy_{i 1}x_{i 2}ax²_i =

2 PN i=1

x_iy_{i 2} PN i=1

x²_{i 1} PN i=1

x_i et

@ PN i=1

(yi 1 2xi)²

@ 1 = 2

PN i=1

(y_{i 1}

2x_i) = 2 PN i=1

y_{i 1}N _2i PN i=1

x_i donc les estimateurs c₁ et c₂ véri…ent les deux équations suivantes (dites équations normales) :

XN i=1

xiyi c₂ XN

i=1

x²_i c₁ XN i=1

xi= 0 (1)

XN i=1

y_i c₂X^N

i=1

x_i c₁N= 0 (2)

3.En divisant parN les deux membres de l’équation (2) on obtient l’expression dec₁en fonction de c₂:

c₁=y c₂x

et en remplaçantc₁dans l’équation (1) par son expression, on obtient : XN

i=1

xiyi c₂ XN i=1

x²_i y c₂x XN i=1

xi= 0

or PN i=1

xi=N xdonc XN i=1

xiyi c₂ XN

i=1

x²_i N xy+c₂N x²= 0

d’où

c₂X^N

i=1

x²_i c₂N x²= XN

i=1

x_iy_i N xy

et par conséquent :

c₂= PN i=1

x_iy_i N xy

PN i=1

x²_i N x²

=Sxy

Sxx

4. ^ = (X⁰X) ¹ X⁰y= (X⁰X) ¹ [X⁰X +"] = (X⁰X) ¹X⁰X +(X⁰X) ¹X⁰"= + (X⁰X) ¹X⁰"

c₂=

PN i=1

xiyi N xy PN

i=1

x²_i N x²

= ₂+

PN i=1

xi"i N x"

Sxx

c₁ = y c₂x = y = ₁+ ₂x+" ₂+_S¹

xx

PN i=1

x_i"_i N x" x = ₁+

"

PN i=1

x²_i x PN i=1

xi"i

Sxx

5. Les estimateurs des MCO c₁ et c₂ sont sans biais, linéaires par rap- port aux variables dépendantes yi et de variance minimale dans la classe des estimateurs linéaires sans biais. Cette dernière propriété porte sur l’e¢ cacité relative des estimateurs des MCO par rapport aux autres estimateurs linéaires sans biais (Théorème de Gauss-Markov). En aucun cas, ceci n’implique que les estimateursc₁et c₂ sont e¢ caces au sens où leur variance atteint la borne FDCR.

E b =E + (X⁰X) ¹" =E( )+E (X⁰X) ¹X⁰" = +(X⁰X) ¹X⁰E(") orE(") = 0

E b =

2 4 E c₁

E c₂ 3

5= = ¹

2

6.1 L’estimateur c₂ est une combinaison linéaire d’une variable aléatoire normale doncc₂ suit une loi Normale.

E c₂ = ₂ et V c₂ = _S²

xx = ²₂ D’où c₂ N ₂; ²₂ : de même pour l’estimateurc₁ N ₁; ²₁ avec ²₁= _N²

PN i=1

x²_i Sxx

6.2 On a montré plus haut quec₂ N ₂; ²₂ , et donc ^{c2 2}

2 N(0;1)

PosonsU = ^{c2 2}

2 ,P( u U u) = 0:98 = 2F(u) 1oùFest la fonction de répartition de la loiN(0;1), d’où F(u) = 0:99. Sur la table statistique de N(0;1); u= 2:33

P( 2:33 U 2:33) =P 2:33 c_{2 2}

2

2:33

!

= 0:98

donc :

P c₂ 2:33 2 2 c₂+ 2:33 2 = 0:98

On obtient alors l’intervalle de con…ance pour ₂ au seuil de 98% suivant : c₂ 2:33 _{2 2} c₂+ 2:33 ₂

De la même manière l’intervalle de con…ance pour ₁au seuil de98%suivant : c₁ 2:33 _{1 1} c₁+ 2:33 ₁

6.3 Sachant, N = 5, P5 i=1

yi = 75, P5 i=1

xi = 55, P5 i=1

xiyi = 880, P5 i=1

x²_i = 633 et

2= 0;25 y= _N¹

PN i=1

yi= 15 x=_N¹

PN i=1

xi= 11 Sxy=

PN i=1

xiyi N xy= 55 S_xx=

PN i=1

x²_i N(x)²= 28 D’où c₂= ^S_S^xy

xx =⁵⁵₂₈ = 1:96'2et c₁=y c₂x= 15 2 11 = 7

21= _N²

PN i=1

x²_i

Sxx = (1:6)² et ²₂= _S²

xx = (0:09)²

Pour ces valeurs, on obtient l’intervalle de con…ance pour ₂au seuil de98%

suivant : [1:79; 2:21].

Ainsi que l’intervalle de con…ance pour ₁au seuil de98%suivant : [ 9:47; 4:53]

7.1zi=yi xi = ₁+ ₂xi+"i xi= ₁+ ( ₂ 1)xi+"i=a+b xi+vi

d’oùa= ₁ ,b= ₂ 1etvi="i.

7-2 On considère le modèle : zi=a+b xi+vi

b

a = z bbx c₂ = Sxz

S_xx 7-3Sxz =

PN i=1

xizi N xz= PN i=1

xi(yi xi) N x(y x) = PN i=1

xiyi x²_i

N xy N x² Sxz =

PN i=1

xiyi N xy PN i=1

x²_i N x²_i =Sxy Sxx

7-4

ba = z bbx= (y x) c₂ 1 x=y c₂x=c₁ bb = Sxz

Sxx

= Sxy Sxx

Sxx

=Sxy

Sxx

1 =c₂ 1