EXAMEN DU 21 MAI 2013 – LM347 CORRECTION

EXAMEN DU 21 MAI 2013 – LM347 CORRECTION

Exercice 1.

Soit a > 0, c > 0, et un échantillon X₁, . . . , X_n de loi de densité f(u) = ce^−au2 pour u∈ R. On note X= (X₁· · ·X_n)⁰.

i) – Calculer la valeur de la constante cen fonction dea (vous pouvez vous ramener à la densité d’une loi normale).

ii) – Calculer E(X₁²) (vous pouvez utiliser le même argument que celui utilisé pour résoudre i)).

iii) – En notant σˆ² =v(X) la variance empirique de X, proposer un estimateur ea de a obtenu par la méthode des moments.

iv) – En se rappelant que σˆ² est asymptotiquement normal de loi limite la loi N(0,2σ⁴), en déduire que l’estimateurea est asymptotiquement normal et donner sa loi limite.

v) – Calculer la densité f_X(x, a) du v.a. X et le logarithme de la vraisemblance de X.

vi) – Trouver, en le justifiant proprement, l’estimateurba du maximum de vraisemblance de a.

vii) – Montrer que l’estimateurba est asymptotiquement normal et donner sa loi limite.

viii) – Calculer l’information de Fisher et montrer que les estimateursba eteasont asymptotique- ment efficaces.

i) – La fonction f doit vérifier R

Rf(u) du = 1 ⇔1/c = R

Re^−au2du = R

Re^−u2/(2σ2)du = √ 2πσ, en posantσ² = 1/(2a), c’est-à-direc=p

a/π et ainsif est la densité de la loi normaleN(0, σ²). ii) – E(X₁²) = R

Ru²f(u) du=cR

Ru²e^−au2du=σ² = 1/(2a).

iii) – Comme EX₁ = 0 ne dépend pas de a, on va utiliser la variance qui vaut 1/(2a), ainsi, en notant σˆ² = v(X) on doit résoudre l’équation 1/(2a) = ˆσ² ⇔ea = 1/(2ˆσ²), en se rappelant que pour un échantillon de loi gaussienne on a d’après le cours σˆ² >0 presque sûrement.

iv) – Comme σ² =VX₁ = E(X₁²) = 1/(2a), la méthode delta implique en posant h(u) = 1/(2u) queea=h(ˆσ²) est asymptotiquement normal de loi limite la loi N(0,2σ⁴(h⁰(σ²))²) =N(0,2a²). v) – Par indépendance, f_X(x, a) = Qn

i=1f_Xi(x_i) = Qn

i=1f(x_i) =cⁿe^{−a(x21+···+x2n)} et logf_X(x, a) = (n/2) loga−(n/2) logπ−a(x²₁+· · ·+x²_n), pour x= (x₁· · ·x_n)⁰ ∈Rⁿ.

vi) – La fonction a → logf_X(x, a) est toujours strictement concave (comme la fonction a → (n/2) loga) et, lorsque x 6= 0, sa dérivée s’annule au point a = n/(2(x²₁ +· · ·+x²_n)). Comme presque sûrement X₁²+· · ·+X_n² >0 puisque queP(X_i = 0) = 0pour i∈ {1, . . . , n}, il en résulte queba=n/(2(X₁²+· · ·+X_n²)).

vii) – Les v.a. X₁², . . . , X_n² sont i.i.d. de moyenne σ² et de variance 2σ⁴ (carré d’une variable de loi N(0, σ²)), ainsi, par le théorème limite central la v.a. 1/(2ba) = (X₁² +· · ·+X_n²)/n est asymptotiquement normale de loi limite la loiN(0,2σ⁴). En appliquant la méthode delta comme précédemment il en résulte que l’estimateur ba est asymptotiquement normal de loi limite la loi N(0,2a²).

viii) – La dérivée seconde par rapport à a de la log vraisemblance vaut −n/(2a²), ainsi l’infor- mation de Fisher vaut I(a) = Ea(n/(2a²)) = n/(2a²) = nI₁(a) avec 1/I₁(a) = 2a² qui est la variance de la loi asymptotique des estimateursba etea : ils sont donc asymptotiquement efficaces.

Exercice 2.

Soitn₁ etn₂ deux entiers supérieurs ou égaux à1. Considérons le modèle de régression linéaire X_i = m₁+_i, pour i∈ {1, . . . , n₁}, X_i = m₂ +_i, pour i ∈ {n₁+ 1, . . . , n₁+n₂}, avec m₁, m₂ des paramètres réels, et ₁, . . . , _n1+n2 des v.a.i.i.d. de loi N(0,σ²) où σ² est un paramètre réel strictement positif. On posera n =n1+n2 dans ce qui suit.

i) – Ecrire le modèle sous la forme X = Aθ +, θ∈R², le modèle linéaire déterministe associé X˜ =Aθ est-il régulier ?

ii) – Calculer les matrices A⁰A et (A⁰A)⁻¹.

iii) – Résoudre le problème de moindres carrés associé au modèle de régression linéaire X˜ =Aθ.

iv) – Ecrire la vraisemblance deX.

v) – Calculer les estimateurs du maximum de vraisemblancemˆ₁,mˆ₂,σˆ², des paramètresm₁, m₂, σ², en précisant bien pour quelles valeurs de n₁ etn₂ ils existent.

On supposera ces conditions vérifiées par la suite.

vi) – Préciser la loi demˆ₁ et celle deσˆ².

vii) – Construire un intervalle de confiance pour le paramètre m₁ de degré de confiance 95%.

viii) – Proposer en le justifiant un test de l’hypothèsem₁ = 1 d’erreur de première espèce 5%.

i) – On prend θ = (m₁m₂)⁰ et A = [A₁A₂] où A₁ = (1· · ·1 0· · ·0)⁰ ∈ Rⁿ avec n₁ valeurs 1 et A₂ = (0· · ·0 1· · ·1)⁰ ∈Rⁿ avec n₂ valeurs1, on pose aussi= (₁· · ·_n)⁰. Ce modèle est régulier puisque les vecteurs A₁ et A₂ sont non nuls (n₁ et n₂ ≥ 1) et orthogonaux, donc forment une famille libre et le rang de A est bien égal à 2.

ii) – Les coefficients de la matrice A⁰A sont les produits scalaires des colonnes de A, ainsi A⁰A=

n₁ 0 0 n₂

et (A⁰A)⁻¹ =

1/n₁ 0 0 1/n₂

.

iii) – Comme le modèle de régression est régulier, l’uniqueθ qui minimise ||X−Aθ||² est donné par θ= ˆθ = (A⁰A)⁻¹A⁰X =

1/n1 0 0 1/n₂

X1 +· · ·+Xn1

X_n1+1+· · ·+X_n

=

(X1+· · ·+Xn1)/n1

(X_n1+1+· · ·+X_n)/n₂

. iv) – Le vecteur X suit la loi N_n(Aθ, σ²I_n) et sa vraisemblance vaut :

f_X(x) = (2π)^−n/2σ⁻ⁿe^{−||x−Aθ||2/(2σ2)}= (2π)^−n/2σ⁻ⁿ exp

− 1 2σ²

Xⁿ¹

i=1

(x_i−m₁)²+

n

X

i=n1+1

(x_i−m₂)² .

v) – On commence par trouver le minimum en θ de ||x−Aθ||² dont la solution est donnée dans la question iii), ainsi mˆ₁ = (X₁+· · ·+X_n1)/n₁ et mˆ₂ = (X_n1+1+· · ·+X_n)/n₂. Ensuite il faut trouver le maximum en σ² de la fonction :

σ² −→(σ²)^−n/2 exp

− 1 2σ²

Xⁿ¹

i=1

(x_i−mˆ₁)²+

n

X

i=n1+1

(x_i−mˆ₂)² , et dès que le terme Pn1

i=1(x_i−mˆ₁)²+Pn

i=n1+1(x_i−mˆ₂)² est strictement positif, ce maximum est atteint en (Pn1

i=1(x_i−mˆ₁)²+Pn

i=n1+1(x_i−mˆ₂)²)/n, or, d’après le cours, pour n≥3 il vient : P

Xⁿ¹

i=1

(x_i−mˆ₁)²+

n

X

i=n1+1

(x_i−mˆ₂)² >0

= 1, en conséquence pour n ≥3 on a σˆ² = (Pn1

i=1(x_i −mˆ₁)²+Pn

i=n1+1(x_i−mˆ₂)²)/n.

vi) – mˆ₁ étant une somme de v.a.i.i.d. de loi N(m₁, σ²), on a mˆ₁ ∼ N(m₁, σ²/n₁). D’après le cours nσˆ²/σ² ∼χ²_n−2 puisqu’il y a deux paramètres dans la moyenne .

vii) – Comme d’après le cours mˆ₁ et σˆ² sont indépendants, la statistique T = √

n₁( ˆm₁ − m₁)/p

nˆσ²/(n−2) suit la loi de Student Tn−2, ce qui conduit à poser avec les notations du cours :

I = i

ˆ

m1− t_n−2,α

√n₁

√nˆσ²

√n−2, mˆ1+ t_n−2,α

√n₁

√nσˆ²

√n−2 h

,

on a alors P(m₁ ∈ I) = P(|T| < tn−2,α) = 1−α et en choisissant α = 5% l’intervalle I est un intervalle de confiance pour m₁ de degré de confiance 95%.

viii) – Si on poseR ={1∈ I}, cette région de l’espace des observations peut être utilisée comme/ la région de rejet d’un test de l’hypothèse m₁ = 1. On a alors pour l’erreur de première espèce, lorsque θ= (1 m₂)⁰ :

Pθ(R) = P(1∈ I) =/ P(|T| ≥tn−2,α) = 1−P(|T|< tn−2,α) =α . On répond à la question en choisissant α= 5%.

Exercice 3.

Soity₁ = 1, y₂ = 0, y₃ = 0, y₄ =−1, y₅ = 1, et le modèle de régression linéaireX_i =ay_i+b+_i, pouri∈ {1, . . . ,5}, aveca, bdes paramètres réels, et₁, . . . , ₅ des v.a.i.i.d. de loiN(0,σ²)oùσ² est un paramètre réel strictement positif.

i) – Ecrire le modèle sous la forme X = Aθ+, θ∈R², et montrer que le modèle linéaire déter- ministeX˜ =Aθ est régulier.

ii) – Reconnaître un modèle présenté en cours et en déduire la solution du problème de moindres

2

carrés associé au modèle de régression linéaireX˜ =Aθ.

iii) – Toujours par le cours en déduire les estimateurs du maximum de vraisemblancea,ˆ ˆb,σˆ², des paramètres a, b, σ², lorsque X₁= 2,1, X₂= 0,9, X₃= 1,1, X₄= 0,1, X₅= 1,9 (on commencera par établir la formule théorique).

iv) – Calculer la loi du vecteur de coordonnées ˆa etˆb.

v) – Pour z ∈R fixé, en déduire la loi de la “prédiction” ˆaz+ ˆb.

vi) – Construire un intervalle de confiance pour la quantitéaz+b.

i) – On prend θ = (a b)⁰ et A = [A₁A₂] où A₁ =y = (1 0 0−1 1)⁰ ∈R⁵ et A₂ = (1· · ·1)⁰ ∈R⁵, on pose aussi = (₁· · ·₅)⁰. Ce modèle est régulier puisque les vecteurs A₁ et A₂ sont non nuls et ne sont pas colinéaires, donc forment une famille libre et le rang de A est bien égal à 2. ii) – C’est le modèle de la droite de régression et la solution du problème des moindres carrés est donnée par ˆa=c(y, X)/v(y) etˆb =m(X)−(c(y, X)/v(y))m(y).

iii) – ˆa et ˆb ont leur formule donnée dans la question précédente et σˆ² = (1/5)P5

i=1(X_i−ˆay_i− ˆb)². Ainsi, il vient : m(y) = 1/5 = 0,2; m(X) = 6,1/5 = 1,22; v(y) = 3/5−0,04 = 0,56; c(y, X) = 3,9/5 −0,244 = 0,78−0,244 = 0,536; ˆa = 0,536/0,56 = 13,4/14 = 0,957 ≈ 1; ˆb= 1,22−0,2×13,4/14 = 1,029 ≈1; σˆ² ≈(1/5)×5×(0,1)² = (0,1)².

iv) – D’après le cours θˆ= (ˆaˆb)⁰ suit la loi N₂(θ, σ²(A⁰A)⁻¹) avec θ = (a b)⁰, A⁰A =

3 1 1 5

et

(A⁰A)⁻¹ = ₁₄¹

5 −1

−1 3

.

v) – Commeˆaz+ˆb= (z1)ˆθ, il vientˆaz+ˆb∼ N(az+b, σ²(z1)(A⁰A)⁻¹(z1)⁰) =N(az+b, σ²(5z²− 2z+ 3)/14).

vi) – Remarquons pour commencer que nous savons que c = (5z² −2z + 3)/14 > 0 puisque le vecteur(z1)⁰ est non nul. Alors, comme d’après le coursθˆetσˆ² sont indépendants, la statistique T =p

1/c(ˆaz+ ˆb−(az+b))/p

nˆσ²/(n−2) suit la loi de Student Tn−2, ce qui conduit à poser avec les notations du cours :

I = i

ˆ

az+ ˆb−√ c

√nˆσ²

√n−2tn−2,α, ˆaz+ ˆb+√ c

√nσˆ²

√n−2tn−2,α

h , on a alors P(az+b ∈ I) =P(|T|< tn−2,α) = 1−α.

3