(1)Corrigé de l’interrogation n 2 Question[4]: Supposons qu’on dispose d’un échantillon(X1

Corrigé de l’interrogation n 2 Question[4]:

Supposons qu’on dispose d’un échantillon(X1; X2; :::; Xn)tiré de façon i.i.d. dans une loiN(m; ²):

On cherche à déterminer un intervalle bilatéral de con…ance au niveau1 pour l’espérancem (on se restreint aux intervalles bilatéraux symétriques à cause du caractère symétrique de la loi normale).

On noteX_n= _n¹ Xn i=1

X_i la moyenne empirique, qui est un estimateur convergent dem:

1^er cas : l’écart-type est connu.

Il est aisé de montrer que X_n N(m; _n²); donc la statistiqueU_n dé…nie par U_n = ^Xn_p ^m

n

suit la loiN(0;1):Pour déterminer un intervalle bilatéral de con…ance au niveau1 pour le paramètrem, on commence par chercher le nombre utel que P( u Un u) = 1 : Le caractère symétrique (par rapport à 0) de la densité de la loi N(0;1) permet d’a¢ rmer que u n’est autre que le fractile d’ordre 1 ₂ de la loi N(0;1) (c’est-à-dire que (u) = 1 ₂ où est la fonction de répartition deN(0;1)). Une fois que uest déterminé en utilisant une table statistique de la loi N(0;1), il su¢ t d’exploiter le fait queP u ^Xn_p ^m

n

u =P X_n up

n m X_n+up

n pour pouvoir a¢ rmer queP Xn up

n m Xn+up

n = 1 c’est-à-dire queh

Xn up

n; Xn+up n

i

est un intervalle de con…ance au niveau1 pour l’espérancem:

2^nd cas: l’écart-type est inconnu.

Dans ce cas, on ne peut plus utiliser la statistiqueU_n qui contient, en plus du paramètre inconnum qu’on cherche à estimer, un autre paramètre inconnu, à savoir :Il va donc falloir utiliser un estimateur convergent de :Pour cela, on introduit la variance empirique modi…ée S_n² = _n¹₁

Xn i=1

X_i X_n ² qui se trouve être un estimateur convergent (et sans biais) de la variance ²: On peut alors déterminer un intervalle de con…ance pour m car on connaît la loi de la statistique Z_n = ^Xn_Sn^m

pn

. En e¤et, on sait que : Zn = ^XnpSnn^m

Tn 1où Tn 1 désigne la loi de Student à n 1 degrés de liberté. Le même argument de symétrie que celui invoqué pourN(0;1)permet d’a¢ rmer que le nombrettel que P( t Zn t) = 1 est le fractile d’ordre 1 ₂ de la loi Tn 1:Une fois que t est déterminé en utilisant une table statistique de la loiT_{n 1} , il su¢ t d’exploiter le fait que

P t X_n m

Sn

pn

t

!

=P Xn tS_n

pn m Xn+tS_n pn pour pouvoir a¢ rmer queh

Xn tp^Sn

n; Xn+tp^Sn n

i

est un intervalle de con…ance au niveau1 pour l’espérancem:

Remarque importante : Lorsque la taille de l’échantillon estsu¢ samment grande (en pra- tique, on considère que c’est le cas pourn > 30), on peut approcher la loi T_{n 1} par la loi N(0;1).

Dans ces conditions, on a approximativement :

Zn =Xn m

Sn

pn

N(0;1)

ce qui implique que le nombrettel que P( t Z_n t) = 1 est le fractile d’ordre1 ₂ de la loi N(0;1); autrement dit ce n’est autre que le nombre qu’on a appeléudans le traitement du cas d’un écart-type connu. Ceci permet d’a¢ rmer que, dans ce cas particulier,h

Xn up^Sn

n; Xn+up^Sn n

i est un intervalle de con…ance au niveau1 pour l’espérance m:

Une autre façon (plus générale) d’aboutir à ce résultat est de dire que pourn"su¢ samment grand"

on peut approcher la loi de ^Xn_Sn^m

pn

par celle de ^Xn_p ^m

n

(carSnest un estimateur convergent de ). Ceci revient à dire que lorsquenest su¢ samment grand, on peut remplacer parS_ndans la relation ^Xn_p ^m

n

N(0;1), obtenant ainsi que ^XnpSn^m n

N(0;1):

Exercice 1[11]:

1.a. Pour touti2 f1; :::; Ng, on aP(Xi= 1) =petP(Xi= 0) = 1 p:On peut regrouper ces deux égalités, en écrivant que pourx_i2 f0;1g; P(X_i=x_i) =p^xi(1 p)^{1 xi}:La fonction de vraisemblance associée à la loi de Bernouilli de paramètrepest donc:

L(p;x₁; x₂; :::; x_n) = Yn i=1

p^xi(1 p)^{1 xi}

La log-vraisemblance d’un échantillon(x₁; x₂; :::; x_n)est donc égale à :

lnL(p;x1; x2; :::; xn) = Xn i=1

[xilnp+ (1 xi) ln(1 p)]

= Xn i=1

x_i

!

lnp+ n Xn i=1

x_i

!

ln(1 p)

1.b. A…n de déterminer l’estimateur du maximum de vraisemblance, il faut maximiser la log- vraisemblance par rapport à la variable p à (x₁; x₂; :::; x_n) donnés. La première étape consiste à résoudre l’équation correspondant à la condition du premier ordre :

@lnL

@p (p; x1; x2; :::; xn) = 0 or

@lnL

@p (p; x1; x2; :::; xn) = 1 p

Xn i=1

xi

1 1 p n

Xn i=1

xi

!

donc : ^@_@p^lnL(p; x1; x2; :::; xn) = 0() ¹p

Pn i=1

xi = ₁¹_p n Pn i=1

xi () (1 p) Pn i=1

xi =p n Pn i=1

xi

d’où ^@_@p^lnL(p; x₁; x₂; :::; x_n) = 0() Pn i=1

x_i p Pn i=1

x_i =pn p Pn i=1

x_i() Pn i=1

x_i=pn()p=_n¹ Pn i=1

x_i La fonctionp!lnL(p; x1; x2; :::; xn)atteint donc un extrémum (c’est-à-dire un maximum ou un minimum) au point p^n =_n¹

Pn i=1

xi. Il s’agit bien d’un maximum car la fonctionp!lnL(x1; x2; :::; xn; p) est concave. En e¤et, pour tout(p;x₁; x₂; :::; x_n);on a :

@²lnL

@p² (p; x1; x2; :::; xn) = 1 p²

Xn i=1

xi

1 (1 p)² n

Xn i=1

xi

!

<0

car Pn i=1

x_i 0etn Pn i=1

x_i 0(du fait quex_i2 f0;1gpour touti) et ces deux quantités ne peuvent pas être simultanément nulles. En particulier, la condition du second ordre ^@2_@p^ln2^L(^pn; x1; x2; :::; xn) <0 est satisfaite.

Conclusion: L’estimateur du maximum de vraisemblance du paramètrepestp^_n= ¹_n Pn i=1

X_i.

1.c. E(^p_n) = _n¹ Pn i=1

E(X_i) =^np_n =p(l’estimateurp^_n est sans biais).

V(^pn) = V ¹_n Pn i=1

Xi = _n¹2V Pn i=1

Xi or V Pn i=1

Xi =

Pn i=1

V (Xi) car les Xi sont supposés in- dépendants, donc

V(^p_n) = _n¹2

Pn i=1

V(X_i) = _n¹2np(1 p) = ^p(1_n^p) (rappel: V(X_i) = p(1 p)car X_i suit une loi de Bernouilli de paramètrep).

Il est clair que V(^p_n) !

n !+10 donc p^_n est un estimateur sans biais dont la variance tend vers0 lorsquentend vers+1, ce qui permet d’a¢ rmer quep^n est un estimateur convergent.

1.d. L’expression de la quantité d’information de Fisher est :

I_n(p) =E @lnL(p; X₁; :::; X_n)

@p

2!

= E @²lnL(p; X₁; :::; X_n)

@p²

La deuxième égalité est valable sous les conditions de Cramer-Rao : pour les lois usuelles vues dans ce cours, il su¢ t de véri…er que le support de la loi ne dépend pas du paramètre à estimer. Cest le cas pour la loi de Bernouilli puisque son support estf0;1get ne dépend donc pas du paramètrep.

D’après ce qui précède, on a :

@²lnL(p; X1; :::; Xn)

@p² = 1

p² Xn i=1

Xi

1 (1 p)² n

Xn i=1

Xi

!

donc

E @²lnL(p; X₁; :::; X_n)

@p² = 1

p² Xn i=1

E(Xi) 1

(1 p)² n Xn i=1

E(Xi)

!

d’où

E @²lnL(p; X1; :::; Xn)

@p² = np

p²

n(1 p) (1 p)² = n

p n

1 p = n+np np

p(1 p) = n

p(1 p) donc

In(p) = n p(1 p) L’estimateurp^n est un estimateur sans biais et sa variance véri…e

V(^p_n) = 1 I_n(p) Il s’agit donc d’un estimateur e¢ cace.

2.a. On sait que n^p_n = Pn i=1

X_i B(n; p). Sous l’hypothèse de validité de l’approximation nor- male de la loi binômiale, on approcheB(n; p)par N(np; np(1 p)) ce qui permet d’a¢ rmer qu’on a approximativement : n^p_n N(np; np(1 p))d’oùp^_n N(p;^p(1_n^p))et donc :q^{p^n p}

p(1 p) n

N(0;1) Remarque :l’approximation normale de la loi binômiale n’est rien d’autre qu’un cas particulier de l’approximation issue du théorème central limite pourn"su¢ samment grand", appliquée à la loi de Bernouilli (la notion de "su¢ samment grand" est dans ce cas plus précise puisqu’on estime qu’on peut faire l’approximation lorsquenp(1 p)>15)).

^

p_nest un estimateur convergent depdonc pournsu¢ samment grand (on estime que c’est le cas ici), les lois de q^{p^n p}

p(1 p) n

et de q^{p^n p}

pn(1^ pn)^ n

sont "proches", ce qui permet de dire qu’on a approximativement :

^ p_n p qp^n(1 p^n)

n

N(0;1)

PosonsUn = q^{p^n p}

pn(1^ pn)^ n

: P( u Un u) = 0:90 = 2F(u) 1 oùF est la fonction de répartition de la loiN(0;1), d’oùF(u) = 0:95. Sur la table statistique deN(0;1);on trouve : F(1:64) = 0:9495et F(1:65) = 0:9505, or il est clair que 0:95 = ¹₂ 0:9495 + ¹₂ 0:9505 donc par interpolation linéaire u' ¹2 1:64 +¹₂ 1:65 = 1:645. (Vous pouvez utiliseru= 1;64)

P( 1:645 U_n 1:645) =P 0

@ 1:645 p^n p qp^n(1 p^n)

n

1:645 1 A'0:90

donc :

P p^n 1:645

rp^_n(1 p^_n)

n p p^n+ 1:645

rp^_n(1 p^_n) n

! '0:90

Pour les valeurs observéesp^_n = 0;4et n= 400, on obtient l’intervalle de con…ance pour pau seuil de 90%suivant : [0:36; 0:44]:

2.b. Minorerp(c’est-à-dire chercher une borne inférieure pourp) revient à majorerUn puisqueUn

est clairement décroissante enp. On commence donc par chercher le nombre tel queP(Un ) = 0:95c’est-à-dire tels queF( ) = 0:95(Cf. question précédente) = 1:645: On a donc

P 0

@ p^_n p qp^n(1 p^n)

n

1:645 1 A'0:95

qu’on peut réécrire sous la forme

P p p^n+ 1:645

rp^n(1 p^n) n

! '0:95 d’où :

P p p^n 1:645

rp^_n(1 p^_n) n

! '0:95

doncp^n 1:645

qp^n(1 p^n)

n est une borne inférieure de con…ance à95% pour le paramètrep. Pour une taille d’échantillonn= 400et une valeur observée de0:4pourp^_n;cette borne prend la valeur0:36:

Remarque : une borne inférieure de con…ance correspond à un intervalle unilatéralà droite.

2.b. Lorsqu’on veut déterminer une borne supérieure de con…ance pourp;on cherche à majorerp, or majorerprevient à minorerU_n. On commence donc par chercher le nombre tel queP(U_n ) = 0;95:OrP(Un ) = 1 F( ) =F( )doncF( ) = 0:95; par conséquent, = = 1:645(Cf.

question précédente) d’où = 1:645. On a donc:

P 0

@ p^_n p qp^n(1 p^n)

n

1:645 1 A'0:95

qu’on peut réécrire sous la forme :

P p p^n 1:645

rp^n(1 p^n) n

! '0:95 d’où :

P p p^n+ 1:645

rp^n(1 p^n) n

! '0:95

doncp^n+ 1:645

qp^n(1 p^n)

n est une borne supérieure de con…ance à95% pour le paralètrep:Pour une taille d’échantillonn= 400et une valeur observée de0:4pourp^_n;cette borne prend la valeur0:44:

Remarque : une borne supérieure de con…ance correspond à un intervalle unilatéral de con…anceà gauche.

3.a. D’après ce qui précède, on sait quep^n N(p;^p(1_n^p)):Par analogie, en posantq^m= _m¹ Pm j=1

Yj , on a : q^_m N(q;^q(1_m^q)):Par ailleurs p^_n est une combinaison linéaire deX₁; X₂; :::; X_n etq^_mest une combinaison linéaire deY1; Y2; :::; Ym or les variables X1; X2; :::; Xn; Y1; Y2; :::; Ym sont indépendantes donc les estimateurs p^n et q^m sont indépendants. Il s’avère donc que p^n et q^m sont des variables aléatoires normales indépendantes. Ceci implique quep^n q^msuit une loi normale d’espérance

E(^pn q^m) =E(^pn) E(^qm) =p q et de variance

V(^pn q^m) = V(^pn) +V(^qm) 2cov(^pn;q^m)

| {z }

= 0carp^_n et q^_m sont indépendants

= p(1 p)

n +q(1 q)

m ce qu’on peut résumer par :

^

pn q^m N p q;p(1 p)

n +q(1 q)

m donc en centrant et en réduisant cette variable, on obtient :

^

pn q^m (p q) qp(1 p)

n +^q(1_m^q)

N(0;1)

Or on sait que si une variable aléatoire U suit la loi N(0;1) alorsP(jUj 1:96) = 0:95 (on obtient classiquement la valeur 1:96 en utilisant la formule P(jUj u) = 2F(u) 1 ou un raisonnement graphique exploitant le caractère symétrique de la densité de la loiN(0;1)), donc

P 0

@ p^n q^m (p q) qp(1 p)

n +^q(1_m^q)

1;96 1 A= 0:95

d’où

P 1;96

rp(1 p)

n +q(1 q)

m p^_n q^_m (p q) 1;96

rp(1 p)

n +q(1 q)

m

!

= 0;95

donc

P (^pn q^m) 1;96

rp(1 p)

n +q(1 q)

m (p q) (^pn q^m) + 1;96

rp(1 p)

n +q(1 q)

m

!

= 0:95 et par conséquent

P p^n q^m 1;96

rp(1 p)

n +q(1 q)

m p q p^n q^m+ 1;96

rp(1 p)

n +q(1 q)

m

!

= 0:95

Les bornes d’un intervalle de con…ance ne devant pas contenir de paramètre inconnu, on y remplacepet qpar leurs estimateurs respectifsp^netq^m(cette approximation est valable pournetm"su¢ samment grands" carp^n etq^msont des estimateurs convergents de pet q). Ainsi :

P p^_n q^_m 1;96

rp^_n(1 p^_n)

n +q^_m(1 q^_m)

m p q p^_n q^_m+ 1;96

rp^_n(1 p^_n)

n +q^_m(1 q^_m) m

! '0:95

donc p^n q^m 1:96

qp^n(1 p^n)

n +^{q^m(1}_m^{q^m)};p^n q^m+ 1:96

qp^n(1 p^n)

n +^{q^m(1}_m^{q^m)} est un intervalle bilatéral de con…ance à95%pourp q:

3.b. Notonsnla taille de l’échantillon masculin, mla taille de l’échantillon féminin,p^n la propor- tion empirique de fumeurs dans l’échantillon masculin etq^mla proportion empirique de fumeuses dans l’échantillon féminin. Les tailles des échantillons sontn= 300etm= 200;la valeur observée dep^n est

105

300 = 0:35 et la valeur observée deq^mest ₂₀₀⁴⁸ = 0:24. Il est aisé de véri…er que300 0:35 0:65 = 68:25>15et200 0:24 0:76 = 36:48>15, ce qui permet de considérer que l’approximation normale de la loi binômiale est raisonnable pour les deux échantillons. On peut donc appliquer le résultat de la question précédente: l’intervalleh

0:35 0:24 1:96q

0:35 0:65

300 +^{0:24 0:76}₂₀₀ ;0:35 0:24 + 1:96q

0:35 0:65

300 +^{0:24 0:76}₂₀₀ i , c’est-à-dire[0:03;0:19];est un intervalle de con…ance à à95%pour p q:

Exercice 2[10]:

1. L’estimation par la méthode des moindres carrés ordinaires se fait à partir de la minimisation de la somme des carrés des résidus

PN i=1

"²_i = PN i=1

(y_{i 1 2}x_i)²:Les équations normales s’obtiennent à partir des conditions du premier ordre :

@ PN i=1

(y_{i 1 2}x_i)²

@ ₂ = 0

@ PN i=1

(yi 1 2xi)²

@ ₁ = 0

ces deux conditions étant véri…ées pour ₂=c₂ et ₁=c₁: Or

@ PN i=1

(yi 1 2xi)²

@ ₂ = 2

PN i=1

x_i(y_{i 1 2}x_i) = 2 PN i=1

x_iy_{i 1}x_{i 2}ax²_i = 2 PN i=1

x_iy_{i 2} PN i=1

x²_{i 1} PN i=1

x_i

et

@ PN i=1

(yi 1 2xi)²

@ ₁ = 2

PN i=1

(yi 1 2xi) = 2 PN i=1

yi 1N _2i

PN i=1

xi donc les estimateurs c₁et c₂ véri…ent les deux équations suivantes (dites équations normales) :

XN i=1

x_iy_i c₂X^N

i=1

x²_i c₁X^N

i=1

x_i= 0 (1)

XN i=1

y_i c₂X^N

i=1

x_i c₁N = 0 (2)

En divisant parN les deux membres de l’équation (2) on obtient l’expression de c₁en fonction de c₂: c₁=y c₂x

et en remplaçantc₁dans l’équation (1) par son expression, on obtient : XN

i=1

xiyi c₂ XN i=1

x²_i y c₂x XN i=1

xi= 0

or PN i=1

x_i=N xdonc

XN i=1

xiyi c₂ XN i=1

x²_i N xy+c₂N x²= 0 d’où

c₂ XN i=1

x²_i c₂N x²= XN i=1

xiyi N xy et par conséquent :

c₂= PN i=1

x_iy_i N xy

PN i=1

x²_i N x²

2. Les estimateurs des MCOc₁etc₂sont sans biais, linéaires par rapport aux variables dépendantes yi et de variance minimale dans la classe des estimateurs linéaires sans biais. Cette dernière propriété porte sur l’e¢ cacitérelative des estimateurs des MCO par rapport aux autres estimateurs linéaires sans biais (Théorème de Gauss-Markov). En aucun cas, ceci n’implique que les estimateurs c₁ et c₂ sont e¢ caces au sens où leur variance atteint la borne FDCR.

Le modèley_i= ₁+ ₂x_i+"_ipouri= 1; :::; Npeut se réecrire sous la forme vectorielle : y=X +"

(voir TD), les estimateurs de MCO :b= (X⁰X) ¹ X⁰y= (X⁰X) ¹ [X⁰X +"] = (X⁰X) ¹X⁰X + (X⁰X) ¹"= + (X⁰X) ¹"

E b =E + (X⁰X) ¹" =E( ) +E (X⁰X) ¹" = + (X⁰X) ¹E(")or E(") = 0

E b =

2 4 E c₁

E c₂ 3

5= = ¹

2

3. La variance du résidu ² peut être estimée sans biais par ^² = _N¹₂ PN i=1

^"²_i où^"i est dé…ni par

^"i=yi c₂xi c₁:

4.a. On sait que yi = ₁+ ₂xi+"i pour i = 1; :::; N donc PN i=1

yi = ₁N + ₂ PN i=1

xi+ PN i=1

"i. En divisant parN les deux membres de cette équation, on obtient

y= ₁+ ₂x+"

Ainsi :

y_i y= ₁+ ₂x_i+"_i ( ₁+ ₂x+") = ₂(x_i x) +"_i "

autrement dit :

q_i=ap_i+u_i 4.b. Par linéarité de l’espérance on a :

E(u_i) = E("_i) E(")

= E("_i) 1 N

XN j=1

E("_j)

= 0

car par hypothèseE("1) =E("2) =:::=E("N) = 0 4.c. On a :

V(ui) = V("i ")

= V("_i) +V(") 2cov("_i; ")

or pour tous i; j tels que i 6= j on a par hypothèse cov("i; "j) = 0 donc V(") = _N¹2V PN j=1

"j

!

=

1 N²

PN j=1

V ("j) =^N_N2² = _N²:Par ailleurs,

cov("i; ") = cov("i; 1 N

XN j=1

"j)

= 1

N XN j=1

cov("_i; "_j)

= 1

N 0

@cov("_i; "_i) +X

j6=i

cov("_i; "_j) 1 A

or pour tous i; j tels que i 6=j on a par hypothèse cov("_i; "_j) = 0donc cov("_i; ") = _N¹cov("_i; "_i) =

1

NV("_i) = _N²:Finalement, on obtient :

V(u_i) = ²+N ²

N² 2

2

N

= ² 1 1

N

On a pour tousi; jtels que i6=j:

cov(ui; uj) = cov("i "; "j ")

= cov("_i; "_j) cov("_i; ") cov("; "_j) +cov("; ")

Tout d’abord, on sait par hypothèse quecov("_i; "_j) = 0cari6=j:Ensuite, d’après ce qui précède, on a cov("_i; ") = _N² , et de même cov("; "_j) = cov("_j; ") = _N²: En…n, cov("; ") = V(") = _N² toujours d’après ce qui précède. Par conséquent, pour tousi; j tels quei6=j:

cov(ui; uj) =

2

N

2

N +

2

N soit :

cov(u_i; u_j) =

2

N