1 Choix de Mod` eles

M2R Math´ ematiques appliqu´ ees 2010–2011

Mod` elisation Statistique

Examen du 6 Janvier 2012 de 8h ` a 12h

Les notes de cours sont autoris´ ees. Les calculatrices sont autoris´ ees.

1 Choix de Mod` eles

Soit N > 1 et x

, x

, . . . x

avec P

j=1

x

= 0, P

j=1

x

= N/3. Pour, i = 1, 2, 3 et j = 1 . . . N, on consid` ere le mod` ele lin´ eaire gaussien de dimension 3N

Y

= δ

+ η

x

+ ε

o` u (ε

)

∼ N

(0, σ

I

) avec σ

> 0. On pose

θ

:=







 δ

δ

δ

η









=







 θ

θ

θ

θ







 .

Dans tout l’exercice on suppose que l’on a θ

= θ

= 0.

1. Montrer que le mod` ele pr´ ec´ edent rentre dans le cadre du mod` ele lin´ eaire gaussien r´ egulier.

Calculer les estimateurs du maximum de vraisemblance θ c

et σ c

de θ

et σ

. 2. Montrer que θ c

converge presque sˆ urement, quand N tend vers l’infini, vers θ

. 3. Quelle est la loi jointe de

√

N (c θ

− θ

), 3N

∗

? D´ ecrire les r´ egions de confiance pour θ

et σ

.

4. Pour J ⊂ {1, 2, 3, 4}, on pose θ

:= (θ

)

. On se propose de comparer les strat´ egies de choix de mod` eles du C

de Mallows avec BIC. Rappelons tout d’abord les fonctions d’objectifs associ´ ees. Pour J ⊂ {1, 2, 3, 4}, |J| d´ esigne le nombre d’´ el´ ements de J et σ d

la variance estim´ ee par maximum de vraisemblance dans le mod` ele ` a |J | param` etres o` u le param` etre intervenant dans la moyenne des observations est θ

. On a alors

C

(J) :=

σ d

σ c

+ |J | 3N , BIC(J) := log( σ d

) + log 3 + log N

3N |J|.

Rappelons que l’on se place dans le cas o` u J

= {2, 4}. Les questions qui suivent seront trait´ ees pour le BIC et C

de Mallows

– Pour chacun des 3 sous-ensembles J de {1, 2, 3, 4} qui sur-ajustent J

calculer les pro- babilit´ es de pr´ ef´ erer le mod` ele J au mod` ele J

. Calculer les limites, quand N tend vers l’infini, de ces probabilit´ es.

– Que pensez-vous des crit` eres BIC et C

de Mallows pour le mod` ele ´ etudi´ e ici ?

2 Loi des Extrˆ emes-POT

1. Soit X

, . . . , X

des variables i.i.d. de loi exponentielle de moyenne 1 (a) Montrer que X

− log(n) converge en loi vers la loi de Gumbel.

(b) Montrer que la loi exponentielle n’a pas de m´ emoire :

P (X

> t + s|X

> t) = P (X

> s) (t, s > 0).

(c) Soit t, ε > 0, Quelle est la limite en probabilit´ e quand ε tend vers 0 de εX

condi- tionnellement ` a l’´ ev´ enement {εX

≥ t} ?

(d) Quelle est la loi de ε

(εX

− t) conditionnellement ` a l’´ ev´ enement {εX

≥ t} ? 2. Pour a > 1, soit Y

, . . . , Y

des variables i.i.d. de loi de Pareto de densit´ e (par rapport ` a

la mesure de Lebesgue)

f

(x) := a − 1 x

I

.

(a) Montrer que n

Y

converge en loi vers une loi de densit´ e g

` a pr´ eciser.

(b) Calculer pour t > 1 et s > 0,

P (Y

> t + s|Y

> t)

(c) Soit t, ε > 0, Quelle est la limite en probabilit´ e quand ε tend vers 0 de εY

condi- tionnellement ` a l’´ ev´ enement {εY

≥ t} ?

(d) Comparer les r´ esultats obtenus pour la loi de Pareto ` a ceux obtenus pour la loi exponentielle.

3 Processus AR(1)

Soit −1 < a < 1 et soit (ε

)

une suite de variables i.i.d. de loi normale standard. Soit X

une variable al´ eatoire gaussienne centr´ ee de variance (1 − a

)

ind´ ependante de la suite (ε

)

On consid` ere le processus (X

)

d´ efini par l’´ equation de r´ ecurrence :

X

:= aX

+ ε

, (n ∈ N ).

1. Calculer pour n, h ∈ N cov(X

, X

). Montrer que (X

)

est un processus gaussien stationnaire.

2. Quelle est la densit´ e spectrale de ce processus.

3. Soit N un entier naturel non nul. Exprimer (X

, ε

, . . . , ε

) en fonction de (X

, . . . , X

).

D´ eterminer la densit´ e du vecteur al´ eatoire (ε

)

. En d´ eduire la densit´ e du vecteur al´ eatoire (X

)

.

4. Soit Γ

la matrice de variance covariance du vecteur (X

)

. En utilisant la question pr´ ec´ edente, d´ eterminer Γ

.

5. On observe (X

)

, d´ eterminer tr` es pr´ ecisement la loi conditionnelle de X

sachant

cette observation. On d´ esire estimer le param` etre a. Ecrire la vraisemblance associ´ ee aux

observations (X

)

. Calculer l’estimateur du maximum de vraisemblance b a

.

6. Montrer que b a

est un estimateur qui converge en probabilit´ e vers a.