1 Choix de Mod` eles

(1)

M2R Math´ ematiques appliqu´ ees 2010–2011

Mod` elisation Statistique

Examen du 27 Janvier 2011 de 9h30 ` a 12h30

Les notes de cours sont autoris´ ees. Les calculatrices sont autoris´ ees.

1 Choix de Mod` eles

Pour n ≥ 2, on consid` ere le mod` ele lin´ eaire gaussien de dimension 2n × 3, Y = Xθ ^∗ + ε o` u ε ∼ N _2n (0, σ _∗ ² ),

X :=







1 −1 1

1 1 1

.. . .. . .. . 1 (−1) ⁿ 1 1 (−1) ⁿ⁺¹ −1 1 (−1) ⁿ⁺² −1 .. . .. . .. . 1 (−1) ²ⁿ −1







et θ ^∗ :=



 θ ₁ ^∗ θ ₂ ^∗ θ ₃ ^∗



 .

Dans tout l’exercice on suppose que l’on a θ ^∗ ₁ = θ ₃ ^∗ = 0. Evidemment l’observateur des r´ esultats du mod` ele, le d´ enom´ e Jack Istique ne le sait pas et va chercher ` a le d´ ecouvrir par diff´ erents moyens.

1. Montrer que le mod` ele pr´ ec´ edent rentre dans le cadre du mod` ele lin´ eaire gaussien r´ egulier.

Calculer les estimateurs du maximum de vraisemblance θ b _n et σ c _n ² de θ ^∗ et σ _∗ ² . 2. Montrer que θ b _n converge presque sˆ urement, quand n tend vers l’infini, vers θ ^∗ . 3. Quelle est la loi jointe de √

2n( θ b _n − θ ^∗ ), 2n ^σ _σ ^c

ⁿ²2

∗

? D´ ecrire les r´ egions de confiance pour θ ^∗ et σ _∗ ² .

4. Pour J ⊂ {1, 2, 3}, on pose θ _J ^∗ := (θ _j ^∗ ) j∈J . Pour J ⊂ {1, 2, 3} et J 6= ∅, d´ ecrire pr´ ecisement la proc´ edure de test de H ₀ θ ^∗ _J = 0 contre H ₁ θ ^∗ _J 6= 0.

5. On se propose de comparer les strat´ egies de choix de mod` eles du C _p de Mallows avec BIC.

Rappelons tout d’abord les fonctions d’objectifs associ´ ees. Pour J ⊂ {1, 2, 3}, |J | d´ esigne le nombre d’´ el´ ements de J et σ d ² _n,J la variance estim´ ee par maximum de vraisemblance dans le mod` ele ` a |J| param` etres o` u le param` etre intervenant dans la moyenne des observations est θ _J . On a alors

C _p (J ) :=

σ d ² _n,J σ c _n ² + |J|

n , BIC(J ) := log( σ d _n,J ² ) + log 2 + log n

2n |J|.

Rappelons que l’on se place dans le cas o` u J ^∗ = {2}. Les questions qui suivent seront

trait´ ees pour le BIC et C _p de Mallows

(2)

– Calculer la probabilit´ e de sous-ajustement ainsi que sa limite quand n tend vers l’infini.

– Pour chacun des 3 sous-ensembles J de {1, 2, 3} qui sur-ajustent J ^∗ calculer les pro- babilit´ es de se tromper de mod` ele en selectionnant le mod` ele J. Calculer les limites, quand n tend vers l’infini, de ces probabilit´ es.

– On rappelle que si A et B sont des esembles mesurables on a P (A ∪ B) ≤ P (A) + P (B).

Donner un majorant de la probabilit´ e de sur-ajustement et d´ eterminer la limite, quand n tend vers l’infini, de cette borne.

– Que pensez-vous des crit` eres BIC et C _p de Mallows pour le mod` ele ´ etudi´ e ici ?

2 Loi des Extrˆ emes

Soit X ₁ , . . . , X _n des variables i.i.d. de loi de Cauchy. On rappelle que la loi de Cauchy a pour densit´ e par rapport ` a la mesure de Lebesgue sur R :

f(x) = 1

π(1 + x ² ) , (x ∈ R ).

1. Calculer la fonction de r´ epartition de X ₁ not´ ee F .

2. La fonction carat´ eristique de X 1 vaut pour t ∈ R , exp(−|t|). Quelle est la loi de la moyenne empirique de X ₁ , . . . , X _n ? Quelle est la loi de l’inverse de la moyenne empirique de X ₁ , . . . , X _n ?

3. On consid` ere la fonction

ψ(x) := tan(x) + tan 1

x

,

d´ efinie sur R ^∗ . Calculer la d´ eriv´ ee de ψ sur R ^∗ et en d´ eduire que cette fonction ne prend que 2 valeurs distinctes. Soit x ∈ R et un entier naturel n > x, on pose u n (x) := (1 + ^x _n ) ⁿ . Calculer la limite, quand n tend vers l’infini, de u _n (x).

4. On pose maintenant, pour n ≥ 1, X _(n) := max _i=1...n X _i . Pour t ∈ R , calculer la fonction de r´ epartition de X _(n) . On note F _X

_(n)

cette fonction de r´ epartition. En utilisant la question pr´ ec´ edente montrer que

n→∞ lim F _X

_(n)

(nu) = exp

− 1 πu

, (u > 0),

n→∞ lim F _X

_(n)

(nu) = 0, (u ≤ 0).

En d´ eduire que n ⁻¹ X _(n) converge en loi vers une loi G ` a pr´ eciser.

5. Soit Y ₁ . . . , Y _n des variables i.i.d. de loi exponentielle de param` etre 1. Montrer que Y (n) − log n converge en loi vers une loi H ` a pr´ eciser.

3 S´ eries chronologiques

Soit (ε _n ) n∈ Z une suite de variables i.i.d. de loi normale standard. Soit a ∈ R , on consid` ere le processus (X n ) n∈ Z d´ efini par l’´ equation de r´ ecurrence :

X _n+1 := ε _n + aε _n+1 , (n ∈ N ).

(3)

1. Calculer pour n, h ∈ Z cov(X _n , X _n+h ). Montrer que (X _n ) n∈ Z est un processus gaussien stationnaire.

2. Quelle est la densit´ e spectrale de ce processus.

3. Soit N un entier naturel non nul. Exprimer (X ₁ , . . . , X _N ) en fonction de (ε ₀ , . . . , ε _N ) puis (ε ₀ , . . . , ε _N ) en fonction de (ε ₀ , X ₁ , . . . , X _N ). D´ eterminer la densit´ e du vecteur al´ eatoire (ε _n ) _n=0,...,N . En d´ eduire la densit´ e du vecteur al´ eatoire (ε ₀ , (X _n ) _n=1,...,N ) puis celle de (X _n ) _n=1,...,N .

4. Soit Γ _n la matrice de variance covariance du vecteur (X _n ) _n=1,...,N ). En utilisant la question pr´ ec´ edente, d´ eterminer Γ ⁻¹ _n .

5. On observe (X n ) n=1,...,N , d´ eterminer tr` es pr´ ecisement la loi conditionnelle de X N+1 sa- chant cette observation. On d´ esire estimer le param` etre a. Utiliser la covariance empirique b r _N (1) := (N − 1) ⁻¹ P N −1

j=1 X _j X j−1 pour bˆ atir un estimateur empirique b a _N de a. Ecrire la vraisemblance associ´ ee aux observations (X n ) n=1,...,N . L’estimateur du maximum de vraisemblance est-il calculable ?

6. Montrer que b a _N est un estimateur sans biais et qu’il converge en probabilit´ e vers a.

1 Choix de Mod` eles

M2R Math´ ematiques appliqu´ ees 2010–2011

Mod` elisation Statistique

Examen du 27 Janvier 2011 de 9h30 ` a 12h30

Les notes de cours sont autoris´ ees. Les calculatrices sont autoris´ ees.

1 Choix de Mod` eles

Pour n ≥ 2, on consid` ere le mod` ele lin´ eaire gaussien de dimension 2n × 3, Y = Xθ ∗ + ε o` u ε ∼ N 2n (0, σ ∗ 2 ),

X :=



























1 −1 1

1 1 1

.. . .. . .. . 1 (−1) n 1 1 (−1) n+1 −1 1 (−1) n+2 −1 .. . .. . .. . 1 (−1) 2n −1



























et θ ∗ :=



 θ 1 ∗ θ 2 ∗ θ 3 ∗



 .

Dans tout l’exercice on suppose que l’on a θ ∗ 1 = θ 3 ∗ = 0. Evidemment l’observateur des r´ esultats du mod` ele, le d´ enom´ e Jack Istique ne le sait pas et va chercher ` a le d´ ecouvrir par diff´ erents moyens.

1. Montrer que le mod` ele pr´ ec´ edent rentre dans le cadre du mod` ele lin´ eaire gaussien r´ egulier.

Calculer les estimateurs du maximum de vraisemblance θ b n et σ c n 2 de θ ∗ et σ ∗ 2 . 2. Montrer que θ b n converge presque sˆ urement, quand n tend vers l’infini, vers θ ∗ . 3. Quelle est la loi jointe de √

2n( θ b n − θ ∗ ), 2n σ σ c

? D´ ecrire les r´ egions de confiance pour θ ∗ et σ ∗ 2 .

4. Pour J ⊂ {1, 2, 3}, on pose θ J ∗ := (θ j ∗ ) j∈J . Pour J ⊂ {1, 2, 3} et J 6= ∅, d´ ecrire pr´ ecisement la proc´ edure de test de H 0 θ ∗ J = 0 contre H 1 θ ∗ J 6= 0.

5. On se propose de comparer les strat´ egies de choix de mod` eles du C p de Mallows avec BIC.

C p (J ) :=

σ d 2 n,J σ c n 2 + |J|

n , BIC(J ) := log( σ d n,J 2 ) + log 2 + log n

2n |J|.

Rappelons que l’on se place dans le cas o` u J ∗ = {2}. Les questions qui suivent seront

trait´ ees pour le BIC et C p de Mallows

– Calculer la probabilit´ e de sous-ajustement ainsi que sa limite quand n tend vers l’infini.

– Pour chacun des 3 sous-ensembles J de {1, 2, 3} qui sur-ajustent J ∗ calculer les pro- babilit´ es de se tromper de mod` ele en selectionnant le mod` ele J. Calculer les limites, quand n tend vers l’infini, de ces probabilit´ es.

– On rappelle que si A et B sont des esembles mesurables on a P (A ∪ B) ≤ P (A) + P (B).

Donner un majorant de la probabilit´ e de sur-ajustement et d´ eterminer la limite, quand n tend vers l’infini, de cette borne.

– Que pensez-vous des crit` eres BIC et C p de Mallows pour le mod` ele ´ etudi´ e ici ?

2 Loi des Extrˆ emes

Soit X 1 , . . . , X n des variables i.i.d. de loi de Cauchy. On rappelle que la loi de Cauchy a pour densit´ e par rapport ` a la mesure de Lebesgue sur R :

f(x) = 1

π(1 + x 2 ) , (x ∈ R ).

1. Calculer la fonction de r´ epartition de X 1 not´ ee F .

2. La fonction carat´ eristique de X 1 vaut pour t ∈ R , exp(−|t|). Quelle est la loi de la moyenne empirique de X 1 , . . . , X n ? Quelle est la loi de l’inverse de la moyenne empirique de X 1 , . . . , X n ?

3. On consid` ere la fonction

ψ(x) := tan(x) + tan 1

x

,

d´ efinie sur R ∗ . Calculer la d´ eriv´ ee de ψ sur R ∗ et en d´ eduire que cette fonction ne prend que 2 valeurs distinctes. Soit x ∈ R et un entier naturel n > x, on pose u n (x) := (1 + x n ) n . Calculer la limite, quand n tend vers l’infini, de u n (x).

4. On pose maintenant, pour n ≥ 1, X (n) := max i=1...n X i . Pour t ∈ R , calculer la fonction de r´ epartition de X (n) . On note F X

cette fonction de r´ epartition. En utilisant la question pr´ ec´ edente montrer que

n→∞ lim F X

(nu) = exp

− 1 πu

, (u > 0),

n→∞ lim F X

(nu) = 0, (u ≤ 0).

En d´ eduire que n −1 X (n) converge en loi vers une loi G ` a pr´ eciser.

Pour n ≥ 2, on consid` ere le mod` ele lin´ eaire gaussien de dimension 2n × 3, Y = Xθ ^∗ + ε o` u ε ∼ N _2n (0, σ _∗ ² ),

.. . .. . .. . 1 (−1) ⁿ 1 1 (−1) ⁿ⁺¹ −1 1 (−1) ⁿ⁺² −1 .. . .. . .. . 1 (−1) ²ⁿ −1

et θ ^∗ :=

 θ ₁ ^∗ θ ₂ ^∗ θ ₃ ^∗

Dans tout l’exercice on suppose que l’on a θ ^∗ ₁ = θ ₃ ^∗ = 0. Evidemment l’observateur des r´ esultats du mod` ele, le d´ enom´ e Jack Istique ne le sait pas et va chercher ` a le d´ ecouvrir par diff´ erents moyens.

Calculer les estimateurs du maximum de vraisemblance θ b _n et σ c _n ² de θ ^∗ et σ _∗ ² . 2. Montrer que θ b _n converge presque sˆ urement, quand n tend vers l’infini, vers θ ^∗ . 3. Quelle est la loi jointe de √

2n( θ b _n − θ ^∗ ), 2n ^σ _σ ^c

? D´ ecrire les r´ egions de confiance pour θ ^∗ et σ _∗ ² .

4. Pour J ⊂ {1, 2, 3}, on pose θ _J ^∗ := (θ _j ^∗ ) j∈J . Pour J ⊂ {1, 2, 3} et J 6= ∅, d´ ecrire pr´ ecisement la proc´ edure de test de H ₀ θ ^∗ _J = 0 contre H ₁ θ ^∗ _J 6= 0.

5. On se propose de comparer les strat´ egies de choix de mod` eles du C _p de Mallows avec BIC.

C _p (J ) :=

σ d ² _n,J σ c _n ² + |J|

n , BIC(J ) := log( σ d _n,J ² ) + log 2 + log n

Rappelons que l’on se place dans le cas o` u J ^∗ = {2}. Les questions qui suivent seront

trait´ ees pour le BIC et C _p de Mallows

– Pour chacun des 3 sous-ensembles J de {1, 2, 3} qui sur-ajustent J ^∗ calculer les pro- babilit´ es de se tromper de mod` ele en selectionnant le mod` ele J. Calculer les limites, quand n tend vers l’infini, de ces probabilit´ es.

– Que pensez-vous des crit` eres BIC et C _p de Mallows pour le mod` ele ´ etudi´ e ici ?

Soit X ₁ , . . . , X _n des variables i.i.d. de loi de Cauchy. On rappelle que la loi de Cauchy a pour densit´ e par rapport ` a la mesure de Lebesgue sur R :

π(1 + x ² ) , (x ∈ R ).

1. Calculer la fonction de r´ epartition de X ₁ not´ ee F .

2. La fonction carat´ eristique de X 1 vaut pour t ∈ R , exp(−|t|). Quelle est la loi de la moyenne empirique de X ₁ , . . . , X _n ? Quelle est la loi de l’inverse de la moyenne empirique de X ₁ , . . . , X _n ?

d´ efinie sur R ^∗ . Calculer la d´ eriv´ ee de ψ sur R ^∗ et en d´ eduire que cette fonction ne prend que 2 valeurs distinctes. Soit x ∈ R et un entier naturel n > x, on pose u n (x) := (1 + ^x _n ) ⁿ . Calculer la limite, quand n tend vers l’infini, de u _n (x).

4. On pose maintenant, pour n ≥ 1, X _(n) := max _i=1...n X _i . Pour t ∈ R , calculer la fonction de r´ epartition de X _(n) . On note F _X

n→∞ lim F _X

n→∞ lim F _X

En d´ eduire que n ⁻¹ X _(n) converge en loi vers une loi G ` a pr´ eciser.

5. Soit Y ₁ . . . , Y _n des variables i.i.d. de loi exponentielle de param` etre 1. Montrer que Y (n) − log n converge en loi vers une loi H ` a pr´ eciser.

Soit (ε _n ) n∈ Z une suite de variables i.i.d. de loi normale standard. Soit a ∈ R , on consid` ere le processus (X n ) n∈ Z d´ efini par l’´ equation de r´ ecurrence :

X _n+1 := ε _n + aε _n+1 , (n ∈ N ).

1. Calculer pour n, h ∈ Z cov(X _n , X _n+h ). Montrer que (X _n ) n∈ Z est un processus gaussien stationnaire.

4. Soit Γ _n la matrice de variance covariance du vecteur (X _n ) _n=1,...,N ). En utilisant la question pr´ ec´ edente, d´ eterminer Γ ⁻¹ _n .

5. On observe (X n ) n=1,...,N , d´ eterminer tr` es pr´ ecisement la loi conditionnelle de X N+1 sa- chant cette observation. On d´ esire estimer le param` etre a. Utiliser la covariance empirique b r _N (1) := (N − 1) ⁻¹ P N −1

j=1 X _j X j−1 pour bˆ atir un estimateur empirique b a _N de a. Ecrire la vraisemblance associ´ ee aux observations (X n ) n=1,...,N . L’estimateur du maximum de vraisemblance est-il calculable ?

6. Montrer que b a _N est un estimateur sans biais et qu’il converge en probabilit´ e vers a.