1 n-´ echantillon d’une loi de Poisson

(1)

TD Mod`ele exponentiel

Probabilit´ es et Statistique MAF 2011-2012

1 n-´ echantillon d’une loi de Poisson

On consid` ere X ₁ , X ₂ , . . . , X _n un n-´ echantillon d’une loi de Poisson de param` etre θ inconnu, θ ∈ [0, ∞[.

1) On cherche ` a estimer θ.

a) L’estimateur X = ^X

¹

^+...+X _n

ⁿ

est-il sans biais ? Quel est son risque quadratique ? b) Montrer que, pour tout estimateur h(X ₁ , . . . , X _n ), il existe un estimateur

h(X ˆ ₁ +. . . +X _n ) de θ de risque quadratique inf´ erieur : X est une statistique exhaustive.

c) Quel est l’estimateur du maximum de vraisemblance de θ ?

2) On cherche maintenant ` a estimer e ^−lθ , probabilit´ e pour que sur l exp´ eriences futures, on observe toujours 0.

a) On propose l’estimateur, e ^lX ? Est-il sans biais ? Quel est son risque quadratique ? b) D´ eterminer une fonction g de N dans R telle que g(nX) soit un estimateur sans biais.

Que se passe-t-il si on prend n = 1, l = 2 ?

2 Loi de Poisson

Consid´ erons le mod` ele domin´ e ( N , P ( N ), {P(θ), θ > 0}) ⁿ o` u P (θ) est une loi de Poisson de param` etre θ.

a) Montrer que T (X) = P n

i=1 X _i est une statistique exhaustive sans utiliser le Th´ eor` eme de Neyman-Fisher.

b) A l’aide du Th´ eor` eme de Neyman-Fisher retrouver ce r´ esultat.

3 Mod` ele exponentiel

a) Utiliser la propri´ et´ e de reparam´ etrisation des familles exponentielles pour calculer dans le cas d’un n-´ echantillon (X ₁ , · · · , X _n ) de loi gaussienne de param` etres µ et σ :

E θ ( X

X _i ), E θ ( X

X _i ² ), Var _θ ( X

X _i ), Var _θ ( X X _i ² ).

b) Mˆ eme question pour le mod` ele de Rayleigh : f (x, θ) = (x/θ ² ) exp (−x ² /2θ ² ), pour x > 0 et θ > 0.

4 Mod` eles exponentiels

Montrer que les distributions suivantes peuvent se mettre sous la forme d’un mod` ele ex- ponentiel en θ, θ > 0, dont on pr´ ecisera ` a chaque fois le param` etre naturel et la satistique exhaustive.

- Loi de Poisson : P (y = k) = e ^−θ θ ^k

k! , k ∈ IN.

1

(2)

- Loi binomiale : P (y = k) = n

k

θ ^k (1 − θ) ^n−k , k = 1, . . . , n.

- Loi binomiale n´ egative : P (y = k) =

n + k − 1 n − 1

θ ⁿ (1 − θ) ^k , k ∈ IN.

- Loi gamma : f(x) = θ ^a

Γ(a) e ^−θx x ^a−1 , x > 0, a > 0.

- Loi de Weibull : f (x) = θax ^a−1 exp (−θx ^a ), x > 0, a > 0.

- Loi de Pareto : f(x) = θa ^θ

x ^θ+1 , a > 0, x > a.

5 Loi log-normale

Soit X ₁ , . . . , X _n une suite de variables al´ eatoires r´ eelles positives, ind´ ependantes de mˆ eme loi, telle que log X _i soit distribu´ e selon une loi normale de param` etre θ r´ eel inconnu, et devariance 1.

a) Montrer que P n

i=1 log X _i est une statistique exhaustive totale et minimale.

b) Donner une estimateur sans biais de variance minimale de θ.

c) Donner l’information de Fisher du mod` ele en θ.

d) Donner un estimateur sans biais de e ^θ .

6 Loi Hyperg´ eom´ etrique

Pour N et n fixes, on consid` ere Θ = {0, 1, . . . , N } et la famille (P _θ ) θ∈Θ des lois hy- perg´ eom´ etriques sur Ω = {0, 1, . . . , n} donn´ ee par

P _θ (k) = θ

k

N − θ n − k

N

n

, 0 ≤ k ≤ inf(n, θ).

On observe X de loi P _θ . Donner un estimateur uniform´ ement de variance minimale parmi les estimateurs sans biais de θ. Calculer cette variance.

7 Efficacit´ e

Soit X ₁ , . . . , X _n un n-´ echantillon de la loi F _θ . Discuter de l’efficacit´ e de X comme estimateur de la moyenne dans les cas suivants : F _θ est la loi B(1, θ), N (θ, 1), P (θ), E (θ), G´ eom´ etrique(θ) et enfin U ([0, θ]).

8 Loi de Binomiale

Soit X ₁ , . . . , X _n un n-´ echantillon de la loi B(1, θ), 0 < θ < 1. On pose T = X(1 − X) et S = _n−1 ⁿ X(1 − X). On veut estimer f(θ) = θ(1 − θ).

a) Donner un estimateur uniform´ ement de variance minimale parmi les estimateurs sans biais de f (θ).

b) Quelle est la borne de Cram´ er-Rao pour les estimateurs sans biais de f (θ)?

c) On veut montrer que Var _θ (S) = ¹ _n ϕ(θ) + O(n ⁻² ) et calculer ϕ(θ).

α) Calculer E _θ f(X) et E _θ f(X) ² en utilisant la formule de Taylor appliqu´ ee ` a f(X)−f (θ) et f (X) ² − f (θ) ² .

β) V´ erifier que E _θ (X − θ) ³ et E _θ (X − θ) ⁴ sont de l’ordre de O(n ⁻² ).

γ) Conclure.

d) Calculer Var _θ (S).

1 n-´ echantillon d’une loi de Poisson

TD Mod`ele exponentiel

Probabilit´ es et Statistique MAF 2011-2012

1 n-´ echantillon d’une loi de Poisson

On consid` ere X 1 , X 2 , . . . , X n un n-´ echantillon d’une loi de Poisson de param` etre θ inconnu, θ ∈ [0, ∞[.

1) On cherche ` a estimer θ.

a) L’estimateur X = X

+...+X n

est-il sans biais ? Quel est son risque quadratique ? b) Montrer que, pour tout estimateur h(X 1 , . . . , X n ), il existe un estimateur

h(X ˆ 1 +. . . +X n ) de θ de risque quadratique inf´ erieur : X est une statistique exhaustive.

c) Quel est l’estimateur du maximum de vraisemblance de θ ?

2) On cherche maintenant ` a estimer e −lθ , probabilit´ e pour que sur l exp´ eriences futures, on observe toujours 0.

a) On propose l’estimateur, e lX ? Est-il sans biais ? Quel est son risque quadratique ? b) D´ eterminer une fonction g de N dans R telle que g(nX) soit un estimateur sans biais.

Que se passe-t-il si on prend n = 1, l = 2 ?

2 Loi de Poisson

Consid´ erons le mod` ele domin´ e ( N , P ( N ), {P(θ), θ > 0}) n o` u P (θ) est une loi de Poisson de param` etre θ.

a) Montrer que T (X) = P n

i=1 X i est une statistique exhaustive sans utiliser le Th´ eor` eme de Neyman-Fisher.

b) A l’aide du Th´ eor` eme de Neyman-Fisher retrouver ce r´ esultat.

3 Mod` ele exponentiel

a) Utiliser la propri´ et´ e de reparam´ etrisation des familles exponentielles pour calculer dans le cas d’un n-´ echantillon (X 1 , · · · , X n ) de loi gaussienne de param` etres µ et σ :

E θ ( X

X i ), E θ ( X

X i 2 ), Var θ ( X

X i ), Var θ ( X X i 2 ).

b) Mˆ eme question pour le mod` ele de Rayleigh : f (x, θ) = (x/θ 2 ) exp (−x 2 /2θ 2 ), pour x > 0 et θ > 0.

4 Mod` eles exponentiels

Montrer que les distributions suivantes peuvent se mettre sous la forme d’un mod` ele ex- ponentiel en θ, θ > 0, dont on pr´ ecisera ` a chaque fois le param` etre naturel et la satistique exhaustive.

- Loi de Poisson : P (y = k) = e −θ θ k

k! , k ∈ IN.

1

- Loi binomiale : P (y = k) = n

k

θ k (1 − θ) n−k , k = 1, . . . , n.

- Loi binomiale n´ egative : P (y = k) =

n + k − 1 n − 1

θ n (1 − θ) k , k ∈ IN.

- Loi gamma : f(x) = θ a

Γ(a) e −θx x a−1 , x > 0, a > 0.

- Loi de Weibull : f (x) = θax a−1 exp (−θx a ), x > 0, a > 0.

- Loi de Pareto : f(x) = θa θ

x θ+1 , a > 0, x > a.

5 Loi log-normale

Soit X 1 , . . . , X n une suite de variables al´ eatoires r´ eelles positives, ind´ ependantes de mˆ eme loi, telle que log X i soit distribu´ e selon une loi normale de param` etre θ r´ eel inconnu, et devariance 1.

a) Montrer que P n

i=1 log X i est une statistique exhaustive totale et minimale.

b) Donner une estimateur sans biais de variance minimale de θ.

c) Donner l’information de Fisher du mod` ele en θ.

d) Donner un estimateur sans biais de e θ .

6 Loi Hyperg´ eom´ etrique

Pour N et n fixes, on consid` ere Θ = {0, 1, . . . , N } et la famille (P θ ) θ∈Θ des lois hy- perg´ eom´ etriques sur Ω = {0, 1, . . . , n} donn´ ee par

P θ (k) = θ

k

N − θ n − k

N

n

, 0 ≤ k ≤ inf(n, θ).

On observe X de loi P θ . Donner un estimateur uniform´ ement de variance minimale parmi les estimateurs sans biais de θ. Calculer cette variance.

7 Efficacit´ e

Soit X 1 , . . . , X n un n-´ echantillon de la loi F θ . Discuter de l’efficacit´ e de X comme estimateur de la moyenne dans les cas suivants : F θ est la loi B(1, θ), N (θ, 1), P (θ), E (θ), G´ eom´ etrique(θ) et enfin U ([0, θ]).

8 Loi de Binomiale

Soit X 1 , . . . , X n un n-´ echantillon de la loi B(1, θ), 0 < θ < 1. On pose T = X(1 − X) et S = n−1 n X(1 − X). On veut estimer f(θ) = θ(1 − θ).

a) Donner un estimateur uniform´ ement de variance minimale parmi les estimateurs sans biais de f (θ).

b) Quelle est la borne de Cram´ er-Rao pour les estimateurs sans biais de f (θ)?

c) On veut montrer que Var θ (S) = 1 n ϕ(θ) + O(n −2 ) et calculer ϕ(θ).

α) Calculer E θ f(X) et E θ f(X) 2 en utilisant la formule de Taylor appliqu´ ee ` a f(X)−f (θ) et f (X) 2 − f (θ) 2 .

β) V´ erifier que E θ (X − θ) 3 et E θ (X − θ) 4 sont de l’ordre de O(n −2 ).

γ) Conclure.

d) Calculer Var θ (S).

On consid` ere X ₁ , X ₂ , . . . , X _n un n-´ echantillon d’une loi de Poisson de param` etre θ inconnu, θ ∈ [0, ∞[.

a) L’estimateur X = ^X

^+...+X _n

est-il sans biais ? Quel est son risque quadratique ? b) Montrer que, pour tout estimateur h(X ₁ , . . . , X _n ), il existe un estimateur

h(X ˆ ₁ +. . . +X _n ) de θ de risque quadratique inf´ erieur : X est une statistique exhaustive.

2) On cherche maintenant ` a estimer e ^−lθ , probabilit´ e pour que sur l exp´ eriences futures, on observe toujours 0.

a) On propose l’estimateur, e ^lX ? Est-il sans biais ? Quel est son risque quadratique ? b) D´ eterminer une fonction g de N dans R telle que g(nX) soit un estimateur sans biais.

Consid´ erons le mod` ele domin´ e ( N , P ( N ), {P(θ), θ > 0}) ⁿ o` u P (θ) est une loi de Poisson de param` etre θ.

i=1 X _i est une statistique exhaustive sans utiliser le Th´ eor` eme de Neyman-Fisher.

a) Utiliser la propri´ et´ e de reparam´ etrisation des familles exponentielles pour calculer dans le cas d’un n-´ echantillon (X ₁ , · · · , X _n ) de loi gaussienne de param` etres µ et σ :

X _i ), E θ ( X

X _i ² ), Var _θ ( X

X _i ), Var _θ ( X X _i ² ).

b) Mˆ eme question pour le mod` ele de Rayleigh : f (x, θ) = (x/θ ² ) exp (−x ² /2θ ² ), pour x > 0 et θ > 0.

- Loi de Poisson : P (y = k) = e ^−θ θ ^k

θ ^k (1 − θ) ^n−k , k = 1, . . . , n.

θ ⁿ (1 − θ) ^k , k ∈ IN.

- Loi gamma : f(x) = θ ^a

Γ(a) e ^−θx x ^a−1 , x > 0, a > 0.

- Loi de Weibull : f (x) = θax ^a−1 exp (−θx ^a ), x > 0, a > 0.

- Loi de Pareto : f(x) = θa ^θ

x ^θ+1 , a > 0, x > a.

Soit X ₁ , . . . , X _n une suite de variables al´ eatoires r´ eelles positives, ind´ ependantes de mˆ eme loi, telle que log X _i soit distribu´ e selon une loi normale de param` etre θ r´ eel inconnu, et devariance 1.

i=1 log X _i est une statistique exhaustive totale et minimale.

d) Donner un estimateur sans biais de e ^θ .

Pour N et n fixes, on consid` ere Θ = {0, 1, . . . , N } et la famille (P _θ ) θ∈Θ des lois hy- perg´ eom´ etriques sur Ω = {0, 1, . . . , n} donn´ ee par

P _θ (k) = θ

On observe X de loi P _θ . Donner un estimateur uniform´ ement de variance minimale parmi les estimateurs sans biais de θ. Calculer cette variance.

Soit X ₁ , . . . , X _n un n-´ echantillon de la loi F _θ . Discuter de l’efficacit´ e de X comme estimateur de la moyenne dans les cas suivants : F _θ est la loi B(1, θ), N (θ, 1), P (θ), E (θ), G´ eom´ etrique(θ) et enfin U ([0, θ]).

Soit X ₁ , . . . , X _n un n-´ echantillon de la loi B(1, θ), 0 < θ < 1. On pose T = X(1 − X) et S = _n−1 ⁿ X(1 − X). On veut estimer f(θ) = θ(1 − θ).

c) On veut montrer que Var _θ (S) = ¹ _n ϕ(θ) + O(n ⁻² ) et calculer ϕ(θ).

α) Calculer E _θ f(X) et E _θ f(X) ² en utilisant la formule de Taylor appliqu´ ee ` a f(X)−f (θ) et f (X) ² − f (θ) ² .

β) V´ erifier que E _θ (X − θ) ³ et E _θ (X − θ) ⁴ sont de l’ordre de O(n ⁻² ).

d) Calculer Var _θ (S).