Map 311 - Introduction aux probabilités et à la simulation aléatoire.

Map 311 - Introduction aux probabilités et à la simulation aléatoire.

PC 8 - Année 2016

Vincent Bansaye - Lucas Gerin

Méthodes d'estimation

EXERCICE 1 -(Somme normalisée)

Soit(X_i)_i≥1 une suite de v.a. i.i.d. d'espérance0 et de carré intégrable. Quelle est la limite en loi

de Pn

i=1X_i pPn

i=1X_i² ?

EXERCICE 2 -(Fonction de répartition empirique). Soit (Xk)k≥1 une suite de v.a. i.i.d.

de fonction de répartition F, que l'on suppose continue sur R. La fonction F est inconnue, on cherche à l'estimer à partir d'un échantillon.

Pour n≥1, on dénit la fonction de répartition empirique Fn associée à X1, . . . , Xn : F_n(t) = 1

n

n

X

k=1

1_Xk≤t.

La fonctionFn est donc aléatoire, on va montrer qu'elle donne une bonne estimation de F.

Les fonctions de répartition empirique et théorique pour un échantillon de 30 v.a. exponentielles.

1. Démontrer que F_n converge simplement vers F : pour tout t∈R, F_n(t)→F(t) p.s.

On souhaite démontrer que la convergence est en fait uniforme. Soitε >0, et soit une subdivision¹

−∞=a₀ < a₁ <· · ·< aK−1 < a_K = +∞tels que, pour tout i,F(a_i+1)−F(a_i)≤ε. 2. Démontrer que si x∈[ai, ai+1],

F_n(a_i)−F(a_i)−ε ≤F_n(x)−F(x)≤F_n(a_i+1)−F(a_i+1) +ε, et conclure :

sup

t∈R

|Fn(t)−F(t)| →0 p.s.

1Au fait, pourquoi est-ce que cette subdivision existe ?

EXERCICE 3 -(Maximum de vraisemblance)

1. Pour λ >0, soit X1, . . . , Xn un échantillon de Poisson(λ). Déterminer la fonction de vrai- semblance L(x₁, . . . , x_n;λ), puis l'estimateur du maximum de vraisemblance (EMV) λˆ_n de λ. Est-ce que l'EMV est sans biais ? Est-ce qu'il converge versλ?

2. Pourθ > −1, soitX₁, . . . , X_nun échantillon de densitéx7→(1+θ)x^θsur[0,1]. Déterminer la fonction de vraisemblanceL(x₁, . . . , x_n;θ), puis l'estimateur du maximum de vraisemblance θˆ_n deθ. Est-ce que l'EMV est sans biais ? Est-ce qu'il converge versθ?

EXERCICE 4 -(Estimation optimale de σ²)

On considère un échantillon de n variables aléatoires indépendantes X₁, . . . , X_n de loi N(0, σ²), avecσ² inconnue. On cherche à l'estimer par un estimateur de la forme

S_c= 1 c

n

X

k=1

X_k²,

oùcest un réel positif. Pour évaluer la qualité de l'estimateur S_c, on introduit deux quantités : Le biais de S_c est le réel b(c) =E[S_c]−σ².

Le risque quadratique est la quantité R(c) = E h

(S_c−σ²)²i . 1. Comment choisir c pour que S_c soit sans biais ?

2. Vérier que le risque quadratique peut s'écrire sous la forme suivante R(c) = Var(Sc) +b(c)².

3. On rappelle que E[X₁⁴] = 3σ⁴. Comment choisir c pour que S_c soit de risque quadratique minimal ?

EXERCICE 5 -(Processus autorégressif : estimation) Soient a un réel et (X_k)k≥0 le processus déni par X₀ = 0 et

X_k+1 =aX_k+ε_k+1

où(ε_k)_k≥1 est une suite de N(0,1)i.i.d. (en particulierε_k+1 est indépendante deX_k). On cherche à estimer le paramètrea à partir d'un échantillon (X₁, . . . , X_n).

1. Écrire la densité de(X₁, X₂, X₃, . . . , X_n). En déduire la fonction de vraisemblanceL(x₁, . . . , x_n;a), 2. Calculer l'estimateur du maximum de vraisemblance ˆa_n dea.