TD 11 : Estimation
Exercice 1 : D’après ESC 2006
𝑅 désigne un réel fixé strictement positif et on considère la fonction 𝑓 définie sur ℝ par : 𝑓(𝑡) = 0 si 𝑡 ∉ [0; 𝑅]
𝑓(𝑡) = si 𝑡 ∈ [0; 𝑅]
1. (a) Étudier la continuité de 𝑓.
(b) Montrer que 𝑓 est une densité de probabilité.
On note dans toute la suite 𝑋 une variable aléatoire réelle de densité 𝑓.
𝐹 désigne sa fonction de répartition.
2. (a) Déterminer la valeur 𝐹 (𝑥) lorsque 𝑥 < 0 , puis lorsque 𝑥 > 𝑅.
(b) Montrer que pour tout réel 𝑥 de [0; 𝑅], 𝐹 (𝑥) =𝑥 𝑅 . 3. (a) Montrer que 𝑋 admet une espérance et que 𝐸(𝑋) = .
(b) Montrer que 𝑋 admet une variance et que 𝑉(𝑋) =
Dans toute la suite 𝑛 désigne un entier naturel non nul et 𝑋 , 𝑋 , . . . , 𝑋 des variables aléatoires indépendantes et de même loi que 𝑋. On cherche à estimer le réel R à l’aide de 𝑋 , 𝑋 , . . . , 𝑋 .
4. On note 𝑇 = 3
2𝑛 𝑋 et on cherche à estimer 𝑅 avec 𝑇 .
Montrer que 𝑇 est un estimateur sans biais de 𝑅 et calculer son risque quadratique noté 𝑟(𝑇 ).
5. On note 𝑀 la variable aléatoire prenant pour valeur le maximum des valeurs prises par les variables 𝑋 , 𝑋 , . . . , 𝑋 , de sorte que pour tout réel 𝑥, (𝑀 ≤ 𝑥) = (𝑋 ≤ 𝑥) ∩ (𝑋 ≤ 𝑥) ∩ ··· ∩ (𝑋 ≤ 𝑥).
(a) Montrer que pour tout réel , 𝑃(𝑀 ≤ 𝑥) = 𝐹 (𝑥) . En déduire la fonction de répartition de 𝑀 , puis montrer que 𝑀 est une variable aléatoire à densité.
(b) Montrer qu’une densité possible de 𝑀 est la fonction 𝑔 définie sur ℝ par : 𝑔 (𝑡) = 0 si 𝑡 ∉ [0; 𝑅]
𝑔 (𝑡) = si 𝑡 ∈ [0; 𝑅]
(c) Montrer que 𝑀 admet une espérance et une variance, et que : 𝐸(𝑀 ) = 2𝑛
2𝑛 + 1𝑅 et 𝑉(𝑀 ) = 𝑛
(𝑛 + 1)(2𝑛 + 1) 𝑅 (d) On cherche à estimer 𝑅 avec 𝑀 :
Calculer le biais de 𝑀 , noté 𝑏(𝑀 ), et son risque quadratique noté 𝑟(𝑀 ).
6. (a) Déterminer un équivalent simple lorsque 𝑛 tend vers +∞ de 𝑏(𝑀 ) et 𝑟(𝑀 ).
(b) Quels sont les avantages et les inconvénients réciproques des estimateurs 𝑇 et 𝑀 ? Exercice 2 : D’après EML 2012. Soit 𝑎 ∈ ℝ∗.
1. Montrer que, pour tout entier naturel 𝑛, l’intégrale 𝐼 = ∫ ∞𝑥 𝑒 𝑑𝑥 est convergente.
2. (a) Rappeler une densité d’une variable aléatoire de loi normale d’espérance nulle et de variance 𝑎 . En déduire que : 𝐼 = 𝑎 .
(b) Calculer la dérivée de l’application 𝜑 ∶ ℝ → ℝ définie, pour tout 𝑥 réel, par : 𝜑(𝑥) = 𝑒 En déduire que : 𝐼 = 𝑎 .
3. (a) Montrer, pour tout entier 𝑛 tel que 𝑛 ≥ 2 et pour tout 𝑡 ∈ [0; +∞[ :
𝑥 𝑒 𝑑𝑥 = −𝑎 𝑡 𝑒 + (𝑛 − 1)𝑎 𝑥 𝑒 𝑑𝑥
(b) En déduire, pour tout entier 𝑛 tel que 𝑛 ≥ 2, que : 𝐼 = (𝑛 − 1)𝑎 𝐼 (c) Calculer 𝐼 et 𝐼 .
On considère l’application 𝑔 : ℝ → ℝ définie, pour tout 𝑥 ∈ ℝ, par :𝑔 (𝑥) = 0 si 𝑥 ≤ 0 𝑒 si 𝑥 > 0 4. Montrer que 𝑔 est une densité.
On considère une variable aléatoire 𝑋 admettant 𝑔 comme densité.
5. Déterminer la fonction de répartition de la variable aléatoire 𝑋.
6. Montrer que la variable 𝑋 admet une espérance et que 𝐸(𝑋) = 𝑎 . 7. Montrer que la variable aléatoire 𝑋 admet une variance et calculer 𝑉(𝑋).
8. On considère une variable aléatoire 𝑈 suivant la loi uniforme sur l’intervalle ]0; 1].
Montrer que la variable aléatoire 𝑍 = 𝑎 −2 ln(𝑈) suit la même loi que la variable aléatoire 𝑋.
Soit un entier 𝑛 tel que 𝑛 ≥ 2.
On dit que les variables aléatoires à densité 𝑋 , 𝑋 , … , 𝑋 sont indépendantes si, pour tout 𝑛-uplet (𝑥 , 𝑥 , … , 𝑥 ) de réels, les événements (𝑋 ≤ 𝑥 ), (𝑋 ≤ 𝑥 ), … , (𝑋 ≤ 𝑥 ) sont mutuellement indépendants.
On admet que si 𝑛 variables aléatoires à densité admettent une espérance, alors la variable aléatoire 𝑋 + 𝑋 +
⋯ + 𝑋 admet une espérance qui est égale à la somme des espérances.
On admet que si 𝑛 variables aléatoires à densité sont indépendantes et admettent une variance, alors la variable aléatoire 𝑋 + 𝑋 + ⋯ + 𝑋 admet une variance qui est égale à la somme des variances.
On considère 𝑛 variables aléatoires indépendantes 𝑋 , 𝑋 , … , 𝑋 toutes de même loi que la variable aléatoire 𝑋.
9. On considère la variable 𝐴 = √2
𝑛√𝜋(𝑋 + 𝑋 + ⋯ + 𝑋 ).
(a) Montrer que la variable aléatoire 𝐴 est un estimateur sans biais de 𝑎.
(b) Déterminer le risque quadratique de l’estimateur 𝐴 .
On définit la VA 𝑀 = min (𝑋 , 𝑋 , … , 𝑋 ). Ainsi, ∀𝑡 ∈ ℝ, (𝑀 > 𝑡) = (𝑋 > 𝑡) ∩ (𝑋 > 𝑡) ∩ … ∩ (𝑋 > 𝑡) 10. (a) Montrer, pour tout 𝑡 ∈ [0; +∞[ : 𝑃(𝑀 > 𝑡) = 𝑒 .
(b) En déduire la fonction de répartition de 𝑀 .
(c) Montrer que 𝑀 est une variable à densité admettant 𝑔 comme densité avec 𝑏 =
√ . (d) Montrer que la variable aléatoire 𝑀 admet une espérance 𝐸(𝑀 ) et une variance 𝑉(𝑀 ).
Calculer 𝐸(𝑀 ) et 𝑉(𝑀 ).
11. (a) En déduire un estimateur 𝐵 , sans biais de 𝑎, de la forme 𝜆 𝑀 avec 𝜆 ∈ ℝ.
(b) Déterminer le risque quadratique de l’estimateur 𝐵 .
Exercice 3 : D’après ESC 2009 Soit 𝜃 un réel strictement positif.
On considère la fonction 𝑓 définie sur ℝ par 𝑓(𝑥) = 0 si 𝑥 < 𝜃 𝑒 si 𝑥 ≥ 𝜃. 1. (a) Vérifier que, pour tout réel 𝐴 ≥ 𝜃, 𝑓(𝑥)𝑑𝑥 = 1 − 𝑒 .
(b) Montrer que 𝑓 est une densité.
On note 𝑋 une variable aléatoire réelle de densité 𝑓.
2. Déterminer la fonction de répartition de 𝑋.
3. On considère la variable 𝑌 = 𝑋 − 𝜃.
(a) Montrer que la fonction de répartition 𝐹 de 𝑌 est définie par : 𝐹 (𝑦) = 0 si 𝑦 < 0 1 − 𝑒 si 𝑦 ≥ 0
(b) En déduire que 𝑌 est une variable à densité qui suit une loi classique dont on précisera le paramètre.
Préciser son espérance et sa variance.
(c) En déduire l’espérance et la variance de 𝑋.
4. Dans toute la suite, 𝑛 désigne un entier naturel non nul et 𝑋 , 𝑋 , … , 𝑋 des variables aléatoires mutuellement indépendantes de même loi que 𝑋.
On cherche à estimer le réel 𝜃 à l’aide de la variable 𝑆 =1
𝑛 (𝑋 − 1).
(a) Montrer que 𝑆 est un estimateur sans biais de 𝜃.
(b) Calculer son risque quadratique noté 𝑟(𝑆 ).
Exercice 4 : D’après ESC 2008
Un joueur A dispose d’une pièce qui a la propriété de faire PILE avec la probabilité .
Un joueur B dispose d’une pièce qui a la propriété de faire PILE avec la probabilité 𝑝 ∈ ]0; 1[.
Les résultats des lancers de ces pièces seront toujours supposés indépendants.
Partie A
Dans cette partie, on effectue le jeu suivant : Les joueurs A et B lancent leur pièce simultanément jusqu’à ce qu’au moins une des deux pièces donne PILE. Si A et B ont fait PILE simultanément, le jeu s’arrête sans que personne n’ait gagné d’argent. Sinon, le premier à obtenir PILE s’arrête et l’autre continue ses lancers jusqu’à obtenir PILE également et paye 1 euro à son adversaire à chacun des lancers de cette série « en solitaire ».
Par exemple, si A a obtenu PILE pour la première fois à son 7ème lancer et si B a obtenu PILE pour la première fois à son 11ème lancer, c’est B qui doit payer à A la somme de 4 euros.
On note 𝑋 la variable aléatoire égale au nombre de lancers effectués par le joueur A, 𝑌 la variable aléatoire égale au nombre de lancers effectués par le joueur B et 𝑍 = 𝑌 − 𝑋.
1. Justifier que 𝑋 et 𝑌 suivent des lois géométriques dont on précisera le paramètre.
Préciser 𝑋(Ω), 𝑌(Ω) et les valeurs de 𝑃(𝑋 = 𝑘), 𝑃(𝑌 = 𝑘), 𝐸(𝑋), 𝐸(𝑌), 𝑉(𝑋) et 𝑉(𝑌).
2. (a)Montrer que 𝐸(𝑍) =1 − 3𝑝
𝑝 et 𝑉(𝑍) =6𝑝 − 𝑝 + 1
𝑝 .
(b) Montrer que 𝑃(𝑋 = 𝑘)𝑃(𝑌 = 𝑘) = 𝑝
1 + 2𝑝 et en déduire 𝑃(𝑍 = 0).
(c) Soit 𝑛 ∈ ℕ∗.
Montrer que 𝑃(𝑍 = 𝑛) = 𝑝
1 + 2𝑝 (1 − 𝑝) et en déduire 𝑃(𝑍 > 0).
En déduire 𝑃(𝑍 < 0) puis interpréter les événements (𝑍 = 0), (𝑍 > 0) et (𝑍 < 0).
Partie B
1. Montrer que la probabilité que les lancers de A et B soient différents est .
On procède alors au jeu suivant (𝑁 est un entier naturel fixé non nul) : Les joueurs A et B lancent leur pièce 𝑁 fois de suite. Le joueur B paye un euro à A à chaque fois que les pièces n’affichent pas le même résultat.
On note 𝐻 la variable aléatoire égale à la somme payée par le joueur B au joueur A.
2. Montrer que 𝐻 suit une loi classique que l’on détaillera.
3. Montrer que − 1 est un estimateur sans biais du réel 𝑝 et déterminer son risque quadratique.
Exercice 5 : D’après EDHEC 2014
Dans cet exercice, 𝜃 désigne un réel strictement positif et 𝑛 un entier naturel supérieur ou égal à 2.
Pour tout 𝑘 de ℕ, on pose ∶ 𝑢 = 1 1 + 𝜃
𝜃 1 + 𝜃 .
1. Montrer que la suite (𝑢 ) ∈ℕ définit bien une loi de probabilité.
On considère maintenant une variable aléatoire 𝑋 prenant ses valeurs dans ℕ et dont la loi est donnée par : ∀𝑘 ∈ ℕ, 𝑃(𝑋 = 𝑘) = 𝑢 .
2. On pose 𝑌 = 𝑋 + 1. Reconnaître la loi de 𝑌, puis en déduire l’espérance et la variance de 𝑋.
3. Dans cette question, on souhaite estimer le paramètre par la méthode du maximum de vraisemblance.
Pour ce faire, on considère un échantillon (𝑋 , 𝑋 , … , 𝑋 ) composé de variables aléatoires indépendantes ayant toutes la même loi que 𝑋 et on introduit la fonction 𝐿, de ℝ∗ + dans ℝ, définie par :
∀𝜃 ∈ ℝ∗, 𝐿(𝜃) = 𝑃(𝑋 = 𝑥 ) où 𝑥 , 𝑥 , … , 𝑥 désignent des entiers naturels éléments de 𝑋(Ω).
L’objectif est de choisir la valeur de 𝜃 qui rend 𝐿(𝜃) maximale.
(a) Écrire ln(𝐿(𝜃)) en fonction de 𝜃 et de 𝑆 = 𝑥 . (b) On considère la fonction 𝜑, définie par :
∀𝜃 ∈ ]0; +∞[, 𝜑(𝜃) = 𝑆 ln(𝜃) − (𝑆 + 𝑛) ln(1 + 𝜃).
Montrer que la fonction 𝜑 admet un maximum, atteint en un seul réel que l’on notera 𝜃 et que l’on exprimera en fonction de 𝑆 .
Que représente 𝜃 pour la fonction 𝐿 ? On pose dorénavant ∶ 𝑇 =1
𝑛 𝑋 .
La variable 𝑇 est appelée estimateur du maximum de vraisemblance pour 𝜃.
(c) Vérifier que 𝑇 est un estimateur sans biais de 𝜃.
(d) Calculer le risque quadratique 𝑟 (𝜃)de 𝑇 et vérifier que lim
→ 𝑟 (𝜃) = 0.
Exercice 6 :
On souhaite estimer la valeur de la somme 3
𝑘!𝑒 par la méthode de Monte Carlo.
1. Exprimer cette somme comme la probabilité d’un événement lié à une loi discrète usuelle.
2. En utilisant les fonctions find et length, estimer, à l’aide de Scilab, la valeur de cette somme.
Exercice 7 :
A l’aide de la méthode de Monte Carlo, donner une valeur approchée des sommes suivantes :
1)
10 𝑘
√1 + 𝑘 2) 1 𝑒×√𝑘
𝑘! 3) 1 𝑘 2 (Coup de pouce : on utilisera une loi binomiale, une loi de Poisson et une loi géométrique …) Exercice 8 :
A l’aide de la méthode de Monte Carlo, donner une valeur approchée des intégrales suivantes : 1) 1 + 𝑥 𝑑𝑥 2) 𝑒
1 + 𝑥 𝑑𝑥 3) 𝑒
1 + 𝑥 𝑑𝑥 (Coup de pouce : on utilisera une loi uniforme, une loi exponentielle et une loi normale …)
Exercice 9 :
On dispose d’un échantillon (𝑋 , 𝑋 , … , 𝑋 ) de la loi uniforme sur [0, 𝜃].
1. Montrer que 𝑌 = 2
𝑛 𝑋 et 𝑍 =𝑛 + 1
𝑛 Max(𝑋 , 𝑋 , … , 𝑋 ) sont des estimateurs sans biais et convergents de 𝜃.
2. Simuler 1 000 fois chacun de ces deux estimateurs et comparer leurs performances pour une valeur de 𝜃 et une valeur de 𝑛 saisies par l’utilisateur.
3. Donner leurs risques quadratiques et commenter.
