Statistiques et Analyse de Données 3
TD : Statistique bayésienne 2
1. Lois a priori et a posteriori Gamma
Exercice 1 (Vraisemblance exponentielle).
L’attente des clients (en heures) à un restaurant très populaire ne prenant pas de réservation peut être modélisé par une loi exponentielle de paramètre θ(θ∈R∗+). On suppose que la loi a priori est donnée par la densité suivantefT(θ) = 1
6θ3e−θ1R∗+(θ).
1. Quelles informations contient cette loi a priori sur le paramètreθ? (espérance, intervalle de crédibilité a priori avecR, etc.)
2. Cinq personnes vous rapportent les temps d’attente suivants : 0.23, 0.80, 0.12, 0.35, 0.50.
Mettez à jour votre a priori surθ.
3. Rendez compte de vos résultats en synthétisant la loi a posteriori : espérance, intervalle de crédibilité a posteriori avecR, etc.
4. Au vu de toutes ces informations, si vous allez à ce restaurant, quelle est la probabilité d’attendre plus d’une heure ?
Quelle est l’espérance du temps d’attente ?
Exercice 2 (Vraisemblance de Poisson - CC2 - 2018/2019).
On souhaite étudier le nombre de pépites de chocolat dans un cookie. Ce nombre X suit une loi de Poisson de paramètreθinconnu.
On part avec comme a priori une loi Gamma de paramètreα etβ.
1. Constater que la famille de loi Gamma est conjuguée avec les vraisemblance de Poisson et énoncer la règle de mise à jour des paramètres de la loi Gamma.
2. On réalise une première observation en dégustant un premier cookie attentivement.
On a observé 8 pépites. Donner une estimation deθen fonction des paramètres de la loi a priori.
3. Soitn>2. On réalisen observations :x1, . . . , xn.
(a) Exprimer la loi a posteriori suite à une série d’observations X1=x1, . . . , Xn=xn. (b) Donner l’estimatEUR de θ obtenu via l’espérance conditionnelle.
(c) Déduire de l’expression de l’estimateur la taille effective de l’échantillon a priori (prior effective sample size).
4. Au vu de votre travail (théorique) à la question précédente, proposer en justifiant une loi a priori informative synthétisant votre croyance d’avoir observé une moyenne d’environ 10 pépites par cookie sur 20 cookies.
5. Effectuer à nouveau une estimation deθdans le cadre de la question 1 avec la loi a priori construite à la question précédente.
6. Vous vous intéressez à de nouveaux cookies. Vous n’avez aucun a priori.
Essayer de proposer une ou plusieurs lois a priori peu informatives.
Exercice 3 (Vraisemblance Gamma).
Pour la lampe de votre chambre, vous possédez un lot de 3 ampoules halogènes identiques. La durée de vie en année d’une ampoule suit une loi exponentielle de paramètre λet leurs durées de vie sont indépendantes entre elles.
On noteT la variable aléatoire représentant nos connaissances sur le paramètreλetX la variable aléatoire représentant le temps avant de devoir acheter à nouveau des ampoules.
1. Déterminer la loi deX|T =λ.
2. Montrer que la famille de lois Gamma est conjuguée avec une vraisemblance suivant une loi Gamma de second paramètre inconnu.
3. Il s’agit d’ampoules halogènes ayant un durée de vie d’environ 2000 à 3000 heures (la moitié du temps) et vous les laissez allumées en moyenne 8 heures par jour.
À l’aide deRet du scriptTD3-trouver_gamma.R, proposer une loi a priori pourT. 4. La dernière ampoule de votre lot vient de lâcher au bout de 5 années.
Vous achetez un nouveau lot de trois ampoules exactement du même modèle.
Quelle est la probabilité que la première ampoule dure moins d’un an ? Exercice 4 (Vraisemblance de Poisson).
Un détaillant a remarqué qu’un certain type de clients a tendance à appeler le service client plus souvent que les autres clients. Il décide d’étudier cela.
Un processus de Poisson est classiquement approprié pour compter le nombre d’appels téléphoniques reçus.
Ainsi le nombre d’appels peut être modélisé par la loi de Poisson P(ntθ) avec nle nombre de clients du groupe étudié, tle nombre de jours etθ le taux d’appel par jour par client.
1. On décide de choisir notre loi a priori dans la famille des lois Gamma.
Vérifier qu’il s’agit bien d’une famille de lois conjuguées avec une vraisemblance de Poisson et exprimer les paramètres de la loi a posteriori en fonction de ceux de la loi a priori et d’une observation.
2. En moyenne, le détaillant reçoit 0.01 appels par client par jour. Pour fixer son a priori, il décide de choisir un écart type de 0.5.
Donner la loi a priori correspondant à cela et montrer les conséquence de son choix d’écart type.
3. Dans ce groupe d’intérêt, il y a 24 clients. Sur 5 jours, il a 6 appels de clients de ce groupe.
Exprimer la loi a posteriori.
4. Synthétiser les informations de cette loi a posteriori éventuellemen en utilisantR.
5. Est-ce que les clients de ce groupe appellent effectivement plus que les autres ? Vous pouvez utiliserR.
2. Vraisemblance normale
Exercice 5.
On dispose d’un câble de longueurθ. On dispose d’un mètre disposant d’une erreur de mesure distribuée selon une loi normale d’espérance 0 et d’écart type 0.01. Un résultat d’une mesure du câble suit donc une loi normale d’espéranceθ et d’écart type 0.01.
1. On suppose que la loi a priori de la longueur du câble est une loi normale d’espérance 9 et d’écart type 1.
On mesure le câble avec le mètre et on obtient 10. Donner la loi a posteriori deθ.
2. Donner un intervalle de crédibilité à 95% pourθ.
3. Quelle est la probabilité qu’il soit de longueur inférieure à 9.99?
4. Toujours avec la même loi a priori, calculer le nombre de mesures nécessaires pour que l’écart type de la loi a posteriori soit inférieur à 0.001.
Exercice 6.
Dans un usine de sachet de thé, chaque sachet de thé est supposé contenir 5.5g de thé et le processus de remplissage a un écart type de 0.106g par sachet (on suppose que la loi est normale). On se demande s’il y a eu une modification de la quantité moyenne de thé par sachet.
1. Déterminer une loi a priori correspondant au processus de remplissage spécifié et faisant comme si cette information provient d’une connaissance sur 100 observations.
2. Sur un échantillon de 40 sachets, on a obtenu une moyenne de 5.494g par sachet.
(a) Donner la loi a posteriori.
(b) Quelle est la probabilité a posteriori que le processus ne se soit pas décalé de plus de 0.001 g ? Exercice 7.
Une usine d’embouteillage de lait envisage de changer de doseuses. Le fournisseur lui assure que son nouveau modèle est bien plus précis que celui utilisé actuellement dans l’usine.
On suppose que la contenance d’une bouteille de lait est une variable aléatoireX qui suit une loi normale d’espérance 1.01 (le calibrage moyen n’est pas un problème, il est facilement réglable et sûr) et d’écart type σ inconnu dû à la doseuse utilisée.
Actuellement le modèle utilisé à l’usine a un écart type de 0.02 et le fournisseur annonce un écart type de 0.01 pour son nouveau modèle.
On a pu tester le nouveau modèle sur 25 bouteilles. Sur cet échantillon de taille n= 25, les contenances x1, . . . , xn fournissent les données suivantes :
25
X
i=1
xi = 25.153 et
25
X
i=1
x2i = 25.31156.
On noteT la variable qui synthétise les croyances sur la valeur de la précision,τ = 1
σ2, de la nouvelle doseuse.
1. On vous propose d’utiliser comme loi a priori la loi Γ(8; 0.001). Qu’est-ce que cela signifie sur les croyances a priori ? (Vous pouvez utiliserR.)
2. Déterminer la loi a posteriori deT au vu des observations.
3. Que pensez-vous des affirmations du fournisseur sur la précision du nouveau modèle de doseuse ? (Utilisez des arguments de plusieures natures.)
Exercice 8 (CC2 - 2018/2019).
Dans la population générale, la valeur du QI standard suit une loi normale d’espérance 100 et d’écart type 15. Les tests de QI sont supposés non biaisés mais l’écart type est de 5, c’est-à-dire que lorsqu’une personne passe un test de QI, le QI mesuré diffère de son véritable QI selon une loi normale d’espérance 0 et d’écart type 5.
M. Paix et Mme Haisse, deux fantastiques statisticiens, souhaitent comparer leurs QI. Ils passent donc un test. M. Paix obtient 95 et Mme Haisse 130.
Très humble, Mme Haisse ne commente pas les résultats. M. Paix s’empresse de préciser que les résultats des tests de QI ayant un écart type de 10, les deux intervalles de confiance à 95% pour leurs véritables QI s’intersectent et que, du coup, on ne peut rien dire. Mme Haisse sait bien qu’en prenant en compte notre connaissance a priori de la répartition du QI d’une personne choisie au hasard, les intervalles de crédibilité pour les valeurs de leurs QI respectifs ne s’intersectent pas au même seuil de 95 % mais elle préfère silencieusement sourire et acquiescer.
1. Point de vue fréquentiste de M. Paix
Construire les intervalles de confiance auxquels fait référence M. Paix 2. Point de vue bayésien de Mme Haisse
• Formaliser le contexte bayésien : loi a priori, basée sur la population générale, et vraisemblance.
• Déterminer les deux lois a posteriori des QI de M. Paix et de Mme Haisse
• Construire les intervalles de crédibilité auxquels fait référence Mme Haisse
• Commenter.
3. Hors barème. Seulement si vous avez du temps à perdre.
Avez-vous un autre a priori ? Comment cela change les intervalles de crédibilité des QI de M. Paix et de Mme Haisse ?
3. Autres situations
Exercice 9 (*Loi exponentielle tronquée).
On cherche à estimer le paramètreθd’une loi exponentielle tronquée.
SoitX une variable aléatoire de densitéfX|T=θ(x) =eθ−x1[θ;+∞[(x).
On a observé 10 valeurs d’un phénomène suivant la même loi queX.
9.2 9.5 9.6 10.7 11.1 11.2 11.3 11.4 12.6 13.6 1. Cadre fréquentiste
(a) Déterminer un estimateur sans biais de θ à partir de la méthode des moments.
(b) En supposant (faites moi confiance ou vérifiez-le avecR) que l’on peut approcher la loi de moyenne empirique par une loi normale, construire un intervalle de confiance à 95% pour θ à aprtir des données observées.
(c) Commenter.
2. Cadre bayésien.
(a) En utilisant comme a priori la pseudo loi uniforme sue R, déterminer la loi a posteriori pour une observation de X valantx.
(b) Dans le même cadre, déterminer la loi a posteriori pour nobservations.
(c) Au vu de nos observations, déduire la loi a posteriori.
(d) Déterminer un intervalle de crédibilité à 95 % le plus étroit possible.
Exercice 10 (** Vraisemblance uniforme).
En début d’année, M. A. a prévenu qu’il arriverai en retard en cours à 8h. Plus précisément uniformément en retard. Donc si on noteX le temps de retard après le début du cours en heure, alorsX suit une loi uniforme sur [0;θ]. Comme les cours durent 2h et que plus d’une heure de retard, c’est clairement abusé, l’enseignante part avec l’idée queθ est inférieur à 1.
Plus précisément, l’enseignante part avec comme loi a priori la loi uniforme sur [0; 1].
1. M. A. est en retard dex heure au premier cours.
(a) Donner la loi a posteriori selonx.
(b) Donner la loi a posteriori dans les cas particuliers où x= 0.2 et x= 0.4.
2. Aprèsn cours (n>2), M. A. a été en retard des durées suivantes :x1, . . . , xn. (a) Exprimer la loi a posteriori selon les valeurs x1, . . . , xn.
(b) Exprimer la loi a posteriori dans les cas particuliers où les observations des retards dont : (0.1; 0.5), (0.5; 0.5), (0.1,0.2,0.3,0.4,0.5).
3. (*) On suppose que la fois où M. A. est arrivé le plus en retard, il avait 30 minutes de retard.
Trouver la probabilité que M. A. arrive avec plus de 30 min de retard la prochaine fois.
Statistiques et Analyse de Données 3
Fiche version 2
Le contenu de cette fiche sera joint au sujet du CC2.
1. Lois
• Lois Beta.
Soientαetβ dansR∗+. SoitX ∼Beta(α, β). AlorsX est une variable aléatoire de densité fX(x) =kxα−1(1− x)β−11[0,1](x) aveck= 1
B(α, β)= Γ(α+β)
Γ(α)Γ(β). Sin∈N∗, on a Γ(n) = (n−1)!. Par exemple, on a Γ(5) = 3! = 6.
De plus, on aE(X) = α
α+β et V(X) = αβ
(α+β)2(α+β+ 1).
• Lois Gamma.
SoientαetβdansR∗+. SoitX ∼Γ (α, β). AlorsX est une variable aléatoire de densitéfX(x) =kxα−1e−βx1R+(x) aveck= βα
Γ(α).De plus, on aE(X) = α
β et V(X) = α β2.
• Lois de Poisson.
SoitX ∼ P(λ), avec λ∈R∗+. AlorsX est une variable aléatoire à valeurs dansN telle que, pour tout x∈N, P(X =x) =e−λλx
x!. De plus, on aE(X) = V(X) =λ.
• Lois géométriques
SoitX ∼ G(p), avecp∈]0; 1[. Alors X est une variable aléatoire à valeurs dansN telle que, pour tout x∈N, P(X =x) = (1−p)x−1p. De plus, on aE(X) = 1
p et V(X) = 1−p p2 .
• Lois exponentielles.
SoitX ∼ Exp(λ), avecλ∈R∗+. AlorsX est une variable aléatoire de densitéfX(x) =λe−λx1]0;+∞[(x).De plus, on aE(X) = 1
λ et V(X) = 1 λ2.
• Lois normales.
SoitZ ∼ N(µ, σ), oùσest l’écart type deZ. La densité deZ estfZ(x) = 1
√
2πσ2e−(x−µ)22σ2 .
2. Tableau de mises à jour bayésiennes
Hypothèses Données A priori Vraisemblance A posteriori
θ x U(]0 ; 1[) Bin(n;θ) Beta (x+ 1 ;n−x+ 1)
θ x Beta (α;β) Bin(n;θ) Beta (α+x;β+n−x) θ (xi)i∈J1;nK Γ (α;β)
n
Y
i=1
Exp(θ) Γ α+n;β+
n
X
i=1
xi
!
θ (xi)i∈J1;n
K Γ (α;β)
n
Y
i=1
Γ (a;θ) Γ α+na;β+
n
X
i=1
xi
!
θ (xi)i∈
J1;nK Γ (α;β)
n
Y
i=1
P(θ) Γ α+
n
X
i=1
xi ;β+n
!
θ (xi)i∈
J1;nK N(µ0;σ0)
n
Y
i=1
N(θ;σ) N
µ0 σ02 +nσx2
1 σ20 +σn2
; 1
q 1
σ20 +σn2
θ (xi)i∈
J1;nK Γ (α;β)
n
Y
i=1
N
µ; 1
√ θ
Γ
α+n
2;β+ Pn
i=1(xi−µ)2 2
