.
Chapitre 2 - Introduction à l’estimation
• Définition d’estimateur et d’estimation
• Qualités d’un estimateur : biais, convergence, EQM
• Estimation par intervalle de confiance
• Loi mère normale
• IC exact pour µ à σ connu
• IC exact pour µ à σ inconnu
• IC exact pour σ2 à µ inconnu
• Loi mère quelconque
• IC approché pour µ à σ connu (n > 30, grâce au TCL)
• IC approché pour µ à σ inconnu (n > 100, grâce au TCL et à Slutsky)
• Loi mère de Bernoulli ...
.
Intervalle de confiance d’une proportion
• X ∼ Ber(p)
• X1,X2, . . . ,Xn un n-échantillon Fonction pivotale
T := X − p qX(1−X)
n
approx∼ N (0 ; 1)
Intervalle de confiance approché d’une proportion IC1−α(p) :
X ±z1−α
2
s
X(1− X) n
Conditions d’utilisation : n > 100, nx > 5 et n(1− x) > 5 Et si n < 100, mais n > 30 ?
.
Intervalle de confiance d’une proportion
• X ∼ Ber(p)
• X1,X2, . . . ,Xn un n-échantillon, 30 6 n < 100 Fonction pivotale
T := X − p qp(1−p)
n
approx∼ N (0 ; 1)
Intervalle de confiance approché INUTILISABLE d’une proportion
IC1−α(p) :
X ±z1−α
2
s
p(1− p) n
Conditions d’utilisation : n > 30, nx > 5 et n(1− x) > 5
.
IC1−α(p) :
X ± z1−α
2
s
p(1 −p) n
⊂
.
Intervalle de confiance d’une proportion
• X ∼ Ber(p)
• X1,X2, . . . ,Xn un n-échantillon
Conditions d’utilisation : 30 6 n (< 100), nx > 5 et n(1− x) > 5 Intervalle de confiance approché d’une proportion
IC1−α(p) :
X ± z1−α
2
1 2√
n
Remarque : il existe aussi un intervalle de confiance exacte basé sur la loi binomiale.
C
HAPITRE3 - C
HOIX ET CONSTRUCTION D’
ESTIMATEURSJulie Scholler - Bureau B246
novembre 2020
.
Objectifs de l’estimation
• Déterminer des estimateurs ˆθ proche de θ
• Évaluer la qualité d’un estimateur
• Mesurer l’écart entre θ et ˆθ
• Donner des intervalles de valeurs plausibles pour θ
I. Méthode des moments
Une approche intuitive
Cas courant :
l’espérance (ou la variance) s’exprime en fonction du paramètre E(X) = f (θ)
Estimateur par la méthode des moments θbM Si f est inversible
θbM = f−1X
I. Méthode des moments
Exemples
II. Choix d’un estimateur
Écart au carré
Tn un estimateur d’un paramètre θ
Risque quadratique ou erreur quadratique moyenne de Tn par rapport à θ
EQMθ(Tn) := Eθ
h
(Tn − θ)2i On a
EQMθ(Tn) = (biaisθ(Tn))2 + Vθ(Tn)
Estimateur de σ2
• Scor2 est sans bais pour σ2, S2 est baisé pour σ2.
• Dans le cas d’une loi mère normale, on a montré que : EQMσ2Scor2 > EQMσ2 S2
II. Choix d’un estimateur
Choisir selon EQM
Domination
L’estimateur Tn1 domine l’estimateur Tn2 si
∀θ ∈ Θ, EQMθTn1 6 EQMθTn2, l’inégalité étant stricte pour au moins une valeur de θ.
→ S2 domine Scor2 en tant qu’estimateur de σ2. Estimateur admissible
Un estimateur est admissible s’il existe aucun estimateur le dominant.
II. Choix d’un estimateur
Choix entre deux estimateurs d’une proportion
Loi mère : Ber(p) Estimateurs : pb1 = X et pb2 = Pn
i=1 Xi + 1 n + 2 Représentations graphiques des erreurs quadratiques moyennes selon le valeur de p pour pb1 en rouge et pour pb2 en noir
0.0 0.4 0.8
0.0000.0020.0040.0060.008
Pour n= 30
0.0 0.4 0.8
0.0000.0010.0020.0030.0040.005
Pour n= 50
0.0 0.4 0.8
0.00000.00040.00080.0012
Pour n= 100
II. Choix d’un estimateur
Choix entre deux estimateurs d’une proportion
Loi mère : Ber(p) Estimateurs : pb1 = X et pb2 = Pn
i=1 Xi + 1 n + 2 Représentations graphiques des erreurs quadratiques moyennes selon le valeur de p pour pb1 en rouge et pour pb2 en noir
0.0 0.4 0.8
0.0000.0020.0040.0060.008
Pour n= 30
0.0 0.4 0.8
0.0000.0020.0040.0060.008
Pour n= 50
0.0 0.4 0.8
0.0000.0020.0040.0060.008
Pour n= 100
II. Choix d’un estimateur
Choix parmi les estimateurs sans biais
Estimateur UMVUE
L’estimateur Tn∗ est un estimateur non biaisé de variance uniformément minimale ou UMVUE (uniformly minimum variance unbiaised estimator) si
• il est sans biais
• pour tout autre estimateur Tn sans biais, on a : Vθ (Tn∗) 6 Vθ(Tn), ∀θ ∈ Θ
II. Choix d’un estimateur
Choix parmi les estimateurs sans biais
Soit T un estimateur sans biais pour θ, avec θ de dimension 1.
Inégalité de Cramer–Rao ou de Fréchet
Sous certaines conditions, on a, pour tout θ ∈ Θ : Vθ(T) > 1
nI(θ) avec I(θ) = Eθ
"
∂
∂θ ln (f(X;θ)) 2#
I(θ) est appelé information de Fisher Estimateur efficace
estimateur sans biais pour θ dont la variance est égale à la borne de Cramer–Rao
II. Choix d’un estimateur
ICR : Vθ(T) > 1
nI(θ) avec I(θ) = Eθ
"
∂
∂θ ln (f(X;θ)) 2#
• Loi mère normale : X ∼ N(µ;σ), f(x) = 1
√
2πσ2e−
1
2×(x−µ)2
σ2
• Peut-on faire mieux que X comme estimateur sans biais de µ?
• Peut-on faire mieux que Scor2 comme estimateur sans biais de σ2?
II. Choix d’un estimateur
Propriété de l’information de Fisher
Sous certaines conditions de régularité et d’intégrabilité des fonctions mises en jeu, on a, pour tout θ ∈ Θ :
I(θ) = −Eθ
"
∂2
∂θ2 ln (fθ(X))
#
II. Choix d’un estimateur
Début du chapitre 3
• Retour sur les qualités d’un estimateur + domination, admissibilité
• Cas sans biais
• UMVUE
• Inégalité de Crame–Rao et information de Fisher
• Estimateur efficace
• Obtention d’estimateur
→ méthode des moments
mais aucune garantie sur la qualité de ces estimateurs
• Cas de la loi mère normale
• X est efficace pour µ
• Scor2 n’est pas pour σ2
II. Choix d’un estimateur
Trouver de bons estimateurs
• Méthode des moments
• M-estimateurs dont estimateurs des moindres carrés
• Méthode du maximum de vraisemblance (maximum likelihood)
• simplicité de son approche
• faculté d’adaptation à une multitude de paramètres inconnus
• aspect numérique grâce à l’application de méthodes d’optimisation
• estimateur fourni de très bonne qualité
• initialement appelée « critère absolu » (1912)
III. Méthode du maximum de vraisemblance
Introduction
• Dé ordinaire
P(X = k) = 1
6, ∀k ∈ J1; 6K
• Dé pipé
P(Y = 1) = 1
2 et P(Y = k) = 1
10, ∀k ∈ J2; 6K
III. Méthode du maximum de vraisemblance
On choisit un dé au hasard et on lance 3 fois ce dé.
On obtient : 4 - 1 - 1
Quel dé a-t-on lancé : ou ?
III. Méthode du maximum de vraisemblance
III. Méthode du maximum de vraisemblance
Principe
Objectif
estimer θ à partir des observations x1, . . . ,xn d’un échantillon X1,X2, . . . ,Xn.
Idée de la méthode
• « le fait d’avoir observé les valeurs x1, . . . ,xn n’est pas surprenant »
• « l’hypothèse d’observer les valeurs x1, . . . ,xn plutôt que d’autres était vraisemblable »
On cherche les valeurs de θ qui
• « rendent l’observation des valeurs x1, . . . ,xn la plus vraisemblable possible »
• « maximisent les chances de réalisation de l’événement {(X1,X2, . . . ,Xn) = (x1, . . . ,xn)} »
III. Méthode du maximum de vraisemblance
Cas discret
On cherche les valeurs de θ qui
« maximisent la probabilité Pθ((X1,X2, . . . ,Xn) = (x1, . . . ,xn)) » Problème d’optimisation : maximisation d’une fonction de θ caractérisant la vraisemblance d’avoir obtenu x1, . . . ,xn Vraisemblance des données
Ln(θ;x1, . . . ,xn) = Pθ((X1,X2, . . . ,Xn) = (x1, . . . ,xn))
= Pθ n
\
i=1
{Xi = xi}
!
=
n
Y
i=1
Pθ (Xi = xi)
=
n
Y
i=1
Pθ (X = xi)
III. Méthode du maximum de vraisemblance
Cadre et notations
• X1,X2, . . . ,Xn : un n-échantillon
• X : variable aléatoire de même loi que la loi mère
• la loi mère appartient à une famille paramétrique de densité ou de fonction de probabilité {fθ(x) ; θ ∈ Θ} avec Θ ⊂ Rk
Fonction de vraisemblance
Fonction de vraisemblance de θ pour une réalisation donnée (x1, . . . ,xn) de l’échantillon :
Ln : Θ× Rn −→ R+
(θ;x1, . . . ,xn) 7−→ L(θ;x1, . . . ,xn) = fθ(x1, . . . ,xn) =
n
Y
i=1
fθ(xi)
III. Méthode du maximum de vraisemblance
Obtention de l’estimateur MV
Estimation du maximum de vraisemblance une valeur θbobsMV, si elle existe, telle que :
LθbobsMV;x1, . . . ,xn = sup
θ∈Θ
L(θ;x1, . . . ,xn), c’est-à-dire θbobsMV ∈ argmax
θ∈Θ
L(θ;x1, . . . ,xn)
Une telle solution est fonction de x1, . . . ,xn : θbobsMV = h(x1, . . . ,xn).
Estimateur du maximum de vraisemblance θbMV = h(X1,X2, . . . ,Xn)
III. Méthode du maximum de vraisemblance
Premier exemple
• Cadre : X ∼ U ([0;θ])
• Estimateur de θ par la méthode du maximum de vraisemblance
III. Méthode du maximum de vraisemblance
Deuxième exemple
• Cadre : X ∼ P(θ)
• Estimateur de θ par la méthode du maximum de vraisemblance
III. Méthode du maximum de vraisemblance
Fonction de log-vraisemblance
Fonction de log-vraisemblance de θ pour une réalisation donnée (x1, . . . ,xn) de l’échantillon, la fonction de θ :
`n : Θ× Rn −→ R+
(θ;x1, . . . ,xn) 7−→ ln (L(θ;x1, . . . ,xn)) La fonction de log-vraisemblance n’a de sens que si θ vérifie L(θ;x1, . . . ,xn) > 0.
La fonction logarithme étant croissante, on a argmax
θ∈Θ
`(θ;x1, . . . ,xn) = argmax
θ∈Θ
L(θ;x1, . . . ,xn)
III. Méthode du maximum de vraisemblance
Programme de maximisation argmax
θ∈Θ
`(θ;x1, . . . ,xn) = argmax
θ∈Θ
L(θ;x1, . . . ,xn)
Condition nécessaire (ordre 1)
∂`n
∂θ
θbobsMV;x1, . . . ,xn = 0 ou ∂Ln
∂θ
x1, . . . ,xn;θbMVobs = 0
Condition suffisante (ordre 2)
∂2`n
∂θ2
θbobsMV;x1, . . . ,xn < 0 ou ∂2Ln
∂θ2
θbobsMV;x1, . . . ,xn < 0
III. Méthode du maximum de vraisemblance
Deuxième exemple
• Cadre : X ∼ P(θ)
• Estimateur de θ par la méthode du maximum de vraisemblance
III. Méthode du maximum de vraisemblance
Propriétés de l’estimateur MV
Estimateur efficace
estimateur sans biais dont la variance est égale à la borne de Cramer–Rao
Efficacité de l’estimateur MV
Sous certaines conditions de régularité et d’intégralité, s’il existe un estimateur sans biais efficace pour θ, alors l’estimateur du maximum de vraisemblance existe et est efficace.
III. Méthode du maximum de vraisemblance
Troisième exemple
• Cadre : X ∼ N(µ, σ)
• Estimateurs de µ et de σ2 par la méthode du maximum de vraisemblance
III. Méthode du maximum de vraisemblance
Propriétés
Soit le n-échantillon X1,X2, . . . ,Xn issu de la densité (ou de la fonction de probabilité) f(x;θ) avec θ ∈ Θ ⊂ R répondant à certaines conditions de régularité qui garantissent notamment l’existence d’un estimateur du maximum de vraisemblance θbnMV pour tout n.
On a les résultats suivants.
• θbnMV est asymptotiquement sans biais pour $.
• θbnMV est asymptotiquement efficace pour θ.
• θbnMV est asymptotiquement normal.
Comportement asymptotique
θbMVn −θ q 1
nI(θ)
−−−−→loi
n→+∞ N (0 ; 1)
III. Méthode du maximum de vraisemblance
IC à partir d’un estimateur du MV
Fonction pivotale 1
T1 = θbMVn −θ q 1
nI(θ)
−−−−→loi
n→+∞ N (0 ; 1)
Si T1 n’est pas pivotable (facilement), on substitue.
Méthode par substitution
Sous certaines conditions de régularité, l’estimateur θbMVn est
convergent et l’information de Fisher I est continue par rapport à θ, alors on a
T2 = θbMVn −θ r 1
nI bθMVn
−−−−→loi
n→+∞ N (0 ; 1)
III. Méthode du maximum de vraisemblance
IC à partir d’un estimateur du MV
Application
IC1−α(θ) '
θbnMV ± z1−α
2
1 r
nIθbnMV
Exemple
X ∼ Exp(θ) de densité f(x) = θe−θ1[0;+∞[(x) avec θ ∈ R∗+
III. Méthode du maximum de vraisemblance
Information de Fisher
Sous certaines conditions de régularité et d’intégrabilité des fonctions mises en jeu, on a, pour tout θ ∈ Θ :
I(θ) = Eθ
"
∂
∂θ ln (f(X;θ)) 2#
= −Eθ
"
∂2
∂θ2 ln (fθ(X))
#
IV. Application
Régression linéaire simple
Y1,Y2, . . . ,Yn : indépendantes non de même loi telles que Yi = α+ βxi +εi
avec εi ∼ N(0;σ) i.i.d.
On cherche à estimer α et β.
`(α, β;x1, . . . ,xn;y1, . . . ,yn) = −n
2 ln(2πσ2)− 1 2σ2
n
X
i=1
(yi−α−βxi)2