C
HAPITRE3 - C
HOIX ET CONSTRUCTION D’
ESTIMATEURSJulie Scholler - Bureau B246
novembre 2019
.
Objectifs de l’estimation
• Déterminer des estimateurs ˆθ proche de θ
• Évaluer la qualité d’un estimateur
• Mesurer l’écart entre θ et ˆθ
• Donner des intervalles de valeurs plausibles pour θ
I. Méthode des moments
Une approche intuitive
Cas courant :
l’espérance (ou la variance) s’exprime en fonction du paramètre E(X) = f (θ)
Estimateur par la méthode des moments θbM Si f est inversible
θbM = f−1X
II. Choix d’un estimateur
Écart au carré
Tn un estimateur d’un paramètre θ
Risque quadratique ou erreur quadratique moyenne de Tn par rapport à θ
EQMθ(Tn) := Eθ
h
(Tn − θ)2i On a
EQMθ(Tn) = (biaisθ(Tn))2 + Vθ(Tn)
II. Choix d’un estimateur
II. Choix d’un estimateur
Choisir selon EQM
Domination
L’estimateur Tn1 domine l’estimateur Tn2 si
∀θ ∈ Θ, EQMθTn1 6 EQMθTn2, l’inégalité étant stricte pour au moins une valeur de θ.
Estimateur admissible
Un estimateur est admissible s’il existe aucun estimateur le dominant.
II. Choix d’un estimateur
Choix entre deux estimateurs d’une proportion
Loi mère : Ber(p) Estimateurs : pb1 = X et pb2 = Pn
i=1 Xi + 1 n + 2 Représentations graphiques des erreurs quadratiques moyennes selon le valeur de p pour pb1 en rouge et pour pb2 en noir
0.0 0.4 0.8
0.0000.0020.0040.0060.008
Pour n= 30
0.0 0.4 0.8
0.0000.0010.0020.0030.0040.005
Pour n= 50
0.0 0.4 0.8
0.00000.00040.00080.0012
Pour n= 100
0.0 0.4 0.8
0.0000.0020.0040.0060.008
Pour n= 30
0.0 0.4 0.8
0.0000.0020.0040.0060.008
Pour n= 50
0.0 0.4 0.8
0.0000.0020.0040.0060.008
Pour n= 100
II. Choix d’un estimateur
Choix parmi les estimateurs sans biais
Estimateur UMVUE
L’estimateur Tn∗ est un estimateur non biaisé de variance uniformément minimale ou UMVUE (uniformly minimum variance unbiaised estimator) si
• il est sans biais
• pour tout autre estimateur Tn sans biais, on a : Vθ (Tn∗) 6 Vθ(Tn), ∀θ ∈ Θ
II. Choix d’un estimateur
Choix parmi les estimateurs sans biais
Soit T un estimateur sans biais pour θ, avec θ de dimension 1.
Inégalité de Cramer–Rao ou de Fréchet
Sous certaines conditions, on a, pour tout θ ∈ Θ :
Vθ(T) > 1
nI(θ) avec I(θ) = Eθ
"
∂
∂θ ln (f(X;θ)) 2#
I(θ) est appelé information de Fisher
Estimateur efficace
estimateur sans biais pour θ dont la variance est égale à la borne de Cramer–Rao
II. Choix d’un estimateur
Trouver de bons estimateurs
• Méthode des moments
• M-estimateurs dont estimateurs des moindres carrés
• Méthode du maximum de vraisemblance (maximum likelihood)
• simplicité de son approche
• faculté d’adaptation à une multitude de paramètres inconnus
• aspect numérique grâce à l’application de méthodes d’optimisation
• estimateur fourni de très bonne qualité
• initialement appelée « critère absolu » (1912)
III. Méthode du maximum de vraisemblance
Introduction
• Dé ordinaire
P(X = k) = 1
6, ∀k ∈ J1; 6K
• Dé pipé
P(Y = 1) = 1
2 et P(Y = k) = 1
10, ∀k ∈ J2; 6K
III. Méthode du maximum de vraisemblance
On choisit un dé au hasard et on lance 3 fois ce dé.
On obtient :
4 - 1 - 1
Quel dé a-t-on lancé ?
ou ?
III. Méthode du maximum de vraisemblance
Principe
Objectif
estimer θ à partir des observations x1, . . . ,xn d’un échantillon X1,X2, . . . ,Xn.
Idée de la méthode
• « le fait d’avoir observé les valeurs x1, . . . ,xn n’est pas surprenant »
• « l’hypothèse d’observer les valeurs x1, . . . ,xn plutôt que d’autres était vraisemblable »
On cherche les valeurs de θ qui
• « rendent l’observation des valeurs x1, . . . ,xn la plus vraisemblable possible »
• « maximisent les chances de réalisation de l’événement {(X1,X2, . . . ,Xn) = (x1, . . . ,xn)} »
III. Méthode du maximum de vraisemblance
Cas discret
On cherche les valeurs de θ qui
« maximisent la probabilité Pθ((X1,X2, . . . ,Xn) = (x1, . . . ,xn)) » Problème d’optimisation : maximisation d’une fonction de θ caractérisant la vraisemblance d’avoir obtenu x1, . . . ,xn
Vraisemblance des données
Ln(θ;x1, . . . ,xn) = Pθ((X1,X2, . . . ,Xn) = (x1, . . . ,xn))
= Pθ n
\
i=1
{Xi = xi}
!
=
n
Y
i=1
Pθ(Xi = xi)
=
n
Y
i=1
Pθ(X = xi)
III. Méthode du maximum de vraisemblance
Cadre et notations
• X1,X2, . . . ,Xn : un n-échantillon
• X : variable aléatoire de même loi que la loi mère
• la loi mère appartient à une famille paramétrique de densité ou de fonction de probabilité {fθ(x) ; θ ∈ Θ} avec Θ ⊂ Rk
III. Méthode du maximum de vraisemblance
Fonction de vraisemblance
Fonction de vraisemblance de θ pour une réalisation donnée (x1, . . . ,xn) de l’échantillon :
Ln : Θ× Rn −→ R+
(θ;x1, . . . ,xn) 7−→ L(θ;x1, . . . ,xn) = fθ(x1, . . . ,xn) =
n
Y
i=1
fθ(xi)
III. Méthode du maximum de vraisemblance
Obtention de l’estimateur MV
Estimation du maximum de vraisemblance une valeur θbobsMV, si elle existe, telle que :
LθbobsMV;x1, . . . ,xn = sup
θ∈Θ
L(θ;x1, . . . ,xn),
c’est-à-dire θbobsMV ∈ argmax
θ∈Θ
L(θ;x1, . . . ,xn)
Une telle solution est fonction de x1, . . . ,xn : θbobsMV = h(x1, . . . ,xn).
Estimateur du maximum de vraisemblance θbMV = h(X1,X2, . . . ,Xn)
III. Méthode du maximum de vraisemblance
Exemples
Estimateur de θ
1. X ∼ U[0;θ] θbn = X(n)
2. X ∼ P(θ)
III. Méthode du maximum de vraisemblance
Fonction de log-vraisemblance
Fonction de log-vraisemblance de θ pour une réalisation donnée (x1, . . . ,xn) de l’échantillon, la fonction de θ :
`n : Θ× Rn −→ R+
(θ;x1, . . . ,xn) 7−→ ln (L(θ;x1, . . . ,xn))
La fonction de log-vraisemblance n’a de sens que si θ vérifie L(θ;x1, . . . ,xn) > 0.
La fonction logarithme étant croissante, on a argmax
θ∈Θ
`(θ;x1, . . . ,xn) = argmax
θ∈Θ
L(θ;x1, . . . ,xn)
III. Méthode du maximum de vraisemblance
Programme de maximisation argmax
θ∈Θ
`(θ;x1, . . . ,xn) = argmax
θ∈Θ
L(θ;x1, . . . ,xn)
Condition nécessaire (ordre 1)
∂`n
∂θ
θbobsMV;x1, . . . ,xn = 0 ou ∂Ln
∂θ
x1, . . . ,xn;θbMVobs = 0
Condition suffisante (ordre 2)
∂2`n
∂θ2
θbobsMV;x1, . . . ,xn < 0 ou ∂2Ln
∂θ2
θbobsMV;x1, . . . ,xn < 0
III. Méthode du maximum de vraisemblance
Exemples
1. X ∼ U[0;θ] θbn = X(n)
2. X ∼ P(θ) θbn = X(n)
3. X ∼ N(µ, σ), µb? σc2?
III. Méthode du maximum de vraisemblance
Propriétés de l’estimateur MV
Estimateur efficace
estimateur sans biais dont la variance est égale à la borne de Cramer–Rao
Efficacité de l’estimateur MV
Sous certaines conditions de régularité et d’intégralité, s’il existe un estimateur sans biais efficace pour θ, alors l’estimateur du maximum de vraisemblance existe et est efficace.
III. Méthode du maximum de vraisemblance
Propriétés
Soit le n-échantillon X1,X2, . . . ,Xn issu de la densité (ou de la fonction de probabilité) f(x;θ) avec θ ∈ Θ ⊂ R répondant à certaines conditions de régularité qui garantissent notamment l’existence d’un estimateur du maximum de vraisemblance θbnMV pour tout n.
On a les résultats suivants.
• θbnMV est asymptotiquement sans biais.
• θbnMV est asymptotiquement efficace.
Comportement asymptotique
θbMVn −θ q 1
nI(θ)
−−−−→loi
n→+∞ N (0 ; 1)
III. Méthode du maximum de vraisemblance
IC à partir d’un estimateur du MV
Fonction pivotale 1
T1 = θbMVn −θ q 1
nI(θ)
−−−−→loi
n→+∞ N (0 ; 1)
Si T1 n’est pas pivotable (facilement), on substitue.
Méthode par substitution
Sous certaines conditions de régularité, l’estimateur θbMVn est
convergent et l’information de Fisher I est continue par rapport à θ, alors on a
T2 = θbMVn −θ r 1
nI bθMVn
−−−−→loi
n→+∞ N (0 ; 1)
III. Méthode du maximum de vraisemblance
IC à partir d’un estimateur du MV
Application
IC1−α(θ) '
θbnMV − z1−α
2
r
nI θbnMV
; θbnMV + z1−α
2
r
nIθbnMV
Exemple
X de densité f(x) = θx−(θ+1)1]1;+∞[(x) avec θ ∈ R∗+
III. Méthode du maximum de vraisemblance
Information de Fisher
Sous certaines conditions de régularité et d’intégrabilité des fonctions mises en jeu, on a, pour tout θ ∈ Θ :
I(θ) = −Eθ
"
∂2
∂θ2 ln (fθ(X))
#
IV. Application
Régression linéaire simple
Y1,Y2, . . . ,Yn : indépendantes non de même loi telles que Yi = α+ βxi +εi
avec εi ∼ N(0;σ) i.i.d.
On cherche à estimer α et β.
`(α, β;x1, . . . ,xn;y1, . . . ,yn) = −n
2 ln(2πσ2)− 1 2σ2
n
X
i=1
(yi−α−βxi)2
