1
Détermination d’un estimateur par la méthode du maximum de vraisemblance On cherche à déterminer un estimateur de l’un des paramètres 𝜃 d’une loi de probabilité discrète ou continue.
La méthode du maximum de vraisemblance consiste à introduire la fonction ℒ à valeurs dans R et définie sur 0,+∞ par :
ℒ 𝑥!,𝑥!,…,𝑥!,𝜃 où :
− 𝑥!,𝑥!,…,𝑥! sont les réalisations des n variables aléatoires 𝑋!,𝑋!,…,𝑋! indépendantes et de même loi ;
− 𝜃 est le paramètre recherché, identique pour les n variables aléatoires 𝑋!,𝑋!,…,𝑋! 1. Expression générale et utilité de la fonction de vraisemblance
a. Variables discrètes
ℒ 𝑥!,𝑥!,…,𝑥!,𝜃 = 𝑃 𝑋! = 𝑥!∩ 𝑋! = 𝑥!∩…∩ 𝑋! = 𝑥! Par indépendance :
ℒ 𝑥!,𝑥!,…,𝑥!,𝜃 = 𝑃 𝑋! = 𝑥! 𝑃 𝑋! =𝑥! …𝑃 𝑋! =𝑥! = 𝑃 𝑋!= 𝑥!
!
!!!
b. Variables continues
ℒ 𝑥!,𝑥!,…,𝑥!,𝜃 = 𝑓 𝑥! 𝑓 𝑥! …𝑓 𝑥! = 𝑓 𝑥!
!
!!!
c. Principe d’estimation du paramètre 𝜃
𝜃 est la valeur du paramètre qui permet de maximiser la fonction de vraisemblance ℒ
Dès lors, 𝜃 est tel que :
𝜕ℒ 𝑥!,𝑥!,…,𝑥!,𝜃
𝜕𝜃 = 0
D’un point de vue pratique, on considère : ln ℒ 𝑥!,𝑥!,…,𝑥!,𝜃
Dès lors :
− Pour des variables discrètes
ln ℒ 𝑥!,𝑥!,…,𝑥!,𝜃 = ln 𝑃 𝑋! =𝑥!
!
!!!
= ln 𝑃 𝑋! = 𝑥!
!
!!!
− Pour des variables continues
ln ℒ 𝑥!,𝑥!,…,𝑥!,𝜃 = ln 𝑓 𝑥!
!
!!!
= ln 𝑓 𝑥!
!
!!!
Le maximum de chacune des ces sommes est égal au maximum ℒ 𝑥!,𝑥!,…,𝑥!,𝜃 du fait de la croissance de la fonction ln.
3
2. Applications de la fonction de vraisemblance a. Loi de Bernoulli
Rappel : 𝑋↪𝐵 𝑝 ⟺ 𝑋 Ω = 0,1 et 𝑃 𝑋=1 =𝑝 𝑃 𝑋= 0 =1−𝑝
En d’autres termes : ∀𝑥∈ 0,1 ,𝑃 𝑋=𝑥 =𝑝! 1−𝑝 !!!
On se propose de déterminer le paramètre p. Pour cela, on considère : ℒ 𝑥!,𝑥!,…,𝑥!,𝜃 = 𝑃 𝑋! = 𝑥! 𝑃 𝑋! =𝑥! …𝑃 𝑋! =𝑥!
ℒ 𝑥!,𝑥!,…,𝑥!,𝜃 = 𝑝!! 1−𝑝 !!!!𝑝!! 1−𝑝 !!!!…𝑝!! 1−𝑝 !!!! ℒ 𝑥!,𝑥!,…,𝑥!,𝜃 = 𝑝 !!!!!! 1−𝑝 !! !!!!!!
Ainsi :
ln ℒ 𝑥!,𝑥!,…,𝑥!,𝜃 =ln 𝑝 !!!!!! 1−𝑝 !! !!!!!! ln ℒ 𝑥!,𝑥!,…,𝑥!,𝜃 = 𝑥!
!
!!!
ln p + 𝑛− 𝑥!
!
!!!
ln 1−𝑝
Dès lors :
𝜕lnℒ 𝑥!,𝑥!,…,𝑥!,𝑝
𝜕𝑝 = 1
𝑝 𝑥!
!
!!!
− 𝑛− 𝑥!
!
!!!
1 1−𝑝
𝜕lnℒ 𝑥!,𝑥!,…,𝑥!,𝑝
𝜕𝑝 =(1−𝑝) !!!!𝑥!−𝑛𝑝+𝑝 !!!!𝑥! 𝑝(1−𝑝)
𝜕lnℒ 𝑥!,𝑥!,…,𝑥!,𝑝
𝜕𝑝 = !!!!𝑥! −𝑛𝑝 𝑝(1−𝑝)
𝜕lnℒ 𝑥!,𝑥!,…,𝑥!,𝑝
𝜕𝑝 =0⟺ 𝑝= !!!!𝑥! 𝑛
Ainsi, p correspond à la fréquence des succès obtenus dans le cadre de n expériences aléatoires : l’estimation de p est donc fondée sur la moyenne expérimentale m :
𝑚= 1 𝑛 𝑋!
!
!!!
b. Loi géométrique
Rappel : 𝑋↪𝐺 𝑝 ⟺ 𝑋 Ω =𝑁
𝑃 𝑋=𝑘 = 1−𝑝 !!!𝑝
On se propose de déterminer le paramètre p.
Pour cela, on considère :
ℒ 𝑥!,𝑥!,…,𝑥!,𝑝 =𝑃 𝑋! =𝑥! 𝑃 𝑋! =𝑥! …𝑃 𝑋! = 𝑥!
ℒ 𝑥!,𝑥!,…,𝑥!,𝑝 = 1−𝑝 !!!!𝑝. 1−𝑝 !!!!𝑝… 1−𝑝 !!!!𝑝
ℒ 𝑥!,𝑥!,…,𝑥!,𝑝 = 1−𝑝 !!!!!!!!𝑝! ln ℒ 𝑥!,𝑥!,…,𝑥!,𝑝 =𝑛.ln 𝑝 + 𝑥!
!
!!!
−𝑛 ln (1−𝑝)
𝜕lnℒ 𝑥!,𝑥!,…,𝑥!,𝑝
𝜕𝑝 =𝑛
𝑝− 𝑥!
!
!!!
−𝑛 1 1−𝑝
𝜕lnℒ 𝑥!,𝑥!,…,𝑥!,𝑝
𝜕𝑝 =𝑛 1−𝑝 −𝑝 !!!!𝑥!−𝑛 𝑝(1−𝑝)
𝜕lnℒ 𝑥!,𝑥!,…,𝑥!,𝑝
𝜕𝑝 =𝑛−𝑝 !!!!𝑥! 𝑝(1−𝑝)
𝜕lnℒ 𝑥!,𝑥!,…,𝑥!,𝑝
𝜕𝑝 =0⟺ 𝑝= 𝑛 𝑥!
!!!!
En d’autres termes, l’estimation du paramètre p est fondée sur l’inverse de la moyenne expérimentale :
1 𝑚= 1
𝑛 𝑋!
!
!!!
!!
5 c. Loi exponentielle
Rappel : 𝑋↪ℇ 𝜆 ⟺ 𝑥<0⇒𝑓 𝑥 = 0 𝑥≥ 0⇒𝑓 𝑥 =𝜆𝑒!!"
On se propose de déterminer le paramètre 𝜆.
Pour cela, on considère :
ℒ 𝑥!,𝑥!,…,𝑥!,𝜆 = 𝑓 𝑥! 𝑓 𝑥! …𝑓 𝑥! =𝜆𝑒!!!!𝜆𝑒!!!!…𝜆𝑒!!!!
ℒ 𝑥!,𝑥!,…,𝑥!,𝜆 = 𝜆!𝑒!! !!!!!!
ln ℒ 𝑥!,𝑥!,…,𝑥!,𝜆 =𝑛ln 𝜆 −𝜆 𝑥!
!
!!!
𝜕lnℒ 𝑥!,𝑥!,…,𝑥!,𝜆
𝜕𝜆 = 𝑛
𝜆− 𝑥!
!
!!!
𝜕lnℒ 𝑥!,𝑥!,…,𝑥!,𝜆
𝜕𝜆 = 0⟺𝜆 = 𝑛
𝑥!
!!!!
En d’autres termes, l’estimation du paramètre 𝜆 est fondée sur l’inverse de la moyenne expérimentale :
1 𝑚= 1
𝑛 𝑋!
!
!!!
!!
d. Loi normale
Rappel : 𝑋↪𝑁 𝑚,𝜎! ⟺∀𝑥∈𝑅,𝑓 𝑥 =!!!!𝑒!!! !!!!
!
On se propose de déterminer d’abord le paramètre m.
Pour cela, on considère :
ℒ 𝑥!,𝑥!,…,𝑥!,𝑚 = 𝑓 𝑥! 𝑓 𝑥! …𝑓 𝑥! ℒ 𝑥!,𝑥!,…,𝑥!,𝑚 = 1
𝜎 2𝜋
!
𝑒!!! !!!!!
!
𝑒!!! !!!!!
!
…𝑒!!! !!!!!
!
ln ℒ 𝑥!,𝑥!,…,𝑥!,𝑚 =−𝑛ln 𝜎 2𝜋 − 1
2𝜎! 𝑥!−𝑚 !
!
!!!
ln ℒ 𝑥!,𝑥!,…,𝑥!,𝑚 =−𝑛ln 𝜎 2𝜋 − 1
2𝜎! 𝑥!−𝑚 !+⋯+ 𝑥!−𝑚 !
𝜕lnℒ 𝑥!,𝑥!,…,𝑥!,𝑚
𝜕𝑚 = 1
𝜎! 𝑥! −𝑚 !
!
!!!
𝜕lnℒ 𝑥!,𝑥!,…,𝑥!,𝑚
𝜕𝑚 = 1
𝜎! 𝑥!−𝑛𝑚
!
!!!
𝜕lnℒ 𝑥!,𝑥!,…,𝑥!,𝑚
𝜕𝑚 = 0⟺𝑚= 1 𝑛 𝑥!
!
!!!
En d’autres termes, l’estimation du paramètre 𝑚 est fondée sur la moyenne expérimentale :
𝑚= 1 𝑛 𝑋!
!
!!!
7
On se propose de déterminer ensuite le paramètre 𝜎.
Pour cela, on considère :
ln ℒ 𝑥!,𝑥!,…,𝑥!,𝜎 = −𝑛ln 𝜎 2𝜋 − 1
2𝜎! 𝑥!−𝑚 !+⋯+ 𝑥!−𝑚 !
𝜕lnℒ 𝑥!,𝑥!,…,𝑥!,𝜎
𝜕𝜎 =−𝑛
𝜎+ 2𝜎
2𝜎! 𝑥! −𝑚 !
!
!!!
𝜕lnℒ 𝑥!,𝑥!,…,𝑥!,𝜎
𝜕𝜎 =−𝑛
𝜎+ 1
𝜎! 𝑥! −𝑚 !
!
!!!
𝜕lnℒ 𝑥!,𝑥!,…,𝑥!,𝜎
𝜕𝜎 =−𝑛𝜎! 𝜎! + 1
𝜎! 𝑥!−𝑚 !
!
!!!
𝜕lnℒ 𝑥!,𝑥!,…,𝑥!,𝜎
𝜕𝜎 =0⟺𝑛𝜎! = 𝑥! −𝑚 !
!
!!!
𝜕lnℒ 𝑥!,𝑥!,…,𝑥!,𝜎
𝜕𝜎 =0⟺𝜎! = 1
𝑛 𝑥! −𝑚 !
!
!!!
En d’autres termes, l’estimation du paramètre 𝜎! est fondée sur la variance expérimentale :
𝜎! = 1
𝑛 𝑋! −𝑚 !
!
!!!
