V- Méthodes numériques de recherche de l’EMV

Cours 3 : Estimation paramétrique de la loi d’une durée de vie

I-Généralités

II- Données complètes III- Données censurées III- Données censurées IV- Données tronquées

IV- Application aux modèles classiques

V- Méthodes numériques de recherche de l’EMV

I- Généralités

Applicabilité : on a une idée (empirique) de la forme paramétrique du taux :

{

}

estimation de h estimation de θ

Approche classique : Estimation par Maximum de Vraisemblance (EMV)

⇒ ⇔

I- Généralités

Quelques définitions : Soit la densité d’un échantillon aléatoire , deux fois différentiable par rapport à

o Définition 1: On appelle score le vecteur des dérivées partielles premières de

( ) ( 1( ),.., _p( )) U θ = U θ U θ

( ,..., , )1

n n

l t t θ

, R^p

θ ∈Θ Θ ⊂

Rp

∈ ( ,...,T1 T_n)

ln

o Définition 2 : Si le domaine de définition de T ne dépend pas de θ, la matrice d’information de Fisher est définie par (si cette quantité existe)

Le score et l’information de Fisher mesurent l’information apportée par l’échantillon sur la valeur de

1 1

( ) ( ( ),.., ( )) l ( ,..., , ) ( )

p

n n

j

j

U U U

T T

U

θ θ θ

θ θ

θ

=

= ∂

∂

∈R

θ

2

1

1 ,1

( ,..., , )

( ) ^{n n}

n

k j k p j p

l T T

I θ E θ

θ θ _{≤ ≤ ≤ ≤}

∂  

 

= −  

∂ ∂

  

 

II- Données complètes

Observations : , de taux inconnu Vraisemblance des observations

Log-vraisemblance des observations:

( ,...,T1 T_n)

∑

0

T ≥ h t( ,θ θ0), 0 ∈Θθ₀

1

1

( ,... , ) ( , )

n

n n i

i

L T T θ f T θ

=

=

∏

Log-vraisemblance des observations:

ou

Estimateur du Maximum de Vraise mblance (EMV) de θ (P)

1

1

( ,... , ) ln ( , )

n

n n i

i

l T T θ f T θ

=

=

∑

1

1 1

( ,..., , ) ln ( , ) ln ( , )

n n

n n i i

i i

l T T θ h T θ S T θ

= =

=

∑

∑

ˆ_n arg max_θ l T_n( ,... , )1 T_n

θ = _∈Θ θ

II- Données complètes

Hypothèse : deux fois dérivable par rapport à θ ( ,...,1 , )

0, 1...

( ) solution de

n n n

j

l T T

j p

P

θ θ θ

 ∂ = =

 ∂

⇔ 

) )

ln

1

1 ,1

( ) solution de

² ( ,..., , )

0 ( )

n

n n

n

k j k p j p

P

l T T

Vois

θ θ θ θ

θ θ _{≤ ≤ ≤ ≤}

⇔ 

∂ 

  < ∀ ∈

 ∂ ∂ 



)

)

II- Données complètes

Propriétés : soit la vraie valeur du paramètre. Si est un ouvert de et si est deux fois continûment différentiable

- Absence de biais asymptotique ^E

( )

θ0 ^Θ

Rp

ln

- Consistance

- Normalité asymptotique : Où peut être estimée par

(

)

lim_n→∞ P θ θ_n − > ε = 0 ∀ ≥ε 0

1/ 2

0 0

( ˆ_n ) ^L (0, _n ( ))

n θ θ− →N I ⁻ θ

( )

1

( )0

In⁻ θ ¹

1

1 ,1

ˆ ² ˆ

( _n) ⁿ ( ,..., ,_{n n})

k j k p j p

l t t

θ θ

θ θ

−

≤ ≤ ≤ ≤

 ∂ 

Σ = − 

∂ ∂ 

 

III- Données censurées

A- vraisemblance latente

Différences avec le modèle complet :

o On ne peut estimer le paramètre qu’à partir des données observables O=(X,δ) variable observable

o Le modèle observable est un modèle qui fournit une information incomplète sur la durée de vie T T=variable latente

Rq: utiliser l’estimateur obtenu sur le sous-échantillon complet produit un estimateur biaisé.

Log-vraisemblance latente =log-vraisemblance de l’échantillon complet (cf modèle complet,), non calculable.

1

1 1

* ( ,..., , ) ln ( , ) ln ( , )

n n

n n i i

i i

l T T θ h T θ S T θ

= =

=

∑

∑

III- Données censurées

B – Vraisemblance observable

On appelle vraisemblance observable la vraisemblance de l’échantillon observé :

(

)

i Xi i

O =

δ

Proposition : Dans les modèles de censure droite étudiés (type I, II et III non informative), la log-vraisemblance observable s’écrit

K=quantité ne

dépendant pas de θ

1

1 1

1 1

1 1

( ,... , ) ln ( , ) (1 ) ln ( , )

ln ( , ) ln ( , )

ln ( , ) ( , )

n n

n n i i i i

i i

n n

i i i

i i

n n

i i i

i i

l O O K f X S X

K h X S X

K h X H X

θ δ θ δ θ

δ θ θ

δ θ θ

= =

= =

= =

= + + −

= + +

= + −

∑ ∑

∑ ∑

∑ ∑

III- Données censurées

B – Vraisemblance observable

Démonstration dans le cas d’un modèle de type I

( )

1, ..., ),

( , / , 1

n i i i i i i i

o X T

o O =

δ

δ

Densité des observation Vraisemblance :

(dem voir cours2)

( )

1

, i.i.d. de loi (., ),

n i i i i i i i

p i

T

c R T f R

c θ θ

∈ ∈ Θ ⊂

≤

1

1

1

1

( ,... , ) ( , , )

( ,... , ) ln ( , , )

n

n n i i

i n

n n i i

i

L O O k X

l O O k X

θ δ θ

θ δ θ

=

=

=

=

∏

∑

( , , )_{i i} ( , )_i ⁱ ( , )_i 1 ⁱ

k x δ θ = f x θ ^δ S x θ ^−δ

III- Données censurées

B – Vraisemblance observable

Démonstration dans le cas d’un modèle de type III

( )

1, ..., ),

( , / , 1

n i i i i i i i i i

o X T

o O =

δ

δ

Def : censure informative = sa loi dépend du paramètre à estimer, la survenue de l’a censure dépend de la loi de la durée..

C i.i.d. de loi indépendante de ( ),

i.i.d. de loi (., ), ,

i

p i

i i

g

T f R

T C

θ θ θ ∈ Θ ⊂

⊥

non informative

III- Données censurées

B – Vraisemblance observable

Densité des observations :

k x^{( , , )}i δ θi =

(

) (

)

Vraisemblance : Lorsque la censure n’est pas informative

1

1

1

1

1 1

1 1

( ,... , ) ( , , )

( ,... , ) ln ( , , )

= ln(1 ( )) (1 ) ln ( ) ln ( , ) (1 ) ln ( , )

n

n n i i

i n

n n i i

i

n n

i i i i

i i

n n

i i i i

i i

L O O k X

l O O k X

G X g X

f x S x

θ δ θ

θ δ θ

δ δ

δ θ δ θ

=

=

= =

= =

=

=

− + −

+ + −

∏

∑

∑ ∑

∑ ∑

III- Données censurées

B – Vraisemblance observable

Démonstration dans le cas d’un modèle de type II

( )

1 ( ) ( )

( )

, ..., ),

r° stat d'ordre de l'échantillon , i.i.d. de loi (., ),

( , / , 1

n i i i i i r i i r

p

r i

o X T

X T f R

o O X T X X

θ θ

δ δ

= ∈ Θ ⊂

= = ∧ = ≤

Vraisemblance

( )

1 ( ) ( )

1

1

1 1

( ,... , ) ! ( , ) ( , )

( )!

( ,... , ) ln ! ln ( , ) (1 ) ln ( , )

( )!

n r r

n n r i

i

n n

n n i i i i

i i

L O O n S X f X

n r

l O O n f X S X

n r

θ θ θ

θ δ θ δ θ

−

=

= =

= −

 

=  − + + −

∏

∑ ∑

( ) r° stat d'ordre de l'échantillon , i.i.d. de loi (., ),

r i

X = T f θ θ ∈ Θ ⊂ R

III- Données censurées

C – Vraisemblance observable : censure de type I I

Démonstration : Les observations ne sont ici pas indépendantes

1

(1) (1) (1) (1) ( ) ( ) ( ) ( 1) ( ) ( 1) ( ) ( )

( ,... , )

( ,..., , ,..., )

= ! ( ,..., , ,..., )

n n

r r r r r r r n

L o o dx

P x T x dx x T x dx x T x T

n P x T x dx x T x dx x T x T

θ

− +

= ≤ ≤ + ≤ ≤ + < <

≤ ≤ + ≤ ≤ + ≤ ≤

1 1 1 1 1

( ) ( )

1

= ! ( ,..., , ,..., )

( )!

! ( , ) ( , )

( )!

r r r r r r r n

r n r

r i

i

n P x T x dx x T x dx x T x T

n r

n S x f x

n r θ θ

+

−

=

≤ ≤ + ≤ ≤ + ≤ ≤

−

= −

=

∏

III- Données censurées

C - Estimateur du maximum de vraisemblance

La vraisemblance latente n’est pas utilisable pour rechercher le max de vraisemblance . On utilise la vraisemblance observée.

EMV : θ_ˆ = _{arg max l O( ,...,O , )}θ EMV :

La pertinence de cet estimateur est fondée sur la proposition suivante

Le score observable est la meilleure approximation du score latent à partir des variables observables

ˆ_n arg max_θ l O_n( 1,...,O_n, )

θ = _∈Θ θ

0

1 1

1

l ( ,..., , ) l * ( ,.., , )

n n n n ,..

n

O O T T

E_θ O O

θ θ

θ θ

∂ ∂ 

=  

∂  ∂ 

III- Données censurées

C - Estimateur du maximum de vraisemblance

Démonstration dans le cas d’une variable:

• Relation entre les variables latentes et observables :

En dérivant la relation (1) par rapport au paramètre puis en ( , ) ( , / ) ( , )

* ( , ) ( , / ) ( , ) (1) f T f T O k O

l T f T O l O

θ θ θ

θ θ θ

=

= +

En dérivant la relation (1) par rapport au paramètre puis en intégrant par rapport à la loi de T sachant O=o, on a:

En inversant l’intégrale et la dérivation

0 0

* ( , ) ln ( , | ) ( , )

* ( , ) ln ( , | ) ( , )

l T f T O l O

E_θ l T O E_θ f T O O l O

θ θ θ

θ θ θ

θ θ θ

θ θ θ

∂ = ∂ + ∂

∂ ∂ ∂

∂ ∂ ∂

   

= +

∂  ∂  ∂

   

ln ( , | ) | ( , | ) 0

E f T θ O O f t θ O dt

θ θ

∂ ∂

 

= =

 

∂ ∂

 

∫

III- Données censurées

C - Estimateur du maximum de vraisemblance

Soit la vraie valeur du paramètre. Si est un ouvert de si est deux fois continûment dérivable et si est identifiable à partir de la loi de O, l’EMV observable satisfait :

- Absence de biais asymptotique ^E

( )

θ0 ^{Θ Rp}

ln θ₀

ˆn

θ - Absence de biais asymptotique

- Consistance

- Normalité asymptotique : Où peut être estimée par

(

)

lim_n→∞ P θ θ_n − >ε = 0 ∀ ≥ε 0

1/ 2

0 0

( ˆ_n ) ^L (0, _n ( )) n θ θ− →N I⁻ θ

( )

E θ →θ

1 1

1 ,1

ˆ ² ˆ

( _n) ⁿ ( ,..., _n, _n)

k j k p j p

l o o

θ θ

θ θ

−

≤ ≤ ≤ ≤

 ∂ 

Σ = − 

∂ ∂ 

 

1

( )0

In⁻ θ

IV-Données tronquées

( )

i.i.d. de loi g, i.i.d. de loi (., ), , ( 1, ... ), ^{i i} , ⁱ _{Ti Zi}

p

i i i i

T

Z T f R T Z

o on O Z

θ θ

≥

∈ Θ ⊂ ⊥

=

Vraisemblance

1

1 1

( ,... , ) ( , , / ) 1 ( , ) ( )

( )

( ) ( ) ( , )

n n

n n i i i i n i i

i i

L O O k T Z T Z f T g Z

P T Z P T Z G u f u du

θ θ θ

θ

= =

= > =

>

> =

∏ ∏

∫

i.i.d. de loi g, i.i.d. de loi (., ), ,

i i i i

Z T f θ θ ∈ Θ ⊂ R T ⊥ Z

IV-Données tronquées

Propriétés : Si est un ouvert de si est deux fois

continûment dérivable et si la loi de T est identifiable à partir

Θ R^p l_n

continûment dérivable et si la loi de T est identifiable à partir de la loi de O, l’EMV observable satisfait les mêmes bonnes propriétés que dans le cas censuré

RQ : cf cours 2 pour les conditions d’identifiabilité

V- Application aux modèles classique

T suit une loi exponentielle de paramètre λ

Modèle complet _n

n i

n t λ =

∑

)

Censure de type I II et III Où r est le nombre

d’instants d’occurrences observés

1 i i

t

=

∑

1

n n

i i

r x λ

=

=

∑

)

V- Application aux modèles classique

T suit une loi de Weibull (α,β)

Modèle complet : ˆ

1 1 ˆ

ln

ˆ / ln 0

ˆ

n

n

n

i i

i

n i n

n i

n t x

n t

t

β

β β

β = ⁼

+ −

∑

∑ ∑

1/ ˆ ˆ 1

n n

n i i n

t n

β β

α ⁼

 

 

 

=  

)

∑

Censure type I et III:

Il n’existe pas de forme explicite : l’équation doit être résolue itérativement

1 ˆ

1

ˆn i n

i i

t ^β β =

∑

 n 

 

 

1/ ˆ ˆ

ˆ 1

n n

n i i n

x r

β β

α ⁼

 

 

 

=  

 

 

∑

{ } ˆ

1

ln

ˆ / ln 0

ˆ

n

i i n

n

i i

i

n i n

t c

n i

i

r x x

r x

x

β

β β

β < ⁼

=

+ −

∑

∑ ∑

VI- Méthodes itératives de recherche de l’EMV

Objectif : résoudre numériquement les équations de

vraisemblance dans les cas où elles ne peuvent être résolues analytiquement (la plupart du temps)

3 composantes : 3 composantes :

Une valeur d’initialisation de l’algorithme pour le paramètre : Une formule d’itération expliquant comment à l’étape k+1 on

calcule l’approximation de à partir de

Des procédures d’arrêt permettant de savoir à quelle étape on peut considérer que fournit une bonne approximation de

Cf : CIARLET [1990] : Introduction à l’analyse numérique matricielle et à l’optimisation. Paris : Dunod.

θ *

1

θk₊ ^ˆ

θn θ^k

θk θ^ˆn

Algorithme de Newton-Raphson

Principe :

VI- Méthodes itératives de recherche de l’EMV

On s’inspire de la méthode classique précédente, utilisée pour trouver les zéros d’un système d’équations, appliqué ici au système des équations de la

vraisemblance. (Valable si la fonction de score a une jacobienne inversible).

On choisit une valeur d’initialisation de l’algorithme On choisit une valeur d’initialisation de l’algorithme

A l’étape k+1, on remplace la fonction à annuler

par une approximation linéaire (son développement de Taylor) au voisinage de : la valeur qui annule cette expression est

( ,...,1 , ) ( , ) l oⁿ oⁿ

U o θ θ

θ

= ∂

∂ θk

1

θk₊

VI- Méthodes itératives de recherche de l’EMV

Règles d’arrêts: il faut qu’une ou plusieurs conditions ci- dessous soient satisfaites :

- Les valeurs itérées sont à peu près stables:

assez petit

- Les valeurs de la fonction objectif sont à peu près stables : assez petit - Le score est proche de 0: assez petit

1

k k

θ ₊ −θ

( , 1) ( , )

n k n k

l o θ ₊ −l o θ

( , _k) U o θ

VI- Méthodes itératives de recherche de l’EMV

Algorithme EM (expectation-maximisation)

Algorithme de recherche de l’EMV dans le cas de données

incomplètes. Marche bien lorsque la variable latente est de type exponentielle (loi exponentielle, Weibull)

V- Méthodes itératives de recherche de l’EMV

Idée :

si la variable latente T était observable, l‘EMV serait trouvé en maximisant la log-vraisemblance latente

ˆ_n arg max_θ l_n * ( ,...,T1 T_n, )

θ = θ

Comme les observations de T ne sont pas disponibles, on remplace la vraisemblance latente par sa meilleure

approximation, calculable à partir des observations : son espérance conditionnelle sachant les observables, en

estimant le vrai paramètre par un estimateur . Ceci revient donc à maximiser :

ˆ_n arg max_θ l_n * ( ,...,T1 T_n, )

θ = θ

( ,...,o1 o_n)

(

)

( , ) _n * ( ,.., _n, / ,... _n Q θ θ% = E_θ% l T T θ O O

θ0 θ^%

Algorithme :

On part d’une valeur

Chaque itération de l’algorithme comporte deux étapes. A l’étape k+1 :

• Etape E : calcul de Q( ,θ θ_k)

V- Méthodes itératives de recherche de l’EMV

θ *

• Etape E : calcul de

• Etape M : recherche de

Propriétés :

- EM est croissant

- Il converge vers un maximum local de la log-vraisemblance (qui ne converge pas toujours vers la vraie valeur du paramètre)

( , _k) Q θ θ

1 max ( , )

k Arg _θ Q k

θ ₊ = _∈Θ θ θ

1 1 1

( ,..., , ) ( ,..., , )

n n k n n k

l o o θ ₊ ≥ l o o θ

V- Méthodes itératives de recherche de l’EMV

Exemple:

Etape E :

λ0

Etape E :

1

1

1

* ( ,..., , ) ln exp( )

ln

( , ) ln ( / ,..., )

k

n n

n n i

i

k n

l T T T

n n T

Q n n E_λ T o o

λ λ λ

λ λ

λ λ λ λ

=

 

=  − 

 

= −

= −

∏

V- Méthodes itératives de recherche de l’EMV

( / 1,..., ) ( / , )

k k

n

n i i i

nE_λ T o1 o =

∑

1

( / ,..., ) ( / , )

( / , 1) (observé dans ce cas)

( / , 0) ( / ) ( | ) 1/

k k

k

k k

n i i i

i

i i i i

i i i i i i x i i k

nE T o o E T x

E T x x

E T x E T T x tf t T x dt x

λ λ

λ

λ λ

δ δ

δ λ

=

∞

=

= =

= = > = > = +

∑

∫

V- Méthodes itératives de recherche de l’EMV

1

1

( / , . . . , ) ( / , )

(1 ) ( / )

k k

n

n i i i

i

n n

i i i i i i

n E T o o E T x

x E T T x

λ λ

λ

δ

δ δ

=

=

= + − >

∑

∑ ∑

1 1

1 1

1

(1 ) ( / )

(1 ) ( 1 / )

i i i k i i i

i i

n n

i i i i k

i i

n

i

i k

x E T T x

x x

n r x

δ δ

δ δ λ

λ

= =

= =

=

= + − >

= + − +

= + −

∑ ∑

∑ ∑

∑

V- Méthodes itératives de recherche de l’EMV

1

( )

( , ) l n

n

k i

i k

n r

Q

λ λ

λ λ

λ

=

 − 

= −  + 



∑

Etape M : On maximise

1

1

k n

i

i k

n

n r

x

λ

λ

+

=

= ∑ + −

( , )

Q λ λ k

Autres Algorithme :

V- Méthodes itératives de recherche de

l’EMV