Estimation paramétrique

Une fois le modèle structurel déterminé, il reste à estimer la valeur du paramètre 𝜃 permettant de décrire au mieux les données. L’estimateur le plus naturel pour les paramètres de population est l’estimateur du maximum de vraisemblance (MLE, maximum likelihood

estimate). Cependant, le calcul du MLE dans le cas des modèles à effets mixtes est

généralement compliqué du fait que la vraisemblance est rarement explicite.

a) Expression générale de la vraisemblance

Pour la suite de cette partie, nous qualifions les paramètres individuels 𝜙_𝑖 de non-observés, tandis que les données observées sont les 𝑦_𝑖. Nous notons alors (𝑦_𝑖, 𝜙_𝑖) les données complètes. Nous cherchons ici à exprimer la vraisemblance des données observées, pour ensuite déterminer le paramètre 𝜃 permettant de maximiser cette vraisemblance. Pour cela,

70

nous exprimons tout d’abord la log-vraisemblance des données complètes, en gardant les mêmes notations que celles introduites pour présenter les modèles à effets mixtes :

log 𝑝(𝑦, 𝜙; 𝜃) = ∑ log 𝑝(𝑦_𝑖, 𝜙_𝑖; 𝜃) 𝑁 𝑖=1 = ∑ log 𝑝(𝜙_𝑖|𝜃) + log 𝑝(𝑦_𝑖|𝜙_𝑖; 𝜃) 𝑁 𝑖=1 log 𝑝(𝑦, 𝜙|𝜃) = −¹ 2^{∑ ∑ log (2𝜋𝑔2(𝜙𝑖, 𝑡𝑖𝑗)) −} 𝑁 2^{log(2𝜋|𝛺|)} 𝑛_𝑖 𝑗=1 𝑁 𝑖=1 − ∑ ∑^{(𝑦𝑖𝑗 − 𝑓(𝜙𝑖, 𝑡𝑖𝑗))} 2 2𝑔2(𝜙_𝑖, 𝑡_𝑖𝑗) 𝑛_𝑖 𝑗=1 𝑁 𝑖=1 −¹ 2^{∑(𝜙𝑖 − 𝜇)Ω−1}(𝜙_𝑖 − 𝜇)′ 𝑁 𝑖=1 (4.3)

La vraisemblance des données observées 𝑝(𝑦|𝜃) se calcule alors en intégrant la vraisemblance des données complètes par rapport aux données manquantes 𝜙 :

𝑝(𝑦|𝜃) = ∫ 𝑝(𝑦, 𝜙; 𝜃)𝑑𝜙.

(4.4) Nous cherchons à maximiser cette quantité, c’est-à-dire à trouver 𝜃̂ tel que

𝜃̂ = argmax

𝜃 𝑝(𝑦|𝜃).

(4.5) Dans le cas d’un modèle mixte linéaire, l’intégration (4.4) a une expression analytique et le calcul du maximum de vraisemblance peut être réalisé à l’aide de nombreux algorithmes d’optimisation. Cependant, dans le cas de modèles mixtes non linéaires, que nous utiliserons par la suite, la vraisemblance des observations n’a pas d’expression analytique, et l’estimation du maximum de vraisemblance n’est pas directe. Certaines méthodes d’estimation du maximum de vraisemblance se basent alors sur la vraisemblance des données complètes, qui a une forme explicite (équation (4.3)). Ces méthodes sont tout particulièrement adaptées à l’estimation des paramètres dans le cadre de modèles à effets mixtes. Dans la suite de cette partie, nous nous proposons de présenter l’algorithme utilisé dans ce travail.

71 b) Estimation des paramètres de population

L’algorithme EM

L’algorithme EM (Expectation-Maximization) a été introduit en 1977 par Dempster et son équipe (Dempster et al. 1977). Cet algorithme est un processus itératif permettant d’estimer le maximum de vraisemblance dans le cas de modèles à données non observées. L’idée de cet algorithme repose sur le fait que nous aimerions choisir 𝜃 de telle façon à maximiser la vraisemblance des données complètes 𝑝(𝑦, 𝜙; 𝜃). Or, puisque les paramètres individuels 𝜙 ne sont pas observés, cette quantité n’est pas connue et nous ne pouvons pas la maximiser. En revanche, il est possible d’optimiser son espérance conditionnelle, connaissant les données observées 𝑦 par rapport au paramètre 𝜃. Ainsi, nous nous intéressons à la quantité suivante, pour tout couple (𝜃, 𝜃′) ∈ Θ2 :

𝑄(𝜃|𝜃′) = 𝔼(log 𝑝(𝑦, 𝜙; 𝜃)|𝑦, 𝜃′). (4.6)

Cette espérance conditionnelle possède une propriété de monotonie : tout accroissement de 𝑄 augmente la vraisemblance des données observées. Ainsi, pour tout (𝜃, 𝜃′) ∈ Θ2 :

𝑄(𝜃|𝜃′) ≥ 𝑄(𝜃′|𝜃′) ⟹ log 𝑝(𝑦|𝜃) ≥ log 𝑝(𝑦|𝜃′)

Cette propriété justifie le fonctionnement de l’algorithme EM par maximisations successives de 𝑄 pour obtenir un estimateur de 𝜃.

Nous allons maintenant décrire les deux étapes de l’algorithme. Notons (𝜃_𝑘)_𝑘>0 la suite des estimateurs obtenus au cours de l’algorithme. L’itération 𝑘 de l’algorithme EM se décompose alors en deux étapes :

- étape E : estimation de l’espérance conditionnelle 𝑄_𝑘(𝜃) = 𝑄(𝜃|𝜃_𝑘−1) de la log-vraisemblance complète, connaissant les données 𝑦 et la valeur du paramètre 𝜃_𝑘−1 obtenue à l’étape précédente

- étape M : actualisation de l’estimateur suite à la maximisation de la fonction obtenue à l’étape E. Nous obtenons donc :

𝜃_𝑘 = argmax

𝜃 𝑄_𝑘(𝜃).

L’estimateur 𝜃̂ retenu est la valeur obtenue lors de la dernière itération de l’algorithme. La convergence de l’algorithme EM vers un point stationnaire a été démontrée par Dempster et

72

al. (Dempster et al. 1977). Cependant la mise en œuvre de cet algorithme pose quelques problèmes d’ordre pratique : lenteur de la convergence ou difficultés de calcul à l’étape E. Pour pallier à ces problèmes, des versions stochastiques de l’algorithme ont été développées. Elles permettent d’approcher la quantité 𝑄_𝑘(𝜃) par des méthodes de Monte-Carlo plutôt que de la calculer de façon exacte.

L’algorithme SAEM

L’algorithme SAEM (Stochastic Approximation of EM) est une variante stochastique de l’algorithme EM présenté ci-dessus, introduite par Delyon et collègues (Delyon et al. 1999). Il s’agit de donner une approximation par une approche de Monte-Carlo de l’étape E de l’algorithme EM en échantillonnant des données non observées dans leur distribution conditionnelle 𝑝(𝜙|𝑦; 𝜃_𝑘−1). L’itération 𝑘 de l’algorithme SAEM se déroule de la façon suivante :

- étape S : simulation d’une réalisation des données non observées : 𝜙_𝑘~𝑝(. |𝑦; 𝜃_𝑘−1) La simulation exacte de cette loi conditionnelle n’est pas toujours réalisable. Dans ce cas, une réalisation 𝜙_𝑘 est obtenue par une chaîne de Markov 𝜙̃ convergeant vers la distribution 𝑝(. |𝑦, 𝜃_𝑘−1). Notons 𝑞(. |. ) la loi choisie pour simuler la chaîne de Markov 𝜙̃. Cette étape consiste alors en 𝑀 itérations d’un algorithme de Metropolis-Hastings :

 initialisation : 𝜙̃₀ = 𝜙_𝑘−1

 pour 𝑚 = 1, … , 𝑀, un candidat 𝜙̃_𝑚 est tiré sous la distribution 𝑞(𝜙_𝑘−1|. ), et est retenu avec une probabilité

α = ^{𝑝(𝜙̃𝑚|𝑦, 𝜃𝑘−1)𝑞(𝜙̃𝑚|𝜙𝑘−1)} 𝑝(𝜙_𝑘−1|𝑦, 𝜃_𝑘−1)𝑞(𝜙_𝑘−1|𝜙̃_𝑚)

 𝜙_𝑘 = 𝜙̃_𝑀 avec la probabilité 𝛼, 𝜙_𝑘 = 𝜙_𝑘−1 avec la probabilité 1 − 𝛼.

- étape SA : actualisation de la quantité 𝑄_𝑘(𝜃) selon l’expression suivante : 𝑄_𝑘(𝜃) = 𝑄_𝑘−1(𝜃) + 𝛾_𝑘(log 𝑝(𝑦, 𝜙_𝑘; 𝜃) − 𝑄_𝑘−1(𝜃)),

où (𝛾_𝑘) est une suite décroissante de nombres positifs

- étape M : mise à jour de la valeur de 𝜃_𝑘, suite à la maximisation de la quantité 𝑄_𝑘(𝜃) calculée à l’étape précédente.

73

Lorsque l’étape S nécessite l’utilisation d’une chaîne de Markov, l’algorithme est appelé MCMC-SAEM. De la même façon que pour l’algorithme EM, l’estimateur 𝜃̂ retenu est la valeur obtenue lors de la dernière itération de l’algorithme SAEM (ou MCMC-SAEM). La convergence de ces algorithmes a été démontrée (Delyon et al. 1999; Kuhn & Lavielle 2005). Le principal avantage de cet algorithme est qu’il converge vers une valeur proche du maximum de vraisemblance en un faible nombre d’itérations, diminuant ainsi les temps de calcul. De plus, sa convergence est moins sensible au choix de l’initialisation des paramètres. Nous utiliserons l’algorithme MCMC-SAEM, implémenté dans Monolix (Lixoft²) pour nos différents travaux.

Estimation des paramètres individuels

Lorsque les paramètres de population 𝜃̂ ont été calculés, la distribution conditionnelle 𝑝(𝜙_𝑖|𝑦_𝑖 ; 𝜃̂) des paramètres individuels 𝜙_𝑖 peut être estimée en utilisant l’algorithme de Metropolis-Hastings présenté ci-dessus. En effet, pour chaque individu 𝑖, cet algorithme génère une suite (𝜙_𝑖^(𝑘)) qui converge en distribution vers la distribution conditionnelle 𝑝(𝜙_𝑖|𝑦_𝑖 ; 𝜃̂). Ainsi, le mode ou la moyenne de cette distribution conditionnelle peuvent être calculés et utilisés comme valeurs pour les paramètres individuels. Le choix d’utiliser le mode ou la moyenne est arbitraire. Par défaut, le logiciel Monolix que nous utiliserons estime le mode de la distribution conditionnelle.