2.6 Conclusion
3.1.3 Echantillonnage de Gibbs ´
a savoir l’´echantillonneur de Gibbs.
3.1.3 Echantillonnage de Gibbs´
L’algorithme de Metropolis-Hastings peut pr´esenter des difficult´es `a explorer conve-nablement le support de la loi cible. Ces difficult´es sont d’autant plus marqu´ees lorsque la loi est multidimensionnelle car le nombre d’´echantillons n´ecessaires pour avoir une cou-verture suffisante du support est alors tr`es important. L’algorithme d’´echantillonnage
de Gibbs est particuli`erement adapt´e `a la simulation de lois multidimensionnelles. Pour simuler suivant la loi cible, l’´echantillonneur de Gibbs exploite ses distributions condi-tionnelles si elles existent. Pour r´esumer, l’algorithme d’´echantillonnage de Gibbs est utilis´e pour simuler π(x) quand :
1. x admet une d´ecomposition de la forme :
x = (x1, . . . , xN), (3.6) 2. les lois conditionnelles
πi(xi|x−i) (3.7)
sont simulables facilement, avec la notation x−i = (x1, x2, . . . , xi−1, xi+1, . . . xN) et πi(xi|x−i) d´esigne la densit´e conditionnelle de xi sachant x−i.
L’algorithme est pr´esent´e dans le tableau 3.2.
Sch´ema de l’algorithme d’´echantillonnage de Gibbs 1. it´eration t = 0, initialiser x(0) ∼ π0(x),
2. it´eration t, tirer
x1(t+1) ∼ π1(x1|x2(t), . . . , xN(t)) x(t+1)2 ∼ π2(x2|x(t+1)1 , x(t)3 . . . , x(t)N) .. . x(t+1)i ∼ πi(xi|x(t+1)1 , . . . , x(t+1)i−1 , x(t)i+1. . . , x(t)N) .. . x(t+1)N ∼ πN(xN|x(t+1)1 , . . . , x(t+1)N −1) 3. t← t + 1 et aller en (2).
Table 3.2 – ´Echantillonneur de Gibbs.
L’´echantillonneur de Gibbs fut introduit par Geman et Geman [GG84] pour le trai-tement d’image, puis g´en´eralis´e `a une vari´et´e de probl`emes conventionnels en Statistique par Gelfand et Smith [GS90]. L’algorithme de Gibbs est d´ecrit en d´etails dans le livre de Robert [Rob96, paragraphe 5]. Pour une description simple et rapide, on pourra se ref´erer `a Casella et George [CG92].
Remarques
– L’´echantillonneur de Gibbs n´ecessite la connaissance et la possibilit´e d’´echantillonner suivant les lois conditionnelles au contraire de l’algorithme MH.
M´ethodes MCMC
– Seules les lois conditionnelles sont utilis´ees pour la simulation. Donc pour un probl`eme de grande dimension, toutes les simulations sont univari´ees. En fait, on verra dans le paragraphe qui suit que les composantes xi ne sont pas forc´ement scalaires.
– `A l’inverse de l’algorithme MH, ici tous les ´echantillons simul´es sont accept´es (taux d’acceptation=1). L’´echantillonneur de Gibbs est la composition de N algorithmes MH avec des probabilit´es d’acceptation uniform´ement ´egales `a 1.
– Le sch´ema de simulation de l’algorithme de Gibbs est, par construction, multidi-mensionnel. Cet algorithme est donc seulement applicable aux mod`eles comportant au moins deux variables al´eatoires. Dans certains cas, il est n´ecessaire de consid´erer et de simuler des variables artificielles pour l’implantation.
– Comme nous le verrons plus tard, l’´echantillonneur de Gibbs est particuli`erement bien adapt´e aux mod`eles hi´erarchiques.
´
Echantillonnage par blocs, compl´etion, marginalisation
Nous avons pr´esent´e l’´echantillonneur de Gibbs comme un algorithme consistant en la simulation de N lois univari´ees pour g´en´erer un param`etre N -dimensionnel. Dans certains cas, l’algorithme peut ˆetre rendu plus efficace en ´echantillonnant conjointement plusieurs variables, c’est l’´echantillonnage par blocs. Par exemple, quand deux compo-santes sont fortement corr´el´ees dans la loi cible π, le m´elange peut ˆetre lent en utilisant une mise `a jour s’effectuant coordonn´ee par coordonn´ee. ´Echantillonner ces deux com-posantes corr´el´ees de fa¸con jointe dans un seul bloc peut alors am´eliorer le m´elange. De fa¸con g´en´erale, l’´echantillonnage par blocs permet d’acc´el´erer la convergence de l’algo-rithme, surtout quand l’on traite des variables de grandes dimensions.
La simulation peut aussi ˆetre facilit´ee par la compl´etion du mod`ele qui consiste `a introduire des variables suppl´ementaires. On dit que la densit´e g est une compl´etion de f si f est une loi marginale de g. L’int´erˆet d’une compl´etion du mod`ele est que les lois conditionnelles de g sont parfois plus simples `a simuler que celles de f . C’est souvent le cas dans les mod`eles bay´esiens hi´erarchiques. Cette compl´etion peut ˆetre naturelle, cela signifie que les variables introduites ont un sens physique et on parle de variables de compl´etion. Un exemple est un mod`ele avec des donn´ees manquantes. La compl´etion peut aussi ˆetre artificielle, au sens o`u les variables rajout´ees ne sont qu’utilitaires et n’ont pas de signification physique. Elles servent alors uniquement `a simplifier la simulation des variables d’int´erˆet : on parle de variables auxiliaires. De tels algorithmes sont d´evelopp´es dans cette th`ese comme on le verra dans la partie sur l’inf´erence des mod`eles de m´elange de processus de Dirichlet (paragraphe3.2).
Enfin, dans certaines situations, le m´elange dans l’´echantillonneur de Gibbs peut ˆetre rendu plus efficace en marginalisant certaines variables. Ce sont les m´ethodes mar-ginales dites aussi algorithmes de Gibbs collaps´es. Elles reposent sur la marginalisation analytique d’un ou de plusieurs param`etres du mod`ele. Ces param`etres pouvant ˆetre des param`etres de nuisance ou des variables d’int´erˆet. Si les variables marginalis´ees sont de grande dimension, le m´elange peut ˆetre plus efficace puisque l’espace des param`etres est alors r´eduit de fa¸con drastique.
Nous verrons des exemples de ces trois types d’´echantillonneurs dans le paragraphe
Remarque 12. On souligne qu’il existe des algorithmes MCMC dits hybrides. Ce sont des algorithmes utilisant simultan´ement des ´etapes d’´echantillonnage de Gibbs et des ´etapes de l’algorithme de Metropolis-Hastings. Leur utilisation est motiv´ee par le fait que dans l’´echantillonnage de Gibbs, certaines lois conditionnelles peuvent ˆetre impossibles `
a simuler. On peut donc remplacer chaque ´etape i o`u une simulation suivant la loi conditionnelle πi(xi|x−i) est impossible par une ´etape MH. Les m´ethodes que nous avons d´evelopp´ees pour la reconstruction des images TEP utilisent ce principe (chapitres 4 et
5).