Méthodes bayésiennes non paramétriques pour les modèles à variables latentes
3.2.2 Processus Beta-Bernoull
On construit dans cete partie le processus Beta-Bernoulli qui servira de loi a priori non paramétrique pour les modèles à variables latentes. La représentation que nous allons présenter s’appuie sur l’association d’un processus Beta et d’un processus de Bernoulli et est due à hibaux et Jordan (2007). C’est le pendant pour les modèles à variables latentes du processus de Dirichlet à mélange.
Par analogie avec la classiication non supervisée, il faut générer deux suites. La première est notée θ et contient les caractéristiques latentes. La seconde suite, notée znest binaire et indique quelles caractéristiques
sont nécessaires pour décrire l’observation yn. Le bon objet pour générer
une quantité dénombrable de caractéristiques est le processus ponctuel de Poisson. Les caractéristiques sont à nouveau distribuées suivant une mesure de base G0, et associé à un label 1 si la caractéristique est associée
à l’observation, 0 sinon. Ce processus est appelé processus de Bernoulli. Cependant, on souhaite que les caractéristiques obtenues avec deux réa- lisations d’un processus de Bernoulli soient d’intersection non vide. Ce ne sera presque sûrement pas le cas si la mesure de base G0est continue.
La solution va consister à utiliser une mesure aléatoire discrète comme mesure de base.
Soit G0une mesure inie sur Θ, l’espace des caractéristiques. Notons α
la masse de G0, α ≜ G0(Θ) < +∞. Notons que G0/α joue à nouveau
le rôle de loi a priori sur l’espace des paramètres. Une réalisation d’un processus Beta-Bernoulli est une mesure aléatoire sur Θ×{0, 1}. La
construction se fait en deux étapes : on spéciie d’abord le processus qui génère une collection de paramètres associés à un 0 ou un 1 avec des lois de Bernoulli puis le processus qui génère les paramètres de ces Bernoulli. Déinition 3.5. Soit G0une mesure inie sur Θ. Soit Be=
{
(θ1, z1), . . .
} un processus ponctuel de Poisson sur Θ× {0, 1}de mesure de base
µBe(dθ, dw) =G0(dθ)δ1(dw). (3.38)
On appelle réalisation d’un processus de Bernoulli, notée φBe∼ BeP(G0), la
mesure complètement aléatoire
φBe≜ +∞
∑
k=1 zkδθk, (3.39) où zkvaut 0 ou 1.Une réalisation d’un processus de Bernoulli est donc bien une collection de variables binaires et de paramètres. Comme la déinition s’appuie à nouveau sur un processus de Poisson, la collection est bien dénombrable. Cependant, si la mesure de base G0sur les paramètres est continue, ce
qui est le cas dans beaucoup de modèles, les paramètres ne seront presque sûrement pas partagés d’une réalisation à l’autre. En conséquence, on ne générera que des collections triviales, c’est-à-dire des collections compo- sées d’un unique élément.
La solution à ce problème consiste à construire une mesure discrète φBà
partir de la mesure potentiellement continue G0. En efet, si φB=∑ℓwℓδθℓ
est la mesure de base d’un processus de Bernoulli, alors une réalisation
φBeest de la forme φBe = ∑ℓzℓδθℓavec zℓ ∼ Be(wℓ). Il suit d’être
capable de générer une ininité dénombrable de couples(wℓ, θℓ), tels que
wℓest dans[0, 1]et θℓdans Θ. Dans le cas paramétrique, on avait choisi
la loi Beta pour sa propriété de conjugaison avec la loi de Bernoulli. Dans le cas non paramétrique, c’est le processus Beta qui est conjugué avec le processus de Bernoulli.
Déinition 3.6. Soit B={(w1, θ1), . . .
}
un processus ponctuel de Poisson sur Θ× [0, 1]de mesure
µB(dθ, dw) =G0(dθ)γw−1(1−w)γ−1dw. (3.40)
On appelle réalisation d’un processus Beta, notée φB ∼ BP(γ, G0), la
mesure complètement aléatoire
φB≜ +∞
∑
k=1
wkδθk. (3.41)
On utilise volontairement une notation diférente pour les poids dans l’équa- tion (3.41) comparée à la partie précédente. Cete distinction est faite pour rappeler que les deux suites de poids se compor- tement diféremment; les poids a d’un tirage d’un processus de Dirichlet véri- ie ∑+∞
k=1ak =1, tandis que la somme des poids wkest inie avec probabilité 1 puisque E[w] =α<+∞.
Vue comme une fonction de w, la mesure µBressemble à une loi Beta
dégénérée et ne charge que l’intervalle[0, 1]. À nouveau
µB(Θ× [0, 1]) =
∫
Θ×[0,1]µB(dθ, dw) = +∞, (3.42)
donc le processus de Poisson sous-jacent génère bien presque sûrement une ininité dénombrable de points. Comme pour le processus Gamma, on peut montrer que les marginales d’un processus Beta sont des lois Beta en comparant les transformées de Laplace.
y q à 99 L’assemblage des deux processus, que l’on appelle processus Beta-
Bernoulli, est décrit par le modèle suivant
φB|γ, G0 ∼ BP
(
γ, G0
)
φBe,1, . . . , φBe,N, θ|φB i.i.d.∼ BeP(φB).
(MB−Be)
Dans le modèleMB−Be, les paramètres θℓsont partagés par les réalisa-
tions du processus de Bernoulli φBe,n.
La igure3.12montre 50 réalisations du modèleMB−Be. Chaque ligne
correspond à une réalisation φBe,n, et chaque point bleu indique la posi-
tion d’un paramètre associé à un 1. De fait, chaque colonne représente la collection implicitement déinie par les 1 des variables zk,n. On aiche en dessous du graphique la réalisation du processus Beta. On voit que les caractéristiques les plus activées correspondent logiquement aux points de
φBoù la masse est la plus grande. Nous verrons dans la prochaine partie
comment générer des réalisations d’un processus Beta.
0 50 ré a li sa ti o n 0 1 wk 0 1
F 3.12 : La igure du haut illustre 50 réalisations d’un processus de Bernoulli. Chaque ligne est une réalisation et chaque point représente un 1. La igure du bas est la mesure de base du processus de Bernoulli, i.e. le tirage du processus Beta déjà présenté à la igure3.13.
Le nombre de paramètre décrivant une observation, i.e, le nombre de succès de la suite(zk,n)kest aléatoire. Cependant, comme
E[z]= +∞
∑
k=1 wk= ∫ Θ×{0,1}wµB(dθ, dw) < +∞, (3.43)le lemme de Borel Cantelli nous assure que, presque sûrement, seul un nombre ini de zkvaut 1, i.e., seul un nombre ini de paramètres est activé
à chaque réalisation φBe,net le cahier des charges est respecté. Comme pour le processus de Dirichlet, le processus Beta n’est pas directement observé. Cependant, on peut exploiter les réalisations du processus de Bernoulli pour le caractériser : il s’agit de la loi a posteriori. Soient φBe,1, . . . , φBe,NN réalisations du modèleMB−Be. Alors, la loi a
posteriori de la mesure φBest encore un processus Beta
φB|φBe,1, . . . , φBe,N, γ, G0∼BP ( γ, G0+ N
∑
n=1 φBe,n ) . (3.44) On préfère écrire (3.44) sous une forme normaliséeφB|φBe,1:N, γ, G0∼BP ( γ+N, γ γ+NG0+ N
∑
n=1 1 γ+NφBe,n ) . (3.45) Ainsi, la loi a posteriori d’un processus Beta est encore un processus Beta dont la mesure de base a été mise à jour. Cete nouvelle mesure de base comporte une partie discrète, qui est un compromis entre l’information a priori G0et l’information empirique fournie par les φBe,n. Notons que plusle nombre d’observations N est grand, et plus l’inluence de la mesure de base G0diminue.