Modèles de Markov

B.1 Chaînes et ordre

Les modèles de Markov sont une des solutions les plus naturelles pour traiter des données séquentielles. Nous cherchons à mettre en avant des motifs dans la séquence temporelle observée, en corrélant des observations proche de celle-ci. L'ex-emple commun est celui du temps. Supposons que nous disposons d'une variable binaire permettant de savoir s'il pleut aujourd'hui. À partir de cette observation, nous souhaitons savoir s'il va pleuvoir demain. Si nous nous contentons d'analyser statistiquement les données, nous serons en mesure d'extraire la fréquence relative de pluie. En pratique, nous savons que le temps ne change pas si rapidement, et que s'il a plu les jours précédents, il risque de pleuvoir demain. Dès lors, savoir qu'il pleut aujourd'hui, permet d'aner notre prédiction du temps pour demain.

Savoir s'il va pleuvoir demain, à partir d'une observation de la météo d'aujour-d'hui, peut être vu comme un processus de Markov. Nous relâchons la contrainte d'indépendance temporelle, an d'exprimer notre modèle probabiliste.

Soit x1, x₂, . . . , x_N une séquence d'observation. La probabilité d'observée cette séquence est : p(x₁, x₂, . . . , x_N) = N Y n=2 p(x_n|x₁, . . . , x_n−1) (B.1) Supposons que la probabilité d'avoir de la pluie demain est indépendante du fait qu'il est plu hier et les jours précédent, et ne dépend que de la pluie de aujourd'hui : dans ce cas, nous avons une chaîne de Markov du premier ordre. C'est-à-dire que la distribution conditionnelle est indépendante des précédentes observations, à l'exception de la plus récente. La probabilité de cette séquence

1er ordre x₁ x₂ x₃ x₄

2ème ordre x₁ x₂ x₃ x₄

Figure B.1  Exemple de représentation de chaînes de Markov. devient : p(x₁, x₂, . . . , x_N) = p(x₁) · N Y n=2 p(x_n|x_n−1) (B.2) (B.3) Nous déduisons la propriété suivante :

p(x_n|x₁, . . . , x_n−1) = p(x_n|x_n−1) (B.4) Les chaînes de Markov du premier ordre ne sont pas les seules utilisées, bien qu'elles soient les plus courante. Les chaînes de Markov du second ordre, voir la gure B.1, ont aussi été mise en ÷uvre. La probabilité d'observé une séquence devient alors : p(x₁, x₂, . . . , x_N) = p(x₁) · p(x₂|x₁) · N Y n=3 p(x_n|x_n−1, x_n−2) (B.5) Nous pouvons facilement étendre cette approche à des ordres supérieurs. Néan-moins, le nombre de paramètres devient très important. Ainsi, dans une chaîne de Markov composée de K états. Chaque probabilité conditionnelle p(xn|x_n−1) dépend de K − 1 paramètres. Ceci nous donne K × (K − 1) paramètres pour une chaîne d'ordre 1. Pour une chaîne d'ordre M, le nombre de paramètres devient K^M × (K − 1), il est donc exponentiel avec l'ordre de la chaîne considérée. Ceci conduit en pratique à l'utilisation de système d'ordre faible  entre 1 et 3  ou d'ordre variable an de pouvoir évaluer le système en pratique.

Nous avons présenté les chaînes de Markov pour des variables discrètes. Il est possible d'étendre ce principe aux variables continues, notamment par des dis-tributions Gaussiennes. Cette généralisation dépassant le cadre de ce chapitre, le lecteur intéressé est invité à se référer à Bishop [21, Chap. 13].

B.2. MODÈLE DE MARKOV CACHÉ 153

z₁ z₂ . . . z_n−1 z_n z_n+1

x₁ x₂ xn−1 x_n xn+1

Figure B.2  Exemple de représentation de chaînes de Markov par des états cachés. Les observations ne sont plus liées entre elles, mais les variables latentes le sont.

B.2 Modèle de Markov caché

Il est possible de construire un modèle de Markov avec un nombre limité de paramètres. Pour cela, on introduit une variable cachée ou latente. Pour chaque observation xn, nous introduisons la variable zn. Cette variable n'est ni néces-sairement du même type que xn, ni de la même dimension. Au lieu de construire la chaîne de Markov sur les observations, nous construisons une chaîne sur les variables latentes, comme présenté dans la gure B.2.

La probabilité conditionnelle de ce modèle est la suivante : p(x1, . . . , xN, z1, . . . , zN) = p(z1) · " N Y n=2 p(zn|zn−1) # · N Y n=1 p(xn|zn) (B.6) Notons que si les variables latentes sont discrètes, nous obtenons un système de Markov à états cachés ou Hidden Markov Model (HMM) (Elliott et al. [37]), et ce quelque soit la nature des observations (discrètes ou continues). Si les variable latentes sont continues, nous obtenons un système dynamique linéaire.

Notons A la matrice des probabilités de transitions entre états, dénit par : A_jk ≡ p(z_nk = 1|z_n−1,j = 1) (B.7) où : 0 ≤ Ajk ≤ 1et P_kA_jk = 1, du fait qu'il s'agit de probabilités. La matrice A est constituée de K ×(K −1) paramètres indépendants. La distribution conditionnelle s'écrit donc : p(zn|zn−1, A) = K Y k=1 K Y j=1 A^zn−1,jznk jk (B.8)

Notons que le premier état est spécial, en eet, celui-ci n'a pas de parent. Il dépend donc d'une distribution marginale p(z1) représenté par un vecteur de probabilité

k = 2 k = 1 k = 3 A₁₁ A₁₂ A₁₃ A₂₁ A₂₂ A₂₃ A₃₁ A₃₂ A₃₃

Figure B.3  Exemple de diagramme de transition à 3 états. π, avec πk≡ p(z_1k = 1), tel que :

p(z₁|π) = K Y k=1 π^z1k k (B.9) où : P_kπ_k = 1.

La matrice de transition est souvent représenté par un diagramme de transition, ou par un treillis si elle est développé au cours du temps, voir la gure B.3 pour la représentation en diagramme, et la gureB.4 pour la représentation en treillis. Le modèle probabiliste est déni par les probabilités conditionnelles des obser-vations p(xn|z_n, φ), où φ représente les paramètres de la distribution : les proba-bilités d'émission. Dans le cas discret  présenté ici  il s'agit de probaproba-bilités conditionnelles. Les probabilités d'émissions se représentent sous la forme suivante :

p(xn|zn, φ) =

K

Y

k=1

p(xn|φk)^znk (B.10) Un modèle de Markov à état cachés est donc dénit par :

 X = {x1, . . . , x_N}les observations ;  Z = {z1, . . . , z_N} les variables latentes ;  θ = {π, A, φ} les paramètres du modèle.

B.2. MODÈLE DE MARKOV CACHÉ 155 k = 1 A11 A11 A11 k = 2 k = 3 n − 2 n − 1 n n + 1 A33 A33 A33

Figure B.4  Exemple de treillis de transition à 3 états. Nous obtenons la probabilité jointe suivante :

p(X, Z|θ) = p(z₁|π) · " N Y n=2 p(z_n|z_n−1, A) # · N Y m=1 p(x_m|z_m, φ) (B.11) Pour modéliser une application par un modèle de Markov, il nous faut constru-ire les états et les observations cachées associées, déterminer la table des transitions (les probabilités d'émissions) et résoudre la succession d'état la plus vraissemblable, à partir des mesures faite. Pour cette dernière état, l'algorithme de Viterbi [137] est généralement utilisé.