Master d’Informatique – M1 UPMC MQIA
1
M ODELES DE M ARKOV C ACHES
On a étudié précédemment les Chaînes de Markov (CMs). Ce sont des modèles aléatoires génératifs de séquences. Les CMs peuvent être utilisées pour faire de la modélisation de séquences, de la prévision, de la classification de séquences, etc.
On se propose dans ce TD d’étudier les Modèles de Markov Cachés (MMCs). Ce sont, eux aussi, des modèles aléatoires génératifs, mais plus puissants que les CMs.
1.EXEMPLE DE MODELISATION DE CLIMAT
On a utilisé précédemment une CM pour modéliser des séquences de climats journaliers (Soleil, Nuage, Pluie). Les observations étaient les climats journaliers et correspondaient aux états de la CM.
Nous allons maintenant changer de point de vue. On considère maintenant que le climat (Soleil, Nuage, Pluie) est une observation qui dépend d’un certain nombre, K, de facteurs (par exemple la pression atmosphérique, la température, …).
Dans un souci de simplification on considère que ces facteurs ne peuvent prendre qu’un nombre fini de valeurs (pression forte, modérée, faible par exemple => 3 valeurs) et on considère toutes les combinaisons possibles de valeurs des K facteurs. Imaginons qu’il y a N K-uplets possibles. Alors on modélisera le processus par un MMC à N états. Et, dans chaque état, toutes les observations (Soleil, Nuage, Pluie) pourront être observées mais avec des probabilités variables (on parlera de probabilités d’émission associées aux états).
Dans un MMC, les états sont en nombre fini, et l’enchaînement des états est régi par une chaîne de Markov d’ordre 1. Par contre les états ne sont pas directement observables, ils caractérisent d’une certaine façon l’état interne du processus. A chaque état est associée une loi de probabilité d’émission, qui correspond aux probabilités d’observer les différentes observations (Soleil, Nuage, Pluie) lorsque l’on est dans cet état.
On suppose qu’on dispose d’un modèle de Markov modélisant la météo. Les observations sont Soleil, Nuage, Pluie. Le modèle possède 2 états modélisant les divers « états » conditionnant le climat (deux configurations de température / pression etc). A chaque état est associée une loi de probabilité d’émission sur les observations, P(obs/état).
On suppose que les paramètres de la chaîne de Markov sont les suivants :
• Probabilités initiales : ∏=(0.5,0.5)
• Probabilités de transitions :
=
9 . 0 1 . 0
4 . 0 6 . A 0
• Probabilités d’émission :
Pour l’état 1 : p(o/s1) = [0 .5 0.2 0.3]
p(S/s1) = 0.5 ; p (N/s1)=0.2 ; p (P/s1) = 0.3 Pour l’état 2 : p(o/s2) = [0 .1 0.3 0.6]
p(S/s2) = 0.1 ; p(N/s2) = 0.3 ; p(P/s2) = 0.6
Master d’Informatique – M1 UPMC MQIA
2
1.1 Compréhension du modèle : Utilisation en génération.
Un MMC est un modèle de génération aléatoire de séquences. On peut générer une séquence d’observations aléatoirement de la façon suivante :
• Initialisation :
Niveau état : On tire un état initial au hasard avec la loi de probabilités des probabilités d’états initiaux de la CM. Cet état est l’état courant.
Niveau Observation : On tire aléatoirement une observation avec la loi de probabilité d’émission associée à l’état courant.
• Itération :
Niveau état : On tire aléatoirement le nouvel état courant avec la loi de probabilité définie par les probabilités de transitions à partir de l’état courant.
Niveau Observation : On tire aléatoirement une observation avec la loi de probabilité d’émission associée à l’état courant.
On utilise la même procédure que celle décrite pour les CMs pour tirer au hasard avec une loi de probabilité discrète.
On vous donne la séquence de nombres tirés aléatoirement avec un générateur aléatoire informatique (uniforme entre 0 et 1) : 0.1 0.55 0.45 0.3 0.01 0.23 0.98 0.54 0.78 0.89
Déterminez la séquence d’états et d’observations générées.
NB : En règle générale, on observe un phénomène (séquence de climats journaliers par exemple) mais on ne connaît pas la séquence d’états sous-jacente. C’est pourquoi on dit que ce sont des Modèles de Markov Cachés.
1.2. Ecrire une fonction octave qui produit aléatoirement une séquence pour un modèle donné en paramètre.
1.3. Exploitation du modèle 1 : Calcul de la probabilité d’une séquence d’observations.
• Calculer la probabilité de la séquence N, S, S, P, P
algorithme Forward.
α
• Ecrire le code octave de calcul de la probabilité d’une séquence d’observations.
1.4. Exploitation du modèle 2 : Décodage.
• Calculer la séquence d’états la plus probable pour cette séquence d’observations.
algorithme de Viterbi.
δ
Master d’Informatique – M1 UPMC MQIA
3
Ψ
q*
• Ecrire le code octave pour l’algorithme de Viterbi.
• Ecrire une fonction de calcul approximé de la probabilité d’une séquence qui renvoie le max sur tous les chemins possibles de la probabilité jointe de la séquence d’observations et de la séquence d’états.
2. MODELISATION D’EXPERIENCES AVEC UN DE TRUQUE
2.1. On considère un dé truqué, les probabilités des six faces sont : 0.1 0.1 0.1 0.2 0.2 0.3
Déterminez un MMC qui permette de modéliser des séquences de tirages avec ce dé : Nombre d’états, probabilités initiales et matrice de probabilités de transitions.
2.2. On considère maintenant deux dés truqués et une pièce truquée.
Les dés ont des probabilités de faire apparaître les faces 1 à 6 égales à [0.1 0.1 0.1 0.2 0.2 0.3] pour le dé 1 et [0.3 0.2 0.1 0.2 0 0.2] pour le dé 2. La pièce a une probabilité 0.4 de tomber sur Pile et 0.6 sur Face.
Une personne observe la procédure suivante pour générer des séquences de nombres de 1 à 6 (elle ne vous communique que la séquence des faces des dés tirés).
Elle commence par tirer au hasard avec la pièce (Pile = dé 1 ; Face = dé 2) avec quel dé il tirera le prochain nombre.
Avec ce dé, il tire un nombre.
Avec la pièce il détermine avec quel dé il tirera le prochain nombre. Avec ce dé il tire un nombre.
Etc.
Déterminez un MMC (architecture et paramètres) permettant de modéliser ce processus.
Remarque :
Les MMCs sont une instance de « modèles à états », dont le comportement est donné par les deux équations suivantes :
Master d’Informatique – M1 UPMC MQIA
4 t
t
t f s e
s = ( −1)+
t t t g s o = ( )+ε
où st désigne l’état du processus, et ot l’observation générée à cet instant. Les MMcs sont un modèle à états particulier dans lesquels l’état est « discrétisé ».
3. EXTRAIT EXAMEN JUIN 2004
Modélisation de séquences d’observations
On ne considère que des observations discrètes, i.e. appartenant à un ensemble fini Σ d’observations possibles.
On considère un alphabet à 4 symboles Σ={a,b,c,d} et une base de données d’apprentissage constituée de 4 séquences X={aaba, aabc, aaca, aacb}.
1. Dessinez un modèle de Markov caché (en explicitant les probabilités de transition et les lois de probabilités d’émission) qui maximise la vraisemblance de X. Ce modèle est-il unique ? Que vaut la vraisemblance de chacune des séquences calculée par votre modèle ? Que vaut la vraisemblance de X calculée par votre modèle ?
2. Donnez des indications succinctes sur la façon de construire un MMC maximisant un ensemble de séquences X quelconque.
On considère maintenant les ensembles de séquences E1={a*b}, E2={(ab)*}, E3={(ab*)*}, E4={anban,n∈N}, où x* représente l’ensemble des séquences constituées d’un nombre quelconque de répétitions de x, et xn représente la séquence constituée de n répétitions de x.
On dit qu’un MMC accepte une séquence s particulière si la probabilité de s calculée par le MMC est non nulle.
3. Peut-on construire un modèle de Markov (chaîne de Markov ou MMC) acceptant l’ensemble de séquences E1 ? Si la réponse est oui, explicitez le MMC, sinon expliquez succinctement pourquoi.
4. Idem pour E2 ? Idem pour E3 ? Idem pour E4 ?
