Reconnaissance Statistique des Formes

(1)

Université Paris 13/Younès Bennani Reconnaissance des Formes 1

Reconnaissance Statistique des Formes

6

Younès BENNANI

(2)

Principe général :

«!Dans une séquence optimale de décisions, quelle que soit la première décision prise, les décisions subséquentes forment une sous-séquence optimale, compte tenu des résultats de la première décision!» Bellman (1957), Dynamic Programming

Princeton University Press.

Programmation Dynamique

But :

Chercher la ressemblance entre deux chaînes par le calcul d’une distance.

A B

M Chemin optimal

Chemin optimal Chemin optimal

Programmation Dynamique exemple

Objectif :

Construire une route entre deux villes V1 et V12, minimisant le coût de construction.

V1

V2

V3

V4

V9

V10

V11

V5

V7

V8

V6

V12

C(xi,xj)=C(V1,V4)=6 0

5

7

8

12 4

9 8 5

7

4 6

3 4 8 0

4 6

5 2

7

(3)

Programmation Dynamique exemple

Problème :

Chercher les villes intermédiaires Vi, Vj, Vk, qui minimisent le coût de construction C(V1, V12).

C V

(

₁,V₁₂

)

= C V

(

₁,V_i

)

+C V

(

_i,V_j

)

⁺^{C V}

(

^j^,^V^k

)

⁺^{C V}

⁽

^k^,^V¹²

⁾

V_i!E₁=

{

V₂,V₃,V₄

}

^Vj!E₂=

{

V₅,V₆,V₇,V₈

}

^Vk!E₃=

{

V₉,V₁₀,V₁₁

}

C V

(

₁,V_j

)

⁼^min_V_i_!E₁

[

^{C V}

⁽

¹^,^Vⁱ

⁾

⁺^{C V}

(

ⁱ^,^V^j

) ]

^"^V^j^!E²

C V

(

₁,V_k

)

=min

Vj!E2

C V

(

₁,V_j

)

⁺^{C V}

(

^j^,^V^k

)

[ ]

^"^V^k^!E³

C V

(

₁,V₁₂

)

⁼_V^min

k!E3

C V

(

₁,V_k

)

⁺^{C V}

(

k,V₁₂

)

[ ]

Programmation Dynamique exemple

C V( ₁,V₅)⁼^min

C V( ₁,V₂)⁺^{C V}( 2,V₅)⁼⁰⁺⁷⁼⁷

C V( ₁,V₃)⁺^{C V}( 3,V₅)^{= /}^!

C V( ₁,V₄)⁺^{C V}( 4,V₅)^{= /}^!

"

#

$

%

&

' '

=7

C V( ₁,V₆)⁼^min

C V( ₁,V₂)⁺^{C V}( 2,V₆)⁼⁰⁺⁸⁼⁸

C V( ₁,V₃)⁺^{C V}( 3,V₆)⁼⁵⁺⁴⁼⁹

C V( ₁,V₄)⁺^{C V}( 4,V₆)^{= /}^!

"

#

$

%

&

' '

=8

C V( ₁,V₇)⁼^min

C V( ₁,V₂)⁺^{C V}( 2,V₇)⁼⁰⁺¹²⁼¹²

C V( ₁,V₃)⁺^{C V}( 3,V₇)⁼⁵⁺⁸⁼¹³

C V( ₁,V₄)⁺^{C V}( 4,V₇)⁼⁶⁺⁵⁼¹¹

"

#

$

%

&

' '

=11

C V( ₁,V₈)⁼^min

C V( ₁,V₂)⁺^{C V}( 2,V₈)^{= /}^!

C V( ₁,V₃)⁺^{C V}( 3,V₈)⁼⁵⁺⁹⁼¹⁴

C V( ₁,V₄)⁺^{C V}( 4,V₈)⁼⁶⁺⁷⁼¹³

"

#

$

%

&

' '

=13

C V( ₁,V₉)⁼^min

C V( ₁,V₅)⁺^{C V}( 5,V₉)⁼⁷⁺⁴⁼¹¹

C V( ₁,V₆)⁺^{C V}( 6,V₉)⁼⁸⁺⁶⁼¹⁴

C V( ₁,V₇)⁺^{C V}( 7,V₉)⁼¹¹⁺⁴⁼¹⁵

C V( ₁,V₈)⁺^{C V}( 8,V₉)^{= /}^!

"

#

$

%

&

' ' '

=11

C V( ₁,V₁₀)=min

C V( ₁,V₅)⁺^{C V}( 5,V₁₀)^{= /}^!

C V( ₁,V₆)⁺^{C V}( 6,V₁₀)⁼⁸⁺³⁼¹¹

C V( ₁,V₇)+C V( ₇,V₁₀)=11+8=19 C V( ₁,V₈)+C V( ₈,V₁₀)=13+4=17

"

#

$

%

&

' ' '

=11

C V( ₁,V₁₁)⁼^min

C V( ₁,V₅)⁺^{C V}( 5,V₁₁)^{= /}^!

C V( ₁,V₆)⁺^{C V}( 6,V₁₁)^{= /}^!

C V( ₁,V₇)⁺^{C V}( 7,V₁₁)⁼¹¹⁺⁰⁼¹¹

C V( ₁,V₈)⁺^{C V}( 8,V₁₁)⁼¹³⁺⁶⁼¹⁹

"

#

$

%

&

' ' '

=11

C V( ₁,V₁₂)⁼^min

C V( ₁,V₉)+C V( ₉,V₁₂)=11+5=16 C V( ₁,V₁₀)⁺^{C V}( 10,V₁₂)⁼¹¹⁺³⁼¹⁴

C V( ₁,V₁₁)+C V( ₁₁,V₁₂)=11+7=18

!

"

#

$

%

&

=14'(V₁,V₂,V₆,V₁₀,V₁₂)

(4)

Distance entre séquences

La distance entre séquences peut être calculée par minimisation de distances locales entre les éléments des séquences : optimisation de la ressemblance.

Déterminer la ressemblance entre une forme candidate et plusieurs formes de référence (prototypes), de longueur non nécessairement égales.

Exemple en biologie :

Séquences de nucléotides : Séquence 1 = ACGTCGTTC Séquence 2 = AGGCCTCGC

4 correspondances Séquence 1 = ACG - - TCGTTC

Séquence 2 = AGGCCTCG - -C

6 correspondances

Distance d’édition

la comparaison peut se faire en terme de transformations permettant de passer d'une séquence à l'autre.

La distance d’édition D entre X et Y, est le coût minimum d’une suite de transformations élémentaires permettant de passer de X à Y.

On considère 3 transformations élémentaires : - Insertion d’un élément x_i

- Suppression d’un élément y_i - Substitution d’un élément x_i par y_j

! est le caractère vide

L’algorithme de Wagner et Fisher calcule la distance d’édition avec une complexité O(n.m) par programmation dynamique.

(5)

Principe

Il existe 3 manières de progresser dans les 2 séquences pour aboutir à (x_r , y_k) :

• Venir de (x_r-1 , y_k-1) et faire SUB(x_r , y_k)

• Venir de (x_r , y_k-1) et faire CRE(!, y_k)

• Venir de (x_r-1 , y_k) et faire DES(x_r , !)

On choisit le chemin qui minimise la distance D(r,k) entre les 2 sous-séquences X(r) et Y(k) selon la formule suivante :

X (n ) = { } x

_i i=1Kn

Y (m) = { } y

_i i=1Km

xr-1 xr x_r+1 y_r+1

y_k y_k-1

Algorithme

Début

n " length(x), m " length(y) D(0,0) " 0

pour i de 0 à n faire D(i,0) " i finpour

pour j de 0 à m faire D(0,j) " j finpour

pour i de 1 à n faire

pour j de 1 à m faire CRE d₁ " D(i-1, j) + 1 DES d₂ " D(i, j-1) + 1

SUB d₃ " D(i-1, j-1) + 1 - # (x_i,y_j) D(i, j) " min(d₁, d₂, d₃)

finpour finpour

D(n,m) = distance entre les 2 séquences Fin

#(x_i,y_j):

Fonction de Kronecker

#=1 si x_i=y_j

#=0 sinon

Distance d’édition

(6)

Exemple

d e s u c x e e x h a u s t e d

Suppression d’un symbole de X Insertion d’un symbole de Y dans X

Remplacer un symbole de X par un de Y Pas de changement

Y = e x h a u s t e d X = e x c u s e d

D(X,Y)=3

X Y

Alignement Temporel Dynamique

Dynamic Time Warping : DTW

Etant donné un signal d’entrée T, l’objectif de la DTW est de trouver l’indice du mot le plus semblable parmi l’ensemble des mots d’un Dictionnaire

!

n ˆ

!

D=

{

R1,R2, ...,RN

}

!

n =ˆ argmin

1"n"N

D R

(

n,T

)

(7)

Alignement Temporel Dynamique

Dynamic Time Warping : DTW

!

R(p,n)=

r_1n r_2n L L r_pn M M M M M M M M M M r₁₂ r₂₂ L L r_p₂ r₁₁ r₂₁ L L r_p1

"

#

$

$ $

%

&

' ' ' ' ' '

T(p,m)=

t₁₁ t₁₂ L L t_1m t₂₁ t₂₂ L L M

M M M M M M M M M M t_p1 L L L t_pm

!

"

#

$

%

&

DTW se propose d'établir entre 2 matrices R et T (mots) le rapprochement qui maximise les meilleures mises en correspondance.

référence

test

Chemin de recalage

r( n) r( j(k))

r(1)

t(1) t(2 ) t(i(k)) t(m)

R⁽^p,ⁿ⁾

T(p,m) r(j(k)) coïncide avec t(i(k))

DTW permet de réaliser (de façon optimale) un alignement temporel non linéaire de façon récursive.

Alignement Temporel Dynamique

Dynamic Time Warping : DTW

Chemins de recalage :

l’ajustement non-linéaire entre R et T peut être représenté par un chemin C :

!

C = c

₁

, c

₂

, ..., c

_K

c

_k

= ( i

⁽^k)

, j

^(k⁾

)

Cette séquence met en coïncidence le i(k)ème

vecteur de la forme R et le j(k)ème vecteur de la forme T.

Elle est appelée la « warping function » ou le chemin de recalage.

r(n) r( j(k ))

r(1)

t(1) t(2 ) t(i(k)) t(m) R⁽^p,ⁿ⁾

T(p,m) r(j(k)) coïncide avec t(i(k)) le nombre de coïncidences effectuées par le chemin de recalage.

(8)

Alignement Temporel Dynamique

Dynamic Time Warping : DTW

!

D(C)=

d c( )_i ^.wi i=1

K

"

w_i

i=1 K

"

La somme pondérée des erreurs le long du chemin de recalage C est :

Le problème à résoudre devient :

Coefficient de pondération

!

D(R_n,T)=min

C

d c( )_i ^.wi i=1

K

"

w_i

i=1 K

"

#

$

%

&

' ( ( ( (

Ce qui revient à chercher parmi tous les chemins possibles, le chemin qui minimise la dissemblance entre R et T.

Restrictions sur les possibilités d ’évolution du chemin de recalage : Pour correspondre à une réalité physique, le chemin de recalage doit respecter certaines conditions de continuité :

La monotonie :

croissante respectant l ’évolution dans le temps :

La régularité :

un chemin ne peut aboutir au point (i,j) qu’en passant obligatoirement par les points (i-1,j) ou (i-1,j-1) ou (i,j-1) Conditions aux limites :

mettre en correspondance les éléments terminaux :

Alignement Temporel Dynamique

Dynamic Time Warping : DTW

!

i(k"1)#i(k) j(k"1)# j(k)

!

i(1)=1 i(K)=n j(1)=1 j(K)=m

(x_i-1 , y_j-1) (x_i , y_j-1) (x_i-1 , y_j)

(x_i , y_j)

W=2 W=1

W=1

(9)

Alignement Temporel Dynamique

Dynamic Time Warping : DTW

Dans ce cas, le problème à résoudre devient :

!

D(R,T)= 1 n+mmin

C d c( )_i ^.wi i=1

K

"

Coefficient de pondération :

et donc :

La distance :

!

w_k=i^(k)"i^(k"1)+ j^(k)" j^(k"1)

!

w_k

k=1 K

"

⁼ⁿ⁺^m

!

D(C)= 1

n+m d c( )_i ^.wi i=1

K

"

Ce problème peut être résolu efficacement par programmation dynamique.

Cette technique est basée sur le principe de l’optimalité (Bellman).

Pour chaque point de l’espace, évaluer la meilleure manière d’entrer dans cet état en respectant les contraintes et en minimisant la contribution à la distance globale.

Alignement Temporel Dynamique

Dynamic Time Warping : DTW

Il suffit donc d’étudier les transitions autorisées et d’appliquer la relation récursive locale :

!

D(1,1)=d(r⁽¹⁾,t⁽¹⁾)

D(i,j)=min

D(i"1,j)+d(r⁽ⁱ⁾,t⁽^j⁾) D(i"1,j"1)+2d(r⁽ⁱ⁾,t⁽^j⁾)

D(i,j"1)+d(r⁽ⁱ⁾,t⁽^j⁾)

#

$ %

&

% D(R,T)= 1

n+mD(n,m)

(10)

Algorithme

Début

Initialisation

D_cum(1, 1) " d(1, 1) x 2 pour j de 2 à m faire

D_cum(1, j) " ! finpour

Programmation Dynamique

pour i de 2 à n faire

pour j de 1 à m faire

finpour finpour

Calcul du taux de dissemblance

Fin.

D_cum(i,j)= min

D_cum(i!1,j)+d(i,j) D_cum(i!1,j!1)+2.d(i,j)

D_cum(i,j!1)+d(i,j)

"

#

$

% $

D(X,Y)= D_cum(n,m) n+m

DTW : exemple

T = 1 4 9

!

"

# #

$

%

&

2 7 6

!

"

# #

$

%

&

1 22

3 !

"

# #

$

%

&

9 7 2

!

"

# #

$

%

&

3 5 4

!

"

# #

$

%

&

' ( ) )

* + , , R =

2 4 9

!

"

# #

$

%

&

2 7 6

!

"

# #

$

%

&

4 20

3 !

"

# #

$

%

&

2 22

3 !

"

# #

$

%

&

8 7 2

!

"

# #

$

%

&

4 4 4

!

"

# #

$

%

&

' ( ) )

* + , ,

6 5 4 3 2 1

1 2 3 4 5 Distance de Hamming

6 ! 55 58 25 19

5 ! 48 36 15 24

4 ! 38 13 36 55

3 ! 20 12 31 48

2 ! 2 21 32 37

1 2 8 33 50 57

1 2 3 4 5

D(T , R) = 19

6 + 5 = 1.7

R

T

(11)

DTW pour le classement

A A A B B B C

C

B A C

Prototypes Classe C

Prototypes Classe B

Prototypes Classe A

Test

Méthodes stochastiques

B A C

Modèle Classe C

Modèle Classe B

Modèle Classe A

Test

(12)

Méthodes Stochastiques

Modèles de Markov Cachés Hidden Markov Models (HMMs)

Dynamic Time Warping (DTW) comparent un échantillon à une référence en utilisant une distance.

Méthodes Stochastiques comparent un échantillon avec un modèle, prenant en compte plus de variabilité.

La distance est remplacée par des probabilités calculées par apprentissage.

Les HMMs introduits par BAUM dans les années 60.

Ils sont utilisés pour modéliser des séquences d ’observations.

Ils sont utilisés à partir des années 70 en reconnaissance de la parole où ils se sont imposés comme le modèle de référence.

Appliqués ensuite à la reconnaissance de caractères manuscripts, au traitement d ’images, à la bioinformatique, ...

Méthodes Stochastiques

Hidden Markov Models (HMMs) Exemple

pile:1 ƒace:1

S¹ S²

0.3 0.4

0.7

0.6

O = pppffpppfffppfffffpp

V = { p, f }

S = S

₁

S

₁

S

₁

S

₂

S

₂

S

₁

S

₁

S

₁

S

₂

S

₂

S

₂

S

₁

S

₁

S

₂

S

₂

S

₂

S

₂

S

₂

S

₁

S

₁

(13)

Méthodes Stochastiques

Hidden Markov Models (HMMs) Exemple

O = pppffpppfffppfffffpp

V = { p, f }

S = KKKKKKKK

?

p : 0.75 ƒ : 0.25

p : 0.2 ƒ : 0.8

S1 S2

0.3 0.4

0.7

0.6

Méthodes Stochastiques

Hidden Markov Models (HMMs) Exemple

a : 1 a : 0.2

b : 0.8

b : 0.75 c : 0.25

a : 0.6 b : 0.1 c : 0.3

c : 1

S1 S2 S3 S4 S⁵

0.5 0.3

0.7

1

0.25

1

V = { a, b , c }

s₁ a s₁ a s₂ a

s₃ b s₄ b s₄ b

s₅ c s₅ c s₅ c

s₂ b s₂ b s₂ b

"1.6 10^-3 "1.9 10^-4 "3.2 10^-5

(14)

Méthodes Stochastiques

Hidden Markov Models (HMMs) Notations

! = ( A, B, " )

V=

{ }

v_i i=1

M un alphabet de M symboles O=

{ }

o_t t=1

T un ensemble d'observations où o_t !V S =

{ }

s_i i=1

N un ensemble de N états

!=

{ }

"_i i=1

N un vecteur de distribution d'états initiaux

A=

{ }

a_ij _i,^N_j=1 matrice carrée des transitions

où a_ij est la probabilité de passer de l'état s_ià l'état s_j

a_ij !0 et a_ij =1

j=1 N

"

B=

{

b_j(k)

}

i,j=1

N matrice des probabilités de production du symbole v_k

alors que!se trouve à l'état s_j

b_j(k)"0 et b_j(k)=1

k=1 M

#

Méthodes Stochastiques

Hidden Markov Models (HMMs)

Les 3 problèmes classiques des HMMs

1. Évaluation :

Soit un HMM ! et une séquence de symbole O = o

₁

, o

₂

, …, o

_T

donnés.

Quelle est la probabilité de générer O avec ! ^?

2. Décodage :

Quelle est la séquence d ’états Q = q

₁

, q

₂

, …, q

_T

de ! ^{qui a la}

probabilité maximale de générer O ?

3. Apprentissage :

Comment ajuster les paramètres de ! de manière à maximiser la

Probabilité de générer O ?

(15)

Méthodes Stochastiques

Hidden Markov Models (HMMs) Problème 1 : Évaluation

Soit un HMM ! et une séquence de symbole O = o

₁

, o

₂

, …, o

_T

donnés.

Calculer P(O / ! )

- Méthode directe :

consiste à énumérer toutes les séquences d’états possibles de longueur T.

- Algorithme de Forward-Backward :

l’observation peut se faire en 2 temps :

- émission du début O_(1:t) en aboutissant à l’état q_i au temps t

- émission de la fin O_(t+1:T) sachant que l’on part de q_i

Méthodes Stochastiques

Hidden Markov Models (HMMs) Évaluation : Méthode directe

P(O / ! )

La probabilité de la séquence d’observation O = o₁, o₂, …, o_T

étant donné le modèle !, est égale à la somme sur tous les chemins d’états possibles Q des probabilités conjointes de O et de Q :

P(O / !) = P(O, Q / !) = P(O / Q, !) P(Q / !)

"

Q

"

Q

(16)

Méthodes Stochastiques

Hidden Markov Models (HMMs) Évaluation : Méthode directe

P(O / ! )

P(O / Q, ! ) = b

_q₁

(o

₁

) b

_q₂

(o

₂

) ... b

_q_T

(o

_T

) P(Q / !) = "

q₁

a

_q₁_q₂

a

_q₂_q₃

... a

_q_T#1_q_T

P(O / !) = "

_q₁

b

_q₁

(o

₁

) a

_q₁_q₂

b

_q₂

(o

₂

) ... a

_q_T_#1_q_T

b

_q_T

(o

_T

)

$

Q

Or et

$ 2T multiplications par séquence d’états possible Dans le pire des cas : N^T séquences d ’états possibles

$ O(T N^T) opérations.

Ex. : N=5 et T=100 $ " 10 ⁷² opérations

Méthodes Stochastiques

Hidden Markov Models (HMMs) Évaluation : Forward-Backward

P(O / ! )

l’observation peut se faire en 2 temps :

- émission du début O_(1:t) en aboutissant à l’état q_i au temps t

- émission de la fin O_(t+1:T) sachant que l’on part de q_i

P(O / ! ) = " (t , q

_i

) # (t, q

_i

)

q_i

$

Probabilité d ’émettre le début O_(1:t) en aboutissant à l’état q_i au temps t

Probabilité d ’émettre la fin O_(t+1:T) sachant que l’on part de q_i Le calcul de % se fait avec t croissant

tandis que celui de & se fait avec t décroissant d ’où Forward-Backward

(17)

Méthodes Stochastiques

Hidden Markov Models (HMMs) Procédure Forward

P(O/!)= "(t,q_i)#(t,q_i)

q_i

$

⁼ ^"^t⁽ⁱ⁾^#^t⁽ⁱ⁾

q_i

$

!

t

(i ) = P(o

₁

o

₂

K o

_t

,q

_t

= s

_i

/ " ) à t = 1 on a :

!

₁

(i) = "

_i

b

_i

(o

₁

) 1 # i # N

!

pour 1 " t " T # 1, 1 " i " N

$

t+1

( j) = $

t

(i)a

_ij

i=1 N

& %

' ( )

* + b

_j

(o

_t₊₁

)

P(O / ! ) = "

_T

(i)

i=1 N

#

Initialisation :

Induction :

Terminaison :

$ O(T N²) opérations.

Ex. : N=5 et T=100 $ " 3000 opérations

Méthodes Stochastiques

Hidden Markov Models (HMMs) Procédure Backward

P(O/!)= "(t,q_i)#(t,q_i)

q_i

$

⁼ ^"^t⁽ⁱ⁾^#^t⁽ⁱ⁾

q_i

$

!

t

(i) = P(o

_t+1

o

_t₊₂

K o

_T

, q

_t

= s

_i

/ " ) à t = T on a :

!

_T

(i) = 1 1 " i " N

!

pour T "1 # t # 1, 1 $ i $ N

%

t

(i) = a

_ij

j=1 N

& ^b

^j

^(o

^t⁺¹

⁾ ^%

^t+1

⁽ ^j ⁾

P(O / ! ) = "

i

b

_i

(o

₁

) #

1

(i)

i=1 N

$

Initialisation :

Induction :

Terminaison :

$ O(T N²) opérations.

Ex. : N=5 et T=100

$ " 3000 opérations

(18)

Méthodes Stochastiques

Hidden Markov Models (HMMs) Procédure Backward

!

P(O/")= #_t(i)$_t(i)

qi

%

!

P(O / " ) = #

_T

(i)

i=1 N

$ ⁼ ^%

ⁱ

^b

ⁱ

^{( )} ^o

¹

^&

¹

⁽ⁱ⁾

i=1 N

$

Calcul de la probabilité d’observation :

Obtenue en prenant les valeurs de % et & à un instant t quelconque :

Cependant, on utilise le plus souvent les valeurs obtenues pour deux cas particuliers (t=1) ou (t=T) :

Hidden Markov Models (HMMs) Procédure Forward-Backward

Exemple

!

A=

0.3 0.5 0.2 0 0.3 0.7

0 0 1

"

#

$

$ $

%

&

' ' '

!

B=

1 0

0.5 0.5

0 1

"

#

$

$ $

%

&

' ' '

!

" = 0.6 0.4 0

#

$

%

% %

&

' ( ( (

1 3 2

0.2

0.7 1

0.3

0.5 0.3

Calcul de % pour la suite d’observations : a a b b

!

V =

{

a,b

}

a a b b S₂

S₃

S₁

0 0 0.162 0.212

0.2 0.072 0.108

0.6 0.18 0 0

+

%1(i) %2(i) %3(i) %4(i)

0.18 0.2232

!

"₁(1)=#₁b₁(a)=0.6$1=0.6

"₁(2)=#₂b₂(a)=0.4$0.5=0.2

"₁(3)=#₃b₃(a)=0$0=0

!

"₂(1)=["₁(1)#a₁₁+"₁(2)#a₂₁+"₁(3)#a₃₁]^b1(a)

=[0.6#0.3+0.2#0+0#0]^#1=^0.18

"2(2)=["1(1)#a₁₂+"1(2)#a₂₂+"1(3)#a₃₂]^b2(a)

=[0.6#0.5+0.2#0.3+0#0]^#^0.5⁼^0.18

"₂(3)=["₁(1)#a₁₃+"₁(2)#a₂₃+"₁(3)#a₃₃]^b3(a)

=[0.6#0.2+0.2#0.7+0#1]^#⁰⁼⁰

! a12

! a13

! a23

! a₁₁

! a₃₃

! a₂₂

!

"1

!

"2

!

"3

! b₁(a)

!

b2(a)

!

b3(a)

! b₁(b)

!

b2(b)

!

b3(b)

t états

(19)

Méthodes Stochastiques

Hidden Markov Models (HMMs) Problème 2 : Décodage

Soit un HMM ! et une séquence de symbole O = o

₁

, o

₂

, …, o

_T

donnés.

Quelle est la séquence d’états Q = q

₁

, q

₂

, …, q

_T

de ! ^{qui a la}

probabilité maximale de générer O ?

!

P(Q /O, " ⁾ = P(Q,O / " ⁾

Pour cela, on utilise l ’algorithme de Viterbi.

Méthodes Stochastiques

Hidden Markov Models (HMMs) Algorithme de Viterbi

Soit !

_t

(i) la probabilité du meilleur che min amenant à l' état s

_i

à t en é tan t guidé par les t premières observations

!

_t

(i) = max

q₁q₂Kq_t_"₁

P(q

₁

K q

_t

= s

_i

, o

₁

o

₂

K o

_t

/ # )