Les concepts utilis´es lors de la phase de g´en´eration des coefficients acoustiques ayant
´et´e pr´esent´es, nous allons maintenant d´ecrire les modifications apport´ees aux mod`eles pour qu’ils puissent ˆetre utilis´es lors de cette phase.
2.3.1 Mod´elisation du F0
Pour obtenir une repr´esentation unifi´ee du F0, HTS utilise des distributions dites multi-espaces [Tokuda2000a] (ou MSD). La particularit´e d’une telle distribution est de consid´erer qu’une variable al´eatoire est en r´ealit´e constitu´ee de deux informations : la dimension n de l’espace ayant comme support Ret une valeur prise dans cet espace.
tel-00913565, version 1 - 3 Dec 2013
Dans le cadre de la repr´esentation du F0, deux ´etats sont `a prendre en compte. Ainsi, les probabilit´es d’´emissionb(ot) sont d´efinies de la mani`ere suivante :
b(ot) =
( w1N(V(ot);µF0,ΣF0), S(ot) ={1}, Cas vois´e
w2N(V(ot); 0,0), S(ot) ={0}, Cas non vois´e (2.33) o`u S(ot) correspond `a la dimension n de l’espace associ´ee `a l’observation ot; V(ot) cor-respond `a la valeur prise par ot dans l’espace RS(ot). N(V(ot); 0,0) correspond `a une distribution de Dirac centr´ee en 0 (la distribution sera centr´ee en −1.e10 s’il s’agit de la mod´elisation du logarithme de la fr´equence fondamentale).
En utilisant les MSD, l’estimation de P(O|λ) devient alors : P(O|λ) = X
∀Q,L T
Y
t=1
aqt−1qtwqt,ltNqt,lt(V(ot), µt,Σt) (2.34) o`u Q correspond `a la s´equence des ´etats non observ´es de la chaˆıne markovienne et L = [l1, . . . , lt, . . . , lT] aveclt=S(ot).
N´eanmoins, la limite principale d’une telle mod´elisation est la disjonction entre la distribution repr´esentant la partie vois´ee et celle repr´esentant la partie non vois´ee du F0. Cette disjonction impose que, lors de la phase d’estimation de l’algorithme EM, une trame contribue exclusivement `a l’une des deux distributions. Lors des traitements de trames en fronti`ere de voisement, l’algorithme devient sensible aux erreurs d’analyse du F0. En couplant cela au fait que chaque param`etre est trait´e ind´ependamment, il est possible d’obtenir, lors de la phase de g´en´eration, un spectre incoh´erent avec le F0 (par exemple, un spectre li´e `a une trame vois´ee alors que le F0 est non vois´e). Pour r´esoudre cette limite, d’autres mod´elisations [Latorre2011,yu2011] ont ´et´e propos´ees mais ne sont actuellement pas int´egr´ees au syst`eme HTS.
2.3.2 Mod´elisation de la dur´ee
Soit D= (d1, . . . , dj, . . . , dN) les dur´ees, en nombre de trames, des N ´etats composant la phrase-HMM n´ecessaire `a la g´en´eration d’une phrase de synth`ese. En supposant ces variables al´eatoires ind´ependantes, P(D|λ) s’´ecrit :
logP(D|λ) =
N
X
j=1
logPj(dj) (2.35)
o`u la dur´ee de s´ejour dans un ´etat j est d´ecrite par la relation suivante :
Pj(dj) =adjjj−1.(1−ajj) (2.36)
tel-00913565, version 1 - 3 Dec 2013
L’objectif de l’algorithme de g´en´eration est de d´eterminer la s´equence de dur´ees maxi-misant P(D|λ). En combinant la relation (2.35) et la relation (2.36), nous constatons que la s´equence de dur´ee optimale implique un temps de s´ejour d’une trame pour chaque
´etat [Zen2004].
Pour r´esoudre cette difficult´e, la dur´ee doit ˆetre mod´elis´ee de mani`ere explicite. [Yoshimura1998]
utilise des lois normales. L’objectif est d’aboutir `a une mod´elisation qui permet d’obtenir une s´equence d’´etatsQ maximisant la relation suivante :
logP(Q|λ, T) = trames devant ˆetre g´en´er´ees. En mod´elisantP(dj), seulement lors de la phase de synth`ese, par une loi normale de moyenne µj et de variance σj, la dur´ee des ´etats maximisant l’´equation (2.37) est obtenue par :
dj = µj+ρ·σj2 (2.39)
ρ = T−PN j=1µj
PJ
j=1σj2 (2.40)
Afin d’unifier la mod´elisation de la dur´ee entre la phase de synth`ese et la phase d’ap-prentissage, H. Zen et al.[Zen2004] ont propos´e d’utiliser des mod`eles semi-markoviens, ou HSMM [Russell1985], o`u la dur´ee de s´ejour dans un ´etat est mod´elis´ee par une distri-bution gaussienne. Ainsi, lors de la phase d’apprentissage, les formules αetβ ont du ˆetre adapt´ees pour prendre en compte cette nouvelle d´efinition explicite de la dur´ee :
α0(j) = πj, (2.41) o`u la probabilit´e d’une dur´ee de s´ejourdde l’´etatj est repr´esent´ee parpj(d). En se basant
tel-00913565, version 1 - 3 Dec 2013
sur ces ´equations,P(O|λ) s’´ecrit : P(O|λ) =
N
X
j=1 N
X
j=1,j6=i t
X
d=1
αt−d(i)aijpj(d)
t
Y
τ=t−d+1
bj(oτ)βt(j) (2.45)
Les mod`eles respectant la topologie des HSMM et dont les ´emissions contiennent des distributions MSD sont appel´es MSD-HSMM.
2.3.3 Arbre de d´ecision
HTS repose sur la caract´erisation d’un segment acoustique par un ensemble cons´equent de descripteurs (53 pour le jeu de descripteurs standard [Tokuda2000]). Il est, en pratique, impossible de d´efinir un corpus couvrant l’ensemble de ces descripteurs en nombre suffi-sant. Comme nous l’avons indiqu´e dans l’introduction du syst`eme HTK (section 2.1.2de ce chapitre), il est possible de d´efinir un arbre de d´ecision afin de garantir la pr´esence d’un mod`ele pour chaque combinaison possible de descripteurs.
Dans le cadre du syst`eme HTS, un arbre de d´ecision est associ´e `a chaque ´etat du HMM et chaque type de coefficient (MGC, F0, ap´eriodicit´e). Un dernier arbre est associ´e `a la dur´ee des ´etats. La figure 2.6 illustre la composition d’un mod`ele en utilisant diff´erents arbres.
Figure 2.6 – Topologie des mod`eles utilisant les arbres de d´ecisions. Figure extraite de [Tokuda2000] (l’ap´eriodicit´e n’est pas repr´esent´ee)
Afin de construire l’arbre de d´ecision, un algorithme it´eratif (d´etaill´e algorithme 2) consistant `a effectuer des partitions est appliqu´e. Soit un arbre de d´ecision U constitu´e de F feuilles. Une it´eration de l’algorithme consiste `a d´eterminer une feuille Sf, avec 1 ≤ f ≤ F, dont l’´eclatement en deux partitions selon un descripteur q (Sf q+ et Sf q−) permettrait d’am´eliorer la vraisemblance des donn´ees d’apprentissage. On noteU0 l’arbre
tel-00913565, version 1 - 3 Dec 2013
r´esultant de cette transformation. Pour limiter la profondeur de l’arbre et ainsi conserver une capacit´e de g´en´eralisation sur un ensemble autre que l’ensemble d’apprentissage, un crit`ere de parcimonie doit ˆetre appliqu´e. HTS utilise un crit`ere de type MDL, ou Minimum Description Length, [Shinoda2000].
Donn´ees: un ensemble de questions avec les descripteurs valides + l’ensemble des distributions associ´ees aux descripteurs les identifiant
R´esultat: L’arbre de d´ecision optimal, U?
D´efinir un arbre initial U ={S0} contenant l’ensemble des lois normales obtenues apr`es apprentissage HTK;
r´ep´eter
Trouver la feuille Sm de l’arbreU et la question q qui maximise une fonction de coˆut|θm(q)|;
siθm(q)<0alors
ScinderSm en deux partitions en utilisantq pour obtenirU0; U =U0;
fin
jusqu’`a θm(q)>= 0;
U?=U;
Algorithme 2:Algorithme de construction d’un arbre de d´ecision
Tout d’abord, la diff´erenceθf(q), permettant de quantifier l’apport de l’´eclatement de la feuille f de l’arbreU en utilisant la questionq, est d´efinie comme suit :
θf(q) =D(U0)−D(U) (2.46)
avecD(U) correspondant `a la longueur de description de l’arbreU et d´efinie par : D(U)≡ −L(U) +LFlog(G) +C (2.47) o`u L correspond `a la dimension des vecteurs d’observation. En d´efinissant ζt(f) comme la probabilit´e a posteriori d’utiliser la distribution issue de la partition f `a l’instant t, on d´efinit Γm = PT
t=1ζt(f) comme le taux d’utilisation global de la distribution f; G est alors d´efini par G=PF
f=1Γf.C est consid´er´e ici comme une valeur constante. L(U) correspond `a la log-vraisemblance de l’arbre U obtenue de la mani`ere suivante :
L(U)' avec µf et Σf respectivement la moyenne et la matrice de covariance de la distribution m.
Par constructionD(U0) est d´efinie par :
D(U0),−L(U0) +L(F+ 1)log(G) +C (2.49)
tel-00913565, version 1 - 3 Dec 2013
La figure2.7illustre l’ensemble des concepts introduits pour la construction d’un arbre de d´ecision en utilisant le crit`ere MDL dont l’objectif est de d´eterminer une taille d’arbre qui offre un compromis entre la pr´ecision de la mod´elisation et la parcimonie de description du mod`ele. La qualit´e du mod`ele est repr´esent´ee par L(U) et la longueur de description du mod`ele par LFlog(G) +C. Le crit`ere permet ainsi de d’obtenir le nombre de feuilles F qui minimise la longueur de descriptionD(U) associ´ee `a l’arbreU.
Figure 2.7 – Illustration du crit`ere MDL. Figure inspir´ee de [Yamagishi2006a]
2.3.4 Quelques ´evolutions majeures
Actuellement, le syst`eme HTS fait l’objet d’une attention particuli`ere et plusieurs
´evolutions du syst`eme, recens´ees dans [Zen2009], ont ´et´e propos´ees. Dans cette partie, nous nous focalisons sur deux ´evolutions majeures pour l’apprentissage des mod`eles.
Tout d’abord, nous pr´esenterons les trajectory-HMM dont l’apport est d’apprendre les param`etres non plus en fonction de O mais de C en se basant sur la relation (2.17).
Ensuite, nous introduirons le crit`ere MGE (Minimum Generation Error), rempla¸cant le crit`ere de maximum de vraisemblance.
Les trajectory-HMM
Lors de la phase de synth`ese, la relation (2.17) permet d’exprimer les coefficients sta-tiques C que l’on souhaite g´en´erer en fonction des coefficients statiques et dynamiques issus des observationsO. N´eanmoins, lors de la phase d’apprentissage, cette relation n’est pas prise en compte. En effet, les coefficients dynamiques sont extraits en amont de la phase d’apprentissage effectu´ee par HTS. Ainsi, les param`etres des MSD-HSMM sont mis
`a jour en ne consid´erant pas la contrainte liant les coefficients statiques aux coefficients dynamiques.
tel-00913565, version 1 - 3 Dec 2013
Afin de pallier cette diff´erence entre la phase de synth`ese et la phase d’apprentissage, les Trajectory-HMM sont introduits dans [Zen2007a]. Pour cela, il faut partir du constat que l’´equation suivante n’est pas valide :
C?= argmax
C
{P(W C|λ, T)} (2.50)
o`u l’on cherche la s´equence de coefficientsC? maximisantP(O|λ, T) =P(W C|λ, T) pour un ´enonc´e compos´e de T trames.
Cela est dˆu au fait que la relation suivante n’est pas v´erifi´ee : Z
RM T N(W C|µ,Σ)dC = 1 (2.51)
o`u C correspond au vecteur (colonne) de coefficients de dimension M T (M repr´esente la dimension du vecteur de coefficients associ´e `a une seule trame). µ d´esigne le vecteur colonne de dimension 3M T contenant lesT vecteurs esp´erances et Σ est la matrice obtenue par concat´enation des matrices de covariance associ´ees `a la s´equence d’´etats Q.
Les trajectory-HMM reposent sur l’introduction d’un coefficient de normalisation, Z, pour valider la relation suivante :
Z
RM T
1
ZN(W C|µ,Σ)dC = 1 (2.52)
En d´efinissant Z de la mani`ere suivante, l’´equation (2.52) peut ˆetre consid´er´ee comme valide :
Z = Z
RM T N(W c|µ,Σ)dc (2.53)
L’introduction de ce coefficient permet, lors de la phase d’apprentissage, de prendre en compte explicitement la relation entre coefficients dynamiques et coefficients statiques.
N´eanmoins, bien que cette modification des mod`eles semble am´eliorer significativement certains r´esultats [Shannon2011], elle n’est actuellement pas int´egr´ee au syst`eme HTS.
Le crit`ere MGE
L’utilisation du crit`ere de maximum de vraisemblance lors de la phase d’apprentissage est classique pour des applications en reconnaissance de la parole. Coupl´e `a un mod`ele de langage, l’objectif sera, `a partir d’une s´equence d’observations acoustiques, d’obtenir une s´equence des mod`eles les plus probables. L’utilisation des HMM en synth`ese est de nature diff´erente, puisque ces mod`eles sont utilis´es comme g´en´erateurs d’observations. Le crit`ere de maximum de vraisemblance porte sur la pertinence des donn´ees par rapport `a un mod`ele et non par rapport aux donn´ees g´en´er´ees via ce mod`ele.
Un nouveau crit`ere a ´et´e d´efini pour la phase d’apprentissage : le crit`ere d’erreur
mini-tel-00913565, version 1 - 3 Dec 2013
male de g´en´eration [Wu2006] (Minimum Generation Error ou MGE). Ce crit`ere consiste
`
a mettre en place une phase de g´en´eration implicite et `a en v´erifier la pertinence en res-pectant la contrainte de la synth`ese : g´en´erer des vecteurs acoustiques les plus proches possibles de ceux extraits du signal naturel. Ce crit`ere repose donc sur la d´efinition d’une distance D(C,C(λ, Q)) entre la s´equence de param`etres originaux˜ C et la s´equence de param`etres g´en´er´es ˜C(λ, Q) o`u λetQsont connus.
Actuellement deux distances ont ´et´e exp´eriment´ees pour le crit`ere MGE : la distance euclidienne [Wu2006] et une distorsion spectrale [Wu2008]. N´eanmoins, cette derni`ere distance a ´et´e analys´ee pour le cas o`u le spectre ´etait repr´esent´e par des coefficients LSP4. Le crit`ere MGE utilisant la distance euclidienne a ´et´e int´egr´e au syst`eme HTS `a partir de la version 2.2 [Oura2011].