Comparaison des syst`emes

Comme dit pr´ec´edemment, trois types de syst`emes sont ´evalu´es : le syst`eme GMM traditionnel, le syst`eme m´elange LM-GMM segmental et notre syst`eme LM-dGMM dans sa version segmentale ; trois configurations sont pr´esent´ees avec 16, 32 et 64 composantes par classe. Avant d’analyser les r´esultats obtenus, il convient de signaler que les confi-gurations test´ees du syst`eme-GMM ne peuvent ˆetre consid´er´ees comme ”baselines” en

reconnaissance du locuteur, ´etant donn´e qu’en g´en´eral les syst`emes GMM utilisent de 512 `a 2048 composantes. Notre objectif est de confronter l’apprentissage g´en´eratif (par adaptation MAP) aux apprentissages discriminants `a grande marge.

L’ensemble des figures Fig.3.5, Fig.3.6, Fig.3.7, Fig.3.8, Fig.3.9et Fig.3.10montrent les variations de la valeur de la fonction de perte et des taux d’identification correcte sur la base de test, pour chacun des syst`emes LM-GMM et LM-dGMM, obtenus apr`es chaque it´eration, durant le processus d’optimisation. Sur chaque figure donnant le taux d’identification, est ´egalement report´e par une ligne horizontale le taux d’identification correcte obtenu par le syst`eme GMM, consid´er´e comme syst`eme initial.

Les tableaux Tab. 3.1, Tab. 3.2 et Tab. 3.3 r´esument ces figures en donnant deux taux d’identification correcte pour chacun des syst`emes LM-GMM et LM-dGMM : le meilleur taux d’identification au cours des it´erations successives et le taux d’identification correcte `a la derni`ere it´eration du processus d’optimisation (derni`ere it´eration de l’algo-rithme L-BFGS). Cette derni`ere est inf´erieure ou ´egale au nombre maximal d’it´erations `a atteindre (10 pour le syst`eme-LM-GMM et 30 pour le syst`eme-LM-dGMM) ; cela est dˆu `a l’annulation de la fonction objective durant l’optimisation.

Les taux des syst`emes LM-GMM et LM-dGMM sont compar´es `a celui obtenu par le syst`eme GMM. Compte tenu du nombre d’observations en test et du taux de reconnais-sance de l’ordre de 65%, l’intervalle de confiance `a 95% est en moyenne de ± 6%.

LM-GMM versus LM-dGMM

Dans les trois configurations test´ees, il apparaˆıt clairement que l’approche LM-dGMM annule la fonction de perte plus rapidement que l’approche classique LM-GMM. Notre syst`eme surclasse clairement les mod`eles LM-GMM `a 16 gaussiennes, et les deux syst`emes affichent des performances comparables avec des mod`eles `a 32 gaussiennes. Bien qu’on observe un aspect chaotique des taux d’identification correcte dans les deux cas, l’approche LM-dGMM se comporte mieux que l’approche LM-GMM pour deux raisons :

– Les taux d’identification restent au moins ´egaux aux taux des syst`emes initiaux. – Avec 16 ou 32 composantes, les taux d’identification correcte augmentent

syst´ema-tiquement au cours des premi`eres it´erations.

Ces r´esultats indiquent que la strat´egie consistant `a d´efinir des mod`eles GMM `a grande marge avec pour seuls param`etres les vecteurs de moyennes est tr`es satisfaisante par rapport `a l’approche originale.

Syst`eme Taux de bonne identification

GMM 61.2 %

LM-GMM ^{meilleure it´eration (it. 1) 60.3 %}

derni`ere it´eration (it. 10) 59.1 %

LM-dGMM ^{meilleure it´eration (it. 6) 67.7 %}

derni`ere it´eration (it. 30) 59.5 %

Tab. 3.1: Taux de bonne identification de syst`emes GMM, LM-GMM et LM-dGMM `a 16 gaussiennes.

Fig.3.5: Variation de la fonction objective et du taux de bonne identification, des mod`eles LM-GMM `a 16 gaussiennes.

Fig.3.6: Variation de la fonction objective et du taux de bonne identification, des mod`eles LM-dGMM `a 16 gaussiennes.

Syst`eme Taux de bonne identification

GMM 68.1 %

LM-GMM ^{meilleure it´eration (it. 3) 72.0 %}

derni`ere it´eration (it. 10) 65.9 %

LM-dGMM ^{meilleure it´eration (it. 2) 71.6 %}

derni`ere it´eration (it. 10) 69.0 %

Tab. 3.2: Taux de bonne identification de syst`emes GMM, LM-GMM et LM-dGMM `a 32 gaussiennes.

Fig.3.7: Variation de la fonction objective et du taux de bonne identification, des mod`eles LM-GMM `a 32 gaussiennes.

Fig.3.8: Variation de la fonction objective et du taux de bonne identification, des mod`eles LM-dGMM `a 32 gaussiennes.

Les r´esultats des tableaux Tab. 3.1 et Tab. 3.2 r´ev`elent que les deux algorithmes d’apprentissage discriminant permettent d’atteindre au cours des it´erations de meilleures performances que le syst`eme GMM, et ce dans les deux configurations 16 et 32.

L’approche LM-dGMM permet cette am´elioration tout en r´eduisant consid´erablement la complexit´e algorithmique de l’approche LM-GMM original.

L’analyse des courbes de variation des taux de bonne identification des syst`emes `a 16 et 32 gaussiennes, r´ev`ele que nos performances passent par un optimal avant de baisser en fonction du nombre d’it´erations de l’algorithme L-BFGS. Nous am´eliorons les per-formances des GMM classiques d`es les premi`eres it´erations. Sans utiliser de donn´ees de d´eveloppement, il suffirait donc juste de prendre les mod`eles obtenus au d´ebut du proces-sus d’optimisation pour am´eliorer les performances des mod`eles initiaux. Nous pouvons aussi constater que les mod`eles obtenus aux derni`eres it´erations ont des performances proches ou ´egales `a celles des mod`eles initiaux, ce qui n’est pas le cas avec les mod`eles de m´elange LM-GMM de [Sha and Saul, 2006].

Lors du passage `a des mod`eles `a 64 gaussiennes, le trac´e de la fonction de perte montre que les mod`eles GMM initiaux satisfont un nombre important de contraintes de grande marge, i.e., il y a tr`es peu de violations enregistr´ees. C’est consistent avec le fait que l’augmentation du nombre de composantes permet d’approcher la vraie distribution. Cette augmentation fait que le nombre de donn´ees d’apprentissage par composante diminue. L’utilisation de plus de donn´ees d’apprentissage ou la d´efinition de nouvelles contraintes de grande marge permettra de b´en´eficier dans ce cas l`a du pouvoir discriminant des mod`eles LM-dGMM.

Syst`eme Taux de bonne identification

GMM 69.8 %

LM-GMM ^{meilleure it´eration (it. 8) 68.5 %}

derni`ere it´eration (it. 9) 67.7 % LM-dGMM <sup>meilleure it´eration (it. 2) 69.4 %</sup> derni`ere it´eration (it. 3) 69.0 %

Tab. 3.3: Taux de bonne identification de syst`emes GMM, LM-GMM et LM-dGMM `a 64 gaussiennes.

Fig.3.9: Variation de la fonction objective et du taux de bonne identification, des mod`eles LM-GMM `a 64 gaussiennes.

Fig.3.10: Variation de la fonction objective et du taux de bonne identification, des mod`eles LM-dGMM `a 64 gaussiennes.