5.6 Calcul des poids de combinaison
5.6.3 Entropie des vecteurs de probabilités
L’entropie en tant que mesure de confiance a de nombreuses fois été utili-sée dans les système de reconnaissance (Chen et al.,2006; Gravier et al., 2002a;
Misra et al., 2003; Schaaf et Kemp, 1997). Dans le but d’utiliser cette mesure pour l’amélioration de la combinaison, le comportement de l’entropie des vec-teurs de probabilités obtenus avec les modèles simples (qui n’utilisent qu’un seul jeu de paramètres) et les pseudo-modèles combinés5 a été effectuée. Un système utilisant les pseudo-modèles a été construit. Ce système introduit des poids dépendant de l’entropie des vecteurs de probabilités pour pondérer la participation des différents modèles acoustiques lors de la combinaison.
5On nommera
pseudo-modèle combiné, le modèle « virtuel » résultant de la combinaison de plu-sieurs modèles « simples ».
5.6. Calcul des poids de combinaison
Analyse de l’entropie des trames provenant de différentes techniques de pa-ramétrisation
L’analyse de l’entropie des vecteurs de probabilités des trames de trois jeux de paramètres acoustiques a été effectuée. Les trois techniques d’analyse acous-tique considérées sont MRA, RPLP et PLP. Chaque modèle a été entraîné de la même manière, avec la procédure d’apprentissage des modèles acoustiques jumeau décrite dans la section5.3. L’entropie des vecteurs de probabilités posté-rieures est un critère de confiance utilisé pour pondérer l’impact que l’on donne à un certain modèle.
L’entropie du vecteur de probabilités obtenu avec un modèle acoustique donne une information sur le pouvoir discriminant de ce modèle. Si l’entro-pie est faible, c’est que le modèle a fournit une grande probabilité pour un faible nombre d’état. Si elle est haute, alors la probabilité est distribuée entre un nombre plus élevé d’état.
Les résultats de l’analyse de l’entropie calculée sur les vecteurs de probabi-lités a posteriorides trames obtenus avec les trois modèles simples et les deux pseudo-modèles combinés sont présentés dans la figure5.8.
Couverture (trames) en fonction de l'entropie
0 5 10 15 20 25 30
0.1 0.3 0.5 0.7 0.9 1.1 1.3 1.5 1.7 1.9 2.1 2.3 2.5
Entropie
Couverture (%)
RPLP MRA PLP LLC LC
FIG.5.8:Distribution des trames du corpus MEDIA.TRAIN (3810560 trames) selon l’en-tropie de leur vecteur de probabilités.
D’une part, on peut observer que la répartition des trames en fonction de l’entropie est plutôt uniforme pour les modèles simples. Cela signifie que le pouvoir de discrimination des modèles simples est relativement faible. Les dis-tributions de probabilités ont une entropie variable pour ces modèles.
Les deux combinaisons considérées, LC et LLC, modifient considérablement la distribution des données relativement à l’entropie. En effet, les trames ne sont plus réparties uniformément en fonction de l’entropie. L’entropie moyenne est très réduite, surtout pour la combinaison log-linéaire. On peut donc en conclure que les pseudo-modèles sont plus discriminants que les modèles simples.
Lorsque l’on observe les résultats obtenus en fonction de la classification de la trame (une trame est considérée bien classifiée si l’état ayant le maximum de probabilité correspond à celui de la segmentation forcée), présentés dans l’an-nexe A.1 p. 167, on remarque que dans l’ensemble, les trames classifiées cor-rectement sont plus nombreuses lorsque l’entropie est faible. Cependant, il en va de même pour les trames mal classifiées. En fait, une entropie faible signifie que le système a donné beaucoup de probabilité pour un symbole, cela ne signi-fie pas pour autant que ce symbole est le bon. De même, le fait qu’un système distribue plus uniformément les probabilités parmi les symboles ne signifie pas que la reconnaissance va échouer.
La combinaison linéaire fait la somme des probabilités données par les dif-férents systèmes, alors que la combinaison log-linéaire effectue un produit de ces probabilités. Ainsi, en combinaison linéaire, si l’un des systèmes attribue une grande probabilité à un symbole, la probabilité finale de ce symbole sera grande. Pour la combinaison log-linéaire, c’est le contraire. Si l’un des systèmes donne une probabilité faible pour un symbole, alors la probabilité résultante sera faible. Ainsi pour qu’un symbole ait une grande probabilité en combinai-son log-linéaire, il faut que les trois systèmes fournissent un probabilité rela-tivement élevée pour ce symbole. Malgré cela, il apparaît que la combinaison log-linéaire diminue énormément l’entropie du vecteur de probabilités.
Expériences de reconnaissance
Plusieurs travaux, notament (Misra et al., 2003), ont introduit une mesure de confiance basée sur l’entropie permettant de pondérer la participation d’un système au score acoustique final. Cette mesure de confiance est inversement proportionnelle à l’entropie du vecteur de probabilitésa posteriori obtenu avec le système en question.
Nous avons testé ce type de pondération avec notre système en combinant les 3 jeux de paramètres acoustiques différents à notre disposition.
Les résultats obtenus ne montrent pas d’amélioration des performances par rapport à la combinaison log-linéaire à poids égaux pour chaque système. Dans ce cadre de travail, l’entropie ne semble pas être un bon critère permettant de mesurer la confiance que l’on peut attribuer à un jeu de paramètres.
5.6. Calcul des poids de combinaison
WER (%) Int. de conf. (%)
28.8 0.55
TAB. 5.6: Résultats de la pondération par l’entropie sur MEDIA.TEST (3771 phrases et 26092 mots).
Cela peut s’expliquer de deux manières différentes. D’une part l’entropie du vecteur de probabilitésa posteriorin’est peut-être pas un bon critère de qualité.
Le fait qu’un système propose une grande probabilité pour un symbole et une probabilité faible pour tous les autres ne signifie pas pour autant que ce système est fiable. En effet, si la grande probabilité n’est pas affectée au bon symbole, l’entropie sera faible, mais le système se trompe.
Divergence de Kullback-Leibler
Comme nous l’avons vu dans la seconde partie, la divergence de Kullback-Liebler (KLD) calculée entre les vecteurs de probabilités des phonèmes obtenu avec des jeux de paramètres différents est un bon indicateur de confiance pour la reconnaissance. Nous avons donc tenté de transposer l’idée au niveau de la trame. L’idée est de sélectionner les deux systèmes ayant le minimum de KLD parmi les trois à notre disposition. Le propos est que si deux modèles de même type utilisant des traits acoustiques différents proposent une distribution si-milaires de probabilités postérieures pour les symboles acoustico-phonétiques, alors il est fort probable que leur meilleure hypothèse soit la bonne.
Une autre manière de faire est de considérer que la combinaison veut tirer parti des différences intrinsèques des paramètres acoustiques. Dans ce cas, il faut conserver au maximum les différences entre les jeux de paramètres utili-sés pour la combinaison. Cela nous amène à utiliser les deux systèmes propo-sant des distributions de probabilités les plus éloignées, et donc ayant une KLD maximale.
Les résultats de reconnaissance par sélection de modèles au niveau de la trame et en fonction de la KLD sont présentés dans le tableau5.7.
WER (%) Int. de conf. (%)
MIN KLD 29.8 0.56
MAX KLD 28.0 0.54
TAB. 5.7: Résultats de la sélection par KLD sur MEDIA.TEST (3771 phrases et 26092 mots).
On remarque que le WER obtenu en sélectionnant à chaque trame les deux systèmes proposant des distributions de probabilités les plus éloignées est
rela-tivement proche de celui obtenu en combinant les 3 modèles par interpolation log-linéaire. De plus, ce résultat est meilleur que ceux obtenus avec la meilleure combinaison de deux modèles (voir tableau5.2).
Un point important est que la combinaison de différents modèles proposant des distributions de probabilités similaires ne donne pas de réel gain au final.
L’idée que les paramètres acoustiques extraient des caractéristiques différentes du signal de parole et qu’ils possèdent des forces et des faiblesses pouvant être complémentaires est clairement mis en évidence avec ce genre d’expérience.