Inuence de la décision VnV sur l'évaluation

Le tableau 6.1 présente la combinatoire complète des états de décision VnV des trames de référence et d'hypothèse. Le tableau 6.1 est un exemple typique de problème de décision. nV signie que la trame n'est pas voisée et V signie que la trame est voisée. - signie qu'il n'y a pas d'erreur. sur-v désigne une erreur de sur-sur-voisé et sous-sur-v une erreur de sous-sur-voisé. L'ésur-valuation de l'estimation de laF₀ est eectuée sur les trames considérées comme voisées pour la référence ou bien sur les trames qui sont voisées en référence et en hypothèse. Ceci implique que l'évaluation est dépendante de la décision VnV et que si cette décision n'est pas able, l'évaluation sera aectée. Les erreurs de décision VnV se situent principalement aux extrémités des segments de parole voisés là où la force de voisement devient plus faible car l'estimation deF0y est moins able. Les AEP sont donc susceptibles de faire plus d'erreurs (et d'être en désaccord) sur les extrémités de segments voisés. Un AEP qui prend en compte ces zones au voisement litigieux s'expose à faire plus d'erreur d'estimation deF₀que le même AEP qui ne les prendrait pas en compte. Cette constatation montre que le seuil à partir duquel on considère qu'une trame est voisée inue sur l'évaluation de l'estimation deF0. Lorsque l'évaluation ne porte que sur des segments temporels fortement voisés, les AEP font peu d'erreurs. Plus l'évaluation intègre des trames litigieuses, plus l'estimation est mauvaise. La décision VnV est donc un levier à partir duquel il est possible d'améliorer articiellement les résultats d'évaluation d'un AEP. La gure 6.1 atteste de ce phénomène en présentant le taux d'erreur grossière GER_G (cf. section 6.2) en fonction du seuil de décision VnV pour quatre AEP diérents sur le corpus de Bagshaw monopitch au complet. Le graphique (a) de la gure 6.1 présente le comportement du GER en fonction du seuil de décision VnV de YIN dans la situation monopitch. Le graphique (b) présente le comportement de SWIPE, le graphique (c) montre le comportement de PSHmin et le graphique (d) présente le comportement de PSHmul. Les allures des courbes de la gure 6.1 sont identiques : le GER_G diminue et atteint même 0 si le seuil de voisement est susamment élevé. Ce phénomène implique qu'une évaluation d'AEP ne peut être réduite à l'observation duGERG. Elle doit absolument indiquer les taux d'OV Ret d'U V R. Pour être équitable, il faut placer les AEP sur un même point de fonctionnement en termes de décision VnV.

Comment introduire ce point de fonctionnement ? Une possibilité passe par l'introduction du rapport µ= (OV R/U V R) et d'utiliser ce rapport comme critère à uniformiser pour tous les AEP comparés.

La gure ci-dessous permet de justier cette possibilité. La gure 6.2 présente les comportements des OV RetU V Ren fonction du seuil de décision VnV. Le graphique (a) de la gure 6.2 présente l'OV R (bleu) et l'U V R(rouge) obtenue par de YIN dans la situation monopitch. Le graphique (b) présente ceux de SWIPE, le graphique (c) ceux dePSH_minet le graphique (d) ceux dePSH_mul. Les courbes sont des moyennes obtenues sur l'intégralité du corpus de Bagshaw monopitch. Il apparaît que les évolutions

158

Évaluation de la qualité des AEP

Figure 6.1: Évolution duGER_Gen fonction de la décision VnV. (a) YIN. (b) SWIPE. (c)PSH_min. (d)PSH_mul.

desOV RetU V R sont très diérentes selon l'AEP observé. De même, pour un seuil de décision VnV donné, ces taux sont très diérents selon les AEP. L'évolution duGER_G (cf. gure 6.1) suit la même évolution que le taux de sur-voiséOV R. De plus, l'évolution duGERGsuit l'évolution inverse du taux de sous-voiséU V R. Avec ces observations, le point de fonctionnement de la décision VnV peut être xé par le rapportµ= (OV R/U V R). La normalisation de la décision VnV consiste à xerµ à une valeur constante. La valeur de µ dépend entièrement de ce que l'on souhaite mesurer. Si on souhaite tester les AEP dans des conditions où seules les trames très voisées sont considérées alors on peut xer µ à une valeur supérieure à 1. Si on souhaite observer le comportement des AEP dans des conditions plus litigieuses, alors on peut envisager de xerµà une valeur inférieure à 1. Il est aussi possible de se placer à l'Equal Error Rate ou EER c'est-à-dire à l'égalité entre OV R et U V R qui équivaut à un équilibre entre le taux de sur-voisé et le taux de sous-voisé. La gure6.3 présente le rapport µ en fonction du seuil de décision VnV. Notre choix deµ est cohérent car il suit eectivement la même évolution que le GERG. On pourrait tout autant utiliser comme point de fonctionnement un taux constant d'U V Rou d'OV R. Ce choix appartient à l'expérimentateur et dépend de ce qu'il souhaite montrer. L'important

Évaluation de la qualité des AEP

Figure 6.2: Évolution des OV Ret U V R en fonction de la décision VnV. Les courbes bleues sont les courbes d'OV R. Les courbes rouges sont les courbes d'U V R. (a) YIN. (b) SWIPE. (c)PSH_min. (d)PSH_mul.

est d'intégrer la décision VnV dans l'évaluation et de la faire clairement apparaître dans les résultats.

Un point de fonctionnement à l'EER donnerait un seuil de décision VnV à 0.81 pour YIN, 0.34 pour SWIPE, 0.09 pour PSH_min et 0.52 pourPSH_mul. Bien sur, ces seuils sont des moyennes obtenues sur l'ensemble de Bagshaw monopitch. Il est tout à fait possible que pour un chier donné, le seuil soit diérent. C'est pourquoi le seuil de décision doit être réglée pour chaque signal analysé.

Cette section a permis de rendre compte de l'importance de la décision VnV sur les résultats d'une estimation deF₀. L'évaluation ne peut se résumer à de simplesGERmais doit aussi clairement indiquer le point de fonctionnement de l'algorithme et les taux d'OV R et d'U V R. La décision VnV peut être introduite dans l'évaluation sous la forme d'un point de fonctionnement VnV dépendant des OV Ret U V R(rapport µ par exemple). Normaliser ce point de fonctionnement permet de rendre l'évaluation plus équitable. La section 6.4 suivante présente quatre méthodologies d'évaluation.

160

Évaluation de la qualité des AEP

Figure 6.3: Évolution deµen fonction de la décision VnV. (a) YIN. (b) SWIPE. (c)PSHmin. (d)PSHmul.