Chronologie des tests et robustesse face aux accès imposteurs

8.2.1 Estimation des distributions de scores pour le calcul de la fonc-tion WMAP . . . 131 8.2.2 Influence de la zone d’intérêt pour l’adaptation . . . 132 8.2.3 Evolution pas à pas des taux d’erreurs. . . 133 8.3 Hypothèse n°1 : Influence du rapport du nombre de tests client sur

le nombre de tests imposteur . . . 136 8.3.1 Détails des bases de données NIST SRE . . . 136 8.3.2 Modification de la base NIST SRE 2005 pour valider

l’hypo-thèse 1 . . . 137 8.4 Hypothèse n°2 : Influence du taux de fausses acceptations . . . 138 8.4.1 Eviter les fausses acceptations . . . 138 8.4.2 Diminution des mesures de confiance pour diminuer l’influence

du test dans l’adaptation. . . 139 8.4.3 Combinaison dureverseet du changement deprior. . . 141 8.5 Stabilité du seuil de décision . . . 141 8.5.1 Utilisation de la T-normalisation adaptative . . . 143 8.5.2 Utilisation de la Z-normalisation adaptative . . . 144 8.6 Complémentarité avec leLatent Factor Analysis . . . 146 8.7 Conclusion . . . 148

Ce chapitre est dédié à l’analyse de la méthode d’adaptation originale que nous proposons. Nous décrivons les résultats de la méthode sur les bases NIST SRE 2005 et 2006. Nous illustrons les performances de cette méthode selon différents protocoles.

De fortes disparités, en terme de performances, sont remarquées suivant la base de données et le protocole utilisés. Ces résultats nous ont amené à préciser certains facteurs pouvant expliquer de tels écarts de performances :

1. l’estimation de la mesure de confiance,

2. le rapport du nombre de tests client sur imposteur, 3. le taux de fausses acceptations.

Nous proposons également des solutions pour améliorer notre méthode d’adaptation avec, notamment, l’utilisation de normalisations de scores adaptatives pour contrôler les variations du seuil de décision.

8.1 Résultats sur la base NIST SRE 2005

Dans un premier temps, nous nous focalisons sur les performances de l’adaptation sur la base de données NIST SRE 2005. Le but de ce paragraphe est de déterminer les causes qui affectent le comportement du système d’adaptation proposé, en utilisant un contexte favorable (NIST SRE 2005) pour élucider les problèmes intervenant sur la base NIST SRE 2006. Les premiers résultats, présentés dans la figure7.8a, illustrent les performances de la méthode d’adaptation sur la base de données NIST SRE 2005. Le gain relatif apporté par l’adaptation est de 27% pour la mesure DCF et 37% pour la mesure EER, comparé à la référence. La fonction WMAP est calculée à partir :

– des scores T-normés de la base NIST SRE 2006,

– des probabilitésa priorifixées par le NIST :P(client) = 0.1etP(imposteur) = 0.9, – du système GMM-UBM de référence LIA06-tnorm.

a)µ= 0.02,σ= 0.07 b)µ= 0.7,σ= 0.3

c)µ= 0.007,σ = 0.027 d)µ= 0.73,σ= 0.2

FIG.8.1 –Histogrammes des poids WMAP pour a) les accès imposteur b) les accès client c) les accès imposteur pour 1 locuteur d) les accès client pour 1 locuteur (NIST SRE 2005). Les paramètres de moyenne et variance des poids WMAP sont présentés à titre indicatif.

Le choix d’adapter avec tous les tests, sans discernement, peut paraitre osé. Nous décrivons quelques expériences pour démontrer qu’utiliser des tests, avec des mesures de confiance moyennes ou petites, est bénéfique pour la modélisation d’un locuteur.

Nous mettons en oeuvre des expériences sur la base NIST SRE 2005, en utilisant notre méthode d’adaptation mais en la contraignant au niveau de l’utilisation des mesures de confiance :

– en utilisant que les poids supérieurs à 0.8, – en utilisant les poids compris entre 0.1 et 0.5

Nous proposons, à des fins de comparaison, deux expériences utilisant un mode « Oracle » (adaptation supervisée). Elles sont différenciées par le poids appliqué aux tests client.

Dans un premier cas, le poids d’adaptation est fixé à 1 (Oracle standard). Dans un deuxième cas il est fixé par la fonction WMAP (oracle WMAP). Ceci permet d’évaluer si les poids WMAP des accès clients sont proches de l’optimal. Le tableau8.1présente les résultats des expériences sur la base de données NIST SRE 2005, selon les différentes contraintes appliquées au poids d’adaptation.

L’expérience qui n’utilise que les poids d’adaptation compris entre 0.1 et 0.5 apporte un

gain relatif de 20% pour la mesure EER par rapport à la référence. L’expérience n’utili-sant que les poids supérieurs à 0.8 (ce qui est très proche de l’utilisation d’un seuil de sélection) apporte, quant à elle, un gain de seulement 14% relatif pour la mesure EER.

Il apparaît que le seuillage des poids d’adaptation apporte un gain pour toutes les confi-gurations. Ces résultats valident l’hypothèse que de l’information utile est contenue dans les tests associés à une mesure de confiance de poids faibles ou moyens.

En ce qui concerne les performances des modes « Oracle » (Oracle classique et Oracle WMAP), les résultats relevés sont très proches. Les différences en termes de DCF et d’EER pour l’Oracle WMAP sont respectivement de 1% et 11% relativement à l’Oracle classique. Nous pouvons en conclure que les poids d’adaptation sont proches de l’op-timal, lorsqu’ils sont calculés par la fonction WMAP.

Expérience DCF EER

Référence 3.04 8.11

0.1< w <0.5 3.08 6.50

w >0.8 2.58 6.98

Pas de contrainte surw(*) 2.22 5.12

OracleWMAP 1.72 4.40

Oracle classique 1.70 3.97

TAB.8.1 – Tableau de performances de l’adaptation non supervisée selon différentes contraintes sur le poids d’adaptation (w). (*) dénote la méthode d’adaptation proposée.

8.1.2 Chronologie des tests et robustesse face aux accès imposteurs

La chronologie des tests peut également jouer un rôle important dans la robustesse de notre approche. Si une grande quantité de tests client est présentée au début de l’adaptation, les modèles de locuteurs sont très vite robuste aux accès imposteurs. Dans le cas contraire, si la majeure partie des tests présentés en premier sont des tests impos-teurs, les modèles de locuteurs vont être dégradés. Nous proposons ensuite d’évaluer cet aspect à l’aide de deux nouvelles expériences :

– la première pour évaluer si l’ordre chronologique de présentation des tests n’in-fluence pas le résultat final,

– la seconde pour évaluer le comportement du système, lorsque aucun test client n’est présenté.

Ces résultats sont décrits dans la table8.2. Le changement d’ordre de présentation des

Expérience DCF EER

Tirage aléatoire des tests 2.35 6.01 Pas de test client 4.37 10.81 Pas de contrainte surw(*) 2.22 5.12

TAB.8.2 – Tableau de performances de l’adaptation non supervisée selon différentes contraintes sur la nature des tests. (*) dénote la méthode d’adaptation proposée.

tests influence peu le gain de la méthode. Les mesures EER et DCF présentent un gain

de respectivement 22% et 26% relatifs, par rapport à la référence. A l’inverse, lorsque uniquement des tests imposteur sont présentés, les performances se dégradent forte-ment et ceci bien que, en moyenne, les poids soient faibles pour les tests imposteurs.

Cette dégradation s’explique aussi par les fausses acceptations, qui constituent des don-nées d’adaptation imposteur associées à des poids élevés. Il apparaît que l’influence des tests imposteurs n’est pas nulle dans ce schéma d’adaptation, néanmoins, le taux de fausses acceptations est un problème pour tous les systèmes d’adaptation. Nous pou-vons désormais éliminer certains facteurs qui pourraient avoir eu une influence sur les différences de résultats entre les bases NIST SRE 2005 et 2006 :

– l’ordre des tests ;

– une mauvaise estimation des poids WMAP, pour les accès clients ; – l’utilisation de l’ensemble des mesures de confiance, sans seuillage.