Corpus de données et mesures d’évaluation

où est l’ensemble des poids de la fusion.

Récemment, la régression logistique est devenue la méthode la plus adoptée pour entrainer les poids de la fusion (Pigeon, et al., 2000)(Brummer, et al., 2006)(Brummer, et al., 2007)(Van Leeuwen, et al., 2007). À la différence de la manière habituelle de son utilisation dans divers problèmes de la reconnaissance des formes, la régression logistique est utilisée dans le domaine de la vérification du locuteur pour produire des scores qui se comportent comme des logarithmes de rapports de vraisemblances LLR au lieu des probabilités a

posteriori de logit.

1.2.7 Corpus de données et mesures d’évaluation

Il est bien connu que l’institut américain NIST1 a énormément influencé, voir même dominé, les recherches dans le domaine de la reconnaissance du locuteur, notamment ces deux dernières décennies, et ce, en fournissant des corpora de données et en organisant des campagnes d’évaluations à l’échèle mondiale. Dans une stratégie d’évaluation dite sévère telle que les campagnes de NIST, le protocole d’évaluation dicte qu’un système de vérification doit subir un nombre relativement élevé (des milliers) de tests. Ces tests sont généralement prescrits sous forme de listes d'essais et chacun de ces essais se constitue d'un premier segment d’enrôlement portant le code de son locuteur client et d'un deuxième segment du test dont le locuteur est inconnu au système. Les systèmes des participants dans les campagnes de NIST doivent produire un score pour chaque essai prescrit dans ces listes et

s_{f = s(x, w)} = w0+ wisi(x) i=1 N



les envoyer à NIST pour procéder à l’évaluation des performances et au classement des systèmes par la suite.

1.2.7.1 Mesures d’évaluation

Un système de vérification du locuteur est susceptible de produire deux types d’erreurs (voir Figure 1.3) :

− Fausse acceptation (FA) : quand il authentifie à tort une identité proclamée. − Faux rejet (FR) : quand il rejette à tort un client authentique.

Toute mesure fiable des performances des systèmes de la vérification du locuteur doit impérativement tenir compte de ces deux types d’erreurs. Étant donné un ensemble de scores produit par un système donné, nous pouvons calculer le taux des fausses acceptations (TFA) et le taux des faux rejets (TFR) pour chaque seuil de décision comme suit :

T_FA= Nombre de FA

Nombre des accès imposteurs (1.24)

T_FR= Nombre de FR

Nombre des accès clients (1.25)

Ces deux taux d’erreurs seront combinés pour avoir les deux mesures d’évaluation les plus répandues dans le domaine de la vérification du locuteur de la façon suivante :

− Equal Error rate (EER) : c’est le point correspondant à l’égalité entre les deux taux erreurs

(1.26)

θ∈ −∞,+∞

]

[

− Minimum of Detection Cost Function (minDCF6_{) : est une fonction des coûts définie par :}

(1.27)

où CFR et CFA sont respectivement les coûts relatifs au faux rejet et à la fausse acceptation, le Pclient est la probabilité a priori qu’une identité proclamée soit authentique. Il est à noter que les coûts CFR et CFA et la probabilité a priori Pclient sont fixés par l’utilisateur selon ses besoins, de plus, Pclient ne reflète pas la probabilité a priori calculée sur un ensemble de test ou de développement.

Outre que ces deux mesures, NIST a également proposé une illustration graphique mise à disposition des chercheurs et des développeurs afin de bien analyser les résultats de leurs systèmes de la vérification du locuteur. En fait, cette courbe est connue sous le nom DET (Detection Error Tradeoff). La courbe DET est obtenue par l’évaluation des TFR et TFA en

6 _{La version normalisée de la fonction DCF est celle considérée par NIST}1_.

DCF= CFRTFRPclient+CFATFA(1− Pclient)

Figure 1.4 Illustration graphique DET de NIST sur laquelle l’ERR et le minimum DCF sont respectivement représentés par le point vert et le point rouge.

faisant varier le seuil de décision sur l’ensemble des scores, ainsi, cette courbe fournit une vue d’ensemble des performances du système.

Tableau 1.1 Exemple des tâches telles que prescrites pour NIST-SRE 2010

1.2.7.2 Tâches des évaluations NIST

Durant chaque campagne d’évaluation de NIST, un protocole d’évaluation englobe un ensemble de tâches qui sont déterminées en fonction de la durée des segments d’enrôlement et celle des segments du test (voir Tableau 1.1). Généralement, il y a seulement une tâche à accomplir obligatoirement par tous les participants (voir la case grise du Tableau 1.1). Selon le type du canal et la façon dont les enregistrements sont produits, NIST distingue deux catégories de fichiers audio :

1) Fichiers téléphoniques : dans cette catégorie on distingue deux types de fichiers : a. Tel : une conversation téléphonique simple contenant les deux côtés de la

conversation, nommée aussi en anglais « 4-wires file ».

b. Summed : des fichiers audio obtenus par l’adition, échantillon par échantillon, des deux cotés d’une conversation « 4-wires », sont aussi nommés « 2-wires

files ».

7 _{Le mot sum est pour indiquer un type de fichiers audio obtenus par la sommation échantillon par échantillon}

des deux cotés « channel sides » d’un appel téléphonique. Le mot conv indique une conversation d’une durée approximative de deux minutes et demie.

Test

10sec 1conv 1conv sum7

Enrôlement _{10sec Optionnelle}

1conv Optionnelle Obligatoire Optionnelle

8conv Optionnelle Optionnelle

2) Fichiers microphoniques : nous distinguons aussi deux types de fichiers : a. Mic : des conversations téléphoniques enregistrées par des microphones.

b. Interview : des enregistrements contenant la parole d’une personne qui constitue le locuteur cible et la parole d’un intervieweur enregistrés par un microphone posé sur la table d’entrevue. L’intervieweur porte un microphone- proche porté sur sa tête.

Tableau 1.2 Exemple des cinq premières conditions « det » de NIST-SRE 2010

Canal

d’enrôlement Canal du test Restriction

det1 Interview Interview Mêmes microphones

det2 Interview Interview Microphones différents

det3 Interview Tel -

det4 Interview Mic -

det5 Tel Tel Téléphones différents

En fonction des types du canal utilisé pour l’enrôlement et le test, la tâche principale de la campagne de NIST-SRE 2010 se divise en plusieurs conditions dont chacune porte le nom « det » en plus d'un numéro, par exemple « det1 » (voir les 5 premières conditions dans le Tableau 1.2).

1.2.7.3 Données d’entrainement de NIST

Au fil des années, NIST a accumulé une quantité importante de données d’entrainement (voir Tableau 1.3). En effet, ces données sont à la disposition des participants dans les évaluations de NIST dans le but de les utiliser principalement à des fins d’estimation des paramètres des classificateurs (GMM, JFA, PLDA, etc.) et des extracteurs des vecteurs de caractéristiques (i- vecteurs).

Tableau 1.3 Durées en heures des données d’entrainement de NIST. Nom du corpus Durée (heures)

Données microphoniques MIX05 223 MIX06 230 Données téléphoniques Fisher 3916 MIX04 396 MIX05 200 MIX06 815 Switchboard II 1186 Switchboard cellulaire 662