Les diverses caractéristiques statistiques et spatiales que nous avons étudiées ont montré certains défauts des i-vectors livrés par la procédure FA-total-var, en terme de conformité aux hypothèses précédant ou suivant leur extraction : ainsi, la normalité et la standardité théoriques des facteurs i-vectors ne sont pas acquises. L’outil de vi-sualisation des variabilités (graphe spectral) s’avère utile pour apprécier rapidement et clairement le niveau de standardité d’un jeu de données, ainsi que les comportements dans et entre les classes-locuteurs. L’étude sur les normes des vecteurs, appuyée par la loi théorique duχ2, confirme un manque de gaussianité des données.
3.3. Conclusion
En lieu et place d’une modélisation basée sur des postulats non-gaussiens, tels que ceux de la Heavy-tailed PLDA utilisant la loi de Student, des transformations sont envi-sageables pour corriger ces défauts, notamment la standardisation et la normalisation de longueur. Cette dernière technique, non-paramétrique, de blanchiment des données pour gaussianisation paraît expliquer l’efficacité du score par cosinus mis en place ini-tialement dans le champ des i-vectors. Cette hypothèse, et plus généralement la prise en compte des conclusions de cette analyse, nous ont amenés à mettre en place une famille de transformations des i-vectors avant modélisation et scoring, qui sont présentées et détaillées au chapitre suivant.
Chapitre 4
Techniques de normalisation
Les résultats de l’analyse des i-vectors que nous avons conduite ont montré des dé-fauts de la représentation i-vector, telle que fournie par l’extracteur FA-total-var. Ces défauts s’entendent en terme de conformité aux hypothèses, qu’il s’agisse de celles de l’extracteur en amont ou des modèles en aval. Nous envisageons la possibilité d’ap-pliquer des transformations aux vecteurs, capables de corriger ou réduire ces défauts.
L’objectif fondamental est de considérer les vecteurs après transformations comme des observations d’un modèle génératif probabiliste.
Nous présentons dans ce chapitre une famille de techniques de normalisation que nous avons mises en place comme transformations préliminaires avant l’élaboration d’un modèle génératif dans l’espace des i-vectors. Nous montrons comment il est pos-sible de traiter les données préalablement pour fournir aux modèles LDA et PLDA des données plus proches de leurs hypothèses et mieux optimiser les critères qu’ils se sont fixés. Les analyses du chapitre précédent sont reprises sur les i-vectors après applica-tion de ces diverses transformaapplica-tions, justifiant leur pertinence.
Les transformations mises en place font chaque fois tendre les données vers un mo-dèle théorique. Nous présentons ce momo-dèle, puis recensons et démontrons un certain nombre de propriétés de ses vecteurs, qui éclairent et justifient leur rôle dans la qualité de la modélisation.
4.1 La transformation EFR (L Σ )
Dans (Bousquet et al.,2011b) , nous avons introduit une transformation non-linéaire des i-vectors issus de l’extraction FA-Total Var., destinée à préparer les données à un modèle génératif. Nous présentons l’algorithme que nous avons mis en place pour ef-fectuer cette transformation, puis détaillons ses différents effets sur les données et un certain nombre de ses propriétés. La partie4.5montre son efficacité sur diverses expé-riences de discrimination du locuteur.
Présentation de la transformation Eigen Factor Radial (EFR
Etant donné un jeu de données d’apprentissage T et notant p la dimension des i-vectors, l’algorithme EFR de transformation des i-vectors procède en deux phases (ap-prentissage et test) :
Phase d’apprentissage Pouri=1 ànb_iterations
Calculer la moyenneµi et la matrice de covariance totaleΣideT Pour chaquewdeT : w← Σ
−12
i (w−µi)
Σ−
12
i (w−µi) Pour chaquewdeT : w←√
pw
Durant la phase d’apprentissage, les i-vectors deT sont successivement standardi-sés puis normalistandardi-sés par division par leur norme euclidienne. La matriceΣ−12
i peut être calculée à partir d’une décomposition en valeurs singulières ou de Cholesky. A chaque itération, la même transformation est appliquée mais avec les paramètres successifsµi etΣimis à jour à l’itération précédente.
La dernière opération (multiplication des i-vectors par le scalaire√p) est sans effet sur le processus décisionnel de discrimination du locuteur. Elle est destinée à clari-fier les justifications théoriques qui suivront. Les paramètres statistiques successifs de moyennes{µi}et covariance{Σi}sont enregistrés pour la phase de test.
Phase de test
Etant donné un i-vector de testwtest, Pouri=1 ànb_iterations: wtest← Σ
−12
i (wtest−µi)
Σ−
12
i (wtest−µi) wtest←√
pwtest
A partir des paramètresµietΣ
icalculés durant la phase d’apprentissage, un i-vector de testwtestest modifié par application itérative de la transformation.
L’effet de cette transformation sur les données d’apprentissage peut être apprécié en dimension 2 sur la figure 4.1. Sur le fichier d’apprentissage initial préalablement centré (a), une rotation est appliquée dans la base des vecteur propres de la variabilité totale (b). Puis les données sont standardisées par division des coordonnées par leurs écart-type (c) et enfin normalisées par division par la norme (d). Au final, les données s’étendent sur la surface de l’hypersphère de rayon√p.
Nous nommons cette transformation lanormalisation EFR(Eigen Factor Radial). Ce titre sera justifié dans la suite, qui inventorie les propriétés des vecteurs après cette transformation. Elle est aussi notée dans certaines publications LΣ1.
1. pour "Length-normalization" et standardisation suivant la matrice de covariance totaleΣ.
4.1. La transformation EFR (LΣ)
1.5 1.0 0. 5 0.0 0.5 1.0 1.5
1.51.00.50.00.51.01.5
a. Initial
1.5 1.0 0. 5 0.0 0.5 1.0 1.5
1.51.00.50.00.51.01.5
b. Rotation
1 5 1 0 0 5 0 0 0 5 1 0 1 5
1.51.00.50.00.51.01.5
c. Standardisation
1 5 1 0 0 5 0 0 0 5 1 0 1 5
1.51.00.50.00.51.01.5
d. Normalisation de longueurs
FIGURE4.1 –Visualisation en 2D d’une itération d’EFR.
Notons que, puisque moyenne et matrice de covariance des données tendent vers 0 etI, la transformation appliquée à chaque itération de l’algorithme tend vers l’applica-tion identique. Ainsi, l’algorithme devient stal’applica-tionnaire au fil des itéral’applica-tions.