Inférence des paramètres du filtre

Plusieurs mesures sont utilisées pour évaluer les performances du modèle sur l’ensemble de test. La première mesure est l’erreur quadratique moyenne. Afin de pouvoir estimer l’intervalle de confiance de cette mesure, une stratégie dite de ré-échantillonnage (bootstrap) est adoptée. B sous-ensembles de N_TB échantillons sont constitués par tirage aléatoire (avec remise) dans l’ensemble de test. Une erreur quadratique moyenne EQMTb (avec b∈[1..B]) est calculée sur chacun de ces sous-ensembles. A l’aide des notations utilisées à l’équation 4.4, cette erreur validation croisée, des différents hyperparamètres (architecture et régularisation du réseau de neurones, nombre de gaussiennes dans le mélange, etc.).

La seconde mesure mise en œuvre pour l’évaluation des performances du modèle est le

avec y=[y₁,...,y_d], g=[g₁,...,g_d], y_iet g_irespectivement les valeurs moyennes de y_iet g_i sur l’ensemble de test, et NT, le nombre d’échantillons dans cet ensemble. Ce coefficient est compris entre [-1 et 1]. La performance du modèle est jugée d’autant meilleure que ce coefficient est loin de 0 (proche de -1 ou 1). Au vu des résultats expérimentaux exposés ci-après, il est également apparu intéressant d’évaluer les performances du modèle uniquement sur les d premiers coefficients mel-cepstraux. Ceci permet d’évaluer la capacité du modèle à prédire la forme très générale de l’enveloppe spectrale. Un coefficient de régression linéaire dit « moyen », noté R_d est alors introduit. Ce dernier est défini par :

R_d = 1 d r_i

1

∑

On s’intéressera plus spécifiquement aux valeurs de R13 et R8, coefficients de régression linéaire moyens calculés respectivement sur l’ensemble des 13 coefficients, et sur les 8 premiers coefficients seulement.

Résultats expérimentaux

Le Tableau 4.1 et le Tableau 4.2 présentent les résultats obtenus à l’aide des approches par réseau de neurones et par mélange de gaussiennes, pour les deux bases de données et pour les deux approches d’extraction des caractéristiques visuelles (TCD et EigenTongues/EigenLips, voir les sections 3.2.3 et 3.3.2).

La Figure 4.6 et la Figure 4.7 présentent les diagrammes de dispersion obtenus pour chacune des deux approches, dans le cas des « meilleures » conversions visuo-acoustiques. Il s’agit des conversions effectuées sur la base B2, à partir de caractéristiques visuelles du type EigenTongues/EigenLips.

Figure 4.6 : Diagrammes de dispersion pour la conversion visuo-acoustique par réseau de neurones (base B2, approche EigenTongues/EigenLips, ri est le coefficient de régression linéaire

calculé à partir des prédictions du coefficient mel-cepstral Yi, en rouge, la droite de régression linéaire, en vert la droite d’équation y=x).

Figure 4.7 : Diagrammes de dispersion pour la conversion visuo-acoustique par mélange de gaussiennes (base B2, approche EigenTongues/EigenLips).

Base B1 Base B2

TCD EigenTongues/EigenLips TCD EigenTongues/EigenLips µEQMT ±Δ95% 1.46 ± 0.02 1.47 ± 0.02 1.49 ± 0.02 1.20 ± 0.02

(R8,R13) (0.61, 0.52) (0.60, 0.52) (0.61, 0.50) (0.66, 0.61) Tableau 4.1 : Evaluation globale de la conversion visuo-acoustique par réseau de neurones

(prédiction des coefficients mel-cepstraux, Δ95% est l’intervalle de confiance à 95%).

Base B1 Base B2

TCD EigenTongues/EigenLips TCD EigenTongues/EigenLips µEQMT ±Δ_95% 1.60 ± 0.02 1.40 ± 0.02 1.90 ± 0.02 1.10 ± 0.02

(R8,R13) (0.59, 0.51) (0.65, 0.56) (0.48, 0.44) (0.73, 0.67) Tableau 4.2 : Evaluation globale de la conversion visuo-acoustique par mélange de gaussiennes

(prédiction des coefficients mel-cepstraux).

Interprétations

L’étude de ces résultats permet de comparer les différentes approches mises en œuvre pour chacune des étapes de la chaîne de traitement, de l’acquisition des données à la conversion visuo-acoustique, en passant par l’extraction des caractéristiques visuelles.

Ces résultats peuvent tout d’abord être interprétés en fonction de la base de données utilisée pour la modélisation. Rappelons que ces bases sont construites à partir du même corpus de texte, mais à l’aide de deux systèmes d’acquisition et deux locutrices différents (systèmes SA1 et SA2, voir section 2.4.1). Dans l’approche par réseau de neurones comme dans celle par mélange de gaussiennes, les résultats basés sur des caractéristiques visuelles du type EigenTongue/EigenLips sont nettement meilleurs sur la base B2 que sur la base B1. Dans le cas de caractéristiques visuelles du type TCD, une tendance opposée peut être observée, mais les différences entre les deux bases sont cependant moins importantes que dans le cas de l’approche EigenTongue/EigenLips. Ces bonnes performances obtenues sur la base B2 par rapport à la base B1, dans le cas de caractéristiques visuelles du type EigenTongue/EigenLips, peuvent en partie s’expliquer par la qualité des données visuelles de cette base. Les séquences ultrasonores et vidéo de la base de données B2 possèdent en effet de meilleures résolutions spatiale et temporelle que celles de la base B1.

Ces résultats permettent ensuite de comparer les deux approches mises en œuvre pour l’extraction des caractéristiques visuelles. Dans la quasi totalité des expériences, l’approche EigenTongues/EigenLips fournit des résultats qui sont, de façon statistiquement significative, meilleurs que ceux obtenus à partir de l’approche TCD. Bien qu’il paraisse difficile de fournir une véritable explication à ce résultat, rappelons néanmoins que les deux approches sont basées sur des hypothèses relativement différentes. L’approche par analyse en composantes principales considère comme pertinente l’information présentant une variabilité importante. L’estimation de cette variabilité nécessite une phase d’apprentissage qui rend la décomposition dépendante des données. Dans l’approche basée sur la TCD, seule l’information basse fréquence est

conservée. Certains détails portés par les hautes fréquences spatiales (notamment dans l’image ultrasonore), peuvent alors être exclus du codage, à tort.

Enfin, ces résultats permettent de comparer les deux techniques de modélisation mises en œuvre pour la conversion visuo-acoustique. Pour réaliser cette comparaison, nous nous plaçons dans le cadre des « meilleures » conversions visuo-acoustiques observées pour les deux approches.

Il s’agit des conversions effectuées à partir des données de la base B2, traitées à l’aide de l’approche EigenTongues/EigenLips. Les deux mesures de performance que sont l’erreur quadratique moyenne et le coefficient de corrélation linéaire, montrent une assez nette supériorité de l’approche par mélange de gaussiennes. Ceci peut en partie s’expliquer par l’utilisation, dans cette approche, d’une information a priori sur la structure de l’espace des données à modéliser. Un modèle par mélange de gaussiennes fait référence de façon explicite à une organisation des observations en classes (cluster), chaque classe étant modélisée par une gaussienne. Le nombre de classes a priori est une information qui est « donnée » dans le cas d’une modélisation par mélange de gaussiennes (il s’agit du nombre de gaussiennes), mais qui est

« inconnue » dans le cas d’une modélisation par réseau de neurones. L’apprentissage de la fonction de conversion peut donc, dans ce dernier cas, apparaître plus complexe.

L’analyse des diagrammes de dispersion (Figure 4.6 et Figure 4.7) permet une analyse des performances coefficient par coefficient. De façon attendue, les erreurs les moins importantes sont commises sur les premiers coefficients mel-cepstraux, c’est-à-dire sur la forme très générale de l’enveloppe spectrale. Dans le cas de la meilleure conversion, le coefficient de régression linéaire moyen sur les 8 premiers coefficients est égal à 0.73, contre 0.67 sur l’ensemble des coefficients mel-cepstraux. On notera par ailleurs que le meilleur coefficient de corrélation linéaire est obtenu, dans les deux approches, pour le premier coefficient (coefficient de régression linéaire supérieure à 0.8). Ce résultat peut paraitre surprenant, car ce coefficient renseigne principalement sur l’énergie moyenne du signal sur la trame d’analyse. Il ne semblait a priori pas évident que cette quantité puisse être bien prédite, de façon assez précise, uniquement à partir des observations articulatoires. Une illustration de la qualité de la prédiction obtenue sur ce coefficient est proposée à la Figure 4.8.

Figure 4.8 : Evolution, sur les 300 premières trames de l’ensemble de test, du premier coefficient mel-cepstral Y1, inféré par conversion visuo-acoustique directe (approche par mélange de gaussiennes, base B2, caractéristiques visuelles du type EigenTongues/EigenLips).

4.6.2. Inférence des paramètres de « source »