NousavonsévaluélesméthodesPDE, DGS,EPDE etEDGSsurlapartie de testdu orpus de parole anglaise TIMIT. Ce orpus de test est omposé de 1344 phrases en langue anglaise prononées par des sujets amériains ayant 8 aents régionaux diérents. Nous avons utilisé 40phonèmes anglaisentraînéssur leorpus de développement TIMIT.Lesmodèles aoustiques sont desHMMhors-ontexteà 3 états etave une topologie gauhe-droite.Les densitésde pro-babilité assoiées aux états des HMM sont des mélanges de gaussiennes (GMM). Nous avons eetuédesexpérimentationsave diérentsnombres de gaussiennespour lesGMM:16,32,64 et128gaussiennespar GMM. Notrehoix s'estportésurune paramètrisation de13 oeients MFCC (12 +énergie) ave leurs dérivées premières et seondes, donnant au total des veteurs dedimension 39.Nous avonsévalué lesméthodesave une reonnaissanephonétique.
Pour les méthodes EPDE et EDGS, les valeurs du paramètres l varient dans l'ensemble
{3, 5, 7, 10, 13, 16, 20} (valeurs hoisies empiriquement). Nous avons xé le paramètre γ à unevaleurde35pourlesméthodesDGSetEDGS.Enn, unsystèmede reonnaissanedebase (sansauunemodiations)àégalement ététesté,i.e.unsystèmesansauuneoptimisationpour letemps dealuldes probabilités.
Les résultats auxquels nous nous intéressons sont la préision de la reonnaissane phoné-tique,larédution dutemps de aluletlarédutionde laharge dealul. Letemps dealul n'est autre que le temps que néessitent les méthodes pour le alul de probabilité sur tout le orpusdetest.Parontre, lahargede alulestdénieommeétantlenombrede probabilités
Tab. 4.3 Résultats de la reonnaissane phonétique sur le orpus de test de TIMIT, pour les méthodePDE etDGS.% temps est la proportion dutemps dealul dela méthode par rapport au temps de alul du système de base. % aluls est la proportion du nombre de probabilités de gaussiennes unidimentionnelles alulées pour la méthode enquestion par rapport à elui du système debase. 128 gaussiennespar GMM S.de base PDE DGS Préision 64.76 64.37 64.74 %temps 100.00 69.62 73.20 %aluls 100.00 29.52 29.58 64 gaussiennespar GMM S.de base PDE DGS Préision 63.93 63.59 63.88 %temps 100.00 66.53 70.51 %aluls 100.00 33.32 33.42 32 gaussiennespar GMM S.de base PDE DGS Préision 62.68 62.4 62.68 %temps 100.00 67.65 72.33 %aluls 100.00 37.90 38.04 16 gaussiennespar GMM S.de base PDE DGS Préision 60.7 60.34 60.67 %temps 100.00 68.15 73.60 %aluls 100.00 43.49 43.69
Tab.4.4Résultatsdelareonnaissane phonétique surla partiedetestduorpusTIMIT,pour les méthode EPDE et EDGS.
128gaussiennes par GMM :
EPDE-3 EPDE-5 EPDE-7 EPDE-10 EPDE-13 EPDE-16 EPDE-20
Préision 51.80 57.28 60.64 63.24 64.11 64.22 64.34
%temps 51.18 53.88 57.18 59.78 62.56 65.03 68.12
%aluls 8.88 11.58 14.46 17.83 20.69 22.98 25.52
EDGS-3 EDGS-5 EDGS-7 EDGS-10 EDGS-13 EDGS-16 EDGS-20
Préision 51.84 57.45 60.82 63.52 64.43 64.6 64.68
%temps 51.97 55.02 58.09 61.48 64.57 67.18 70.38
%aluls 8.88 11.58 14.48 17.85 20.72 23.01 25.55
64gaussiennes par GMM:
EPDE-3 EPDE-5 EPDE-7 EPDE-10 EPDE-13 EPDE-16 EPDE-20
Préision 52.64 57.86 60.56 62.56 63.29 63.50 63.56
%temps 48.16 50.85 53.63 56.93 59.89 62.49 65.70
%aluls 10.39 13.41 16.69 20.53 23.80 26.39 29.19
EDGS-3 EDGS-5 EDGS-7 EDGS-10 EDGS-13 EDGS-16 EDGS-20
Préision 52.72 57.96 60.75 62.81 63.62 63.75 63.84
%temps 49.01 52.18 55.41 59.00 62.77 64.96 68.41
%aluls 10.39 13.42 16.71 20.57 23.85 26.44 29.24
32gaussiennes par GMM:
EPDE-3 EPDE-5 EPDE-7 EPDE-10 EPDE-13 EPDE-16 EPDE-20
Préision 52.78 56.63 58.81 61.00 61.77 62.15 62.34
%temps 48.70 51.66 54.66 58.21 61.42 64.40 67.53
%aluls 12.82 16.20 19.89 24.23 27.91 30.76 33.77
EDGS-3 EDGS-5 EDGS-7 EDGS-10 EDGS-13 EDGS-16 EDGS-20
Préision 52.83 56.82 59.06 61.17 62.05 62.49 62.64
%temps 49.75 53.19 56.72 60.67 64.17 67.31 70.94
%aluls 12.82 16.22 19.93 24.28 27.98 30.83 33.84
16gaussiennes par GMM:
EPDE-3 EPDE-5 EPDE-7 EPDE-10 EPDE-13 EPDE-16 EPDE-20
Préision 51.58 54.89 57.08 58.89 59.83 60.18 60.30
%temps 48.86 51.55 55.69 58.87 62.90 67.18 68.63
%aluls 16.78 20.46 24.49 29.27 33.30 36.35 39.48
EDGS-3 EDGS-5 EDGS-7 EDGS-10 EDGS-13 EDGS-16 EDGS-20
Préision 51.59 55.05 57.25 59.08 60.09 60.45 60.56
%temps 51.00 53.95 57.76 62.06 65.86 74.11 72.46
de gaussiennes unidimensionnelles alulées. Il s'agit du alul de lavaleur de probabilité pour un élément kd'une gaussienne :
1 2
(xk−µk)2
Σk
.En d'autre termes, le alulde la probabilitéd'une gaussienne ℵ(µ,Σ) dedimension N induit unehargede alulde valeurN.
Lesrésultatsdusystèmede base,delaméthodePDE etlaméthodeDGS sontillustrés dans la table 4.3. Nous pouvonsvoir dansette table que laméthode PDE réalise une rédution du temps de alulde probabilité variant de31.4% à33.5%, ete par rapportau systèmede base. La rédution du temps de alul de probabilité réalisée par la méthode DGS varie de 26.4% à 29.5% par arpport au système de base. D'autre part, l'approhe DGS néessite un temps de alulde5%à8%plusimportantqueeluidelaméthodePDE.Nousonstatonsquelaméthode DGSahe unepréision delareonnaissanephonétique sensiblement égaleàelledusystème de base. Par ontre, l'approhe PDE ahe, en moyenne, une augmentation relative du taux d'erreur de1%.
LesméthodesPDE et DGS réduisent onsidérablement lahargede alul.Pour des GMM omprenant 128gaussiennes(resp.64,32 et16),larédutiondelahargede alulest approxi-mativementde70%(reps.66.6%,62%et56.3%).Nousremarquonsquelarédutiondelaharge dealulestplusélevéelorsquelenombredegaussiennesdanslesmodèlesGMMestplusgrand. Ceipourrait-êtreexpliquéparlefaitquepluslenombredegaussiennesdansunGMMestélevé, plusesdernières sont préisesetpluslesous-espaeaoustiquequ'ellesreprésentent estréduit. Ceirésulteenune diéreneplusaentuéepourles distanesentrehaunedesgaussienneset les observations. Cequiinduit une éliminationdesaluls élémentairesplus importante ave les méthodesPDE etDGS.
La table 4.4 résume les résultats des méthodes EPDE et EDGS pour diérents modèles aoustiques et des valeurs de l ∈ {3, 5, 7, 10, 13, 16, 20}. Ces deux approhes réalisent une rédutionsigniativedutempsdealuldeprobabilitépar rapportausystèmedebase.Notons que ette rédutiondépend de laomplexité desmodèles aoustiques ainsique du paramètre l. D'unemanièregénérale,pluslavaleurdeldéroît,pluslarédutiondutempsdealuldesdeux méthodesest importante etplusla préision de lareonnaissaneest dégradée. Considéronsles résultats de la reonnaissane phonétique utilisant des modèles aoustiques à 128 gaussiennes parGMM.Pourunevaleurdel= 3(resp.5et7),nousobservonsuneimportanteaugmentation relativedutauxd'erreurpourlesdeuxméthodesEPDEetEDGS del'ordrede36.7%(resp.21% et 11.4%). Des valeursplus élevées du paramètre l impliquent une augmentation plus atténuée du taux d'erreur de la reonnaissane phonétique. Pour l = 20, la méthode EPDE induit une augmentation de 1.19% du taux d'erreur alors que la l'approhe EDGS n'introduit que 0.23% d'erreurs.Lagure4.2illustrel'augmentation relativedel'erreur dereonnaissane(parrapport ausystèmedebase)pouresdeuxméthodesen fontionduparamètrel,etepourdesmodèles aoustiquesà128gaussiennesparGMM.Latendane devariationde l'augmentation del'erreur dereonnaissaneestomparables pourdesmodèles aoustiquesde64,32et 16gaussiennespar GMM.
D'autrepart, la rédution du temps de alul de probabilité des méthodesEPDE etEDGS (parrapportausystèmedebase)varied'unemanièreinversementproportionnelleàlavaleurdu paramètrel.Pourdesmodèlesaoustiqueà128gaussiennesparGMM,unevaleurdel= 3(resp.
3 et 7) induit une rédution du temps de alul de l'ordre de 48.8% pour EPDE (resp. 46.1% et 42.8%)et de 48%pour EDGS (resp. 45% et41.9%). Pour une valeur de l = 20(reps. 16 et
Fig.4.2Augmentation relativedutauxd'erreurdelareonnaissanepourlesméthodesEPDE etEDGS,parrapportausystèmedebaseetpourdesmodèlesaoustiquesà128gaussiennespar GMM.Éhelle logarithmique.
13),larédutiondu tempsdealuln'est quede 31.8%pourEPDE (resp.35%et37.44%)et de 29.6% pour EDGS (resp.32.8% et35.6%).Les tendanes devariation delarédution dutemps de alul des méthodes EPDE et EDGS en fontion de l sont omparables pour des modèles aoustiquesà 64,32 et16 gaussiennespar GMM.
4.6 Conlusion
Danse hapitre nousavonsprésentédeux nouvellesapprohespour lealulrapidede pro-babilité dans le adre de modèles GMM. La première méthode, EPDE, est une extension de l'approhe PDE. Nous avons modiéde le ritère d'arrêtde la méthode PDE danslebut d'éli-minerplusdealulsélémentairesde probabilité.Ladeuxième approhe,DGS,estuneméthode de séletion dynamique de gaussiennes qui sebase sur l'approhe PDE. Cette méthode permet de séletionner, pour une obervation donnée, les gaussiennes pertinentes dans un GMM an de prendre en ompte leur probabilité. Ainsi, la méthode DGS introduit moins d'erreurs dans l'approximationdelaprobabilitéd'unGMM,parrapportàl'approhe PDE.Contrairement aux approhesdeséletionstatiquedegaussiennes,auunespaedestokagesupplémententairen'est néessaire. Nous avons ombiné les méthodes EPDE etDGS dansan d'obtenir une rédution aruepourletemps dealuldeprobabilitéetuneplusgrandepréisiondanslareonnaissane voale.
Nos expérimentations onduites sur le orpus TIMIT démontrent que la méthode EPDE-20 (ave un paramètre l = 20) réduit le nombre de aluls élémentaires de 4% par rapport à l'approhe PDE. En outre, l'approhe EPDE réduit le temps de alul de 0.5% par rapport à la méthode PDE, et e pour des taux d'erreur de reonnaissane identiques. D'autre part, la méthode EDGS est enmoyenne 1%moinsrapide que laméthode PDE. Par ontre, laméthode EDGS réduitsle nombre de alul élementaires de 4% par rapport à l'approhe PDE. Deplus, l'approhe EDGS ahe des taux d'erreur de reonnaissane identiques à eux du système de base.Ces propriétés permetteraient l'utilisation eae de laméthodeEDGS dansles systèmes
de RAP. De plus, des systèmes embarqués ayant des ressoures limités, tels que les téléphones ellulaires, peuvent tirer prot de la rédution importante du nombre de aluls élémentaires de la méthode EDGS. En eet, les aès à la mémoire et les aluls intensifs sont souvent très pénalisant pour ette athégorie d'appareillages.
La reonnaissane automatique de la parole (RAP) est utilisée dans des domaines de plus enplus variés.Lesévolutionsontinues destehnologies informatiquesont permis unepréision aruepour laRAP.Toutefois, lessystèmes de RAP sourent d'unehutesigniative des per-formanes faeaux aents non-natifs. Les taux d'erreurs des systèmes de RAP sont au moins doublés pour la parole non-native. Cette dégradation de performanes est un problème bien onnu pour laRAP.Elle estduepartiellement àlanatureintrinsèquedessystèmesdeRAP,qui sont basés surdes modèles statistiques et stohastiques. La diérene entre les propriétés de la parolepour laquelleun systèmede RAPa étéonçuet les propriétés de laparole àreonnaître provoquent ettehute depréision.
Par ailleurs,laparolenon-nativepeutontenirdeserreursdediérentstypes,provoquéespar l'inuenede la languematernelle. Laprésene demots ommuns entre lalangue maternelleet ible,avedessémantiquesdiérentes,peutentraînerleurutilisationerronée.Ceserreurspeuvent également être provoquéespar un niveau de maîtrise faible des propriétés grammatiales de la langueible.Unlouteurparlantunelangueétrangèrepeutproduireunestruturegrammatiale inorrete,mal aorder desverbes ou adjetifsou même utiliser des mots n'appartenant pas à lalangue.
Deplus, laparolenon-nativepeutontenirdeserreursdeprononiation desons.Eneet,les langueshumainesutilisentunepartie dessonsquepeutproduirel'appareilartiulatoirehumain. Lesphonèmes(sons)utilisésdansune languepartiulière ouvrent deszoneséparsesdel'espae aoustique, et dièrent d'une langue à une autre. De plus, de nes variations entre phonèmes prohespeuventêtresigniativespourunelanguealorsquedansd'autreslanguesesphonèmes sontonfondus. Uneétuderéentepubliée dans[Giraud et al.,2007 ℄montrequeles ortex éré-brauxauditifs(déodageetprodution)etmoteurs(mouvementsdesartiulateurs)sontorrélés. L'appareil artiulatoire humain au sensplus large(omprenant lesortex auditifet moteur)est adapté à la prodution orrete de es sons, et e au sens des domaines aoustiques propres à lalangue maternelle orrespondante. Pour la parole non-native, l'appareil artiulatoire est sol-liité dans un exerie de mimétisme an de produire de la parole dans la langue ible. Des erreursdanslesréalisationsaoustiquesetdesremplaementsdephonèmespeuventêtreommis.
Les approhes de RAP non-native peuvent être lassées en troisatégories. La première a-tégorieomporte les approhes de modélisationaoustiquede l'aent non-natif.Ces approhes visent àmodier lesmodèlesaoustiques an deles rapproher despropriétés aoustiques dela parole non-native. Ces méthodes sont simples à mettre en oeuvre et améliorent grandement la préisiondelaRAPaentuée. Toutefois,elleprovoquent unehutedeperformanespourla pa-roleibleanonique. Contrairement,lesméthodesdeladeuxième atégories induisentunefaible dégradationpour laparole anonique ible. Ces méthodes sont basées surla modélisationde la
prononiation non-native. Lesprononiationsnon-nativesdehaquephonème delalangue ible sont détetéesetprises enompte danslesystèmede RAPommedesréalisationsalternatives. Enn, latroisième atégorie englobe les approhes de modélisation linguistique. Ces approhes visent ladétetion des erreursgrammatiales dans la parole non-native. Ces erreurs grammati-ales sont ensuiteutilisées pour l'adaptation dumodèle delangage dessystèmes de RAP.
Dansettethèse,nousnoussommesintéressésàlaRAPnon-nativeàtraversl'adaptation de systèmes de RAP existants. L'un de nosobjetifs prinipaux fut le développement d'approhes d'adaptation automatique de systèmes de RAP aux aents non-natifs, tout en préservant les performanes pour la parole ible anonique. Nous nous sommes intéressés aux approhes de modélisation aoustiqueetdemodélisation deprononiation pour laRAP aentuée.
Pour la modélisation aoustique, nous avons évalué les approhes lassiques d'adaptation aoustiqueMLLR (Maximum Likelihood Linear Regression), MAP (MaximumA Posteriori) et ré-estimation (ré-apprentissage par l'algorithme de Baum-Welh). Ces approhes augmentent signiativement la préision de la RAP pour les louteurs non-natifs. L'approhe MLLR (glo-bale) est moins performante omparée aux approhes MAP et ré-estimation. En revanhe, les approhesMAP etré-estimation dégradent lapréision pour leslouteurs anglais.
Nousavonsproposéunenouvelleapprohepourlamodélisationdeprononiationnon-native. Cetteapproheutilisedeuxensemblesdemodèlesaoustiquesandemodéliserlesprononiations des louteurs non-natifs. Le premier ensemble représente l'aent anonique de la langue ible. Le deuxième ensemble de modèles représente l'aent non-natif. Il peut être issu des modèles aoustiques de la langue maternelle deslouteurs non-natifs, ou enore de modèles aoustiques adaptés àl'aent étranger.
Nousavons hoisi de onstruire automatiquement le modèle de prononiation à l'aide d'un orpusde paroleaentuée.A haquephonèmede lalangue ible (premierensemblede modèles aoustiques) sont assoiées une ou plusieurs prononiations non-native, exprimée haune par une suite de phonèmes du seond ensemble de modèles aoustiques. La représentation d'une prononiation non-native omme une suite de phonèmes permet une meilleure exibilité de la modélisation de prononiation, notamment dans le as où il n'existe pas de orrespondanes diretes entre les phonèmes dupremier etdudeuxième ensemble.
Nous avons proposé une nouvelle approhe pour l'utilisation du modèle de prononiation qui onsiste à ajouter des hemins HMM alternatifs au modèle aoustique de haque phonème de la langue ible (premier ensemble de modèles aoustiques). Chaun de es hemins alterna-tifs orrespond à une prononiation non-native pour le phonème onsidéré. Ainsi, les modèles aoustiques modiés ontiennent, en parallèle, les modèles aoustiques représentant la pronon-iation anonique et les modèles aoustiques représentant les prononiations non-natives. Ces modèlesmodiés permettrontausystèmedeRAPdehoisirparmilesdiérentesprononiations de haque phonème.Cette approhe pour la modiation desmodèles aoustiques introduit un aroissement linéaire de leur omplexité, tout en permettant de prendre en ompte toutes les ombinaisons de prononiations.
Nousavonsévaluénotre approhe de modélisationde prononiationsurun orpusde parole non-native. Nousavonsonsidérédiérentsouples d'ensembles demodèles aoustiques.Pour le premierensembledemodèles,nousavonsonsidérélesmodèlesanoniques delalangueible,et les modèles aoustiques de la langue ible adaptés à l'aent étranger par MLLR, MAP et
ré-des langue ible et maternelle, les modèles aoustiques de la langue ible adaptés à l'aent étranger par MLLR, MAP et ré-estimation etles modèles aoustiques de lalangue maternelle adaptésàl'aent étrangerparMLLR etMAP.Touteslesombinaisons demodèles aoustiques pour lamodélisationde prononiationontapportéunerédutionsigniative destauxd'erreurs pourleslouteursnon-natifs.D'unemanièregénérale,l'utilisationdelatehniqueMLLRadonné les performanes les plus faibles, alors que l'utilisation de la tehnique de ré-estimation est la plus performante. Cei est un résultat prévisible puisque la tehnique de ré-estimation est un apprentissage des modèles aoustiques, alors que la tehnique MLLR n'est qu'une adaptation aoustique. Enn, en utilisant les modèles aoustiques anoniques de la langue ible omme premierensembledemodèles,etlesmodèlesaoustiquesdelalangueibleadaptésàl'aentpar ré-estimationommedeuxièmeensembledemodèles,nousobtenonslesmeilleuresperformanes. Nousavonségalement évaluélarobustessede notre approhe de modélisationde prononia-tionpar rapportàlaparoleanoniquedelalangueible.Lestestsindiquent quelamodélisation de prononiation dégrade les performanes pour la parole anonique. En eet, notre approhe ajoute des prononiations alternatives à haque phonème, diminuant ainsi leur préision. Par ailleurs, en utilisant les modèles aoustiques anoniques de la langue ible omme premier en-semble de modèles, et les modèles aoustiques de la langue ible (adaptés ou non à l'aent) ommedeuxième ensemble de modèles,lamodélisation de prononiation non-native n'introduit pasdedégradation signiativedes performanes.
En résumé pour la modélisation de prononiation, en utilisant les modèles aoustiques a-noniques de la langue ible omme premier ensemble de modèles, et les modèles aoustiques de la langue ible adaptés à l'aent par ré-estimation omme deuxième ensemble de modèles, nous obtenons les meilleure préision de RAP pour les louteurs non-natifs et la préision est maintenue pour les louteurs natifs de la langue ible. En eet, ette ombinaison de modèles aoustiques permet de représenter les prononiations anoniques et non-natives de haun des phonèmes. Lors de la reonnaissane voale, il est très probable que le système de RAP séle-tionnelesmodèlesanoniques pourleslouteursnatifsde lalangueible etséletionnel'unedes prononiationsnon-nativespour les louteurs étrangers, ete pour haque phonème.
Notre approhe de modélisation de prononiation, à l'image de laplupart desapprohes de RAPnon-native, reposesurlaonnaissane a priori del'origine deslouteurs.Pour s'aranhir de ette ontrainte, nous avons exploré la détetion de la langue maternelle de louteurs non-natifs.Nousavonsproposéunenouvelleapprohebaséesurladétetiondeséquenesdephonèmes disriminantes.Elleestbaséesurl'analyseautomatiquedesséquenesdephonèmesreonnusdans un orpus de parole aentuée. Seules les séquenes de phonèmes disriminantes sont retenues pour haunedesorigines présentes dansle orpus.Un déideur probabiliste, onstruità partir de es séquenes,permet ensuitede lassierl'origine d'un louteur. Cetteapprohe innovante augmenteletaux de lassiationsorretes omparéeà desapproheslassiques.
Laombinaisonsdeladétetiondel'origineavelamodélisationdeprononiationnon-native dégrade légèrement les performanes par rapport à la modélisation de prononiation seule. Ce résultatest dûauxerreurs dedétetion de lalanguematernelle.
Par ailleurs,nousavonsétudiélapossibilitédepriseenomptedeplusieursaentsétrangers simultanément. Celapermettrait de s'aranhirde laphase de détetionde lalangue d'origine. En eet, la détetion de la langue d'origine néessite l'enregistrement de ertaines phrases du louteur à traiter. Dans ertaines appliations ela n'est pas réalisable. Nous avons proposé d'utiliser les modélisations aoustiqueetde prononiation dansune perspetive multi-aent. Il
s'agit d'utiliser plusieurs aents dansles phases d'adaptation aoustique à l'aent étranger et d'extration du modèle deprononiation. La modélisation deprononiation multi-aent induit