Robustesse aux aents inonnus

Lesméthodesd'adaptationnon-nativemulti-aentsdériteplushautontétémisesaupoint etévaluéessurleorpusHIWIRE.Lesquatreaentsprésentsdanseorpussontutilisésande onstruiredesmodèles aoustiquesapablesdegéreresditsaents.Lesmodèles multi-aents sont ensuite utilisés an de tester la RAP non-native multi-aentuée sur le même orpus HI-WIRE.Bienentendu,lesdonnéesdeparolesurlaquelleesteetuéelaRAPn'est jamaisutilisée danslaphased'adaptation desmodèles. Ces méthodes deRAP non-native multi-aentuée ont ététestéessur desaentsqui ontétévus durant laphasede développement.

An de vérierla robustessede esméthodesmulti-aents, nousavonsévalué leurs perfor-manes vis-à-vis des aents inonnus. Nous nous somme proposer de vérier si es méthodes sontapablesdegérerdesaentsquel'onn'apasutilisé danslaphased'adaptationnon-native. End'autre termes,pourtesterdelaparolenon-native prononéesparunlouteurfrançais,nous utilisons des modèles multi-aentués adaptés uniquement aux aents gres, italiens et espa-gnols. Ces derniers modèles ont été mis au point sur la partie du orpus HIWIRE ayant été prononéepar leslouteurs gres,italiensetespagnolsuniquement. La paroleprononée par les louteurs français n'aurait étéutilisée à auuneétape de laonstrution de es modèles. Ainsi, les approhes d'adaptation aoustique et de modélisation de prononiation multi-aents sont testéessurdesaentsn'ayant jamaisétévus dansleurs phases dedéveloppement.

Cestestspermettentd'évaluerleomportementdenosapprohesvis-à-visdenouvellesfaçons deprononerquin'ontpasétéprisesenompte.Ilestintéressant devérierlarobustessedenos approhes multi-aents puisqu'il neserait paspossible de prendreen ompte tousles aents.

2.9 Conlusion

Dans e hapitre, nous avons présenté notre approhe pour la reonnaissane automatique de laparole non-native. Cette méthode se base surune modélisation de prononiation qui met à prot les systèmes de RAP des langues ible et native. Cette approhe est nouvelle dans le sensoù les modèles aoustiques utilisés pour représenter les aents non-natifssont lesmodèles de lalangue d'origine du louteur. De plus, pour haque phonème de la langue ible, plusieurs prononiations alternatives sont prises en ompte et haune est omposée d'une séquene de phonèmes.

Laseondeinnovationdenostravauxrésidedanslamanièredontlemodèledeprononiation estutilisé.Eneet,eiesteetuéparl'ajoutdenouveauxheminsdanslesmodèlesaoustiques de la langue ible. Ces hemins alternatifs orrespondent aux prononiations spéiques des louteurs non-natifs, et sont forméspar laonaténation des modèles aoustiques de phonèmes de lalangue native onformément au modèlede prononiation. L'utilisation des modèles HMM delalanguematernelle,supposésplusprohedel'aentnon-natif,devraitaméliorerlesrésultats dereonnaissane.

Nousavonségalementombinél'approhed'adaptation aoustiqueà lamodélisationde pro-noniation.LesméthodesMLLR,MAP,etré-estimation aoustique ontétéutiliséesan d'adap-terlesmodèlesaoustiques de lalangueible etde lalangue maternelleauxaentsnon-natifs. Nousavons utiliserles ontraintes graphémiques danslamodélisationde l'aent non-natif. Cettetâheaétémotivéeparlaonstatationqueleserreursdeprononiationdépendaientparfois del'ériture desmots.

D'autrespart, nousavonsprésentéune approhe dedétetion de lalangue maternellebasée surla détetion de séquenes phonétiques disriminantes. Cetteapprohe permettrait de déter-minerautomatiquement lalangue d'origined'un louteurétranger, et d'aiguillerlaRAP vers le systèmeadapté.

Enn, nous avons dérit nos approhes pour l'adaptation de modèles aoustiques à plu-sieurs aents simultanément. Nous avons présenté une méthode pour l'adaptation aoustique ainsi qu'une méthode de modélisation de prononiation multi-aent. Ces approhes prennent en ompte un ensemble d'aents étrangers simultanément dans un même système de RAP et permettent ainsides'aranhirdeladétetiondelalangued'origineainsiquede l'obligationde onstruire plusieurs systèmes deRAP (un pour haqueouple de langues ible/maternelle).

Danslehapitresuivant,nousallonsprésenterlesdiérentesexpérimentationsquenousavons réalisées. Nousallonsen outre omparerles résultatsobtenus ave lesdiérentesméthodes.

Expérimentations et résultats Sommaire 3.1 Conditionexpérimentales . . . . . . . . . . . . . . . . . . . . . . . . . 59 3.1.1 ProjetHIWIRE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 3.1.2 CorpusHIWIRE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 3.1.3 Lexiqueetgrammaire . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 3.1.4 NotresystèmedeRAP,paramètresetmodèlesaoustiques . . . . . . . 61 3.1.5 Protooledetest . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 3.1.6 Remarquesurl'utilisationdelatehniqueMLLR . . . . . . . . . . . . . 63 3.2 Évaluationdesapprohes lassiquesd'adaptationaoustiqueà

l'a-ent étranger . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 3.2.1 Évaluationsurleslouteursnon-natifs . . . . . . . . . . . . . . . . . . . 64 3.2.2 Évaluationsurleslouteursanglais. . . . . . . . . . . . . . . . . . . . . 65 3.2.3 Adaptationaoustiqueaulouteur . . . . . . . . . . . . . . . . . . . . . 66 3.3 Évaluationde notreapprohe de modélisationde prononiation . . 69 3.3.1 Systèmestestés . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 3.3.2 Testssurlaparolenon-native . . . . . . . . . . . . . . . . . . . . . . . . 70 3.3.3 Testssurlaparoleanglaise . . . . . . . . . . . . . . . . . . . . . . . . . 77 3.3.4 Conlusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 3.4 Détetionde la langue maternelle . . . . . . . . . . . . . . . . . . . . 83 3.4.1 Construtiondudéideurprobabiliste . . . . . . . . . . . . . . . . . . . 83 3.4.2 Exemplesdeséquenesdephonèmesdisriminantes . . . . . . . . . . . 84 3.4.3 Préisiondeladétetiondel'origine . . . . . . . . . . . . . . . . . . . . 84 3.4.4 Combinaisondeladétetiondel'origineaveunsystèmedeRAPadapté

àl'aent . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84 3.5 Approhes multi-aent. . . . . . . . . . . . . . . . . . . . . . . . . . . 86 3.5.1 Adaptationaoustiquemulti-aent . . . . . . . . . . . . . . . . . . . . 86 3.5.2 Modélisationdeprononiationmulti-aent . . . . . . . . . . . . . . . . 89 3.5.3 Robustesseàlaparoleanoniqueanglaise . . . . . . . . . . . . . . . . . 89 3.5.4 Robustesseauxaentsinonnus . . . . . . . . . . . . . . . . . . . . . . 91 3.6 Adjontion de ontraintes graphémiques . . . . . . . . . . . . . . . . 92 3.6.1 TestsdeRAPnon-nativeavelesontraintesgraphémiques . . . . . . . 95 3.7 Conlusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96

Glossaire :

RAP:reonnaissaneautomatique de laparole. langue ible:langue parléepar un louteur. langue d'origine :languematernelle d'unlouteur. WER:Word Error Rate,tauxd'erreurs en mots. SER:SentenseError Rate,taux d'erreurs enphrases.

systèmedeRAPdebase:systèmedeRAPutilisantlesmodèlesaoustiquesanoniques anglais. En omparant une approhe au système debase, on seréfère aux modèles aous-tiques anoniques anglais utilisés ave la même grammaire et, éventuellement, la même adaptationau louteur.

modélisation de prononiationintra-langue :une modélisationdeprononiation qui utilise uniquement les modèles aoustiquesde lalangue ible.

modélisation de prononiationinter-langue :une modélisationdeprononiation qui utilise les modèles aoustiques de la langue ible et les modèles aoustiques de la langue d'origine.

adaptation aoustique supervisée : adaptation des modèles aoustiques en utilisant un orpusde parole,en onnaissant lestransriptionsde e orpus.

adaptationaoustiquenon-supervisée:adaptation desmodèlesaoustiques en utilisant unorpus de parole,sansonnaître lestransriptions dee orpus.

TM :modèlesaoustiques anglaisadaptés àl'aent étranger par laméthodeMLLR. TP :modèles aoustiquesanglais adaptésà l'aent étranger par laméthode MAP. TR :modèles aoustiquesanglaisadaptés à l'aent étranger par ré-estimation.

NM :modèlesaoustiquesdelalanguematernelledulouteur,adaptésàl'aent étranger par laméthode MLLR.

NP :modèlesaoustiquesde lalanguematernelledulouteur,adaptésà l'aent étranger par laméthode MAP.

Mloc :adaptationaoustique MLLRau louteur detest. Ploc :adaptation aoustique MAP au louteur detest.

TP−M ulti : modèles aoustiques anglais adaptés à plusieurs aents étrangers par la mé-thodeMAP (multi-aent).

TR−M ulti : modèles aoustiques anglais adaptés à plusieurs aents étrangers par la mé-thoderé-estimation (multi-aent).

hemin d'états HMM:unhemin ommençant del'étatinitial duHMMetaboutissant àl'état nal, ensuivant les transitions entre lesétats du HMM.

Introdution

Danse hapitre, nousallonsdérirelesonditionsexpérimentalesdenotretravail,ainsique les méthodologies que nous avons adoptées. Tout d'abord, le projet HIWIRE, au sein duquel nosreherhes sesont déroulées, sera présenté. Nousdétailleront leorpus de parolenon-native qui a été utilisée pour nos expérimentations. Ensuite, nous nous intéresserons au lexique de l'appliation etleprotoolede test hoisi.

Dansunseondtemps,serontprésentéeslesévaluationsdesméthodeslassiquespour l'adap-tation aoustique à l'aent non-natif. Nousprésenterons les résultatsde notre méthode de

dé-tetionde lalangue maternelle ainsiqu'une disussion sures derniers. Nous dérirons ensuite les résultats de nos approhes de RAP multi-aents ainsi que de l'utilisation des ontraintes graphémiques.Enn, une brève onlusion ahèveralehapitre.

3.1 Condition expérimentales