6.3 Intégration d'une mesure de onane dans le moteur de reonnaissane
6.4.3 Protoole de test
Cesnouvellesmodalitésdénies,nousdevonsles évaluer parrapportauxélèvessourds selon deuxritères:
l'améliorationde laompréhensibilité, l'appréiationde esmodalités.
Le projet LABIAO a permis une évaluation de la ompréhensibilité d'une tête parlante ou d'une transription synhronisée pour des étudiants sourds ou malentendants. Pour ette éva-luation,les testssepassaient ainsi:lerésultatde lareonnaissane d'untexted'uneleçonétait diusésoit ave la têteparlanteLPC soit ave la transription synhronisée. Puis,une série de questions sur le ontenu de la leçon était posée an d'évaluer le niveau de ompréhension des partiipants. Des questions d'appréiation étaient également posées an d'avoir un retour sur leressenti despartiipantsvis-à-vis de l'utilisationd'une tête parlanteversus elle d'une trans-riptionsynhronisée. Ce travail d'évaluation a étéréalisé notamment ave desélèves del'éole d'orthophoniedeNany [Mourot 07℄.
Le protoole de test que nous avonsdéni s'inspire de elui utilisé pour le projet LABIAO toutenseonentrantsurnotreobjetif:est-e-quelesmodalitésissuesdelamesuredeonane peuvent aider?
Notre test se ompose de 4 textes , dits alibrés, assoiés à une série de questions permet-tant d'évaluer le niveau de ompréhension du leteur. A l'origine, es textesont été dénis an de onnaître le niveau de leture d'élèves à l'entrée en sixième. Les sujets abordés sont assez vastes
3
: onte suédois [Lobrot70℄, histoire portant sur les 24 heures du Mans [Lobrot70℄, un réitd'uneexpéditionenavion [Chevrier-Muller97℄ainsiqu'uneenquêtepoliièreautourduvol d'unordinateur[Boutard 06℄.
Chaque texte a été lu et enregistré parune même personne à l'aide d'un miro-asque, en intégrant une prosodie et des pauses semblables à elles renontrées pour des ours. Puis, es enregistrement ont été.transrits par le système de reonnaissane de notre équipe : Julius en mode fast, modèles aoustiques triphones, lexique et modèle linguistique assoiés aux modèles triphones.Auune adaptation au louteur ou à l'environnement aoustique n'a été réalisée. Le tauxde reonnaissanesur estextesest de 71,4%.
Pour haque texte transrit, nous avons alulé la onane de haque mot reonnu. Nous avons hoisi d'utiliser la mesure de onane loale symétrique ave un voisinage 84 trames. Cettemesure obtenaiten eet de bons résultatssur nosorpus de développement etde test et néessiteseulement un délai de84 trames.
Selonlesvaleursdeonanealulées,nousdevonsdéidersiunmotestorretouinorret. Nousutilisonsommeseuildedéision eluidutaux d'EERdéterminésurleorpusde dévelop-pementpourettemesureandenefavorisernilesfaussesaeptationsnilesfauxrejets.Iln'est ependant pas établi que e point de fontionnement soit optimal dans e adre appliatif. En eet, l'exploration d'autres points de fontionnement basés sur des ritères pereptifs pourrait êtremenée and'évaluer l'inuenedes faussesaeptationsetdesfauxrejetssurl'utilisateur.
Pourhaquetexte, nousavonsséletionnéunepartieoul'intégralitéde latransription(240 motsenmoyenne)etpréparéquatreàinqquestions.Lapremièrequestiononsisteàré-érireune partieindiquée de latransription tellequ'elle aurait du être sila reonnaissane étaitparfaite (60 mots en moyenne). Les autres questions portent sur des points préis du texte, des mots qui ont été bien ou mal reonnus. Parallèlement, quatre questions subjetives d'appréiation, de diulté sont posées pour haque texte. Enn, un questionnaire d'appréiation global, sur l'ensembledestextes estproposé.
3
L'expérieneonsisteàprésentersuessivementlestransriptionsdesquatretextesaveleur questionnaireassoiéà haque sujet,puisd'évaluerle niveau de ompréhensiondu leteur.
une première transriptionissue dusystèmede reonnaissane,ave ses erreursmaissans auuneindiationde onaneou demots faux;
une deuxième transription présentée en inluant la nouvelle modalité de oloration des mots defaible onane;
une troisième transription utilisant la oloration et la phonétisation simpliée des mots defaible onane;
une quatrième transription utilisée omme orale, 'est-à-dire que les mots olorés sont exatement lesmots inorrets, sansutiliser demesure deonane.
Les diérentes transriptions et modalités sont distribuées aléatoirement de sorte que tous les sujetsn'aientpaslemêmetexte présentéave lamêmemodalité.
Dans notre expériene, letest esteetué par20sujets entendants arleonoursde sujets sourds ou malentendants néessite les disponibilités de es sujets et des orthophonistes qui les aompagnentande alibrerl'expériene. Lessujetsayantuniquement aèsàlatransription éritesurunefeuille,lefaitd'êtreentendantounonnejoueauunrleàeniveau.Chaquesujet doit traiter quatretextes, haunave une modalité diérente. Une durée limite de 15 minutes par texte a été xée pour laisser le temps au sujet de lire la transription et de répondre aux questions.A landes15minutes,latransription etlesréponses sontreprisesenéhangede la transription suivante.
Voii un exemple de la transription présentée lorsque elle-i est diretement issuedu sys-tème de reonnaissane:
lars abandonner sa vieille mère qui lui demander de travailler à la ferme ils ontvoulu beauoup pare qu' elle nevoulait pas quemaître qui deviendrait quelqu'un d' important enallant faire danser les villageois par les balles un jour dans une forêt quilança au géniede luiso ledéléjoue du violon aussi bienque lui à etinstantd'une jeunelleestapparuetquiestluilemandatdela faire danserlars aeptaaordason violon ommença à jouer la jeune quelquepartplusarrêta presque aussitt asquetu jourtelleçamanque d' enre quele musiienhoisi unnerf plusvif le jeunelsétaittoujours passatisfaite este queje peuxdanser surunairaussi l'ambitionditgare attaqueunairleplusamerquionnaît situe n' est pas ontent de elui là dit il qu' il faudra faire venir un musiien plus habile quemoi
Lemêmetextemaisenmettantenvaleurlesmotsinorretsseprésenteainsi(modeorale):
larsabandonnersavieillemèrequiluidemanderdetravaillerà laferme ils ont voulu beauoup pare qu' elle nevoulait pas que maître qui deviendrait quel-qu'un d' important en allant faire danser les villageois par les balles un jour dans une forêt qui lança au génie de lui so le délé joue du violon aussi bien quelui à et instantd' une jeunelle est apparu et qui est lui le mandatde la faire danserlars aepta aordasonviolon ommença à jouer lajeunequelquepartplusarrêtapresqueaussitt asquetujourtelleça manque d'enre quelemusiienhoisi unnerf plusviflejeunels étaittoujours pas satisfaite est e queje peux danser sur un air aussi l' ambition ditgare
attaque unair leplusamer qui onnaît situen'est pas ontent deelui là dit il qu' il faudra faire venir unmusiien plushabile quemoi
La modalitéintégrant lamesurede onanepourepassagesetraduit ainsi:
lars abandonner sa vieille mère qui lui demander de travailler à la ferme ils ont voulu beauoup pare qu' elle ne voulait pas que maître qui deviendrait quelqu'un d' importantenallantfaire danserles villageois par les balles un jour dans une forêt qui lança au génie de lui so le délé joue du violon aussi bienquelui àetinstantd'une jeunelleestapparu etqui est luile mandat de la faire danser lars aepta aorda son violon ommença à jouer la jeunequelque partplusarrêtapresqueaussitt asquetu jourtelle ça manque d' enre quelemusiienhoisiun nerf plusvif lejeunelsétaittoujours passatisfaite este queje peuxdansersur unair aussi l' ambition dit gare attaque un air le plus amer qui onnaît situe n' estpas ontent de elui là dit il qu' il faudra faire venirun musiienplus habile quemoi
Enn,lamêmetransription intégrant laphonétisationdesmots de faible onane:
larsabandonnersav_y_ai_y_m_ai_r_k_iluid_e_m_an_d_éde tra-vailler à l_a_f_ai_r_m ils ont voulu beauoup pare qu' elle ne v_ou_l_é pas k_m_ai_t_r qui deviendraitquelqu'un d' in_p_o_r_t_an enallant faire danser les villageois par les balles un jour dans une forêt k_i lança au génie de l_u_i so le d_é_f_i_l_é_j_ou du violon aussi bien que lui a et instant d une jeunelle éapparu et k_i_é_l_u_i_lmandat de laf_ai_r_d_an_s_élars aepta a_k_o_r_d_a sonviolon ommença à jouer l_a_j_eu_n_f_i_f_i_k_ai_l_k_e partplus arrêta presque aussi-tt asque tu jour t ai_l_e_s_a manque d' an_k_r_e_k_e le musiien hoisiin_n_ai_rplusvifl_ejeunef_i_létaittoujourspass_a_t_i_s_f_ai_t est equejepeuxdansersurunairaussil_an_b_i_s_y_on_d_i_t_g_a_r_s_e attaqueinairleplusamerquionnaît s_i_t_un'estpasontentdes_e_l_u_i_l_a dit i_l qu' il faudra faire venirun musiienplus a_b_i_l que m_ou_a
Voii laversiond'origine quia étéprononé :
Larsa abandonnésavieillemère quiluidemandait detravailler à laferme.Il lui en voulait beauoup pare qu'elle ne voulait pas admettre qu'il deviendrait quelqu'un d'important en allant faire danser les villageois dans les bals. Un jour, dans une fo-rêt, il lança au génie des ruisseaux le dé de jouer du violon aussi bien que lui. A et instant, une jeune lle apparut et lui demanda de la faire danser. Lars aepta, aorda son violon, ommença à jouer; la jeune lle t quelques pas, mais s'arrêta presqueaussitt. Qu'est-e quetu joues? t-elle. Ça manque d'entrain. Le musi-ien hoisit unair plus vif, mais la jeunelle n'étaittoujours pas satisfaite. Est-e que je peuxdanser, surun airaussi languissant? dit-elle. Lars attaqual'air leplus alerte qu'il onnût . Si tu n'es pas ontente de elui-là, dit-il, il faudra faire venir un musiien plushabile quemoi.
Pourhaquetest ethaquemodalité,nousavonsévaluélaquestiononernantlaré-ériture d'une partie de la transription en alulant le taux d'erreur en mot (taux d'insertion, omis-sion,substitution) en ne tenant pasompte desfautes d'orthographe oude grammaire anque haque sujet ne soit pas pénalisé parson niveau de français. Cette approximation n'est pasun problèmearnousvoulonstesterlaompréhensionetetype defautegènegénéralementpeu la ompréhension.
Le tableau 6.5 présente les résultats en taux d'erreur en mots obtenus par texte et par modalité.Nouspouvonsremarquerquesansauuneindiations,lessujetssontàmêmedeorriger des erreurs dans le texte et don diminuer le taux d'erreur de départ des transriptions. C'est par rapport à e taux obtenu pas les sujets sur la transription issue de la reonnaissane que nousbasons nosomparaisons.Notons également queles passageshoisis pourlaré-ériture ne sont paségaux endiultésave pourertainsdestauxd'erreur biensupérieurà eluidu texte danssonintégralité.
Si nous analysons plus préisément les résultats du tableau, nous pouvons remarquer les indiations, quelque soit leur origine et leur forme (orale, onane, phonétique), permettent de diminuerletaux d'erreurenmots de haque partiede texteséletionnée.Laméthodeorale, indiquantexatementlesmotsfauxdelatransription,obtientdans3assur4destauxd'erreur plus faible. Par ontre, la méthode proposant une phonétisation simpliée des mots de faible onane obtient quant-àelle unplus faible tauxd'erreur dans3assur 4.
Bien que le faible nombre de sujets par texte et modalité (5) ne permettent pas de dire que les taux observés sont signiatifs, nous ne pouvons que remarquer la tendane qu'ont les méthodes apportant une information de onane à aider à diminuer le taux d'erreur en mots de latransription d'origine parrapport laprésened'auune aide.
Tab. 6.5 Tauxd'erreur en mots sur les parties retransrites des textes suivant les diérentes modalités.
texte départ auune onane orale phonétique LeMans 18,8% 11,0% 10,4% 9,0% 7,5% Contesuédois 31,3% 11,6% 11,1% 16,4% 10,6% Premièreexpédition 43,9% 40,4% 27,4% 36,1% 29,1% VolduPC 20,5% 17,4% 16,4% 12,3% 14,9%
Deplus,selonlesréponsesdonnéesparlessujetsauxquestionssubjetivesd'appréiation,la transription phonétique sembleplus aider à orriger les textes etdon les omprendre que les transriptionsave olorationdesmotsdefaibleonane.Eneet,beauoupdesujetindiquent que les mots entier érits en ouleurs ont tendane à les laisser roireque les autres mots sont justes.Deplus,les motsen ouleuront égalementtendane àorienterl'esprit surunereherhe de substitution plus prohe en sens ou de même raine, alors que la transription phonétique laisse plus de liberté à reherher des sons phonétiquement prohes. Toutefois, le fait que les sujets ont préféré la modalité utilisant la phonétique doit être validé ave de vraies personnes sourdesoumalentendantesarlessujetsentendantsn'ont sansdoutepaslemêmerapportàune mémoirephonétique quedesgensn'ayant jamaisentendus.
Les questionsd'appréiationssont donnéesen annexe A.4.
Conernantlesquestions,nousavonsattribuédespointsselonlenombredebonnesréponses trouvéespuis,nousavonsnormalisélessoresand'obtenirunevaleurentre0et1.Pluslesore
estprohede1etmieuxlessujetsontréponduauxquestions.Letableau6.6montrelesrésultats obtenusauxquestionnairesde ompréhension.Malheureusementesrésultatsnepermettentpas de onlure sur un eet ou non de l'introdution d'une notion de onane pour les réponses aux questions. Une analyse plus approfondie montre que pour la plupart des questions, soit toutle monde a trouvé,soit personne n'a trouvé. Dans quelquesas, ertains sujet trouve une réponse mais ela représente un ou deux sujet sur les 20 du test. Ainsi, les questions portant préisémentsurdesmotsbienoumalreonnusnesontpasunmoyendedistingueruneinuene desmesuresde onaneou toutautreaide àlaompréhension.Il estnéessaired'explorer une autreméthode ouseonentrer surlaré-éritured'unepartiedutextepourpouvoirévaluerdes travauxsimilaires.
Tab. 6.6 Tauxde réponseauxquestionsdes textesselon les diérentesmodalités.
texte auune onane orale phonétique
LeMans 0,9 0,9 0,9 1,0
Contesuédois 0,9 0,7 0,9 0,8 Premièreexpédition 0,7 0,6 0,6 0,7 Vol duPC 0,3 0,5 0,5 0,3
6.5 Conlusion
Dans e hapitre, nous avonsévalué la faisabilité etl'intérêt desmesures de onane pour troisappliations:
ladiminutiondu tauxde faussesalarmes dansleasde ladétetionde mots lés,
la diminution du taux d'erreur en mots d'un système de reonnaissane par l'intégration d'une mesurede onanedansleproessusde déodage,
l'amélioration de la ompréhensibilité par la mise en valeur de mots de faible onane, notamment parleurphonétisation.
Bien queesexpérienes soientdesétudes de faisabilité,lesobservationsfaitessont promet-teusesàtous pointsde vue.
Pourlatâhe de détetionde mots lés, lamesurede onanepermetde rejeterlatotalité desfaussesalarmesaveunediminutiondeseulement10%dunombredevraiesalarmesrestantes sur le orpus de développement. Sur le orpus de test, les résultats obtenus sont diérents, e quilaisse penser quelaliste desmots lés n'estsansdoutepasassez importante.
L'intégration d'une mesurede onane trame-synhrone dans leproessus de déodage du moteur de reonnaissane a permis de diminuer le taux d'erreur en mots du système, que e soit en n de première passe (diminution de 4%en relatif) ou à lan du proessus omplet de reonnaissane(diminutionde 6%en relatif).
Enn, dansun asonret d'aide auxpersonnes sourdeset malentendantes,les mesures de onaneont montréqu'elles pouvaient améliorer laompréhensibilitéd'unetransription issue d'unsystèmede reonnaissaneen mettant envaleur lesmots de faible onane.
Au ours de ette étude, nous avons étudié la problématique des mesures de onane en reonnaissaneautomatique grandvoabulaire de laparole enuxontinu.
Nousnoussommesprinipalement intéressésàtroisappliationsdanse ontexte:la déte-tionde motslés,l'intégrationd'unemesuredeonanedanslemoteurdereonnaissaneetla transriptionde ours ensalle delasse.
La mesure de onane peut être utilisée de multiples façons en post-traitement : mise en valeur desmotsde faible onane,intégrationdanslaphasede déodagedusystèmede reon-naissane.Par exemple, dans une appliationde transription, les erreurs ainsi mises en valeur pourrontaider à leurorretionmanuellesans néessiterde traiter l'intégralitédutexte.
Les appliations que nous visons impliquent des ontraintes sur le alul des mesures de onane : elles ne peuvent utiliser que des données disponibles à l'instant de traitement du moteurdereonnaissane.
Nousavonsainsidénides mesuresde onanetrame-synhrones etloales:
les mesures trame-synhrones peuvent être alulées exatement à la mêmetrame que le proessusde déodageetn'utilisent quelevoisinage passédu motanalysé.
les mesuresloalesn'utilisent quedesinformationslimitées à unvoisinage,passé etfutur, du motdont nousvoulons estimerlaonane.
Nous avons hoisi de fonder es mesures soit sur un rapport de vraisemblane, soit sur une estimationde laprobabilitéa posteriori.
Les données néessaires au alul de es deux types de mesure de onane sont extraites dugraphe de mots quele moteurde reonnaissane génère pendant la phasede déodagede la phrase.
Les mesures de onane trame-synhrones, fondées sur un rapport de vraisemblane, se distinguent prinipalement par le degré du modèle de langage utilisé pour prendre en ompte le ontexte passé du mot analysé : unigramme, bigramme et trigramme. Nous avons déni, prinipalement pour la mesure bigramme, quelques variantes onernant la gestion des mots onurrents (maximisation, sommation), la séletion des mots préédents (temporels direts, Viterbi, ltrage
n
-meilleures phrases) mais aussi l'homogénéisation des valeurs de onane, l'utilisationde laprobabilitébigrammeinverse oul'utilisationdelaprobabilitébigrammeseule. Les mesures de onane loales estiment la probabilité a posteriori d'un mot uniquement à partir du sous-graphe de mots assoié à un voisinage du mot analysé. Ces mesures n'ont à leur disposition que des informations sur un voisinage qui ouvre de façon limitée à la fois le passé et le futur du mot analysé. Nous avons déni des mesures à voisinage symétrique : le voisinage de part et d'autre du mot analysé est de même taille (en trames); et des mesures à voisinage asymétrique : les deux voisinages passé etfutur sont dénis indépendamment. Les mesuresasymétriquespermettentd'augmenterlaportéedesinformationspasséesand'améliorer lapertinene desmesures,sansaugmenterle voisinagefutur.l'estimation de laprobabilitéa posterioriparlaméthode proposéeparWessel etal.[Wessel 01℄ maisdont lealulnéessiteledéodagede l'intégralitéde laphrase.