6.3 Intégration d'une mesure de onane dans le moteur de reonnaissane
6.4.3 Protoole de test
Cesnouvellesmodalitésdénies,nousdevonsles évaluer parrapportauxélèvessourds selon
deuxritères:
l'améliorationde laompréhensibilité,
l'appréiationde esmodalités.
Le projet LABIAO a permis une évaluation de la ompréhensibilité d'une tête parlante ou
d'une transription synhronisée pour des étudiants sourds ou malentendants. Pour ette
éva-luation,les testssepassaient ainsi:lerésultatde lareonnaissane d'untexted'uneleçonétait
diusésoit ave la têteparlanteLPC soit ave la transription synhronisée. Puis,une série de
questions sur le ontenu de la leçon était posée an d'évaluer le niveau de ompréhension des
partiipants. Des questions d'appréiation étaient également posées an d'avoir un retour sur
leressenti despartiipantsvis-à-vis de l'utilisationd'une tête parlanteversus elle d'une
trans-riptionsynhronisée. Ce travail d'évaluation a étéréalisé notamment ave desélèves del'éole
d'orthophoniedeNany [Mourot 07℄.
Le protoole de test que nous avonsdéni s'inspire de elui utilisé pour le projet LABIAO
toutenseonentrantsurnotreobjetif:est-e-quelesmodalitésissuesdelamesuredeonane
peuvent aider?
Notre test se ompose de 4 textes , dits alibrés, assoiés à une série de questions
permet-tant d'évaluer le niveau de ompréhension du leteur. A l'origine, es textesont été dénis an
de onnaître le niveau de leture d'élèves à l'entrée en sixième. Les sujets abordés sont assez
vastes 3
: onte suédois [Lobrot70℄, histoire portant sur les 24 heures du Mans [Lobrot70℄, un
réitd'uneexpéditionenavion [Chevrier-Muller97℄ainsiqu'uneenquêtepoliièreautourduvol
d'unordinateur[Boutard 06℄.
Chaque texte a été lu et enregistré parune même personne à l'aide d'un miro-asque, en
intégrant une prosodie et des pauses semblables à elles renontrées pour des ours. Puis, es
enregistrement ont été.transrits par le système de reonnaissane de notre équipe : Julius en
mode fast, modèles aoustiques triphones, lexique et modèle linguistique assoiés aux modèles
triphones.Auune adaptation au louteur ou à l'environnement aoustique n'a été réalisée. Le
tauxde reonnaissanesur estextesest de 71,4%.
Pour haque texte transrit, nous avons alulé la onane de haque mot reonnu. Nous
avons hoisi d'utiliser la mesure de onane loale symétrique ave un voisinage 84 trames.
Cettemesure obtenaiten eet de bons résultatssur nosorpus de développement etde test et
néessiteseulement un délai de84 trames.
Selonlesvaleursdeonanealulées,nousdevonsdéidersiunmotestorretouinorret.
Nousutilisonsommeseuildedéision eluidutaux d'EERdéterminésurleorpusde
dévelop-pementpourettemesureandenefavorisernilesfaussesaeptationsnilesfauxrejets.Iln'est
ependant pas établi que e point de fontionnement soit optimal dans e adre appliatif. En
eet, l'exploration d'autres points de fontionnement basés sur des ritères pereptifs pourrait
êtremenée and'évaluer l'inuenedes faussesaeptationsetdesfauxrejetssurl'utilisateur.
Pourhaquetexte, nousavonsséletionnéunepartieoul'intégralitéde latransription(240
motsenmoyenne)etpréparéquatreàinqquestions.Lapremièrequestiononsisteàré-érireune
partieindiquée de latransription tellequ'elle aurait du être sila reonnaissane étaitparfaite
(60 mots en moyenne). Les autres questions portent sur des points préis du texte, des mots
qui ont été bien ou mal reonnus. Parallèlement, quatre questions subjetives d'appréiation,
de diulté sont posées pour haque texte. Enn, un questionnaire d'appréiation global, sur
l'ensembledestextes estproposé.
3
Nousnepouvonsfournirlestextesenintégralitépourdesraisonsdedroits
L'expérieneonsisteàprésentersuessivementlestransriptionsdesquatretextesaveleur
questionnaireassoiéà haque sujet,puisd'évaluerle niveau de ompréhensiondu leteur.
une première transriptionissue dusystèmede reonnaissane,ave ses erreursmaissans
auuneindiationde onaneou demots faux;
une deuxième transription présentée en inluant la nouvelle modalité de oloration des
mots defaible onane;
une troisième transription utilisant la oloration et la phonétisation simpliée des mots
defaible onane;
une quatrième transription utilisée omme orale, 'est-à-dire que les mots olorés sont
exatement lesmots inorrets, sansutiliser demesure deonane.
Les diérentes transriptions et modalités sont distribuées aléatoirement de sorte que tous
les sujetsn'aientpaslemêmetexte présentéave lamêmemodalité.
Dans notre expériene, letest esteetué par20sujets entendants arleonoursde sujets
sourds ou malentendants néessite les disponibilités de es sujets et des orthophonistes qui les
aompagnentande alibrerl'expériene. Lessujetsayantuniquement aèsàlatransription
éritesurunefeuille,lefaitd'êtreentendantounonnejoueauunrleàeniveau.Chaquesujet
doit traiter quatretextes, haunave une modalité diérente. Une durée limite de 15 minutes
par texte a été xée pour laisser le temps au sujet de lire la transription et de répondre aux
questions.A landes15minutes,latransription etlesréponses sontreprisesenéhangede la
transription suivante.
Voii un exemple de la transription présentée lorsque elle-i est diretement issuedu
sys-tème de reonnaissane:
lars abandonner sa vieille mère qui lui demander de travailler à la ferme ils
ontvoulu beauoup pare qu' elle nevoulait pas quemaître qui deviendrait quelqu'un
d' important enallant faire danser les villageois par les balles un jour dans
une forêt quilança au géniede luiso ledéléjoue du violon aussi bienque lui à
etinstantd'une jeunelleestapparuetquiestluilemandatdela faire danserlars
aeptaaordason violon ommença à jouer la jeune quelquepartplusarrêta
presque aussitt asquetu jourtelleçamanque d' enre quele musiienhoisi
unnerf plusvif le jeunelsétaittoujours passatisfaite este queje peuxdanser
surunairaussi l'ambitionditgare attaqueunairleplusamerquionnaît situe
n' est pas ontent de elui là dit il qu' il faudra faire venir un musiien plus habile
quemoi
Lemêmetextemaisenmettantenvaleurlesmotsinorretsseprésenteainsi(modeorale):
larsabandonnersavieillemèrequiluidemanderdetravaillerà laferme ils
ont voulu beauoup pare qu' elle nevoulait pas que maître qui deviendrait
quel-qu'un d' important en allant faire danser les villageois par les balles un
jour dans une forêt qui lança au génie de lui so le délé joue du violon
aussi bien quelui à et instantd' une jeunelle est apparu et qui est lui
le mandatde la faire danserlars aepta aordasonviolon ommença à jouer
lajeunequelquepartplusarrêtapresqueaussitt asquetujourtelleça
manque d'enre quelemusiienhoisi unnerf plusviflejeunels étaittoujours
pas satisfaite est e queje peux danser sur un air aussi l' ambition ditgare
attaque unair leplusamer qui onnaît situen'est pas ontent deelui là
dit il qu' il faudra faire venir unmusiien plushabile quemoi
La modalitéintégrant lamesurede onanepourepassagesetraduit ainsi:
lars abandonner sa vieille mère qui lui demander de travailler à la ferme
ils ont voulu beauoup pare qu' elle ne voulait pas que maître qui deviendrait
quelqu'un d' importantenallantfaire danserles villageois par les balles un
jour dans une forêt qui lança au génie de lui so le délé joue du violon
aussi bienquelui àetinstantd'une jeunelleestapparu etqui est luile
mandat de la faire danser lars aepta aorda son violon ommença à jouer
la jeunequelque partplusarrêtapresqueaussitt asquetu jourtelle ça
manque d' enre quelemusiienhoisiun nerf plusvif lejeunelsétaittoujours
passatisfaite este queje peuxdansersur unair aussi l' ambition dit gare
attaque un air le plus amer qui onnaît situe n' estpas ontent de elui là dit
il qu' il faudra faire venirun musiienplus habile quemoi
Enn,lamêmetransription intégrant laphonétisationdesmots de faible onane:
larsabandonnersav_y_ai_y_m_ai_r_k_iluid_e_m_an_d_éde
tra-vailler à l_a_f_ai_r_m ils ont voulu beauoup pare qu' elle ne v_ou_l_é
pas k_m_ai_t_r qui deviendraitquelqu'un d' in_p_o_r_t_an enallant faire
danser les villageois par les balles un jour dans une forêt k_i
lança au génie de l_u_i so le d_é_f_i_l_é_j_ou du violon aussi bien
que lui a et instant d une jeunelle éapparu et k_i_é_l_u_i_lmandat
de laf_ai_r_d_an_s_élars aepta a_k_o_r_d_a sonviolon ommença
à jouer l_a_j_eu_n_f_i_f_i_k_ai_l_k_e partplus arrêta presque
aussi-tt asque tu jour t ai_l_e_s_a manque d' an_k_r_e_k_e le musiien
hoisiin_n_ai_rplusvifl_ejeunef_i_létaittoujourspass_a_t_i_s_f_ai_t est
equejepeuxdansersurunairaussil_an_b_i_s_y_on_d_i_t_g_a_r_s_e
attaqueinairleplusamerquionnaît s_i_t_un'estpasontentdes_e_l_u_i_l_a
dit i_l qu' il faudra faire venirun musiienplus a_b_i_l que m_ou_a
Voii laversiond'origine quia étéprononé :
Larsa abandonnésavieillemère quiluidemandait detravailler à laferme.Il lui
en voulait beauoup pare qu'elle ne voulait pas admettre qu'il deviendrait quelqu'un
d'important en allant faire danser les villageois dans les bals. Un jour, dans une
fo-rêt, il lança au génie des ruisseaux le dé de jouer du violon aussi bien que lui. A
et instant, une jeune lle apparut et lui demanda de la faire danser. Lars aepta,
aorda son violon, ommença à jouer; la jeune lle t quelques pas, mais s'arrêta
presqueaussitt. Qu'est-e quetu joues? t-elle. Ça manque d'entrain. Le
musi-ien hoisit unair plus vif, mais la jeunelle n'étaittoujours pas satisfaite. Est-e
que je peuxdanser, surun airaussi languissant? dit-elle. Lars attaqual'air leplus
alerte qu'il onnût . Si tu n'es pas ontente de elui-là, dit-il, il faudra faire venir
un musiien plushabile quemoi.
Pourhaquetest ethaquemodalité,nousavonsévaluélaquestiononernantlaré-ériture
d'une partie de la transription en alulant le taux d'erreur en mot (taux d'insertion,
omis-sion,substitution) en ne tenant pasompte desfautes d'orthographe oude grammaire anque
haque sujet ne soit pas pénalisé parson niveau de français. Cette approximation n'est pasun
problèmearnousvoulonstesterlaompréhensionetetype defautegènegénéralementpeu la
ompréhension.
Le tableau 6.5 présente les résultats en taux d'erreur en mots obtenus par texte et par
modalité.Nouspouvonsremarquerquesansauuneindiations,lessujetssontàmêmedeorriger
des erreurs dans le texte et don diminuer le taux d'erreur de départ des transriptions. C'est
par rapport à e taux obtenu pas les sujets sur la transription issue de la reonnaissane que
nousbasons nosomparaisons.Notons également queles passageshoisis pourlaré-ériture ne
sont paségaux endiultésave pourertainsdestauxd'erreur biensupérieurà eluidu texte
danssonintégralité.
Si nous analysons plus préisément les résultats du tableau, nous pouvons remarquer les
indiations, quelque soit leur origine et leur forme (orale, onane, phonétique), permettent
de diminuerletaux d'erreurenmots de haque partiede texteséletionnée.Laméthodeorale,
indiquantexatementlesmotsfauxdelatransription,obtientdans3assur4destauxd'erreur
plus faible. Par ontre, la méthode proposant une phonétisation simpliée des mots de faible
onane obtient quant-àelle unplus faible tauxd'erreur dans3assur 4.
Bien que le faible nombre de sujets par texte et modalité (5) ne permettent pas de dire
que les taux observés sont signiatifs, nous ne pouvons que remarquer la tendane qu'ont les
méthodes apportant une information de onane à aider à diminuer le taux d'erreur en mots
de latransription d'origine parrapport laprésened'auune aide.
Tab. 6.5 Tauxd'erreur en mots sur les parties retransrites des textes suivant les diérentes
modalités.
texte départ auune onane orale phonétique
LeMans 18,8% 11,0% 10,4% 9,0% 7,5%
Contesuédois 31,3% 11,6% 11,1% 16,4% 10,6%
Premièreexpédition 43,9% 40,4% 27,4% 36,1% 29,1%
VolduPC 20,5% 17,4% 16,4% 12,3% 14,9%
Deplus,selonlesréponsesdonnéesparlessujetsauxquestionssubjetivesd'appréiation,la
transription phonétique sembleplus aider à orriger les textes etdon les omprendre que les
transriptionsave olorationdesmotsdefaibleonane.Eneet,beauoupdesujetindiquent
que les mots entier érits en ouleurs ont tendane à les laisser roireque les autres mots sont
justes.Deplus,les motsen ouleuront égalementtendane àorienterl'esprit surunereherhe
de substitution plus prohe en sens ou de même raine, alors que la transription phonétique
laisse plus de liberté à reherher des sons phonétiquement prohes. Toutefois, le fait que les
sujets ont préféré la modalité utilisant la phonétique doit être validé ave de vraies personnes
sourdesoumalentendantesarlessujetsentendantsn'ont sansdoutepaslemêmerapportàune
mémoirephonétique quedesgensn'ayant jamaisentendus.
Les questionsd'appréiationssont donnéesen annexe A.4.
Conernantlesquestions,nousavonsattribuédespointsselonlenombredebonnesréponses
trouvéespuis,nousavonsnormalisélessoresand'obtenirunevaleurentre0et1.Pluslesore
estprohede1etmieuxlessujetsontréponduauxquestions.Letableau6.6montrelesrésultats
obtenusauxquestionnairesde ompréhension.Malheureusementesrésultatsnepermettentpas
de onlure sur un eet ou non de l'introdution d'une notion de onane pour les réponses
aux questions. Une analyse plus approfondie montre que pour la plupart des questions, soit
toutle monde a trouvé,soit personne n'a trouvé. Dans quelquesas, ertains sujet trouve une
réponse mais ela représente un ou deux sujet sur les 20 du test. Ainsi, les questions portant
préisémentsurdesmotsbienoumalreonnusnesontpasunmoyendedistingueruneinuene
desmesuresde onaneou toutautreaide àlaompréhension.Il estnéessaired'explorer une
autreméthode ouseonentrer surlaré-éritured'unepartiedutextepourpouvoirévaluerdes
travauxsimilaires.
Tab. 6.6 Tauxde réponseauxquestionsdes textesselon les diérentesmodalités.
texte auune onane orale phonétique
LeMans 0,9 0,9 0,9 1,0
Contesuédois 0,9 0,7 0,9 0,8
Premièreexpédition 0,7 0,6 0,6 0,7
Vol duPC 0,3 0,5 0,5 0,3
6.5 Conlusion
Dans e hapitre, nous avonsévalué la faisabilité etl'intérêt desmesures de onane pour
troisappliations:
ladiminutiondu tauxde faussesalarmes dansleasde ladétetionde mots lés,
la diminution du taux d'erreur en mots d'un système de reonnaissane par l'intégration
d'une mesurede onanedansleproessusde déodage,
l'amélioration de la ompréhensibilité par la mise en valeur de mots de faible onane,
notamment parleurphonétisation.
Bien queesexpérienes soientdesétudes de faisabilité,lesobservationsfaitessont
promet-teusesàtous pointsde vue.
Pourlatâhe de détetionde mots lés, lamesurede onanepermetde rejeterlatotalité
desfaussesalarmesaveunediminutiondeseulement10%dunombredevraiesalarmesrestantes
sur le orpus de développement. Sur le orpus de test, les résultats obtenus sont diérents, e
quilaisse penser quelaliste desmots lés n'estsansdoutepasassez importante.
L'intégration d'une mesurede onane trame-synhrone dans leproessus de déodage du
moteur de reonnaissane a permis de diminuer le taux d'erreur en mots du système, que e
soit en n de première passe (diminution de 4%en relatif) ou à lan du proessus omplet de
reonnaissane(diminutionde 6%en relatif).
Enn, dansun asonret d'aide auxpersonnes sourdeset malentendantes,les mesures de
onaneont montréqu'elles pouvaient améliorer laompréhensibilitéd'unetransription issue
d'unsystèmede reonnaissaneen mettant envaleur lesmots de faible onane.
Au ours de ette étude, nous avons étudié la problématique des mesures de onane en
reonnaissaneautomatique grandvoabulaire de laparole enuxontinu.
Nousnoussommesprinipalement intéressésàtroisappliationsdanse ontexte:la
déte-tionde motslés,l'intégrationd'unemesuredeonanedanslemoteurdereonnaissaneetla
transriptionde ours ensalle delasse.
La mesure de onane peut être utilisée de multiples façons en post-traitement : mise en
valeur desmotsde faible onane,intégrationdanslaphasede déodagedusystèmede
reon-naissane.Par exemple, dans une appliationde transription, les erreurs ainsi mises en valeur
pourrontaider à leurorretionmanuellesans néessiterde traiter l'intégralitédutexte.
Les appliations que nous visons impliquent des ontraintes sur le alul des mesures de
onane : elles ne peuvent utiliser que des données disponibles à l'instant de traitement du
moteurdereonnaissane.
Nousavonsainsidénides mesuresde onanetrame-synhrones etloales:
les mesures trame-synhrones peuvent être alulées exatement à la mêmetrame que le
proessusde déodageetn'utilisent quelevoisinage passédu motanalysé.
les mesuresloalesn'utilisent quedesinformationslimitées à unvoisinage,passé etfutur,
du motdont nousvoulons estimerlaonane.
Nous avons hoisi de fonder es mesures soit sur un rapport de vraisemblane, soit sur une
estimationde laprobabilitéa posteriori.
Les données néessaires au alul de es deux types de mesure de onane sont extraites
dugraphe de mots quele moteurde reonnaissane génère pendant la phasede déodagede la
phrase.
Les mesures de onane trame-synhrones, fondées sur un rapport de vraisemblane, se
distinguent prinipalement par le degré du modèle de langage utilisé pour prendre en ompte
le ontexte passé du mot analysé : unigramme, bigramme et trigramme. Nous avons déni,
prinipalement pour la mesure bigramme, quelques variantes onernant la gestion des mots
onurrents (maximisation, sommation), la séletion des mots préédents (temporels direts,
Viterbi, ltrage
n
-meilleures phrases) mais aussi l'homogénéisation des valeurs de onane, l'utilisationde laprobabilitébigrammeinverse oul'utilisationdelaprobabilitébigrammeseule.Les mesures de onane loales estiment la probabilité a posteriori d'un mot uniquement
à partir du sous-graphe de mots assoié à un voisinage du mot analysé. Ces mesures n'ont à
leur disposition que des informations sur un voisinage qui ouvre de façon limitée à la fois le
passé et le futur du mot analysé. Nous avons déni des mesures à voisinage symétrique : le
voisinage de part et d'autre du mot analysé est de même taille (en trames); et des mesures
à voisinage asymétrique : les deux voisinages passé etfutur sont dénis indépendamment. Les
mesuresasymétriquespermettentd'augmenterlaportéedesinformationspasséesand'améliorer
lapertinene desmesures,sansaugmenterle voisinagefutur.
En plus de nosmesures de onane,nous avons hoisi une mesure de référene fondée sur
l'estimation de laprobabilitéa posterioriparlaméthode proposéeparWessel etal.[Wessel 01℄
maisdont lealulnéessiteledéodagede l'intégralitéde laphrase.
maisdont lealulnéessiteledéodagede l'intégralitéde laphrase.