Complexité de nos mesures de onane - Mesure de confiance trame-synchrones et locales en reconna

Nousallonsanalyser laomplexité de nosmesuresde onane.Soient:

N

,lenombremoyen demots seterminant àune trame

t

dans legraphe,

T

,lenombredetrames àtraiter,

V

,lataille en tramesdu voisinage dumotanalysé dansleasdes mesuresloales,

D

,ladurée moyenneen tramed'unmot.

3.5.1 Mesures trame-synhrones

Que nousonsidérions les gestions des ourrenes multiplespar maximisation ou par som-mation, lemême paroursdu graphe de mots doit être eetué an de onstruirel'ensemble

E

_Eb

. La onstrution de es ensembles néessite l'analyse d'un nombrede trames en fontion du fateur de relâhement

ε

utilisé. La omplexité de ette onstrution est ainsi en

O(εDN)

, 'est-à-dire

O(N)

Une foises ensemblesdéterminés, lealuldes mesuresde onanepeuts'eetuer. Pourlamesureunigrammeauuneautreopérationimportanten'estnéessairepouraluler lavaleur deonaned'unmot.Laomplexité delamesureunigrammeestdon en

O(N)

pour unmot.Laomplexitéobtenuepourlealuldelavaleurdeonanedetouslesmotsdugraphe esten

O(T N

)

arilya enmoyenne

T N

mots danslegraphe.

Conernant la mesure bigramme, dans le pire as nous devons parourir pour haque mot

[w

^′

, τ

^′

, t

^′

]

E

tous les mots

[w

_p^′

, τ

_p^′

, t

^′_p

]

du graphe tels que

t

^′_p

= τ − 1

an de aluler les probabilitésbigrammes. L'ensemble

E

ontient au pire

N

éléments, maisilest plusraisonnable de onsidérerque

E

ontient

kN

éléments ave

k < 1

.Le alulde lamesure pour un mot est don de omplexité

O(kN

)

etpour lealul surtous les mots du graphe, la omplexité est en

O(kT N

)

,ave

k <1

Pourlamesuretrigramme,une profondeur de reherhesupplémentaireest dénie augmen-tant ainsi la omplexité pour un mot en

O(kN

)

et don pour tous les mots du graphe en

O(kT N

⁴

)

ave

k <1

3.5.2 Mesures loales

Nos mesures de onane loales néessitent pourêtre alulées l'estimation par réurrene desprobabilités forward etbakward

Φ

Ψ

(f. setion 3.3). Pour un mot analysé

[w, τ, t]

,es probabilités ne dépendant que desmots

[w

, τ

, t

]

tels que

t

= τ −1

, laomplexité de alul

d'uneitérationest

O(N)

.Maisommenousdevonsaluler

Φ

Ψ

pourtousles mots du sous-grapheassoiéau voisinage dela mesureloale,laomplexité totaledu alulde

Φ([w, τ, t])

,et de

Ψ([w, τ, t])

,esten

O(V N

)

.Oresdeuxquantitésdoiventêtreévaluéesetdon laomplexité après esétapesest

O(2V N

)

Toutefois, pouraluler la probabilité a posteriorid'un mot

[w, τ, t]

nousdevonségalement estimer laprobabilité

P(o

)

qui est la somme des probabilités forward desmots dont l'instant de norrespond à landu voisinage.Cetteopérationesten

O(N)

Ainsi,lealuldelavaleurdeonaned'unmotesten

O(2V N

)

.Delamêmefaçonquepour lesmesures trame-synhrones,ilyaen moyenne

T N

mots danslegraphe etdon laomplexité de alulde touslesmots est en

O(2T V N

)

Si nous onsidérons la mesure loale ave un voisinage passé qui prend en ompte tous les mots depuis le début de la phrase, il est possible de diminuer la omplexité de alul de ette mesure. En eet,les probabilités forward peuvent être onservéesd'un motanalysé à un autre. Ainsi

N

opérationssusent pouraluleresprobabilitéspourunmotanalyséetnon

V N

².La omplexitédu alulde lamesuredevient alors

O(V N

)

pourunmotet

O(T V N

)

pourtoutle graphe.

Une estimation desquantitésmisesen jeudansesomplexitésseradonnéedanslehapitre suivant, unefois nosonditions expérimentalesintroduites.

3.6 Conlusion

Dans e hapitre,nousavonsprésentélesmesures de onaneque nousavonsintroduites. Nous avons déni des mesures de onane fondées sur un rapport de vraisemblane entre l'hypothèseàtesteretlesmots onurrentsde ettehypothèse.Cesmesures ont pourprinipale aratéristique de pouvoir être alulées de manière trame-synhrone, 'est-à-dire au fur et à mesure de laprogression du déodage de la phrase par le moteur de reonnaissane.Cette a-ratéristique permet de les intégrerdansle proessusde déodagean d'inuer surle alulde lavraisemblane delasolutiontrouvée parlesystème.D'autres mesuresfondéessurun rapport de vraisemblane ont été déniesdans l'état de l'art, maiselles-i ne pouvaient gérer leadre d'unsystèmegrandvoabulaire,ontrairementà nosmesures.

La probabilité a posteriori d'unmotest présentéeommeune valeur pertinenteen tantque mesure de onane dans [Jiang05℄. Plusieurs travaux ont proposé des mesures de onane estimant laprobabilitéa posteriorid'unmot maisen néessitant lareonnaissaneomplète de toutelaphrase[Weintraub97,Wessel01℄. Nousavonsproposédesmesuresdeonanefondées suruneestimationloaledeetteprobabilitéenutilisant lemêmealgorithmede alulqueelui présentédans[Wessel01℄. Nosmesuresestiment ette probabiliténon passurlaphraseentière, maisuniquement surunvoisinagedu motdont nousvoulons alulerlavaleur deonane.Ce voisinage est déni par un nombrexe de trames qui préédent et qui suivent le mot analysé. La prise en omptedu ontexte futur du mot induit un délai an d'attendre lagénération des donnéesnéessairesaualul.Deefait, esmesuresnesontpastrame-synhronesmaisloales. Nousavonsintroduitdeuxtypesdevoisinage,symétriqueetasymétrique,andepouvoirprendre en ompteplus d'informations passées et don déjà déodées parle moteur de reonnaissane, sansaugmenterle délai induitparle voisinagefutur.

Toutefois, leourt délai néessaire à génération desinformations du voisinage futurdu mot analysé dans le alul de la mesure de onane n'est pas gênant pour les appliations que nous visons. En eet, pour des appliations omme la transription d'émissions télévisées ou la transription de ours en salle de lasse pour des enfants malentendants, un déalage est

initialement introduit an d'éviter des dérapages pour les émissions et an de permettre la resynhronisationdesenfantsentrelatransription érite etleslèvres duprofesseur.

Ilnesutpasdedénirdenouvellesmesuresdeonane,ilfautlesévalueretéventuellement lesompareràd'autres.Pourelanousavonsdéidédenousplaer dansdesonditions réelles: système de reonnaissane grand voabulaire et appliations onrètes de transription et de détetionde mots lés.Ces expérimentationssont dérites danslestroishapitres quisuivent.

Conditions expérimentales

Sommaire

4.1 Introdution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 4.2 Moteur de reonnaissane :Julius . . . . . . . . . . . . . . . . . . . . 82 4.2.1 LapremièrepassedeJulius . . . . . . . . . . . . . . . . . . . . . . . . . 83 4.2.2 LadeuxièmepassedeJulius. . . . . . . . . . . . . . . . . . . . . . . . . 83 4.2.3 Optionsdeompilation . . . . . . . . . . . . . . . . . . . . . . . . . . . 84 4.2.4 Legraphedemots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84 4.3 Paramétrisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 4.4 Modèles aoustiques. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 4.4.1 Monophones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 4.4.2 Triphones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 4.5 Lexiqueetmodèlede langage . . . . . . . . . . . . . . . . . . . . . . . 86 4.5.1 Utilisésonjointementavelesmodèlesmonophones . . . . . . . . . . . 86 4.5.2 Utilisésonjointementavelesmodèlestriphones . . . . . . . . . . . . . 86 4.6 Corpusde développement etde test . . . . . . . . . . . . . . . . . . . 87 4.7 Complexitéde nos mesures de onane . . . . . . . . . . . . . . . . 87 4.7.1 Mesurestrame-synhrones . . . . . . . . . . . . . . . . . . . . . . . . . . 88 4.7.2 Mesuresloales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88 4.8 Conlusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88

4.1 Introdution

Dans e hapitre, nousprésentons les onditions dans lesquelles nous avons mené les expé-rienesdevalidationetd'évaluationdenostravaux.Cesonditionssontliéesenpartieaumoteur de reonnaissane Julius ainsi qu'aux modélisations aoustiques et linguistiques telles qu'elles étaient disponibles au ommenement des travaux de ette thèse dans l'équipe PAROLE. Ces onditions générales d'expérimentation ont étédéniesetutilisées danslaphasede test à blan de la ampagne d'évaluation ESTER. Fondé sur des modèles aoustiques monophones, e sys-tème aobtenules meilleuresperformanesparmil'ensembledessystèmes partiipant àe testà blan. Nousavonsonservée systèmepourlaplupart denostravauxan depouvoiromparer nosrésultatsentreeux toutau longdela thèse.

Toutefois,dansleadrede laphasedetest réelledel'évaluationdelaampagneESTER,un nouveau système de reonnaissane a étédéni au sein de l'équipe ave notamment l'adoption de modèles aoustiques triphones. Cette modélisation a d'ailleurs été utilisée par la majorité despartiipants. Nousavonshoisienouveau systèmepournosexpérienesd'intégrationd'une mesure de onane au sein de la phase de déodage du moteur de reonnaissane et pour l'appliationdetransriptionpourlesélèvesmalentendants.Eneet,pouresexpérienes,nous évaluons l'impat de l'intégration de la mesure de onane sur le taux de reonnaissane du système, alors que dans les autres expérienes, nous évaluons la pertinene des mesures elles-mêmes.Ainsi,hangerde systèmepourette tâhe n'inueen rienl'interprétation desrésultats obtenus.

Lespointsimportantsdel'environnementd'expérimentation sont lesmodélisations utilisées, le système de reonnaissane, etles orpus de développement et de test. Nous présentons dans un premier temps le moteur de reonnaissane qui est au ÷ur de notre étude. En eet, nos mesuressontfondéessurl'utilisationintensivedugraphedemotsgénéréparlemoteurde reon-naissane.Puisnousdérivonsàlafoisl'aspetaoustiquedel'environnement(paramétrisation, modélisations phonétiques)et les modèles de langage. Ensuite, nous introduisons les orpus de développementetdetest,issusdelaampagned'évaluationESTER,quenousavonsutilisésan de nousplaer dansdesonditions expérimentalesréelles.

Dans le document Mesure de confiance trame-synchrones et locales en reconnaissance automatique de la parole (Page 98-103)