HAL Id: hal-01159983
https://hal.archives-ouvertes.fr/hal-01159983
Submitted on 4 Jun 2015
HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.
L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.
Composition sémantique pour la compréhension de la parole dans un cadre de dialogue
Frédéric Duvert, Marie-Jean Meurs, Christophe Servan, Frédéric Béchet, Fabrice Lefèvre, Renato de Mori
To cite this version:
Frédéric Duvert, Marie-Jean Meurs, Christophe Servan, Frédéric Béchet, Fabrice Lefèvre, et al.. Com-
position sémantique pour la compréhension de la parole dans un cadre de dialogue. Les 27e Journées
d’Etudes sur la Parole (JEP), Jun 2008, Avignon, France. �hal-01159983�
Composition s´ emantique pour la compr´ ehension de la parole dans un cadre de dialogue
Fr´ ed´ eric Duvert Marie-Jean Meurs Christophe Servan Fr´ ed´ eric B´ echet Fabrice Lef` evre Renato de Mori
∗Laboratoire d’Informatique d’Avignon 339, chemin des Meinajaries
Agroparc BP 1228 84911 AVIGNON Cedex 9
FRANCE
ABSTRACT
A knowledge representation formalism for SLU is in- troduced. It is used for incremental and partially au- tomated annotation of the Media corpus in terms of semantic structures. An automatic interpretation pro- cess is described for composing semantic structures from basic semantic constituents using patterns in- volving constituents and words. The process has pro- cedures for obtaining semantic compositions and for generating Frame hypotheses by inference. This pro- cess is evaluated on a dialogue corpus manually an- notated at the word and semantic constituent levels.
Keywords : Spoken language understanding, se- mantic structures, Frames, conceptual deco- ding, semantic annotation, semantic inference.
1. Introduction
La compr´ ehension du langage parl´ e regroupe l’en- semble des analyses visant ` a caract´ eriser, ´ etiqueter, structurer et finalement repr´ esenter formellement l’in- formation contenue dans un message vocal. Les rela- tions sont repr´ esent´ ees par une Source de Connais- sance (SC) et appliqu´ ees par des processus utilisant des strat´ egies de contrˆ oles de ces mˆ emes connais- sances. Cette tˆ ache est ardue car le processus de com- pr´ ehension est imbriqu´ e ` a l’int´ erieur d’une chaˆıne de traitement regroupant plusieurs tˆ aches telles que le traitement de signal et la Reconnaissance Automa- tique de la Parole (RAP), chacune pouvant g´ en´ erer ses propres erreurs dues ` a des probl` emes de mod´ e- lisation ou de manque de robustesse au bruit (bruit acoustique ou lexical).
De plus le langage naturel spontan´ e qui est la cible de cette ´ etude est caract´ eris´ e par des phrases difficiles ` a traiter, souvent sans forme grammaticale valide. Les hypoth` eses de mots des transcriptions automatiques produites par les syst` emes de RAP contiennent aussi des erreurs, rendant difficile tout traitement linguis- tique.
Dans le but de minimiser les effets de ces impr´ ecisions, l’interpr´ etation doit ˆ etre con¸ cue comme un proces- sus de d´ ecision qui peut ˆ etre d´ ecompos´ e conceptuelle- ment en sous-tˆ aches. Il a ´ et´ e observ´ e qu’une augmen- tation de la pr´ ecision peut ˆ etre atteinte en consid´ erant
∗Ces travaux sont support´es par le 6i`eme Programme de Recherche de l’Union Europ´eenne, Projet LUNA, IST,contrat:
33549. Pour plus d’informations sur le Projet LUNA, veuillez visiter [1].
un treillis d’hypoth` eses de constituants s´ emantiques
`
a partir d’un treillis d’hypoth` eses de mots [7]. Les constituants s´ emantiques sont ensuite compos´ es ` a l’in- t´ erieur de structures s´ emantiques de plus haut-niveau.
Les hypoth` eses sur les composants s´ emantiques sont g´ en´ er´ es en utilisant des machines ` a ´ etats finis, suivant les travaux de [8].
Ce papier d´ ecrit une nouvelle combinaison de consti- tuants s´ emantiques dans des structures s´ emantiques ainsi qu’un processus d’´ evaluation. Les constituants sont g´ en´ er´ es par un processus de traduction ` a partir d’un treillis de mots. Ces constituants sont ensuite caract´ eris´ es par des sp´ ecifieurs de sens s’´ etendant ` a tout le message. Les structures s´ emantiques de haut niveau sont obtenues ` a partir de r` egles s’appliquant sur ces constituants et ces sp´ ecifieurs. Cette approche a ´ et´ e test´ ee sur un corpus fran¸ cais de dialogue oral, le corpus Media . Les r´ esultats exp´ erimentaux issus de cette approche sont pr´ esent´ es en fin de papier.
2. Le corpus Media
Le corpus Media [2] a ´ et´ e enregistr´ e en utilisant un syst` eme de simulation (Magicien d’Oz ) de serveur vo- cal t´ el´ ephonique pour des informations touristiques et r´ eservations d’hˆ otels. Huit cat´ egories de sc´ enario ont
´ et´ e d´ efinies avec des degr´ es de complexit´ es diff´ erents.
Le corpus compte 1257 dialogues, 250 interlocuteurs et contient environ 70 heures de dialogues. La por- tion d’entraˆınement du corpus est riche de plus de 80 concepts de base transcrits et annot´ es manuellement.
Cette repr´ esentation s´ emantique plate est enrichie par des ´ etiquettes qui peuvent ˆ etre consid´ er´ ees comme des traces de la repr´ esentation hi´ erarchique sous-jacente.
La repr´ esentation hi´ erarchique permet de repr´ esen- ter explicitement des relations entre segments poten- tiellement non-adjacents dans la transcription d’une requˆ ete. Cependant une repr´ esentation plate facilite l’annotation manuelle des donn´ ees. Il a ´ et´ e d´ ecid´ e pour le sch´ ema d’annotation de Media de pr´ eser- ver les relations en d´ efinissant des sp´ ecifieurs qui sont combin´ es avec les rˆ oles de bases. Il y a 19 sp´ ecifieurs dans le mod` ele s´ emantique de Media .
Un exemple de l’annotation de Media est donn´ e
dans le tableau 1. Le sp´ ecifieur r´ eservation est
attribu´ e aux concepts commande,nombre-chambre,
nombre-nuit comme structure hi´ erarchique. Cela re-
pr´ esente une r´ eservation d´ eclench´ ee par le concept
commande et remplie avec les ´ el´ ements trouv´ es dans
Tab. 1: Exemple d’annotation s´ emantique du corpus Media
n Wcn cn sp´ecifieur valeur
1 he bien null
2 je souhaiterais r´eserver commande r´eservation
3 `a l’hˆotel Richard Lenoir nom-hotel richard lenoir
4 six nombre-chambre r´eservation 6
5 chambres individuelles type-chambre simple
6 `a partir du trente-et-un mai date r´eservation 31/05 7 deux jours hum deux nuits nombre-nuit r´eservation 2
commande,nombre-chambre et nombre-nuit.
La combinaison des sp´ ecifieurs et des attributs permet de recomposer une structure hi´ erarchique d’une re- quˆ ete ` a partir de sa repr´ esentation plate. Cette anno- tation fournit des ´ etiquettes comparables aux consti- tuants s´ emantiques hypoth´ etis´ es par un parseur s´ e- mantique de surface.
La combinaison des rˆ oles de base et des sp´ ecifieurs donne 1121 attributs potentiels. Un total de 144 attri- buts distincts apparaˆıt dans le corpus d’entraˆınement avec environ 2200 valeurs normalis´ ees diff´ erentes.
3. D´ ecodage conceptuel pour la g´ en´ eration de constituants
basiques
Le corpus Media est annot´ e avec des composants s´ emantiques basiques mais pas avec des structures s´ emantiques. Les constituants s´ emantiques basiques sont hypoth´ etis´ es et test´ es suivant l’approche d´ ecrite dans [7].
Le processus de d´ ecodage conceptuel est vu comme un processus de transduction dans lequel les mod` eles de langages stochastiques sont impl´ ement´ es par des au- tomates ` a ´ etats finis (Finite State Machines ou FSM).
Ils produisent des ´ etiquettes pour les composants s´ e- mantiques. Il y a un FSM pour chaque composant conceptuel ´ el´ ementaire. Chaque FSM impl´ emente une grammaire r´ eguli` ere mod´ elisant les diff´ erentes formes supports pour chaque composant conceptuel. Ces FSMs sont des transducteurs qui prennent les mots en entr´ ee et produisent des ´ etiquettes conceptuelles.
Ils sont appliqu´ es ` a un graphe de mots sorti par le module de RAP grˆ ace ` a une op´ eration de composi- tion entre automate.
Pour trouver la meilleure s´ equence de concepts et de mots, un ´ etiqueteur statistique ` a base de HMM (lui aussi repr´ esent´ e par un FSM) est utilis´ e pour r´ e´ eva- luer chaque chemin dans le graphe de mots/concepts.
Cet ´ etiqueteur est entraˆın´ e sur le corpus d’appren- tissage de Media . Cette approche est appel´ ee d´ e- codage int´ egr´ ee, puisque les processus de RAP et de compr´ ehension du langage sont r´ ealis´ es en mˆ eme temps en recherchant de mani` ere simultan´ ee la meilleure s´ equence de mots et de concepts. Le r´ esul- tat du processus de traduction est une liste structu- r´ ee des n-meilleures interpr´ etations qui peuvent ˆ etre vues comme toutes les interpr´ etations possibles d’un
´ enonc´ e.
4. Sp´ ecification du sens
Les interpr´ etations conceptuelles issues de la liste des n-meilleures hypoth` eses n’ont pas d’´ etiquettes de sp´ e- cification du sens. Ces sp´ ecifieurs sont ajout´ es dans une seconde phase par un processus de marquage bas´ e sur des classifieurs discriminants [5]. Les Conditional Random Fields (CRF) [4] retenus dans notre ´ etude, ont ´ et´ e largement utilis´ es pour diff´ erents traitements d’´ etiquetage de mots comme les Part-Of-Speech ou pour la d´ etection des entit´ es nomm´ ees. L’utilisation des CRFs est une approche discriminante qui a donn´ e de meilleurs r´ esultats sur ce genre de tˆ aches que des approches g´ en´ eratives bas´ ees sur des HMMs. Le prin- cipal avantage des CRFs est la capacit´ e de pr´ edire une
´ etiquette en tenant compte de l’ensemble du message.
C’est tr` es important pour l’ajout de sp´ ecifieurs aux concepts, car cette information d´ epend des ´ el´ ements qui peuvent ˆ etre tr` es ´ eloign´ es du concept ` a ´ etiqueter dans le message.
L’entraˆınement pour l’´ etiquetage des sp´ ecifieurs se fait sur le corpus Media , chaque message est une s´ equence d’´ el´ ements (mots, attributs, valeurs) ´ eti- quet´ ee par un sp´ ecifieur ou par le symbole NULL.
Lors du d´ ecodage, chaque s´ equence hypoth` ese de mots/concepts de la liste de n-meilleures s´ equences est trait´ ee par l’´ etiqueteur pour ajouter les sp´ ecifieurs.
L’outil CRF++
1est utilis´ e.
5. Repr´ esentation s´ emantique structur´ ee
Les structures s´ emantiques peuvent ˆ etre d´ eriv´ ees ` a partir d’une source de connaissance obtenue par une th´ eorie s´ emantique. Par exemple les r´ eseaux s´ eman- tiques qui repr´ esentent les entit´ es et leurs relations [9]
ou des structures fonction/arguments [3]. Un moyen pratique de repr´ esenter et raisonner sur les sources de connaissances est l’utilisation d’ensemble de formules logiques. On peut ainsi les d´ eriver en des structures informatiques telles les Frames. Une Frame est un mod` ele pour la repr´ esentation s´ emantique d’entit´ es et leurs propri´ et´ es. Les Frames sont capables de re- pr´ esenter des types des structures conceptuelles aussi bien que des instances de ceux-ci.
Un ´ el´ ement de Frame est une structure de donn´ ees de la Frame. Il d´ ecrit :
– les propri´ et´ es d’une structure s´ emantique,
– les valeurs (qui peuvent ˆ etre d’autres instances de Frame),
1http ://crfpp.sourceforge.net/
– les contraintes qui doivent ˆ etre respect´ ees par les valeurs,
– les proc´ edures pour obtenir les valeurs des propri´ e- t´ es ` a partir des observations.
L’obtention des ´ el´ ements d’une Frame engendre l’ins- tanciation de cette Frame. Une grammaire de Frame permet de caract´ eriser l’ensemble des Frames accep- table pour la repr´ esentation s´ emantique d’un do- maine.
6. Annotation progressive du corpus par des structures s´ emantiques
Une ontologie ou source de connaissance bas´ ee sur les Frames a ´ et´ e ´ ecrite manuellement pour d´ e- crire le domaine s´ emantique du corpus Media . Quelques Frames d´ ecrivent des connaissances g´ en´ e- riques comme des relations spatiales, d’autres sont sp´ ecifiques ` a l’application. Ces Frames sont d´ efinies en tenant compte du paradigme FrameNet de Berke- ley adopt´ e par [1].
Fig. 1: Repr´ esentation en Frame d’une partie de la base de connaissance et sa projection de FrameNet vers Media
La figure 1 montre un exemple d’une repr´ esentation s´ emantique dans le corpus Media , en partant de la repr´ esentation FrameNet.
L’ontologie Media est compos´ ee de 21 Frames de bases avec un total de 85 ´ el´ ements de Frames. La repr´ esentation du langage contient des composants conceptuels et des proc´ edures de compositions de structures s´ emantiques. Les r` egles de composition peuvent prendre en entr´ ee les ´ etiquettes des consti- tuants conceptuels et les sp´ ecifieurs de sens, ainsi que les Frames d´ ej` a instanci´ ees. On s’attache ` a d´ ecrire les
´
el´ ements du message par des Frames et de les relier entre eux, une signfication du sens plus pouss´ ee des
´
el´ ements de Media et la modification de son ontolo- gie sont en cours, afin d’obtenir des annotations de qualit´ e sup´ erieures.
Quand une r` egle s’applique, des instances de Frames sont cr´ e´ ees. Des inf´ erences bas´ ees sur les instances de Frames sont alors r´ ealis´ ees. Diff´ erentes Frames reli´ ees par des relations peuvent ˆ etre instanci´ ees pour un seul message. 463 tours de dialogue issus de 15 dialogues ont ´ et´ e annot´ es manuellement. Le formalisme d’an- notation de FrameNet [6] a ´ et´ e utilis´ e. Un outil de
visualisation de Frames appel´ e FriZ, d´ edi´ e au trai- tement du langage dans le dialogue a ´ et´ e d´ evelopp´ e comme support de l’annotation manuelle et de la v´ eri- fication pour d’ult´ erieures annotations automatiques.
Le temps moyen d’annotation manuelle par dialogue est d’environ 2 heures.
Par exemple la phrase “J’accepte la r´ eservation” est annot´ ee avec trois Frames :
ACCEPTER[(est_un:verbe)(sujet:person)(theme:reservation)]
PERSONNE [(est_un:humain) (categorie:utilisateur)...]
RESERVATION [(est_un:objet) ...]
Les r` egles sont g´ en´ eralis´ ees par l’annotation progres- sive des donn´ ees avec les connaissances disponibles.
On ´ evalue la confiance des r´ esultats et on annote des exemples manuellement si la confiance est trop faible.
Les proc´ edures attach´ ees sont int´ egr´ ees dans le pro- cessus d’interpr´ etation pour fournir automatiquement des annotations de Frames sur le corpus d’entraˆıne- ment ainsi que des instances d’hypoth` eses sur le cor- pus de test. Le processus est capable de r´ ealiser des inf´ erences sur des Frames dont l’instance est sous- entendue par une autre instance de Frame. Une cen- taine de r` egles g´ en` ere les instances ` a partir de com- binaisons de mots ou de motifs de constituants s´ e- mantiques et r´ ealise les inf´ erences sur les r´ esultats. Il y a environ 30 formules d’inf´ erences utilis´ ees dans le processus.
Lors du d´ ecodage, une fois la liste des n-meilleures interpr´ etations obtenue avec les sp´ ecifieurs pr´ esent´ es en Section 2, chaque s´ equence de mots/concepts est analys´ ee par les r` egles produites pour le corpus d’en- traˆınement de Media . Ces r` egles utilisent les attri- buts, les valeurs et les sp´ ecifieurs obtenus lors de la premi` ere phase du d´ ecodage pour inf´ erer des Frames.
7. R´ esultats exp´ erimentaux
Les tests ont ´ et´ e r´ ealis´ es sur un corpus de 1249 tours de dialogues pour un total de 2938 composants s´ eman- tiques. Le tableau 2 donne le taux d’erreurs obtenu apr` es la phase de d´ ecodage conceptuel. Pour un taux d’erreurs sur les mots de 30.3%, le taux d’erreurs sur les composants conceptuels (ou concepts) est d’envi- ron 25%. Chaque information, telle que les sp´ ecifieurs et les valeurs normalis´ ees, ajoute approximativement 6% aux taux d’erreurs. Les taux d’erreurs Oracle ob- tenus en s´ electionnant manuellement les meilleures hypoth` eses issues de la liste des n-meilleures inter- pr´ etations (avec n = 20) sont inf´ erieurs d’une valeur absolue de 8% par rapport au taux d’erreurs de la 1-meilleure interpr´ etation.
Les hypoth` eses de Frames obtenues sur la sortie du processus d’interpr´ etation ont aussi ´ et´ e ´ evalu´ ees. Les annotations manuelles en Frames n’´ etaient pas dis- ponibles pour le corpus de test. Les annotations ma- nuelles des mots et des concepts ont ´ et´ e utilis´ ees pour d´ eriver des annotations r´ ef´ erences en Frames. La com- position et l’inf´ erence des connaissances, d´ ecrites dans la section pr´ ec´ edente, ont ´ et´ e appliqu´ ees.
Un ´ echantillonnage al´ eatoire sur des tours de dia-
corr(%) sub(%) suppr(%) ins(%) ER(%) OER(%)
mot 75.9 15.3 8.8 6.2 30.3 22.5
concept 85.0 8.7 6.3 10.3 25.3 19.2
+ specif 78.6 15.2 6.2 10.2 31.6 23.4
+ value 72.5 21.4 6.1 10.1 37.6 25.2
Tab. 2: Taux d’erreurs (ER) et Taux d’erreurs Oracle (OER) sur la n-meilleure liste des interpr´ etations pour les mots, les concepts, les concepts avec des sp´ ecifieurs et valeurs
logues utilisateurs a ´ et´ e pr´ elev´ e pour estimer, par deux experts humains, l’exactitude de l’annotation automatique des structures s´ emantiques. Une F- mesure de 0.90 (pr´ ecision de 0.96, rappel de 0.85) a
´
et´ e mesur´ ee sur 100 tours de dialogues, par compa- raison avec les annotations manuelles et l’annotation automatique en Frame sur des transcriptions exactes.
Cette forte pr´ ecision permet d’utiliser une annotation automatique comme annotation de r´ ef´ erence.
La composition et l’inf´ erence ont ´ et´ e appliqu´ ees auto- matiquement sur la liste des n-meilleures interpr´ eta- tions. L’´ evaluation a ´ et´ e faite en estimant la pr´ ecision, le rappel et la F-mesure sur la d´ etection des types cor- rects de Frames en utilisant les annotations automa- tiques de r´ ef´ erences d´ ecrites plus haut. La F-mesure Oracle de la liste des n-meilleures interpr´ etations est donn´ e par la figure 2.
Une F-mesure de 0.92 (pr´ ecision de 0.90, rappel de 0.94) a ´ et´ e obtenue sur la meilleure hypoth` ese d’in- terpr´ etation, pour les 1249 tours de dialogues. Ces r´ e- sultats tendent ` a montrer que les annotations s´ eman- tiques de haut-niveau (identifiant des Frames) sont robustes aux erreurs de RAP, les erreurs d’interpr´ eta- tions apparaissant le plus souvent au niveau des ´ el´ e- ments des Frames. Sur un mˆ eme processus d’anno- tations de la r´ eference et des n-meilleures interpr´ eta- tions, il y a peu d’erreurs sur les n-meilleures inter- pr´ etations issus du d´ ecodage conceptuel (tableau 2).
0 5 10 15 20
0.91 0.92 0.93 0.94 0.95
