référence 42,5 47,2
monotone 42,5 46,3
bi-grammes 42,5 46,0 traitement de mots HV 43,5 46,0
TABLE7.7 –Comparaison entre le modèle PB-SMT et le modèle CRF pour la traduction de l’italien vers le français (BLEU %).
toutes les améliorations proposées pour le modèle CRF. Ces résultats encouragent le passage à une approche CRFPB-SMT pour la traduction qui pourra élargir les capacités du modèle CRF en incluant un modèle de réordonnancement et un modèle de langage plus large.
7.4 Evaluation des systèmes de traduction selon l’approche CRFPB-SMT
Avant d’évaluer notre proposition de décodage conjoint entre la traduction et la compréhension, nous cherchons à évaluer séparément les différents modèles CRFPB-SMT qui seront utilisés dans cette combinaison. Dans un premier temps, nous évaluons cette approche pour une tâche de traduction en apprenant deux systèmes de traduction dans les deux sens français vers italien et italien vers français. Ensuite nous évaluons cette approche pour une tâche de compréhension.
Comme pour les expériences précédentes, le corpus MEDIA avec sa traduction ita-lienne est utilisé pour l’apprentissage et le test. Il est important de mentionner que mal-gré le fait que nous comparons les performances obtenues par cette nouvelle approche avec les systèmes présentés précédemment, cette comparaison est donnée à titre indica-tif car le but de cette approche n’est pas d’avoir les meilleures performances mais d’être dans des bonnes conditions pour pouvoir appliquer un décodage conjoint.
7.4.1 Evaluation pour une tâche de traduction
Un modèle CRFPB-SMT pour la traduction a été construit comme décrit dans la section6.3.1. Ce modèle a été construit à partir de l’outil n-code (Crego et al., 2011), implémenté pour apprendre des modèles de traduction à base de ngrammes (Mariòo et al.,2006).
Cet outil utilise la bibliothèque OpenFst pour construire un graphe de traduction qui est la composition de 4 transducteurs :
– un accepteurλS,
– un modèle de réordonnancementλR,
– un modèle de traduction à base de n-grammesλT et
tel-00818970, version 1 - 30 Apr 2013
7.4. Evaluation des systèmes de traduction selon l’approche CRFPB-SMT
TABLE7.8 –Comparaison entre les différentes approches (PB-SMT, CRF, CRFPB-SMT) pour la traduction.
– un modèle de langageλL.
La différence entre le modèle implémenté par cet outil et le modèle CRFPB-SMT qu’on cherche à apprendre est dans les poids du modèle de traduction. Nous adaptons cet outil pour interroger un modèle CRF afin d’estimer les probabilités de traduction et ensuite nous appliquons une normalisation des scores de probabilité obtenus par ce modèle sur les différents chemins du graphe (comme cela a été proposé dans la section 6.3.1).
Dans n-code le modèle de réordonnancement est appris suivant l’approche propo-sée par (Crego and Mariño,2006). Cette approche nécessite un étiquetage grammatical des phrases source et un alignement au niveau des mots entre les phrases source et les phrases cible pour apprendre le modèleλR. Nous proposons d’utiliser l’outil Tree-Tagger (Schmid,1994) pour obtenir l’étiquetage grammatical et l’outil GIZA++ pour l’alignement en mots.
Le modèle de langage utilisé dans nos expériences et un modèle tri-grammes appris sur la partie cible de notre corpus d’apprentissage à l’aide de l’outil SRILM.
Nous apprenons deux modèles de traduction français vers italien et italien vers fran-çais. Le tableau7.8 présente une comparaison entre trois modèles : le modèle CRFPB-SMT, le modèle PB-SMT (de référence) et le modèle CRF (présenté dans la section pré-cédente).
Les résultats présentés dans ce tableau montrent que l’approche CRFPB-SMT donne des performances inférieures mais assez comparables à celles obtenues par l’approche PB-SMT. Malgré une dégradation d’environ 2% absolu, ces performances restent assez élevées en valeur pour une tâche de traduction (malgré un ensemble d’apprentissage de taille réduite), ce qui s’explique dans notre contexte par le vocabulaire limité du do-maine. Cette différence de performance entre l’approche PB-SMT et l’approche CRFPB-SMT est comparable à celle observée par le LIMSI (Lavergne et al.,2010) (en utilisant les paramètre de base).
D’autre part les résultats montrent que l’utilisation de l’approche CRFPB-SMT est avantageuse par rapport à l’utilisation d’une approche CRF ; elle permet d’augmenter la performance du système d’environ 1% absolu.
tel-00818970, version 1 - 30 Apr 2013
Modèle Sub Del Ins CER
CRF 3,1 8,1 1,8 12,9
CRFPB-SMT (λS◦λR◦λT◦λF◦λL) 4,2 8,8 2,3 15,3 CRFPB-SMT (λS◦λT◦λF) 3,6 8,2 1,9 13,7 +traitement de mots HV 3,7 7,9 1,8 13,4 TABLE7.9 –Evaluation de l’approche CRFPB-SMT pour la compréhension du français.
7.4.2 Evaluation pour une tâche de compréhension
De la même manière nous apprenons un modèle CRFPB-SMT pour une tâche de compréhension du français. La totalité du corpus MEDIA a été utilisé comme corpus parallèle “mots | | concepts” pour apprendre ce modèle. Un modèle de langage tri-grammes a été appris sur la partie concepts de ce corpus.
Dans un premier temps, le graphe CRFPB-SMT est obtenu en composant tous les modèlesλS◦λR◦λT◦λF◦λLcomme cela a été proposé pour la traduction. Cette ap-proche donne un CER de 15,3% qui est bien moins bon que l’apap-proche CRF de base (12,9%).
Afin de pouvoir se rapprocher du modèle CRF (qui ne comprend pas un modèle de réordonnancement ni un modèle de langage), nous proposons d’obtenir le graphe CRFPB-SMT en combinant uniquement les modèles λS◦λT◦λF. Cela nous a permis d’augmenter la performance de cette approche de 1,6% absolu (15,3% vs 13,7%).
Une comparaison entre la performance de ce modèle et la performance du modèle CRF de base est donnée dans le tableau7.9. Les résultats montrent qu’en utilisant l’ap-proche CRFPB-SMT (sans modèles de langage et de réordonnancement) nous arrivons à retrouver presque les mêmes performances (12,9% vs. 13,7%) que celles obtenues par l’approche CRF connue pour être la plus performante pour une tâche de compréhen-sion.
Enfin, vu que l’approche CRFPB-SMT a tendance à projeter les mots hors-vocabulaire en sortie et que cela (bien qu’il soit avantageux pour la traduction) est pénalisant dans une tâche de compréhension, nous proposons de faire un traitement spécifique des mots hors-vocabulaire de la même manière que cela a été proposé aupa-ravant. Ce traitement permet d’augmenter les performances obtenues de 0,3% absolu (13,7% vs. 13,4%).