Expériences complémentaires

5.4.3.1 Réduire le nombre de paires de phrases comparables pour

augmenter la qualité du corpus d’apprentissage

Le corpus d’apprentissage pour construire les systèmes de référence comporte des paires de phrases parallèles, comparables, et aussi des paires non pertinentes en raison d’erreurs dans le processus d’extraction. Dans la section 5.3.3, nous avons choisi les paramètres α = 0,7 et β = 0,15, et nous avons obtenu 50 322 paires de phrases pertinentes. Après avoir choisi les corpus de DEV et TST, nous avons 49 587 paires de phrases pour entraîner le modèle de traduction. La question que nous posons dans cette section est : que se passe-t-il si nous filtrons encore les paires de phrases pertinentes pour entraîner le modèle de traduction ? Sur la base de 49 587 paires de phrases pertinentes, nous avons extrait trois autres corpus des paires de phrases qui possèdent les deux scores xP1 et xP2 plus grands que β = 0,2 ; 0,25 ; 0,3. Le relèvement de β

augmente le pourcentage de paires de phrases parallèles mais il réduit le nombre de paires de phrases extraites au total.

Trois systèmes de traduction du vietnamien (en syllabe) vers le français ont été construits avec le modèle de traduction entraîné sur ces trois corpus séparément. Les scores BLEU des trois systèmes de traduction ont été estimés avec réglage sur le même corpus de DEV et de TST. Les résultats sont présentés dans le Tableau 5-10.

Tableau 5-10 : Le relèvement de β et le score BLEU de système de traduction associé β

Nombre de paires de phrases pour entraîner le modèle de traduction

BLEU (%)

vietnamien (en syllabe) vers français

0,15 49 587 31,73 (baseline voir le Tableau 5-8) 0,2 38 283 29,14

0,25 24 928 28,35

0,3 13 734 26,80

Bien que le relèvement de β élimine les paires de phrases dont le degré de parallélisme est faible, la diminution du nombre de paires de phrases pour entraîner le modèle de traduction réduit le score BLEU du système de traduction. Les raisons possibles sont que, dans notre cas le seuil β = 0,15 permet déjà d’extraire des paires de phrases pertinentes pour l’entraînement du modèle de traduction et que les modèles probabilistes sont relativement robustes à des données non parallèles présentes dans le corpus.

5.4.3.2 Combinaison des systèmes fondés sur mot et syllabe en vietnamien

Dans la section 5.4.2, nous avons vu que la segmentation des phrases vietnamiennes en syllabes ou en mots ne modifie pas sensiblement la performance pour les deux sens de traduction. Dans cette section, nous avons effectué un autre test sur la combinaison des unités lexicales (syllabes et mots) sur le vietnamien. Nous avons réalisé le test dans le sens de traduction vietnamien vers français. Deux manières de réaliser les combinaisons ont été testées.

La première méthode est la combinaison des tables de traduction. En fait, le décodeur MOSES permet la combinaison de deux ou plusieurs tables de traduction : nous pouvons utiliser les options de traduction (section 2.4) dans les deux tablesde traduction (le mode « both ») ou dans n’importe quelle table de traduction (le mode « either »). Dans le mode « both », une option de traduction est sélectionnée lorsqu’elle existe dans les deux tables de traduction. Et un score

tables. Dans tous les cas, chaque table de traduction possède son propre ensemble de poids. Dans cette expérience, nous avons utilisé le mode « either ».

Les tables de traduction du système S1VF (Tsyl) et du système S2VF (Tmot) ont été utilisées. Une autre table (Tmot*) a été créée à partir de la table Tmot, dans laquelle tous les mots ont été re-transformés en syllabe (dans ce dernier cas, la segmentation en mot a été utilisée durant le processus d’alignement et de construction de la table de traduction, mais la partie en vietnamien de la table finale est re-segmentée en syllabes). Les combinaisons de ces trois tables de traduction ont également été créées. Pour le test, les phrases de traduction en vietnamien étaient segmentées soit en mot soit en syllabe. Comme précédemment, l’ensemble de développement a été utilisé pour régler les paramètres et l’ensemble de test a été utilisé pour estimer le score BLEU. Les résultats obtenus sont présentés dans le Tableau 5-11. Des cellules sont marquées par

X car certaines combinaisons n’ont pas de sens (par exemple la combinaison entre l’entrée en mots et la table de traduction en syllabes). Ces résultats montrent que la performance peut être améliorée en combinant les informations de mots et de syllabes du côté vietnamien. Le score BLEU est amélioré de 35,30 à 38,02 sur l’ensemble DEV (de 7 %) et de 31,73 à 32,08 (1 %) sur l’ensemble TST. L’amélioration sur le test n’est cependant pas significative.

Tableau 5-11 : Scores BLEU (%) obtenus avec combinaisons entre tables de traduction (calculés sur l’ensemble de développement et l’ensemble de test)

V N ve r s F R Tables de traductions utilisées

Entrée en syllabe Entrée en mots DEV TST DEV TST Tsyl 35,30 31,73 X X Tmot X X 35,70 30,58 Tmot* 37,31 31,76 X X Tsyl + Tmot 35,30 31,43 36,80 30,68 Tsyl + Tmot* 38,02 32,08 X X Tmot + Tmot* 37,42 30,23 36,67 30,21

Nous avons analysé les sorties de ces systèmes de traduction. Dans la phrase en sortie, chaque groupe de mot est marqué selon la table de traduction utilisée. Les traductions de 210 phrases dans l’ensemble de test ont été marquées. Nous avons aussi calculé le nombre de groupes de mots utilisés de chaque table (Tableau 5-12).

Tableau 5-12 : Le nombre de groupes de mots choisis à partir de chaque table

Tables de traductions utilisées (la première table + la deuxième table)

Nombre de groupes de mots de 210 phrases sorties

Nombre de groupes de mots collectés à partir de la première table Nombre de groupes de mots collectés à partir de la deuxième table Tsyl 2 654 2 654 (100 %) Tmot* 2 485 2 485 (100 %) Tsyl + Tmot 2 623 2 045 (78 %) 578 (22 %) Tsyl + Tmot* 2 423 1 076 (44 %) 1 347 (56 %) Tmot + Tmot* 2 485 14 (0,5 %) 2 471 (99,5 %)

L’utilisation conjointe mot et syllabe peut améliorer légèrement le score BLEU, mais pas vraiment de façon significative sur un corpus de test inconnu. La segmentation en mot durant le processus d’alignement est efficace mais la plupart des groupes de mots est extrait à partir de la table en syllabe.

La deuxième méthode de combinaison entre l’approche « mot » et l’approche « syllabe » est l’utilisation d’un réseau de confusion. MOSES nous permet de représenter l’entrée du processus de décodage par un réseau de confusion. Nous avons reformé les phrases d’entrée de l’ensemble de DEV par des réseaux de confusion simples (avec les probabilités égales pour chaque chemin) qui combinent les syllabes et les mots de la phrase (Figure 5-9). Le résultat de traduction est

estimé sur l’ensemble et présenté dans le Tableau 5-13. Les premiers résultats obtenus montrent que la représentation en réseau de confusion simple ne semble pas efficace dans notre cas.

Figure 5-9 : La représentation d’un réseau de confusion simple combinant les syllabes et les mots pour un fragment de mots vietnamiens

Tableau 5-13 : Utilisation de l’entrée en réseau de confusion simple

Tables de traductions utilisées

Entrée en syllabe Entrée en mots Entrée en réseau

Tsyl 35,30 X 33,54 Tmot X 35,70 34,87 Tmot* 37,31 X 36,13 Tsyl + Tmot 35,30 36,80 36,57 Tsyl + Tmot* 38,02 X 36,56 Tmot + Tmot* 37,42 36,67 36,40

5.4.3.3 Comparaison avec le système de TA de Google

Le système de TA Google Translate¹ a ajouté la langue vietnamienne à sa liste de langues traitées depuis septembre 2008. Dans la plupart des cas, il utilise l’anglais comme une langue intermédiaire. Pour une première évaluation comparative, un test simple a été réalisé. Deux ensembles de données ont été utilisés : un dans le domaine des nouvelles journalistiques (l’ensemble TST de la section 5.4.2), et un hors du domaine des nouvelles journalistiques. Ce dernier a été obtenu à partir du site Web bilingue vietnamien français de l’Ambassade de France au Vietnam². Après avoir traité préalablement et aligné manuellement, nous avons obtenu 100 paires de phrases parallèles pour l’ensemble hors du domaine de données. Les phrases vietnamiennes ont été segmentées en syllabes. Les deux ensembles de données ont été traduits par nos systèmes de TA (S1FV, S1VF) et le système de TA de Google (le 4 février 2009). Les résultats des systèmes ont été post-traités (passage en minuscule) et les scores BLEU ont été estimés. Le Tableau 5-14 présente les résultats de ce test. Bien que notre système soit logiquement meilleur sur l’ensemble de données dans le domaine, il est également légèrement meilleur que le système de TA de Google sur l’ensemble de données hors domaine (pour le couple de langues vietnamien français).

Tableau 5-14 : Comparaison avec le système de TA de Google (le 4 février 2009)

Sens de traduction

Score BLEU (%) Notre système Google

Dans le domaine news (210 paires de phrases) FàV 40,09 24,82 VàF 32,08 15,63 Hors du domaine (100 paires de phrases) FàV 25,00 24,38 VàF 20,22 15,82 Entrée

« tuy_nhiên trong lĩnh_vực » ^{Réseau de confusion}

de syllabe et de mot tuy_nhiên / 0,5 ^{ε / 0,5} trong /1,0 lĩnh_vực / 0,5 lĩnh / 0,5 tuy / 0,5 ^{nhiên / 0,5 vực / 0,5} ε / 0,5

Tableau 5-15 : Un exemple de la traduction d’une phrase vietnamienne vers français par notre système et le système de TA de Google (le 4 février 2009)

Référence en français

le chef d’état vietnamien a proposé que le vietnam et l’australie renforcent les dialogues politiques de haut rang , ainsi que les contacts

La traduction de notre système

le président vietnamien a demandé le vietnam et l’australie renforcer les dialogues politiques de haut rang , ainsi que des rencontres

La traduction de Google 2009

président du vietnam et l’australie pour renforcer le dialogue politique , ainsi que des niveaux élevés d’exposition

Le Tableau 5-15 montre un exemple de la traduction d’une phrase vietnamienne vers français par notre système et le système de TA de Google. La phrase vietnamienne est prise au hasard dans le corpus de test. La traduction de notre système est assez acceptable, lorsque la traduction du système de TA de Google ne veut rien dire.