5. Les systèmes de traduction automatique
5.2 Les systèmes à base de corpus
5.2.2 a. Les modèles basés sur les mots
Le fonctionnement des modèles statistiques basés sur les mots se fonde sur la probabilité qu’un mot source soit traduit par un mot cible, déterminée en calculant l’estimation du maximum de vraisemblance.
Pour extraire les données de probabilité pour chaque mot, les systèmes statistiques exploitent un corpus de textes sources-cibles alignés phrase par phrase, qui leur fournirait donc des données incomplètes. Cependant, l’algorithme espérance-maximisation (EM) leur permet de calculer la probabilité de chaque mot, même si les phrases du corpus sont
4 Les références consultées pour la rédaction de cette section sont les chapitre 4 et 5 du livre de Philipp Koehn Statistical Machine Translation.
22
alignées uniquement au niveau des phrases. En effet, a travers un processus itératif, le système apprend progressivement le modèle de traduction en reconstituant les données manquantes : dans une première phase, le système applique le modèle connu (phase d’espérance) ; ensuite, il apprend le modèle à partir de ces données (phase de maximisation) ; finalement, il répète ces deux opérations jusqu’à ce que les données soient complètes.
Ces données sont organisées en forme de tables de traduction (T-tables).Dans la figure 4, les lettres e et f désignent respectivement le mot anglais et le mot étranger, tandis que la fonction t(e|f) indique la probabilité que e soit traduit par f ; les chiffres indiquent le nombre d’occurrence de chaque traduction, exprimée en décimales, pour 10 000 occurrences du mot source.
Figure 4 : Les T-tables des quatre mots composant la phrase allemande Das Haus ist klein
Sur la base de ces probabilités, un système de TAS basé sur les mots traduirait la phrase source allemande Das Haus ist klein par la phrase cible anglaise The house is small, formée par les traductions les plus probables de chaque mot source.
L’exemple ci-dessus est relativement simple car les 4 mots de la langue source correspondent à 4 mots dans la langue cible ; le système n’a pas eu besoin d’insérer de mots vides (NULL), ce qui est souvent nécessaire. De plus, les structures des deux langues sont, ici, pratiquement équivalentes, ce qui n’est pas souvent le cas entre l’allemand et l’anglais. Mais l’approche statistique basée sur les mots est plutôt limitée dès que les phrases à traduire se compliquent ; c’est pourquoi elle a été dépassée par l’approche basée sur les séquences de mots que nous verrons ci-dessous.
23 5.2.2 b. Les modèles basés sur les séquences de mots
Ces modèles statistiques, actuellement les plus performants, traduisent les phrases séquence par séquence. Les séquences, comme il est évident dans la figure 5 ci-dessous, ne sont pas définies selon les syntagmes. Les tables de traduction n’affichent plus maintenant des mots mais des segments de phrase.
Figure 5 : La phrase de départ est segmentée, puis les segments sont traduits et ensuite réordonnés.
L’approche basée sur les mots ne permet pas de traiter les divergences entre deux langues. L’approche par séquences de mots, quant à elle, évite cette impasse et permet également de résoudre ce type de problème. Aussi, la qualité des traductions s’améliore progressivement avec l’enrichissement des corpus.
5.3 Les systèmes hybrides
Des études récentes (Callison-Burch et al. 2009 dans Thurmair 2009) ont montré que les deux types de systèmes de TA, ceux à base de règles et à base de corpus, produisent des traductions de qualité comparable, mais dont le niveau de compréhensibilité ne dépasse pas le 50%. Les systèmes hybrides essayent de profiter des bénéfices de l’approche linguistique et basée sur corpus, en évitant ainsi les erreurs pour lesquelles une solution existe déjà dans l’une des deux approches (Thurmair 2009).
Après avoir passé en revue les différents types de système de TA qui existent sur le marché, nous aborderons brièvement ci-dessous l’évaluation de la TA. Nous verrons dans la section suivante que la qualité de la TA détermine l’effort de post-édition ; c’est pourquoi il est important de pouvoir établir objectivement et rapidement la qualité de la TA brute produite par un système déterminé.
24
6. Evaluer la traduction automatique
L’évaluation de la traduction automatique représente actuellement un domaine de recherche très actif. La qualité des résultats d’un système de TA peut, bien entendu, être mesurée manuellement, en la comparant à celle d’une traduction faite par un humain ou en demandant à celui-ci de l’évaluer, en fonction, par exemple, de sa lisibilité et de sa fidélité ; elle peut aussi être évaluée sur la base de son utilité pour la réalisation d’une tâche déterminée (Koehn 2010).
Il existe aussi des systèmes d’évaluation automatique qui permettent d’éviter d’avoir recours à des êtres humains. Ils reposent toujours sur des traductions humaines de référence.
L’algorithme BLEU (Bilingual Evaluation Understudy), par exemple, est actuellement l’un des plus utilisés dans le secteur de la TA et c’est celui qui est intégré au système de TA statistique Moses (nous le verrons dans le détail dans le chapitre III). Avec ce système, un score individuel est calculé pour chaque phrase, la moyenne globale donnant le score final.
BLEU se base sur l’idée que « The closer a machine translation is to a professional human translation, the better it is. » (Papineni et al. 2002, p. 311). Une étude de Papineni et al.
(2002) aurait comparé la perception humaine de la qualité d’un groupe de traductions à leur scores BLEU et aurait démontré qu’elles étaient statistiquement comparables. Ces résultats sont cependant très contestés (Koehn 2010).
D’autres métriques existent aujourd’hui. Nous citons METEOR5, TER (Translation Edit Rate)6, le taux d’erreurs au niveau des mots (Word Error Rate), GTM (General Text Matcher) et la métrique NIST (du National Institute of Standards and Technology étatsunien) (Yvon 2011).
Le fonctionnement de BLEU et METEOR est fondé sur les critères de précision et de rappel. Le premier indique le nombre d’éléments pertinents parmi le total des éléments retrouvés ; le deuxième désigne le nombre d’éléments pertinents par rapport au total des
5 Téléchargeable à l’adresse : http://www.cs.cmu.edu/~alavie/METEOR/
6 Téléchargeable à l’adresse : http://www.cs.umd.edu/~snover/tercom/
25
éléments pertinents (Koehn 2010). Pour évaluer la traduction automatique les deux critères sont combinés grâce à la F-mesure dont la formule est la suivante :
F-mesure = précision x rappel (précision + rappel) / 2
Plusieurs d’entre elles peuvent être appliquées en ligne sur la plateforme TAUS7.
Nous verrons comment les résultats d’un système de traduction automatique statistique peuvent être améliorés à travers des réglages (tuning) dans le chapitre III qui décrit le processus de localisation adopté à Autodesk. Dans la section suivante nous verrons ce que l’on entend par post-édition.
B. La post-édition
Dans cette section, nous verrons ce que l’on entend par post-édition (PE) (section 1.), les types de PE qui existent (section 2.), de quoi dépend l’effort de post-édition (section 3.), quelles sont les différences avec la traduction et la révision traditionnelles (section 4.), la formation en PE (section 5.), les qualités requises par cette activité (section 6.) et le rôle des directives de PE (7.).
1. Quelques définitions
La post-édition est une discipline assez récente qui est née dans le contexte de la traduction automatique et lui est donc intimement liée. Ce terme, tout comme les mots dérivés post-éditeur et post-éditer, viennent du verbe anglais to postedit8.
Post-éditer, selon Allen (2003), c’est réviser, modifier et/ou corriger un texte pré-traduit par un système de traduction automatique à partir d’une langue source vers une ou plusieurs langues cibles. Le but est d’obtenir une qualité finale du texte qui soit « acceptable and end-user friendly » (Schäfer, 2003). Krings (2001), quant à lui, la définit comme une forme de « réparation » de la traduction automatique. Une définition encore plus précise est
7 http://translationautomation.com/events/taus-dynamic-quality-framework-users-call
8 Dans un contexte traductionnel, to edit signifie « réviser », tandis qu’en informatique, il prend l’acception de « modifier » (ROBERT, 2010).
26
celle de O’Brien (2012 b) qui précise que la correction doit prendre en compte les directives et les critères de qualité spécifiques au projet.
2. Les degrés de PE
Wagner (1985) définit deux types de post-édition : la PE complète et la PE rapide. Le but de la première est que le produit final obtenu ne puisse pas être distingué d’une traduction humaine, tandis que la deuxième consiste en une correction superficielle des erreurs les plus graves de la TA afin de rendre le texte final compréhensible et correct, sans trop se soucier de la qualité.
Choisir un type de PE plutôt qu’un autre, selon elle, dépend du temps que l’on veut ou peut dédier à la tâche et de la qualité que l’on veut ou doit obtenir.
Allen (2003) reprend la subdivision de Wagner, mais ajoute à cette typologie la post-édition minimale, qui vise à produire une qualité finale acceptable avec le minimum de modifications. Selon Allen, le niveau de post-édition dépend de plusieurs facteurs : l’utilisateur final ou le client, le volume de documentation à traiter, le niveau de qualité attendu, le temps à disposition du post-éditeur, la durée de vie du document et, comme expliqué plus haut, s’il s’agit de matériel informatif ou destiné à la publication.
Quant à Robert (2013), elle distingue deux types de post-édition : la post-édition brute et la post-édition évoluée professionnelle. Selon elle, la première consiste en la révision, modification, correction, remaniement et relecture directe d’un texte traduit par un moteur de TA ; la seconde, en revanche, est le résultat de ces mêmes opérations appliquées à un texte produit par la combinaison de plusieurs technologies de traduction automatique et de traduction assistée par ordinateur (Robert, 2010).
Actuellement, la post-édition brute est souvent effectuée par des non professionnels dans le cadre de projets collaboratifs, comme dans le cas du projet de post-édition par crowdsourcing9 de Microsoft (Aikawa et al, 2012) et relève le plus souvent du bénévolat.
9 En français, externalisation ouverte
27
3. L’effort de PE
L’effort de post-édition, tel qu’il est définit par Allen (2003), est l’effort cognitif nécessaire pour identifier les corrections à effectuer et l’effort manuel requis pour les réaliser. L’effort dépend de la traduisibilité du texte pré-traduit par TA (O’Brien 2004).
En termes quantitatifs, d’après Vasconcellos et León (1985), un post-éditeur expérimenté devrait pouvoir post-éditer entre 4 000 et 10 000 mots de qualité par jour.
Selon Wagner (1985), en post-édition rapide, il est possible de traiter 4 pages par heure.
Comme l’explique O’Brien (2004), l’effort de PE peut être réduit en adoptant certaines stratégies. En premier lieu, l’emploi de la TA peut être combiné à des mémoires de traduction. On propose alors les segments d’un texte précédemment traduits (et corrigés par un humain) en tant que correspondances partielles, évitant ainsi de devoir les traduire automatiquement, ce qui réduit le taux d’erreur. En deuxième lieu, l’on obtiendra de bien meilleurs résultats en intégrant au système des dictionnaires terminologiques spécifiques au domaine, s’il s’agit de systèmes à base de règle, ou en augmentant le corpus, s’il s’agit de systèmes statistiques. Finalement, il est aussi possible de travailler en amont, c’est-à-dire en rédigeant le texte d’origine selon les règles des langages contrôlés pour en améliorer la traduisibilité.
Selon Robert (2013), la post-édition comprend quatre types d'activités :
o Révision des phrases provenant des MT préalablement traduites par des traducteurs (correspondances parfaites ou 100 %) ;
o Mise à jour des phrases qui sont des correspondances partielles des MT (de 75 % à 99 %) ;
o Post-édition des phrases produites par la TA (de 0 % à 74 %) ;
o Relecture du texte final afin d’harmoniser, articuler et finaliser l’ensemble.
Que la PE soit une activité exigeante aux multiples facettes, c’est ce que pensent aussi Brunette et O’Brien (2011). Toutefois, elles croient que l’effort dû à l’alternance de toutes ces tâches différentes n’a pas été encore suffisamment décrit.
28
4. PE vs. traduction
Les systèmes de TA statistique n’avaient pas encore été introduits lorsque, dans son article de 1985 « Post-editing Systran: A Challenge for Commission Translators », Wagner arguait que, comme la traduction brute d’un système de TA n’est pas le produit du cerveau humain, elle contient des erreurs que même un enfant ne ferait pas. De plus, selon elle, le traducteur qui est habitué à avoir une certaine marge de liberté lorsqu’il traduit, se retrouve à devoir réparer des phrases dont la plupart des mots sont incorrects ou induisent en erreur.
Mais il doit en tout cas résister à la tentation de tout effacer, car la PE doit rester rentable par rapport à la TH.
Krings et Koby (2001) ont également noté des différences entre la PE et la traduction/révision au niveau cognitif. Lors d’une étude pratique, ils ont remarqué que l’approche du traducteur/réviseur change face à un texte produit par TA, vu qu’il est poussé à se référer constamment au texte source, et cela l’oblige a « deal with lower level text comprehension processes in the source text to a much greater extent than would be the case in a normal translation task » (p. 360).
O‘Brien (2002), quant à elle, voit des différences au niveau pratique : tout d’abord, lors d’une tâche de post-édition, l’on travaille sur trois textes et non pas deux comme en traduction ; ensuite, ce que normalement l’on attend d’un traducteur, c’est qu’il produise un texte de qualité impeccable, tandis qu’un post-éditeur adapter la qualité du texte cible en fonction de sa finalité ou des exigences du client.
Nous venons de voir que, selon certains auteurs, la traduction et la post-édition diffèrent beaucoup l’une de l’autre. On pourrait donc déduire que, come en traduction, il faudrait mettre en place des formations en post-édition. C’est ce que pensent les auteurs que nous verrons ci-dessous.
5. La formation en PE
Comme nous l’avons vu, l’effort de post-édition, et par conséquent la stratégie que l’on décide d’adopter (PE complète, minimale, rapide…), dépendent du résultat auquel on aspire. Cependant, la définition et la délimitation des typologies de PE est encore
29
aujourd’hui source de débat dans l’industrie et dans le contexte académique (Depraetere 2010).
Certains auteurs considèrent que les traducteurs qui se dédient à la tâche de PE pourraient tirer profit d’une formation spécifique ou de directives claires de PE.
D’après O’Brien (2002) un module d’enseignement dédié à la PE devrait inclure une introduction à la post-édition, à la traduction automatique et aux langages contrôlés, un cours approfondi de gestion terminologique et de linguistique, ainsi que des bases de programmation.
Selon O’Brien et Brunette (2011), la PE devrait tendre vers la qualité et, par conséquent, rester entre les mains des professionnels.
O’Brien et Brunette ne sont pas les seules à préconiser une formation préalable en post-édition pour les traducteurs. Robert (2013), déjà citée, dispense des cours de sensibilisation à la post-édition à l’université, en France.
Lavault-Olléon (2011, p.9), quant à elle, est convaincue qu’une « meilleure connaissance des compétences et stratégies mobilisées en post-édition, de son organisation matérielle, des délais qu’elle nécessite et des degrés de qualité attendus permettrait aux traducteurs de l’accepter comme une tâche faisant partie intégrante de leur métier et aux formateurs de l’enseigner de façon plus organisée ».
6. Les qualités requises
Malgré les différences entre l’activité de post-édition et de traduction, les meilleurs candidats à travailler en post-édition semblent être les traducteurs mêmes (Krings et Koby 2001, O’Brien 2002, Rico et Torrejón 2012), car le traducteur est celui qui, comme personne d’autre, peut reconnaître l’exactitude d’un texte et les erreurs de la TA, transférer au mieux un concept d’une langue à l’autre et tirer profit des ressources techniques à sa disposition (Krings et Koby 2001).
Déjà en 1985, Vasconcellos et León (1985) identifiaient comme fondamentale une attitude positive envers la TA. Rico et Torrejón (2012) mentionnent aussi la capacité de
30
répondre de manière adéquate aux attentes du client, avoir des capacités décisionnelles développées et tolérer des niveaux de qualité très bas.
Du point de vue technique, une liste des habilités et connaissances préalables est présentées O’Brien (2002) qui met en avant la connaissance des bases du fonctionnement des systèmes de TA, incluant le codage des dictionnaires, la gestion terminologique et tous les formats de données nécessaires, de l’expérience en rédaction par langage contrôlé et des notions de base de programmation.
7. Les directives de PE
Réviseuse à la Commission européenne, Wagner détaillait dans son article de 1985
« Post-editing Systran : A Challenge for Commission Translators » une série de directives concernant la post-édition de type rapide. Les voici : toujours faire référence au texte source ; ne corriger que les phrases qui sont erronées ou sans sens et, s’il y a le temps, les phrases ambiguës ; résister à la tentation de tout effacer ; ne pas hésiter, marquer la phrase pour y revenir après ; ne pas se soucier du style ni des répétitions ; refuser la tâche si l’on n’est pas à l’aise avec le sujet ; éviter les recherches terminologiques chronophages ; refuser de faire de la post-édition, tout court, si l’on est dérangé à l’idée de produire des traductions de mauvaise qualité.
Il est intéressant, cependant, de voir que l’une des règles qu’elle indique, moins rigoureuse que les autres, incite presque à faire usage de sa créativité : « Do save time by giving a 'free' translation or even a colloquial expression which would not normally be acceptable in Commission usage. This is justifiable because the main aim is to convey the information content of the text. » (Wagner 1985, p. 6)
Si l’objectif n’est pas de produire un texte de qualité comparable à une traduction humaine, la post-édition, d’après Guzmán (2007) peut se limiter à corriger les erreurs grammaticales, syntaxiques, orthographiques, de ponctuation et factuelles.
Rico et Torrejón (2002), quant à eux, ajoutent à ces catégories la réparation des segments ou des mots manquants.
31
La plateforme TAUS offre aussi de nombreux types de directives concernant la post-édition mais aussi l’évaluation de la TA, la traduction collaborative, les typologies d’erreurs de la TA et la productivité. Les directives de PE10, disponibles en 11 langues, principalement asiatiques, différencient entre ce qui est nécessaire pour obtenir une traduction de qualité acceptable et une de qualité humaine. D’une part, une traduction de qualité acceptable peut être obtenue, d’après les auteurs de ces directives, avec les règles suivantes :
Viser une traduction correcte au niveau sémantique
Vérifier qu’aucune information n’a été accidentellement ajoutée ou oubliée
Modifier le contenu injurieux, inapproprié ou culturellement inacceptable
Exploiter au maximum le résultat brut de la traduction automatique
Appliquer les règles d’orthographe fondamentales
Inutile d’effectuer des corrections d’ordre uniquement stylistique
Inutile de modifier la structure des phrases dans le seul but d’améliorer la fluidité du texte
D’autre part, une qualité comparable à celle d’une traduction humaine nécessite plus de soins, comme il est expliqué ici :
Viser une traduction correcte au niveau grammatical, syntaxique et sémantique
Vérifier que la terminologie importante est correctement traduite et que les termes non traduits font partie de la liste des termes à ne pas traduire du client
Vérifier qu’aucune information n’a été accidentellement ajoutée ou oubliée
Réviser le contenu injurieux, inapproprié ou culturellement inacceptable
Exploiter au maximum le résultat brut de la traduction automatique
Appliquer les règles fondamentales d’orthographe, de ponctuation et de coupure des mots
Vérifier que la mise en forme est correcte
Nous mentionnons aussi les directives de PE rédigées par Autodesk et destinées aux traducteurs des produits de la société. En plus de règles générales comme celles indiquées par TAUS, elles présentent de nombreuses phrases d’exemple servant à illustrer les différents cas de figure face auxquels les traducteurs pourraient se retrouver pendant la post-édition.
10 Les directives TAUS sont consultables ici : https://www.taus.net/postediting/machine-translation-post-editing-guidelines
32
8. Les outils de post-édition
Aujourd’hui, les outils de TAO, comme les mémoires de traduction, permettent
Aujourd’hui, les outils de TAO, comme les mémoires de traduction, permettent