Le participant

Lors de la visite à l’Agence 2, nous avons pu approfondir l’un des aspects introduits par le questionnaire, à savoir la stratégie de recherche mise en place par le post-éditeur pour faire face aux segments avec peu de contexte. C’est le Traducteur 8, de langue maternelle française, qui a accepté de nous accorder une demi-heure de son temps.

A l’Agence 2, les traducteurs travaillent dans un environnement open-space, mais pour ne pas déranger ceux qui ne participaient pas à notre expérience, nous avons préféré réaliser la session dans un bureau.

77

3.3 Le matériel utilisé

Le matériel utilisé pour l’observation a été le suivant : un fichier contenant une partie des chaînes de caractères et autres éléments de l’interface utilisateur d’un produit Autodesk ; SDL Passolo 2011 Team Edition, déjà installé sur l’ordinateur utilisé à l’agence ; le logiciel d’enregistrement BBFlashback ; un schéma d’entretien qui nous a servi de support à la prise de notes pendant l’observation. Le fichier de l’UI²⁵, pré-traduit de l’anglais au français par traduction automatique et mémoires de traduction, nous a été fourni par le département de localisation d’Autodesk.

3.4 Le déroulement

A l’intérieur du matériel pré-traduit contenu dans le fichier, nous avions préalablement identifié deux segments particulièrement adaptés à cette simulation. Nous les avons indiqués tout de suite au Traducteur 8 en guise d’exemple, en lui demandant s’il croyait que leur traduction était effectivement problématique, afin de vérifier leur pertinence pour l’expérience.

Suite à sa réponse positive, nous lui avons demandé comment il aurait procédé dans une situation réelle de post-édition et nous avons commencé l’enregistrement de l’écran et du son.

La consigne était qu’il réfléchisse à voix haute et exprime verbalement toutes les décisions qu’il prenait, en décrivant chaque action.

Nous avons obtenu des données intéressantes que nous verrons dans le chapitre suivant. Cependant, nous avons relevé successivement la présence de certains biais.

3.5 Les biais

Le déroulement de l’observation n’a pas été sans difficultés. Il faut souligner tout d’abord que pour le Traducteur 8, ce n’était pas l’environnement de travail normal : l’ordinateur utilisé n’était pas le sien, ce qui a pu, dans une mesure limitée, influencer les

25 User interface, interface utilisateur

78

résultats de notre observation. Cependant, il nous aurait été impossible de réaliser l’observation dans la salle de travail commune où travaillaient au moins 15 autres traducteurs.

Un deuxième biais pourrait avoir été causé par le fait que nous ignorions la provenance exacte du fichier de l’UI que nous avons fourni, c’est-à-dire le produit auquel il appartenait.

Les recherches du traducteur auraient probablement été plus ciblées si ce détail avait été connu. Cependant, pendant un débriefing successif avec la manager de projet, nous avons pu apprendre que ce type de situation, où le traducteur ne connait pas précisément la provenance du matériel qu’il à a traduire, n’est pas finalement si invraisemblable, étant donné que les noms des différents fichiers à traduire sont parfois peu transparents.

Finalement, vu les temps limités dont nous disposions, nous avons induit le Traducteur 8 à prendre en considération des segments spécifiques qui, malgré notre soin pour les choisir, n’étaient peut-être pas ceux sur lesquels il aurait spontanément buté.

Une description des résultats de l’observation est disponible dans le chapitre VII, sous la question Q7.

D. Conclusion

Dans le chapitre antérieur, nous avions émis des hypothèses concernant plusieurs aspects ergonomiques de la pratique de la post-édition. Dans le présent chapitre, nous venons de décrire la méthodologie que nous avons employée lors de cette étude pour la vérification de nos hypothèses, compte tenu des biais qui ont été relevés. Dans le chapitre suivant, nous décrirons les résultats obtenus.

79

Chapitre VI : Les résultats

Dans le chapitre IV, nous avions émis des hypothèses quant au rapport que le post-éditeur entretient avec la traduction automatique, aux pratiques et stratégies adoptées, à l’utilisation des outils et ressources à disposition.

Ci-dessous, nous analyserons conjointement les commentaires des participants aux entretiens, les réponses au questionnaire et les données recueillies lors de l’observation. Un tableau résumant toutes les réponses aux questions du questionnaire est disponible en annexe.

Ergonomie cognitive

Q.1 Quel est l’apport de la TA dans votre travail ? (réponses : 5, commentaires : 4)

Pour commencer notre questionnaire, nous avons proposé aux traducteurs la citation suivante de F. Schäfer (SAP, p. 7) : « MT is there to support translators and hence make their work easier, more efficient and, in the end, more rewarding. »

En posant cette question, nous voulions obtenir un indicateur de l’opinion générale des traducteurs au sujet de la TA à la lumière de laquelle nous allions mieux comprendre leurs réponses aux questions suivantes. Les résultats sont schématisés dans la figure 14 ci-dessous.

80

Figure 14 : Les réponses à la première question schématisées

Nous allons maintenant analyser individuellement chaque sous-question, correspondant à chacun des trois adjectifs employés par Schäfer : « easier », plus facile (sous-question (a)), « more efficient », plus efficace (sous-question (b)) et « more rewarding », plus gratifiant (sous-question (c)).

(a) Est-ce que la TA facilite le travail du traducteur ?

S’il est vrai que nous ne pouvons pas détecter de tendance particulière dans les réponses des traducteurs, certains de leurs commentaires nous fournissent quelques précisions intéressantes :

« Easier: Disagree. Post-editing machine translation is not easier than translating from scratch, it can actually be more difficult. […] » (Traducteur 2)

81

« [E]asier: no, statistical MT seems natural but generates errors that a human translation would not, so post-editors always have to pay special attention to the source. » (Traducteur 5)

D’après ces deux traducteurs, qui ont respectivement à leur actif des dizaines de milliers et un million de mots post-édités, post-éditer des textes produits par traduction automatique n’est pas plus facile que les traduire, mais plutôt le contraire, à cause des erreurs produites par la TA qui ne seraient jamais commises par un humain.

En revanche, le Traducteur 4, qui est d’accord sur le fait que la TA rend son travail plus facile, fait le commentaire suivant :

« I think it really depends on the subject matter and the type of content translated. It can make the translator’s work easier and more efficient in some technical, repetitive content that doesn’t require a lot of stylistic input. »

Cela rejoint l’opinion largement partagée dans la littérature et dans l’industrie (Arnold 1994, Krings et Koby 2001, L’Homme 2008, Robert 2010, Lueke 1997) selon laquelle l’application de la TA n’a de sens que dans un contexte technique. Il est possible que lorsqu’il mentionnait le « stylistic input », ce traducteur faisait référence à la traduction de la documentation, qui peut requérir, comme il le dit, un style plus soigné, qui n’est pas du tout requis pour les chaînes qui composent l’interface logicielle des produits.

Les traducteurs interviewés ont également fourni des pistes intéressantes. L’opinion du Traducteur 4, reproduite ci-dessus, est partagée par le Traducteur 6, qui a indiqué qu’il a l’impression que la traduction automatique n’est pas très utile pour les release notes²⁶ car c’est un type de document qui, pour sa complexité et son caractère rédactionnel, ne s’y prête pas bien.

Quant au logiciel, les traducteurs interviewés signalent également des difficultés dues à de multiples erreurs terminologiques entraînées par la traduction automatique, ce qui leur fait penser que, tout compte fait, l’emploi de la TA pour traduire les chaînes de l’interface

26 Pour un logiciel, la présentation des nouveautés de la version

82

logicielle ne facilite pas beaucoup leur travail. Afin de contextualiser cette affirmation, nous rappelons que ces traducteurs travaillent, entre autres, sur des produits Autodesk, qui se démarquent par leur variété. Il est bien connu qu’un même terme peut avoir plusieurs sens et traductions différentes selon le contexte (architecture, dessin industriel, ingénierie), d’où les erreurs terminologiques dont ils parlent.

(b) Est-ce que la TA rend plus efficace le travail du traducteur ?

La totalité des interviewés se considère d’accord sur le fait que la TA rend leur travail plus efficace. Le Traducteur 2 ajoute un détail intéressant à propos de la productivité :

« […] More efficient: Agree, from the point of view of productivity. With some effort and sufficient skills by the posteditor, it is possible to gain in productivity. »

Le gain en productivité, d’après lui, ne serait donc pas directement attribuable à la traduction automatique, mais plutôt aux habilités et à l’effort du traducteur. Le Traducteur 5 fait le commentaire suivant :

« [..] [M]ore efficient: yes, in terms of productivity, post-editing is somewhere between translation and review. »

Les traducteurs qui ont répondu à l’enquête ont tous abordé l’efficacité du point de vue de la productivité, mais aucun n’a fait référence à la qualité. En revanche, pendant l’entretien, c’est cet élément qui a primé. Le Traducteur 6 a indiqué que l’efficacité dépend du traducteur car, face à un texte pré-traduit, un traducteur qui n’est pas assez méticuleux pourrait avoir tendance à ne pas voir certaines erreurs, contrairement à ce qui se passe quand on traduit un texte à partir de zéro. En revenant au discours sur les erreurs terminologiques, il a ajouté que la post-édition est quelque peu plus rapide que la traduction, mais que cela dépend aussi du moteur de TA utilisé, puisque si les glossaires sont trop généraux, il faut réviser un par un tous les termes pour être sûr qu’ils sont employés dans le bon contexte.

83

(c) Est-ce que la TA rend plus gratifiant le travail du traducteur ?

Des 4 traducteurs qui avaient une opinion au sujet (un ayant coché la case « I don’t know »), les 4 étaient en désaccord avec l’adjectif « more rewarding ». Lors de la préparation du questionnaire, nous avons interprété « more rewarding » dans le sens de gratifiant et nous l’avons présenté aux interviewés en imaginant qu’ils l’auraient interprété de la même façon. Cependant, le Traducteur 5 a préféré aborder l’aspect financier évoqué par cet adjectif, comme il l’a expliqué dans son commentaire :

« [N]o, MT is not profitable because the discounts are too important compared to the quality required by the client. »

Il s’agit d’une personne qui collabore depuis longtemps (5-6 ans) avec Autodesk sur des tâches de post-édition. Son affirmation débouche sur une autre thématique, celle de la satisfaction des traducteurs par rapport au prix, pour laquelle nous renvoyons à l’étude de Guerberof (2013). Les deux autres commentaires ont été les suivants :

« It definitely can’t be more rewarding, because very little of what you write is actually created by you. » (Traducteur 3)

« […] More rewarding: Disagree I do not find post-editing more rewarding than translating, rather the opposite. » (Traducteur 2)

Les opinions ci-dessus sont partagées par les traducteurs interviewés. Le Traducteur 6 pense que post-éditer un texte signifie simplement le rendre lisible et ne laisse aucune marge à la créativité. Le Traducteur 7 considère la PE « annoying » parce que le traducteur n’est censé intervenir sur le texte qu’en cas d’erreur, alors que, d’après lui, un texte ne devrait pas seulement être lisible mais aussi agréable à lire.

En guise de résumé des réponses et des commentaires à cette première question aussi dense, nous pouvons affirmer ce qui suit :

- Les répondants considèrent que la TA peut faciliter leur travail à condition que le matériel source soit approprié et que le système soit entraîné avec des données terminologiques appropriées ;

84

- L’efficacité en termes de productivité n’est pas mise en doute, mais la qualité finale du texte de départ peut être compromise, d’après certains répondants, par le manque de méticulosité et la tendance à accepter la traduction proposée, surtout chez les traducteurs peu expérimentés ;

- En post-édition, aucune place n’est laissée à la créativité selon les répondants, qui se sentent en quelque sorte limités par le fait de devoir juste rendre le texte lisible.

Vu les situations très concrètes qu’elles évoquent, les réponses que nous venons d’analyser témoignent de l’expérience des répondants en post-édition.

Q.2 Existe-t-il des patrons d’erreurs produites par la TA ? (réponses : 5)

Avant de consulter les traducteurs, nous avions fait l’hypothèse qu’aujourd’hui, en particulier dans le contexte d’Autodesk où l’on emploie la TAS, cette affirmation n’était plus correcte. Cependant la plupart des traducteurs (4 sur 5) affirment reconnaître des patrons parmi les erreurs produits par la TA.

A la lumière des réponses à la première question, en particulier des commentaires concernant les imprécisions terminologiques provoquées par la TA, nous pouvons imaginer qu’ils font référence précisément à ce type d’erreurs qui sont provoquées, comme ils le disent, lorsque le système de TA est entraîné avec des glossaires trop généralistes.

L’existence de patrons d’erreurs typiques de la TA et leur reconnaissance de la part des traducteurs semblent être toujours d’actualité.

En ayant davantage de temps et des moyens plus adaptés, il serait intéressant de recueillir à ce sujet davantage de données, auprès d’un échantillon plus significatif de traducteurs, en incluant peut-être une mise en situation réelle où l’on observerait, avec des techniques telles que l’oculométrie ou le raisonnement à voix haute (TAP), sur quels types d’erreurs les traducteurs butent le plus souvent. Un autre moyen de recherche, plus facile à mettre en place, serait d’analyse d’un échantillon de textes pré-traduits par la TA.

85

Dans tous les cas, comme indiqué par TAUS²⁷, les post-éditeurs devraient pouvoir donner du feedback sur les types d’erreurs rencontrées afin que le système puisse être amélioré.

Q.3 Reconnaissance des erreurs = PE plus rapide ? (2) (réponses : 5, commentaires : 2)

Est-ce que le fait de s’habituer aux erreurs produites par la TA permet de post-éditer plus rapidement ? Quatre sur cinq répondants étaient soit totalement d’accord (2), soit d’accord (2) avec l’affirmation. L’un d’eux a écrit le commentaire suivant :

« After a while you learn the logic behind MT and can kind of anticipate this kind of errors. » (Traducteur 3).

Ce traducteur mentionne « the logic behind MT », le fonctionnement de la TA, ce qui nous confirme que, d’après lui, afin de pouvoir anticiper les erreurs, il faut tout de même comprendre les bases de la traduction automatique. Cependant il laisse entendre que ces connaissances peuvent être apprises à travers la pratique, sans nécessiter de formation.

Nous notons au passage que ce traducteur considère la formation en PE « utile mais pas indispensable », comme il l’a indiqué dans la question numéro 4.

Seulement le Traducteur 2 se considère en désaccord et a ajouté le commentaire suivant :

« In most cases it is difficult to figure out repetitive patterns, especially when the size of the translatables is not very big. For my experience, I do not see that growing familiar with the typical MT error types makes my post-editing faster. »

Ce traducteur, qui travaille sur des tâches de post-édition pour Autodesk depuis 9 ans, n’a pas l’impression que le fait de s’habituer aux erreurs typiques de la TA rende son travail plus rapide. Son opinion, bien que représentant une minorité au sein de notre échantillon, donne un aperçu très intéressant. En effet, son allusion à « the size of the translatables », la taille des fichiers à traduire, débouche sur un autre sujet qu’il serait intéressant d’analyser :

27 Directives TAUS : https://www.taus.net/postediting/machine-translation-post-editing-guidelines

86

celui de l’ultra-segmentation des fichiers de traduction et son impact sur le traducteur en termes de confort et d’ergonomie cognitive.

Cette question nécessiterait donc de faire l’objet de recherches ultérieures et plus approfondies. Lors de notre entretien en juin 2013, Ana Guerberof avait suggéré que pour aider à faire la lumière sur la question, la méthode la plus indiquée aurait été de mettre en place des tests de productivité où l’on aurait comparé, par exemple, les performances de deux traducteurs expérimentés dans le même domaine technique mais dont un seul serait familiarisé avec les techniques de PE.

Q.4 La formation en PE est-elle indispensable ? (réponses : 5)

Quatre traducteurs sur cinq considèrent qu’une formation en post-édition est « utile mais pas indispensable ». Ils en sont la démonstration vivante puisqu’ils travaillent depuis longtemps en post-édition sans avoir jamais reçu de formation (comme indiqué par eux-mêmes ailleurs dans le questionnaire).

Les traducteurs interviewés sont dans la même ligne de pensée. Le Traducteur 6 pense qu’il n’y a rien qui ne puisse pas être expliqué dans des guidelines : une fois que l’on a compris que le client demande un texte « lisible » ou bien « de qualité comparable à une traduction humaine », le tour est joué. Le Traducteur 7 ajoute que ce qui est peut-être plus utile, c’est de connaître les bases de fonctionnement de la TA.

Il est intéressant d’observer que le Traducteur 5, qui est le seul à penser qu’une formation en PE est indispensable, est aussi le seul qui en a effectivement reçue une. Nous ne pouvons qu’en déduire que les opinions à ce sujet dépendent des caractéristiques personnelles de chacun. Ceci dit, c’est aussi difficile de juger quelque chose dont on n’a pas fait l’expérience.

D’après les réponses des participants, il semblerait donc que la formation en PE n’est peut-être pas indispensable si l’on a la possibilité d’apprendre à post-éditer par la pratique et si l’on comprend les bases du fonctionnement de la TA.

87

Q.5 Le procédé de PE : une citation (réponses : 5, commentaires : 2)

Les 5 traducteurs qui ont répondu au questionnaire se considéraient « totalement d’accord » avec la citation de Schäfer (2003, p. 3) selon laquelle il est d’une importance cruciale que chaque segment provenant de la TA soit comparé minutieusement avec le texte source afin d’identifier les erreurs cachés. Leurs réponses impliquent, même si elles ne le prouvent pas, que c’est cette attitude qu’ils privilégient lorsqu’ils travaillent.

Q.6 Quel est votre procédé de PE ? (réponses : 5)

Pour les raisons spécifiées au point C.1.4 du chapitre V, nous voulions savoir si leur attitude change en fonction du type de segment auquel ils ont affaire. La mise en situation requise par cette question supposait que la post-édition soit effectuée dans un environnement combinant les mémoires de traduction et la TA, ce qui est la norme pour les projets d’Autodesk (voir chapitre III).

Interrogés quant à leur méthode de post-édition selon les différents types de segments, les répondants ont donné les réponses qui sont schématisées ci-dessous dans la Figure 16.

Les symboles utilisés dans la figure 15 sont expliqués dans la légende et les numéros qui les accompagnent indiquent le nombre de personnes ayant donné cette réponse.

88

Figure 15 : Une schématisation des réponses à la question 6.

Nous pouvons dégager certaines constantes parmi les réponses des traducteurs. La plupart d’entre eux (4 ou 5 répondants) affirme que, lorsqu’ils se trouvent face à des segments produits par TA ou des remontées de mémoires de traduction, ils font systématiquement référence au texte source. En revanche, lorsqu’ils rencontrent des correspondances parfaites, ils sont 4 à affirmer qu’ils ne vont lire la source que si la qualité de la traduction proposée est douteuse. Nous rappelons que dans des environnements de traduction tels que SDL WorldServer ou Passolo (les outils utilisés dans le cadre du processus de localisation d’Autodesk), la provenance de chaque segment est clairement indiquée.

Lors de l’entretien de groupe, nous avons pu obtenir davantage de précisions. Le Traducteur 6 a affirmé que lorsqu’il s’agit de TA, il consulte le texte source systématiquement, comme s’il était en train de réviser le travail de quelqu’un d’autre. Quant aux remontées des mémoires, il a expliqué que son procédé ne change pas, mais qu’il trouve

Lors de l’entretien de groupe, nous avons pu obtenir davantage de précisions. Le Traducteur 6 a affirmé que lorsqu’il s’agit de TA, il consulte le texte source systématiquement, comme s’il était en train de réviser le travail de quelqu’un d’autre. Quant aux remontées des mémoires, il a expliqué que son procédé ne change pas, mais qu’il trouve

Dans le document L'intégration de la traduction automatique dans le processus de localisation à Autodesk : Étude de cas et enquête auprès des traducteurs (Page 77-0)