5. Analyse des résultats
5.3 Questionnaire des enseignant·e·s
Nous avons également recueillie l’avis des enseignant·e·s concernant l’ajout de la TA (post-édition) au programme du cours de « Traduction et révision EN/FR » (voir Annexes 8).
Tout d’abord, les deux enseignant·e·s sont titulaires d’un diplôme en traduction de niveau universitaire. Leur combinaison linguistique est le français comme langue maternelle ainsi que l’anglais et l’allemand comme langues passives. Concernant leurs connaissances en TA et PÉ, l’un·e possède des connaissances avancées sur les deux sujets tandis que l’autre ne possède aucune connaissance.
Nous nous sommes ensuite intéressée à leur avis sur l’usage de la TA pour une tâche de traduction : l’un·e pense que ce n’est pas utile, et l’autre que la TA peut être utile dans certains contextes, comme pré-traduction pour comprendre le sens ou dans le cas d’un délai de reddition serré par exemple. Concernant DeepL, les deux enseignant·e·s connaissent ce système et l’ont déjà utilisé pour une traduction.
Nous leur avons ensuite demandé s’il serait utile d’intégrer la TA (post-édition) à l’enseignement de la traduction. Leur opinion est relativement similaire : il serait bien d’en parler aux étudiant·e·s afin d’attirer leur attention sur les « dangers » à éviter et de les préparer à la vie professionnelle où des connaissances en post-édition peuvent être demandées. Néanmoins, tous deux s’accordent à dire qu’il est nécessaire que les étudiant·e·s aient une bonne formation et un niveau suffisant en traduction (soit un
64 niveau de maîtrise) avant d’introduire la TA (post-édition) pour qu’ils ou elles puissent poser un regard critique sur les propositions générées automatiquement.
Concernant la fréquence à laquelle la TA (post-édition) devrait être abordée durant le semestre, nous avons obtenu les réponses suivantes (voir Figure 25) :
Figure 25 : Fréquence PE enseignement - enseignant·e·s
Un·e enseignant·e privilégierait un cours complet par semestre tandis que l’autre préférerait qu’une partie du cours de traduction y soit consacrée, mais pas systématiquement.
Enfin, nous les avons questionné·e·s sur le niveau de connaissances nécessaire pour enseigner la post-édition dans le cadre d’un cours de traduction. Un·e enseignant·e estime que des connaissances approfondies sont requises, telles qu’une formation complète dans le domaine. L’autre enseignant·e suggère qu’une présentation ou un cours soit donné par un membre de l’unité de TIM et que quelques exercices soient donnés par un·e enseignant·e en traduction.
Nous pouvons en conclure que les enseignant·e·s sont plutôt favorables à l’intégration de la TA (post-édition) à leur cours de traduction, mais qu’il est nécessaire que les étudiant·e·s aient un bon niveau en traduction au préalable. Une formation en TA (post-édition) leur semble nécessaire pour pouvoir intégrer ce domaine à leur programme et l’enseigner.
65 5.4 Données objectives
Dans cette section, nous nous pencherons sur les données objectives récoltées lors de l’expérience. Nous commencerons par détailler les données fournies par MateCat (section 5.4.1), puis nous analyserons les révisions effectuées par les étudiant·e·s et par la professionnelle (section 5.4.2). Enfin nous exposerons les résultats obtenus au test de reconnaissance TH-TA (section 5.4.3).
5.4.1 Analyse des données fournies par MateCat
Dans cette section, nous présenterons l’analyse des données extraites de MateCat pour l’ensemble des participant·e·s (étudiant·e·s et professionnelle), et ce pour chacun des textes (littéraire, économique et journalistique).
L’onglet Editing log de MateCat (voir section 4.2.2) fournit les résultats des trois éléments suivants :
• le temps total d’édition : le temps total que le ou la participant·e a passé à réviser, y compris les temps de pause ;
• la moyenne secondes/mot : le nombre de secondes passées à réviser chaque mot ;
• l’effort de post-édition : pourcentage des modifications de caractères effectuées lors de la tâche dans son ensemble22.
Dans le cadre de ce mémoire, nous nous intéresserons au temps total d’édition ainsi qu’à l’effort de post-édition.
22 https://www.matecat.com/support/advanced-features/editing-log/, consulté le 23.04.2019
66 5.4.1.1 Résultats des étudiant·e·s
Les Tableaux 9, 10 et 11 résument les moyennes de chaque groupe d’étudiant·e·s et la moyenne générale pour le temps total d’édition et l’effort de post-édition :
Participant·e·s Temps d’édition Effort de post-édition
Moyenne groupe A 23m32s 11,93 %
Moyenne groupe B 33m04s 14,91 %
Moyenne générale 28m59s 13,63 %
Tableau 9 : Résultats MateCat étudiant·e·s - texte littéraire
Participant·e·s Temps d’édition Effort de post-édition
Moyenne groupe A 19m51s 3,03 %
Moyenne groupe B 31m23s 10,77 %
Moyenne générale 26m27s 7,45 %
Tableau 10 : Résultats MateCat étudiant·e·s - texte économique
Participant·e·s Temps d’édition Effort de post-édition
Moyenne groupe A 8m34s 7,79 %
Moyenne groupe B 20m12s 18,71 %
Moyenne générale 15m13s 14,03 %
Tableau 11 : Résultats MateCat étudiant·e·s - texte journalistique
Ces tableaux montrent que, pour les deux groupes, le texte journalistique a été révisé le plus rapidement (15m13s). Par contre, il a nécessité le plus gros effort de post-édition (14,03 %). Le texte économique a été le moins révisé (7,45 %), mais il a nécessité presque le double du temps d’édition du texte journalistique (26m27s). Ce type de textes demande aux réviseurs et aux réviseuses de prêter une attention particulière à l’usage des termes et à la formulation des phrases notamment, soit des étapes qui nécessitent parfois des recherches approfondies et qui prennent du temps. Là encore, si les étudiant·e·s n’ont pas l’habitude de travailler avec des textes de ce domaine, ils et elles vont forcément passer
67 plus de temps à réviser ce texte en comparaison d’un texte journalistique par exemple.
Nous observons donc que l’effort de post-édition (soit les changements de caractères) n’est pas nécessairement lié au temps total d’édition. Finalement, le texte littéraire a demandé le temps total d’édition le plus long (28m59s) pour un effort de post-édition similaire à celui enregistré pour le texte journalistique (13,63 %).
5.4.1.2 Résultats de la professionnelle
Analysons maintenant les données extraites du travail de notre professionnelle. Le Tableau 12 présente les résultats du temps total d’édition et de l’effort de post-édition pour tous les textes :
Type de textes Temps d’édition Effort de post-édition
Littéraire 30m30s 18,31 %
Economique 15m18s 27,14 %
Journalistique 14m46s 32,78 %
Tableau 12 : Résultats MateCat professionnelle
Comme pour les étudiant·e·s, nous pouvons remarquer que le texte journalistique est celui qui a été post-édité le plus rapidement (14m46s) et qui a nécessité le plus gros effort de post-édition (32,78 %). Le texte littéraire a été post-édité le plus lentement (30m30s), ce qui rejoint les observations effectuées précédemment (section 5.4.1.1), et a enregistré l’effort de post-édition le plus bas (18,31 %).
Notons également que l’effort de post-édition de notre professionnelle est sensiblement plus élevé que celui des étudiant·e·s, et ce pour tous les textes. La professionnelle a donc apporté davantage de modifications.
Nous pouvons conclure que le texte journalistique a été le plus facilement post-édité.
Globalement, les étudiant·e·s ont fourni un effort de post-édition inférieur à celui de la professionnelle et ont ainsi effectué moins de modifications. Le niveau d’expérience semble donc exercer une influence sur le travail de post-édition.
68 5.4.2 Analyse des tâches : erreurs corrigées ou omises
Nous analyserons maintenant les tâches effectuées par les étudiant·e·s et par la professionnelle. Pour ce faire, nous avons d’abord demandé aux enseignant·e·s qui nous ont fourni les textes et leur traduction de noter les différentes erreurs présentes dans les traductions issues de la TA et de la TH.
Les versions corrigées des traductions se présentaient de la façon suivante (voir Figure 26) :
Figure 26 : Exemple corrections - texte littéraire
Chaque erreur est mise en évidence et s’accompagne d’un sigle qui correspond à une catégorie précise (voir Annexes 21). Dans la liste ci-dessous, nous ne mentionnons que les catégories auxquelles nous nous intéresserons lors de l’analyse. Les erreurs sont classées par ordre décroissant de gravité dans chaque catégorie : le non-sens est la faute de traduction la plus grave et l’omission la moins grave par exemple (certaines peuvent également être de même gravité).
Erreurs liées au sens : « fautes de traduction »
• Non-sens (passage absurde) = NS
• Contresens (choix d’un mot ou d’une expression contraire au sens du texte) = CS
• Faux-sens (choix d’un mot ou d’une expression qui altère le sens du texte) = FS
• Glissement de sens (altération mineure du sens ou de la perspective) = GL
• Omission correspondant à une perte = OM
69 Erreurs liées à la reformulation : « fautes de langue »
Fautes de grammaire
• Syntaxe fautive = SYN
• Orthographe = O
Problèmes lexicaux
• Vocabulaire (mot inadéquat dans le contexte) = VOC
• Collocation fautive (association lexicale inadéquate) = COL
Problèmes stylistiques
• Terme = TER
• Formulation peu idiomatique = ID
Nous observerons ensuite s’il existe une tendance reliant le type de textes et la qualité de la traduction automatique en analysant le nombre et le type d’erreurs commises par DeepL. Nous déterminerons également si les participant·e·s ont obtenu un meilleur taux de réussite pour la révision ou la post-édition en comparant le nombre d’erreurs graves corrigées. Pour ce faire, nous avons repéré les extraits qui devaient être corrigés et avons observé si les participant·e·s avaient effectué des corrections. Si tel était le cas, nous avons alors vérifié que leur proposition correspondait à celle recommandée par les enseignant·e·s.
70 Le Tableau 13 résume les questions de recherche et les données que nous avons utilisées pour y répondre :
Questions de recherche Données collectées Sections Le type de textes a-t-il une
Les étudiant·e·s se laissent-ils et se laissent-elles influencer par la TA dans leurs tâches de
Les participant·e·s sont-ils et sont-elles plus performant·e·s
Analyse des tâches Section 5.4.2
Tableau 13 : Questions de recherches et données collectées - analyse des tâches
L’analyse des erreurs est non seulement utilisée lors des cours de traduction et révision, mais également dans le monde professionnel par les réviseurs et réviseuses. Ainsi, il nous semblait pertinent d’analyser les tâches effectuées par les participant·e·s en nous fondant sur ce type de correction. Néanmoins, nous tenons à préciser que les versions corrigées fournies par les enseignant·e·s n’ont pas vocation à être considérées comme des références. Chaque réviseur ou réviseuse a sa propre sensibilité et les corrections peuvent donc varier selon l’expérience, la subjectivité et le style de chacun·e. Én outre, certaines erreurs peuvent être classées dans plusieurs catégories. Les corrections proposées reflètent donc une des possibilités, mais n’excluent pas d’autres interprétations.
71 Les catégories d’erreurs pour la TA et la TH se répartissent de la manière suivante dans les trois textes analysés (voir Figure 27) :
Figure 27 : Catégories d'erreurs par texte analysé
Nous pouvons remarquer que les erreurs les plus fréquentes appartiennent aux catégories des maladresses (MD), des glissements de sens (GL), du vocabulaire (VOC) et des formulations peu idiomatiques (ID). Nous observons également que si certaines catégories sont communes aux trois textes, d’autres ne concernent qu’un seul type, telles que la perte d’effet (EF), la normalisation et la logique (LO) qui n’apparaissent que dans le texte littéraire.
Nous analyserons plus en détails les erreurs présentes en TA et en TH dans les sections suivantes.
0 2 4 6 8 10 12 14
Catégories d'erreurs par texte analysé
Texte littéraire Texte économique Texte journalistique
72 5.4.2.1 Texte littéraire
Types d’erreurs en TA et en TH
Dans le cas du texte littéraire, de nombreuses erreurs devaient être corrigées pour l’ensemble de la TA et de la TH.
• TH – 31 erreurs / 289 mots ;
• TA – 51 erreurs / 289 mots, réparties de la façon suivante (voir Figure 28) :
Figure 28 : Nombre et type d'erreurs texte littéraire – TH et TA
Les erreurs les plus fréquentes de la TH concernent les formulations peu idiomatiques (ID), les glissements de sens (GL) ainsi que la typographie (TYP). Les types d’erreurs devant absolument être corrigées sont les suivants : GL, FS, VOC, SYN, O, manque de clarté et ID. En effet, tous les problèmes liés au sens (FS, GL et manque de clarté) ainsi qu’aux règles et au vocabulaire de la langue d’arrivée (VOC, SYN et O) nous semblent nécessiter une correction afin de garantir une certaine qualité. Comme l’explique Robert,
« [p]our être efficace, le post-éditeur doit avant tout s’attacher à corriger les défauts structurels (contresens, faux-sens, non-sens, oublis) et à gommer les défectuosités non structurelles (erreurs de grammaire, de syntaxe et de ponctuation, fautes d’orthographe). » (2013, p. 33)
0 2 4 6 8 10 12 14
Texte littéraire
TH TA
73 La dernière catégorie (ID) que nous avons sélectionnée est donc discutable. Néanmoins, puisque nous sommes en présence d’un texte littéraire, l’idiomaticité est un critère particulièrement important à respecter pour préserver l’effet et accrocher les lecteurs et lectrices. En outre, nous avons spécifié dans le guide d’utilisation de MateCat (voir Annexes 10) que la qualité finale devait être suffisante pour que le texte soit publié. Nous pensons donc que l’idiomaticité dans le cadre de ce type de textes est suffisamment importante pour être prise en compte.
Concernant la TA, le nombre d’erreurs est significativement plus élevé. Les erreurs les plus fréquentes sont celles de vocabulaire (VOC), les glissements de sens (GL), les non-sens (NS) ainsi que les faux-non-sens (FS). Élles sont d’une gravité relativement importante pour la majorité. Pour les mêmes raisons évoquées ci-dessus, les types d’erreurs devant impérativement être corrigées sont les suivants : VOC, NS, GL, FS, TER, SYN et ID.
Les erreurs graves se répartissent donc de la manière suivante (voir Figure 29) :
Figure 29 : Nombre et type d'erreurs graves texte littéraire – TH et TA
Nous pouvons déjà observer que les erreurs les plus fréquentes ne sont pas les mêmes en TA ou en TH. Une certaine tendance se dégage concernant le type d’erreurs effectuées par le système de traduction automatique. Sur les 51 erreurs, 20 se rapportent au sens, 12 au lexique, 10 au style, 4 à la grammaire et 5 à d’autres types de problèmes. Il semble donc que DeepL ait rencontré des difficultés à restituer précisément le sens et le style de
74 Fautes graves de la post-édition
Concernant la post-édition, 23 erreurs graves devaient être repérées par le groupe A ainsi que par la professionnelle, et 16 erreurs par le groupe B. Les participant·e·s ont obtenu les résultats suivants (voir Tableau 14) :
Participant·e Nb. erreurs graves
Tableau 14 : Corrections texte littéraire – post-édition
Nous pouvons remarquer que les participant·e·s ont relevé moins de la moitié des erreurs graves présentes d’une part, et que la professionnelle a corrigé plus d’erreurs que les étudiant·e·s d’autre part. Toutefois, tous et toutes ont repéré d’autres erreurs considérées comme moins problématiques, telles que des erreurs de typographie. Il semble donc que l’expérience joue un rôle relativement important dans la post-édition et que certain·e·s participant·e·s se soient senti·e·s freiné·e·s dans leur correction au vu des consignes, soit de garder un maximum de TA brute. Par ailleurs, nous remarquons avec étonnement que les erreurs les plus graves (telles que les faux-sens ou les non-sens) ne sont pas nécessairement celles qui sont corrigées systématiquement, alors que des erreurs pouvant être perçues comme moins dérangeantes (telles que la typographie) sont parfois plus relevées par les participant·e·s.
Nous nous pencherons sur plusieurs exemples, en commençant par les non-sens, soit l’erreur la plus grave (voir Tableau 15) :
Texte source Traduction proposée
[…] your nails have the soft sheen of the recently manicured.
[…] vos ongles affichent le lustre doux de l’éclat récemment manucuré.
A good old ball bearing cosh […] Un bon vieux roulement à billes […]
Tableau 15 : Texte littéraire post-édition – NS
75 Dans le premier cas, le segment devait être reformulé dans son ensemble, car il constituait un non-sens complet. Tous et toutes les participant·e·s (N=4/4) ont repéré ce problème et ont effectué les modifications nécessaires, en parlant entre autres de « doux éclat d’une récente manucure » ou de « lustre doux d’une manucure récente ». En revanche, le deuxième cas n’a pas systématiquement été relevé, ou n’a parfois été que partiellement corrigé. Ici, il s’agissait d’une « bonne vieille matraque à billes » et non d’un « bon vieux roulement à billes ». Un·e participant·e (N=1/4) ne l’a pas repéré, un·e (N=1/4) l’a modifié correctement mais n’a pas supprimé les unités lexicales « à roulement » et deux (N=2/4) l’ont corrigé. Ce non-sens était peut-être plus difficile à relever que le précédent, car il est lié à une erreur de vocabulaire : la mauvaise terminologie a été utilisée, ce qui a mené à un non-sens. Puisque le temps autorisé pour la post-édition était limité, il se peut que les participant·e·s aient « fait confiance » au terme proposé, n’ayant pas le loisir d’effectuer des recherches plus poussées.
Passons maintenant aux faux-sens qui sont considérés comme des erreurs relativement graves, car ils altèrent le sens de l’énoncé, comme illustré dans les segments suivants (voir Tableau 16) :
Texte source Traduction proposée
[…]a derringer two-shot […] […] un derringer à deux balles […]
[…] to discreetly check for weaponry […] pour vérifier discrètement l'armement
Tableau 16 : Texte littéraire post-édition – FS
Dans le premier segment, le faux-sens résidait dans « balles » qu’il fallait remplacer par
« coups ». La même observation que le cas présenté plus haut peut être effectuée, à savoir qu’il s’agit d’une erreur de terminologie qui a mené au faux-sens cette fois-ci. Deux participant·e·s (N=2/4) ne l’ont pas relevé et deux (N=2/4) l’ont corrigé. Là encore, nous pouvons en déduire que certain·e·s participant·e·s se sont fié·e·s à la traduction et n’ont donc pas remarqué l’erreur.
Quant au deuxième cas, « l’armement » constituait ici un faux-sens. Seule notre professionnelle (N=1/4) a corrigé ce problème, en le remplaçant par « si nous sommes armés » ; deux étudiant·e·s (N=2/4) n’ont fait aucune modification et un·e (N=1/4) a simplement remplacé le déterminant « l’ » par « notre ». Ici, il s’agit plutôt d’un problème
76 de contexte que de terminologie qui a conduit au faux-sens : « armement » est un sens possible, mais dans ce contexte, le sens se rapproche plus de la traduction proposée par la professionnelle. L’expérience semble donc à nouveau jouer un rôle dans la détection et la correction d’erreurs plus subtiles.
En ce qui concerne les glissements de sens, les participant·e·s devaient en repérer plusieurs (voir Tableau 17) :
Texte source Traduction proposée
They were sitting outside a curbside cafe on Dong Khai Street […]
Ils étaient assis à l’extérieur d’un café en bordure de la rue Dong Khai […]
Artemis tapped the table for attention. Artemis a tapé sur la table pour attirer l’attention.
Tableau 17 : Texte littéraire post-édition – GL
Dans le premier cas, deux glissements se trouvaient dans le même segment : « à l’extérieur » a été corrigé par deux étudiant·e·s (N=2/4) qui ont proposé « sur la terrasse » et « à la terrasse » ; « en bordure » a été relevé par les mêmes participant·e·s (N=2/4) qui l’ont remplacé par « le long de » et « au bout de ». Concernant le second exemple, le déterminant « l’ » devait être remplacé par le pronom « son » pour des questions de logique. Aucun·e étudiant·e (N=0/4) n’a corrigé ce glissement. Il semble donc que certaines erreurs ont plus tendance à passer inaperçues lors du processus de post-édition, en particulier celles qui ne constituent pas une faute de langue en tant que telle et qui, par conséquent, ne sont détectables que si l’on se réfère au texte source.
Si les candidat·e·s n’ont pas systématiquement repéré les erreurs les plus graves, ils et elles ont tout de même relevé d’autres erreurs. À titre d’exemple, chaque participant·e (N=4/4) a effectué au moins une modification pour le segment suivant (voir Tableau 18) :
Texte source Traduction proposée
Nguyen brought the cup trembling to his lips.
Nguyen apporta la coupe en tremblant sur ses lèvres.
Tableau 18 : Texte littéraire post-édition – MD et VOC
77 Dans cet exemple, « coupe » constituait une erreur de vocabulaire, « apporta » et « en tremblant sur » une maladresse. Au moins l’une des deux erreurs a systématiquement été repérée par nos participant·e·s qui ont parfois même reformulé le segment entier. La maladresse présentée ici est généralement considérée comme moins grave qu’un faux-sens par exemple, car le faux-sens est majoritairement préservé, même s’il pourrait être restitué plus efficacement. Pourtant, les participant·e·s semblent avoir considéré qu’il était nécessaire d’intervenir.
En outre, les participant·e·s n’ont visiblement pas la même sensibilité au vocabulaire.
Prenons les exemples suivants (voir Tableau 19) :
Texte source Traduction proposée
[…]the pathetic patch of shade provided by the umbrella […]
[…] la pathétique tache d’ombre fournie par le parapluie […]
[…] a spark of hope. […] une étincelle d’espoir Spare me the theatrics […] Épargne-moi le théâtre […]
Tableau 19 : Texte littéraire post-édition - VOC
Concernant le premier, « pathétique » n’a jamais été relevé, mais « parapluie » a été corrigé par trois étudiant·e·s (N=3/4) qui l’ont remplacé par « parasol » ou « ombrelle ».
Il est intéressant de noter que les deux erreurs, pourtant dans la même phrase, n’ont pas suscité la même attention. Notons tout de même que le repérage de « parapluie » était peut-être plus immédiat au vu du contexte, attirant l’œil des participant·e·s au détriment de « pathétique ». La seconde erreur de vocabulaire, quant à elle, portait sur « étincelle » et n’a été corrigée que par un·e étudiant·e (N=1/4) qui a proposé « lueur ». Finalement,
« théâtre » constituait la dernière erreur à repérer. Deux étudiant·e·s (N=2/4) n’ont pas effectué de modification et deux (N=2/4) l’ont corrigée par « scène de théâtre » et
« cinéma ». Visiblement, les nuances des deux derniers exemples ont été jugées trop faibles par certain·e·s pour être post-éditées. Cette situation met particulièrement en
« cinéma ». Visiblement, les nuances des deux derniers exemples ont été jugées trop faibles par certain·e·s pour être post-éditées. Cette situation met particulièrement en