Ce travail visait à évaluer l’impact de la traduction automatique sur la compréhensibilité entre deux joueurs lors d’une discussion sur un chat. Pour rappel, notre problématique comportait deux questions :
1) La traduction automatique aide-t-elle à la compréhension et à l’échange d’informations entre joueurs de langues maternelles différentes ? 2) Quels problèmes de compréhension surviennent lorsque des joueurs
communiquent à l’aide d’un système de TA et comment ces incompréhensions sont-elles résolues ?
À la suite de nos évaluations et de nos analyses, nous pouvons répondre à notre
première question en affirmant qu’au niveau de la compréhensibilité entre les joueurs, la TA permet effectivement à des joueurs de discuter et de se comprendre, même s’ils ne partagent pas la même langue maternelle. Le questionnaire SUS a cependant montré que, malgré ces résultats positifs, deux des quatre participants ne pensaient pas avoir recours à un tel logiciel par la suite (voir section 5.5).
Les résultats de nos évaluations nous ont aussi permis de répondre à notre seconde question, qui mettait en lumière les éventuelles incompréhensions qui pouvaient survenir entre les participants et comment ces problèmes de compréhension étaient ensuite résolus. Les résultats obtenus lors de notre évaluation automatique de la
traduction des termes spécifiques ont montré de nombreux problèmes de traduction des expressions spécifiques, au vu des scores relativement faibles du rappel (43 %), de la précision (43 %) et de la F-mesure (43 %). Ces problèmes de terminologie ont souvent causé des incompréhensions entre joueurs. Ils étaient plus évidents lors de la première discussion, lorsque les joueurs ont échangé leur point de vue personnel, en mentionnant, par exemple, des noms de mécaniques d’un raid (section 5.3.5.1.1) ou des compétences qu’ils utilisent en jeu (section 5.3.5.1.2). Les traductions erronées des termes obligeaient les participants à contourner les incompréhensions rencontrées en ayant recours à des paraphrases ou à des explications.
92 À la suite de ces observations, nous pensons donc que, dans un contexte aussi précis que le jeu vidéo, le système nécessiterait un entraînement supplémentaire pour pouvoir détecter certaines subtilités de la langue, en particulier lorsqu’il s’agit d’une
terminologie spécifique qui requiert la reconnaissance de contextes particuliers tels que le jeu Final Fantasy XIV. Cet aspect est également soutenu par la présentation donnée par Honeywood en 2007, qui expliquait que dans le processus de localisation des jeux de Square Enix, de bons traducteurs ne sont pas suffisants et qu’il faut également des
experts de la culture.
Bien que notre travail ne se soit focalisé que sur le langage du jeu vidéo, il va sans dire que cette observation s’appliquerait aussi à d’autres formes de langage ou même à la traduction automatique en général. En effet, l’avancée de la qualité des traductions automatiques dépend de la compétence et des progrès liés à l’intelligence artificielle.
Comme Poibeau l’a expliqué en 2017, les systèmes artificiels en sont encore à leurs débuts et sont encore loin d’approcher les capacités qu’un être humain dispose en termes de raisonnement, de l’inférence et de la reformulation. Afin de pouvoir bien reformuler une phrase, il faut avoir une bonne maîtrise de la langue et maîtriser les différentes analogies existantes parmi les différents concepts, ce qui représente une plus grande difficulté que de trouver des équivalents entre des mots et des expressions (ibid).
6.2 Limites de l’étude et pistes à explorer
En nous concentrant sur l’impact de la TA sur la compréhensibilité dans une
conversation portant sur le jeu vidéo, ce sujet de mémoire n’effleure que la surface du domaine de recherche des nombreuses possibilités où les performances d’une TA peuvent être observées dans le langage du gaming, ainsi qu’aux différentes façons d’introduire la traduction instantanée dans les jeux vidéo. En effet, notre travail s’inscrit dans un domaine qui, comme nous l’avons vu lors de l’état de la recherche (section 2.5), en est encore à ses débuts. Par conséquent, ce type d’étude pourrait être poursuivi sous de nombreuses facettes différentes et nous tenions à proposer quelques autres pistes à explorer.
Concernant la limite de notre étude, celle-ci provenait sans doute de notre
méthodologie. Bien que notre évaluation humaine se soit basée en grande partie sur le
93 travail de recherche de Sahin et Duman (2013), nous nous sommes retrouvée dans l’incapacité d’effectuer une analyse similaire de l’intelligibilité et d’exactitude, qui impliquait un tableau regroupant une évaluation par tâches effectuées. Ceci n’était pas réalisable étant donné que certaines tâches n’avaient pas pu être complétées en raison d’un manque de temps par l’une des paires de participants. Nous pensons qu’il aurait alors fallu procéder à une autre méthodologie où nous aurions eu un meilleur contrôle de l’accomplissement des tâches en indiquant, par exemple, une estimation de temps attendue pour chaque tâche.
Concernant les éventuelles pistes que nous souhaitons proposer à l’issue de ce travail, il convient de noter que notre étude s’est arrêtée à l’évaluation d’un seul système neuronal et, par conséquent, l’évaluation d’autres systèmes neuronaux comme DeepL15 et Google Translate16 serait intéressante afin de voir leur impact sur la compréhensibilité dans un contexte similaire et de pouvoir déterminer si un traducteur est meilleur qu’un autre.
Nous pensons aussi qu’il serait intéressant d’observer une situation similaire avec d’autres types de participants, en particulier avec des interlocuteurs qui ne
partageraient pas du tout la même langue. Ceci permettrait ainsi d’observer d’une part, si la qualité de la TA est toujours bonne et d’autre part, de déterminer si des
incompréhensions seraient résolues différemment ou si, au contraire, les joueurs auraient tendance à procéder aux mêmes stratégies de résolution que les participants à cette étude, c’est-à-dire des paraphrases, des reformulations ou des définitions.
De plus, au cours de nos sections dédiées à la compréhension des systèmes statistiques (section 2.3.2.2) et aux systèmes neuronaux (section 2.3.2.4), nous avons pu déterminer que les SMT sont souvent plus performantes dans le cadre de contextes spécifiques (Poibeau, 2017 ; Koehn et Knowles, 2017). À ce jour, nous n’avons pas trouvé de
messagerie instantanée utilisant un système de TA statistique, mais il serait intéressant de comparer la performance d’un SMT et d’un NMT dans un contexte d’utilisation du langage vidéoludique (section 3.4).
Enfin, ce travail de recherche nous aura permis de développer une approche critique quant à l’introduction d’une TA dans une discussion entre joueurs d’un même jeu vidéo
15 https://www.deepl.com/translator
16 https://translate.google.com/?hl=fr
94 et de découvrir de nouvelles facettes que nous ignorions encore lors des premières réflexions quant à notre sujet de mémoire. Nous pensons que de nombreuses pistes restent à explorer et sommes très heureuse d’avoir pu contribuer au riche paysage qu’offrent la TA et le monde du jeu vidéo. Nous nous réjouissons vivement de voir l’introduction de la TA et les futurs développements que promettent ces systèmes dans le paysage de la traduction et sommes impatiente de découvrir l’avenir que réserve l’industrie du jeu vidéo pour un domaine aussi prometteur.
95