Evaluation automatique

4.3.2.1 Métriques : rappel, précision et F-mesure

Comme notre problématique se concentre sur la compréhensibilité entre joueurs, nous voulons obtenir des données concrètes par rapport à la qualité du traducteur

automatique pour des expressions spécialisées (termes, expressions polylexicales). Pour ce faire, nous allons extraire deux listes de termes du jeu présents dans le dictionnaire bilingue auquel nous avons fait mention dans la section 4.2. L’évaluation automatique en termes de rappel, précision et F-mesure nous permettra alors d’avoir une première mesure quant à la qualité de la traduction automatique par rapport aux traductions de références déjà présentes dans le jeu et nous aidera à comprendre les éventuelles incompréhensions entre les joueurs si celles-ci sont liées à la terminologie spécifique.

Pour l’évaluation automatique, nous avons opté pour le calcul du rappel, de la précision et de la F-mesure afin de mesurer la fidélité des traductions automatiques au niveau des mots. Ces métriques nous permettent en effet de comparer les mots déjà traduits et faisant partie du corpus du jeu avec ceux des traductions faites par la TA. Le résultat

9 https://www.bing.com/translator

10 https://www.deepl.com/fr/docs-api/

42 nous offre ainsi une vue d’ensemble quant à la qualité de la traduction lorsque celle-ci est confrontée à une terminologie spécifique. Afin de mieux comprendre ce que le résultat de ces mesures va représenter pour notre évaluation, nous allons brièvement expliquer en quoi consiste la mesure du rappel, de la précision et de la F-mesure et la façon dont on les calcule.

Selon Koehn (2009), le rappel représente la proportion de mots communs avec ceux de la traduction de référence. Il nous permet de comparer le nombre de mots de la

traduction de référence dans le corpus aux mots traduits par le système de TA.

Le calcul du rappel se fait de la manière suivante :

Rappel : Nombre de mots identiques___.

Nombre de mots de la référence

La précision consiste à mesurer le nombre de mots similaires entre la TA et la traduction de référence, indépendamment de leur ordre d’apparition. Le calcul de la précision s’effectue alors par une division du nombre de mots identiques entre la traduction automatique et le corpus de référence par le nombre de mots au total de la TA :

__Nombre de mots identiques___

Précision : Nombre de mots de la TA

Koehn (ibid) fournit l’exemple suivant pour illustrer ces deux mesures (voir Fig. 4) :

Figure 4 : Illustration du calcul du rappel et de la précision (Koehn, 2009, p. 223).

La phrase de sortie du System A partage trois mots en commun avec la phrase de référence (Israeli, officials, airport). Sur les six mots au total de la phrase A, trois sont identiques à la référence, ce qui donne une précision de 50 %.

43 Dans le domaine de la TA, Koehn (ibid) explique que les mesures de précision et de rappel sont toutes deux importantes. En effet, nous ne voulons pas de termes erronés et nous ne voulons pas oublier des mots non plus. Un moyen de combiner ces deux

mesures consiste à en faire la moyenne, ce qui résulte dans ce qui est appelé la F-mesure. Celle-ci se calcule de la manière suivante :

__Précision x Rappel__

F-mesure : (Précision + Rappel) /2

4.3.2.2 Collecte des données : liste de expressions spécialisées

Pour notre évaluation automatique, il a fallu extraire la liste des mots du jeu et trouver leurs traductions de référence. La liste originale des termes en anglais était facilement accessible et disponible sur le site gamer escape¹¹. Cependant, malgré plusieurs heures de recherche, trouver la liste des termes traduits vers le français n’a abouti à aucun résultat concret, et les extraire à partir des fichiers du jeu semblait être une tâche impossible. Nous avons dû nous résoudre à extraire les termes traduits manuellement depuis le jeu.

En raison du caractère chronophage de cette tâche, nous avons décidé d’effectuer une analyse sur le premier quart de la liste, ce qui nous a permis de rassembler un corpus de 1300 termes, en prenant soin de sélectionner des catégories regroupant des termes spécifiques au jeu, que nous avons nommées « catégories spécifiques » et d’autres catégories regroupant des termes plus généraux, que nous avons nommées « catégories générales » totalisant ainsi 16 catégories, dont la liste complète figure à l’annexe I (section 8.1)

Nous recensons ci-dessous quelques exemples afin de mieux illustrer chaque catégorie.

Les catégories générales concernent :

• les langues : « Please use the auto-translate function », « Can you speak German? » ;

• les salutations : « Hello! », « Take care. » ;

11 https://ffxiv.gamerescape.com/wiki/Auto-Translator [Consulté le 05.05.2021]

44

• les questions : « Who? », « How come? » ;

• les réponses : « I don’t understand », « No thanks. » ;

• les raisons : « Casting spell. », « I have plans. » ;

• l’échange : « Can I have it? », « Buy? » ;

• l’organisation : « Looking for members », « Team up? » ;

• les tactiques : « Full attack! », « Stop! » ;

• les positions : « This way », « East » ;

• et les repères temporels : « today », « holiday ».

Les catégories spécifiques au jeu concernaient les aspects suivants :

• les rôles : « healer », « buffer » ;

• les déplacements : « Aethernet », « rental chocobo » ;

• les installations : « aetheryte », « Maelstrom Command » ;

• les grandes compagnies : « Immortal Flames », « Maelstrom » ;

• les compagnies libres : « company board », « subaquatic voyage » ;

• les actions des disciples de la guerre et de la magie (qui regroupent différentes compétences et différents sorts appartenant aux classes jouables dans le jeu) :

« Arm of the Destroyer », « Doom Spike ».