Comparaison des résultats : profils

Nous allons à présent analyser les données récoltées en utilisant comme variable, non pas l’outil évalué, mais le profil des participants. Ce changement de perspective dans l’étude des résultats de l’évaluation objective nous permettra d’aborder le dernier point de notre modèle de qualité (4.5.) que nous n’avons pas encore mentionné : la flexibilité. Dans notre cas, il s’agit de la facilité avec laquelle les outils peuvent être utilisés par de nouvelles personnes. Le premier critère que nous allons donc observer est le temps qu’il a fallu à chacun des participants pour effectuer les différentes tâches qui leur avaient été assignées.

Nous avons rassemblé ces résultats afin de pouvoir présenter des moyennes pour chaque étape, sur les deux outils, en fonction du groupe auquel appartenaient les participants.

Comme nous l’avons vu dans la répartition des groupes (4.4.2.), les participants n’ont pas travaillé sur les cinq étapes, ils étaient répartis par section, ce qui signifie que nous avons deux résultats par groupe et par étape, Tableaux 10 et 13.

Dans le cas de cette synthèse, nous avons choisi de ne pas arrondir les moyennes à l’entier le plus proche, car les résultats ne présentent qu’une seule décimale ou un entier, ce qui est assez lisible pour notre travail.

Tableau 10 : Synthèse des résultats de l’évaluation objective (temps) par étape : Groupes 1 et 2

On remarque rapidement qu’à l’exception de l’étape 1, les résultats du Groupe 2 sont bien inférieurs à ceux du Groupe 1. Nous nous attendions à ce résultat, puisque les personnes du Groupe 2 ont plus d’expérience, mais nous ne savions pas à quel point cela se remarquerait.

TEMPS MOYEN (en secondes)

Tableau 11 : Temps moyen sur les 5 étapes : Groupes 1 et 2

Dans le Tableau 11, nous avons calculé que le temps total moyen pour réaliser les cinq étapes de l’évaluation, quel que soit l’outil, était de 316,8 secondes pour les participants du Groupe 1, soit un peu plus de 5 minutes. Pour effectuer les mêmes tâches, que ce soit sur Memsource ou MemoQ, les participants du Groupe 2 mettraient en moyenne 170,5 secondes, soit un peu moins de 3 minutes. Cela représente une diminution du temps de près de la moitié, une différence non négligeable dans un contexte de traduction de jeux vidéo dans lequel ces opérations doivent être répétées constamment.

Comme nous l’avons vu dans la partie précédente (5.3.1.), MemoQ a obtenu de meilleurs

séparément pour les deux outils (Tableau 12). Les temps obtenus reflètent bien l’efficience de MemoQ, mais confirment aussi que l’écart d’efficacité entre les profils s’applique bien aux deux outils. L’écart plus prononcé que l’on observe pour MemoQ s’explique par une expérience plus avancée sur cet outil chez les participants du Groupe 2 (5.2.). Toutefois, cela nous montre également qu’une meilleure connaissance des outils de TAO permet de mieux appréhender un nouvel outil, comme Memsource dans le cas de notre évaluation.

(Rappel) Temps moyen (en s.) pour les 5 étapes : Groupe 1

(Rappel) Temps moyen (en s.)

pour les 5 étapes : Groupe 2 Rapport d’écart

Memsource 361,5 209,5 1,72

MemoQ 272 131,5 2,06

Moyenne 316,8 170,5 1,85

Tableau 12 : Écart type de temps sur les outils selon les profils

Pour cette partie de l’analyse, nous évoquerons très rapidement les mesures concernant le nombre d’opérations. En effet, la comparaison de ces chiffres du point de vue des profils des participants n’est pas aussi évocatrice que la comparaison des temps, car les chiffres sont plus hétérogènes. Sur Memsource, quatre étapes sur cinq ont nécessité moins d’opérations de la part du Groupe 2 tandis que sur MemoQ, seul trois des étapes ont été effectuées avec moins d’opérations par le Groupe 2. Le Groupe 2 reste donc plus efficient sur les deux outils, mais ces résultats sont souvent assez proches, il n’y a pas d’écart aussi net qu’avec la mesure du temps, hormis pour l’étape 2 sur Memsource. Une fois de plus, c’est l’ajout d’une limite de caractères qui se distingue des autres étapes, en nécessitant peu d’opérations de la part des participants plus expérimentés, même sur un outil qu’ils ne maîtrisent pas toujours aussi bien que MemoQ.

NOMBRE D’OPÉRATIONS

Tableau 13 : Synthèse des résultats de l’évaluation objective (opérations) : Groupes 1 et 2

L’explication la plus probable pour ce peu d’écart entre les résultats des deux groupes est l’utilisation d’un protocole détaillé dans le Groupe 1, ce qui a pu réduire le nombre d’opérations nécessaires pour trouver les options et menus recherchés. Toutefois, même en conservant un nombre d’opérations assez proche, le Groupe 2 a été le plus rapide sur l’ensemble des étapes. On peut en déduire que même sans savoir exactement où se trouvaient les fonctionnalités nécessaires, les participants avec plus d’expérience pouvaient déterminer plus rapidement si un menu correspondait à ce qu’ils cherchaient. Cette capacité à naviguer dans les fonctionnalités de l’outil a été mentionnée à plusieurs reprises dans les réponses du second questionnaire, que nous allons étudier dans la section Groupe 1 vont plutôt dans le même sens, en estimant en moyenne que le protocole leur a été très utile, les réponses du Groupe 2 divergent plus. En effet, certains connaissaient bien

l’un des outils, mais pas l’autre, tandis que l’un d’eux n’a eu aucun mal sur les deux outils.

C’est ce que l’on voit dans le graphique des réponses, Figure 13.

Figure 13 : Graphique du Groupe 2 sur les besoins d’un protocole détaillé

En revanche, tous les participants du Groupe 2 s’accordent à dire que leur formation ou expérience leur a été très utile, puisque tous ont répondu « 6 » à la question « A quel point pensez-vous que votre formation/expérience vous a été utile pour effectuer les tâches demandées ? », sur une échelle de 1 à 6. Les participants du Groupe 1 ont également répondu à cette question : deux votes « 4 » et deux votes « 2 ». Pourtant il s’agit pour la plupart d’étudiants qui ont suivi des cours sur les outils de TAO, cela pose donc la question de l’adéquation de la formation avec le monde professionnel.

Enfin, nous avons repris les résultats des participants concernant la difficulté des étapes effectuées sur Memsource et MemoQ. En comparant les chiffres des Figures 14 et 15, non pas en regardant les notes, mais en nous intéressant à quelles étapes ont été perçues comme étant plus faciles par les deux groupes, nous pouvons faire un constat intéressant.

En effet, bien que les moyennes des notes et les écarts ne soient pas identiques, les étapes qui ont été considérées comme plus faciles par le premier groupe sont les mêmes sur les deux outils. Il s’agit de la gestion d’un projet en local, de la création d’une mémoire de traduction et de la création d’une base terminologique.

Figure 14 : Graphique des notes d’étapes par groupe, sur Memsource

Figure 15 : Graphique des notes d’étapes par groupe, sur MemoQ

Les étapes plus souvent utilisées en contexte professionnel, comme l’ajout d’une limite de caractères et l’ajout d’un terme à la base terminologique, ont donc été perçues comme étant plus difficiles pour les participants moins expérimentés et ce, quel que soit l’outil. Cela vient à nouveau confimer le besoin d’une formation professionnalisante dans le domaine de la traduction, notamment de la localisation et des jeux vidéo. Ce sont là des domaines qui nécessitent visiblement une bonne maîtrise des outils de TAO, il s’agit donc d’un aspect de la formation qui ne peut être négligé. Nous avons essayé d’illustrer de façon similaire les notes attribuées par les participants aux différents critères d’intuitivité (Tableau 9, 5.3.2.), mais les résultats étaient beaucoup moins explicites. Cela est dû en partie au fait que les membres du Groupe 2 sont assez expérimentés sur MemoQ. En effet, nous avons rapidement constaté que si les résultats étaient proches sur les critères d’intuitivité de Memsource, ceux de MemoQ étaient assez nettement déséquilibrés. Comme nous avions pris connaissance de l’expérience des participants au préalable (5.2.), nous avons pu tenir compte de ce facteur dans notre lecture des résultats.

5.5. Conclusion

répondre à nos questions de recherche. En effet, l’objectif de ce travail est de voir quel outil est le plus efficient et convient donc le mieux pour effectuer des tâches liées à la préparation d’un projet de traduction de jeu vidéo. Il vise également à déterminer quel outil est le plus intuitif et facile à utiliser pour de nouveaux utilisateurs, et surtout si ces outils sont réellement adaptés à la traduction des jeux vidéo. Pour le vérifier, nous devons tout d’abord répondre à des questions plus précises sur la performance des outils à notre disposition ainsi que sur l’influence de la formation et de l’expérience des traducteurs qui utilisent ces outils.

Le modèle de qualité établi dans le chapitre 4 nous a aidé à répondre à ces interrogations puisqu’il nous permet d’évaluer l’efficacité, l’efficience, l’utilité et la flexibilité des outils.

Dans notre cas, nous avons choisi d’évaluer MemoQ, un logiciel qui nécessite une installation et qui a plus de dix ans d’existence, et Memsource, un programme disponible en ligne et plus récent. Cette évaluation ne concernait pas la traduction en tant que telle, mais bien la préparation des projets ainsi que la mise en place des documents, des étapes essentielles dans le travail de localisation des jeux vidéo.

5.5.2. Résultats

La première remarque que nous pouvons faire concerne l’efficacité des outils, puisque tous les participants ont pu effectuer toutes les tâches qui leur avaient été assignées et nous n’avons donc pas eu de données manquantes. Cela signifie que, malgré certaines difficultés rencontrées, les deux outils sont suffisamment efficaces pour permettre à tous les utilisateurs, débutants ou plus expérimentés sur d’autres outils, de réaliser des tâches simples, mais essentielles.

Les points communs entre les deux outils s’arrêtent là, car en observant les résultats de plus près, nous avons pu constater que MemoQ est bien plus efficient, puisqu’il nécessite moins de temps et d’opérations pour effectuer une même tâche, que l’utilisateur soit débutant ou expert. En revanche, Memsource se démarque particulièrement sur une étape : l’ajout d’une limite de caractères. En effet, puisque l’outil est plus récent, il semble avoir rendu plus accessibles les fonctionnalités plus souvent liées à la localisation. Ces résultats apparaissent très clairement à la fois dans l’évaluation objective et subjective.

Attardons-nous à présent sur l’utilité et notamment sur la satisfaction concernant les fonctionnalités. Pour ce critère, nous avons seulement recueilli des données de l’évaluation subjective. Celle-ci permet de distinguer deux catégories de participants : les plus expérimentés, qui reconnaissent un plus grand choix d’options chez MemoQ, malgré une interface peu claire, et les débutants, qui préfèrent nettement la facilité d’utilisation de Memsource, et son interface plus agréable. Il apparaît toutefois que MemoQ tente de se moderniser et de simplifier son interface au fil du temps et des mises à jour. On peut donc espérer un jour obtenir un outil tout aussi complet, offrant les fonctionnalités nécessaires au travail de localisation, dans un environnement plus facile à maîtriser.

Cela nous amène à notre dernier critère : la flexibilité. Il s’agit ici de déterminer si un outil est assez intuitif pour être manipulé par des novices. Or, comme nous venons de le voir, nos participants ont jugé que Memsource est le plus intuitif, ce qui nous laisse supposer que MemoQ est le moins flexible. Pourtant, l’outil le plus efficient pour les deux profils de participants a été MemoQ. En sachant que le groupe débutant a reçu un protocole détaillé (Annexes 3 et 4) pour l’aider dans la réalisation des étapes, on peut imaginer que même s’il est moins flexible, l’outil le plus efficient reste la meilleure option pour les traducteurs, même si cela signifie mettre l’accent sur la formation. De plus, nous avons vu qu’en étant plus expérimenté, le Groupe 2 a obtenu des résultats presque deux fois plus rapides en moyenne sur Memsource et MemoQ, ce qui n’est pas négligeable. En effet, moins de temps passé à la préparation des projets signifie plus de temps à consacrer à la traduction.

Afin de conclure et résumer cette évaluation, nous avons noté les deux outils (Tableau 14), Memsource et MemoQ, sur chacune des caractéristiques choisies dans le modèle de qualité de cette évaluation (4.5.), afin de pouvoir leur attribuer une note totale. Pour cela, nous avons considéré que toutes les caractéristiques étaient équivalentes, car toutes ont leur importance dans la détermination de l’adéquation des outils de TAO à la traduction des jeux vidéo.

L’échelle choisie est donc la suivante :

0 = moins bon résultat ; 1 = résultats équivalents ; 2 = meilleur résultat.

Caractéristiques et sous-caractéristiques Memsource MemoQ

Efficacité, tasks completed 1 1

Efficience, task time 0 2

Utilité, satisfaction with features 1 1

Flexibilité, proficiency independence 2 0

Totaux 4 4

Tableau 14 : Récapitulatif des résultats des deux outils en fonction des caractéristiques choisies pour l’évaluation

Ces résultats confirment bien ce que nous avons vu dans cette section. Il est difficile de départager ces deux outils tant ils sont différents. Toutefois, puisque le point de vue adopté pour la mise en place de cette évaluation était celui de l’utilisateur, et donc du traducteur, nous avons obtenu des résultats clairs et exploitables. Cette étude nous a permis de mettre en avant les avantages et les inconvénients d’outils conçus différemment, et de souligner l’importance de la formation sur les outils de TAO chez les traducteurs.

5.5.3. Réponses aux questions de recherche

Concernant les deux outils de notre évaluation, toutes les données et analyses nous mènent vers une seule conclusion : MemoQ est un outil plus complet, bien que pas tout à fait adapté à la localisation et plus efficient, à condition d’avoir un peu d’expérience ou une formation pour être plus à l’aise avec son interface. Memsource, quant à lui, est un programme plus intuitif et facile à utiliser, ce qui le rend plus accessible aux traducteurs moins expérimentés sur les outils de TAO. Il est également mieux pensé pour la localisation, mais il reste tout de même moins efficient et moins adapté aux tâches régulières de la traduction professionnelle.

On constate à travers ces résultats que les outils de TAO ne sont pas idéaux pour la traduction des jeux vidéo, bien que les développeurs incorporent de plus en plus de

fonctionnalités pour faciliter le travail de localisation. Puisqu’il n’existe pas d’outil spécifiquement dédié à ce domaine, tous les traducteurs indépendants et sociétés choisissent de travailler avec l’outil qu’ils préfèrent et qui leur convient le mieux. Il est donc indispensable pour les nouveaux traducteurs de pouvoir s’adapter à différents programmes de TAO. En effet, l’expérience et la formation semblent être essentielles et constituent donc un aspect tout aussi important que l’amélioration des outils dans les étapes à suivre pour atteindre une meilleure localisation des jeux vidéo.