Comparaison des résultats : outils

Dans cette partie, nous allons nous intéresser à la comparaison entre les deux outils au centre de notre évaluation : MemoQ et Memsource. Pour cela, nous allons d’abord observer les résultats de l’évaluation objective. D’après le modèle de qualité établi (4.5.), celle-ci nous permettra de mesurer l’efficacité d’une part, et l’efficience des outils d’autre part, en comparant les résultats obtenus sur Memsource et MemoQ. Nous avons demandé à nos

participants de se chronométrer en effectuant les mêmes tâches sur les deux programmes.

Ils devaient également mesurer le nombre d’opérations nécessaires pour réaliser ces tâches. Chacun a relevé ses résultats dans le tableau de résultats fourni (Annexe 7) et nous en avons fait la synthèse.

Puisque nous avons reçu les résultats de tous les participants, nous pouvons dire que nous avons eu un taux de réussite de 100 % sur les deux outils, ce qui témoigne de leur efficacité.

Toutefois, un participant de chaque groupe, expert et débutant, a indiqué avoir eu besoin des ressources officielles des deux outils pour arriver à terminer les étapes, même si ces deux personnes ne travaillaient pas sur la même section et donc pas sur les mêmes étapes.

Les données présentées sont la moyenne et la médiane des résultats obtenus, soit le temps (en secondes) et le nombre de clics, pour chaque étape*, toutes catégories de profils confondues.

*Rappel des étapes (4.6.) :

• Étape 1 : création d’un projet

• Étape 2 : ajout d’une limite de caractères

• Étape 3 : création d’une mémoire de traduction

• Étape 4 : création d’une base terminologique

• Étape 5 : ajout d’un terme à la base terminologique

5 étapes 286 secondes 47 opérations

MemoQ MemoQ

Etape 1 Etape 2 Etape 3 Étape 4 Étape 5 Étape 1 Étape 2 Étape 3 Étape 4 Étape 5

Médiane 45 26 29 29 24 12 11 6 6 6

Moyenne 54 30 41 34 43 12 11 6 7 6

Moyenne

5 étapes 202 secondes 42 opérations

Tableau 7 : Synthèse des résultats de l’évaluation objective, par outil : temps et nombre d’opérations

Les moyennes et médianes ont été arrondies au nombre entier le plus proche afin d’être plus lisibles et plus adaptées à l’unité choisie. En effet, il semble logique d’obtenir des entiers lorsque nous parlons d’un temps calculé en secondes et d’un nombre d’opérations.

À première vue, MemoQ semble être l’outil le plus efficient. En effet, sur les deux mesures relevées (temps et nombre d’opérations), MemoQ est le programme le plus rapide et celui qui demande le moins d’opérations sur la plupart des étapes. La seule exception est l’étape 2, c’est-à-dire l’ajout d’une limite de caractères, qui semble plus simple et plus rapide à exécuter sur Memsource.

L’une des explications à cette exception se trouve peut-être dans l’âge des outils. En effet, MemoQ est né en 2006, tandis que Memsource n’a été accessible au public qu’à partir de 2012. Ces six ans d’écart et donc d’expérience supplémentaire, ont permis à MemoQ d’ajouter des améliorations au fil des mises à jour et de recevoir les retours de ses utilisateurs. L’outil a donc pu ajuster sa configuration, sa présentation et s’adapter aux besoins des traducteurs. Memsource n’a peut-être pas autant de recul sur l’expérience de ses utilisateurs, mais en revanche, sa venue plus tardive sur le marché lui a permis de s’adapter aux nouvelles demandes des clients. En effet, en 2012, la localisation était déjà un sujet très connu et sur son site, l’outil met en avant ses fonctionnalités dédiées à ce domaine de la traduction, y compris la localisation des jeux vidéo. Or, comme nous l’avons vu plus tôt dans ce travail (2.2.3.), les contraintes d’espaces jalonnent le travail des traducteurs dans ce domaine. Cela pourrait donc expliquer la facilité d’accès à une telle fonctionnalité.

5.3.2. Évaluation subjective

Nous allons nous tourner à présent vers les résultats de l’évaluation subjective, pour voir si la comparaison des outils par les participants reflète les résultats de l’évaluation objective.

En effet, dans le second questionnaire (Annexe 6) proposé aux participants, nous leur avons demandé de noter sur une échelle de 1 à 6, 1 étant « très difficile » et 6 « très facile », la difficulté d’exécution des étapes, l’intuitivité et la facilité d’utilisation de MemoQ et Memsource.

Si l’on se penche sur les résultats concernant la facilité d’exécution des étapes, Tableau 8, on remarque que les deux outils ont reçu des moyennes assez proches pour toutes les tâches,

sauf pour l’ajout d’une limite de caractères. Cette disparité est déjà visible dans l’évaluation objective et elle est confirmée ici, puisque l’étape 2 sur Memsource s’est vue attribuer deux points de plus que l’étape 2 sur MemoQ, 5,25 contre 3,25 en moyenne, ce qui est un écart important.

Tableau 8 : Moyennes des notes par étapes sur Memsource et MemoQ

Malgré des moyennes assez similaires sur les autres étapes, MemoQ prend tout de même la tête puisque le programme reçoit de meilleures notes sur les étapes 3, 4 et 5. Nous pouvons donc dire que ces résultats sur l’exécution des tâches confirment ce que nous avions observé dans la partie précédente (5.3.1.) : MemoQ est un outil plus performant et efficient dans le cadre des tâches liées purement à la traduction, tandis que Memsource a su mettre à disposition des fonctionnalités liées aux problèmes de localisation.

Toutefois cette efficience ne semble pas visible aux yeux des utilisateurs, comme nous allons le voir à travers les résultats concernant la facilité d’utilisation et l’intuitivité des outils, Tableau 9. En effet, nous avons demandé aux participants de noter, sur la même échelle de difficulté, différents aspects de ces outils : la première prise en main de l’outil, la découverte des différentes fonctionnalités, la navigation dans les options et les menus et enfin, l’intuitivité générale de l’outil. Si les moyennes obtenues sont à nouveau assez

proches entre les deux outils, cette fois l’avantage revient aisément à Memsource, qui obtient de meilleures notes que MemoQ sur les quatre critères. Il apparaît donc que l’interface de Memsource est plus appréciée des utilisateurs, ce qui correspond au critère d’utilité dans notre modèle de qualité, même si MemoQ semble être plus efficient.

Memsource

Tableau 9 : Médianes et moyennes des notes par critères sur Memsource et MemoQ

Enfin, la dernière section du questionnaire offrait la possibilité aux participants d’expliquer pourquoi ils utiliseraient ou non ces outils à nouveau, et lequel leur paraissait le plus intuitif parmi tous ceux qu’ils connaissaient. Ces réponses soulignent très bien ce que nous venons de voir, à savoir que Memsource apparaît comme étant le plus intuitif des deux outils, le plus clair et simple d’utilisation, mais des outils comme MemoQ et SDL Trados restent plus complets et proposent plus de fonctionnalités ajustables. Il semblerait aussi que pour une utilisation dans le temps et la gestion des projets, MemoQ et SDL Trados soient plus appréciés. L’une des réponses obtenues résume très bien cette pensée :

« Même si à première vue Memsource semble plus intuitif (moins d’onglets, d’outils, de choses à configurer), je trouve au final MemoQ plus intuitif, car il ressemble plus à SDL que je connais mieux, et si on a une option très particulière à configurer, on arrive à le faire en moins d’étapes qu’avec Memsource. Donc plus de choses à première vue qui peuvent impressionner pour MemoQ, mais au final mieux à prendre en main. »

Un autre commentaire fait allusion aux améliorations de MemoQ :

« SDL Trados Studio me semblait être le plus intuitif des trois, mais MemoQ s’améliore de plus en plus au fil des mises à niveau. Les interfaces sont de plus en plus claires et faciles d’utilisation. »

Quelques-unes des réponses reçues évoquent également l’habitude et la formation des traducteurs. Il s’agit là d’un aspect de l’évaluation que nous allons aborder dans la partie suivante.

5.4. Comparaison des résultats : profils