4. Méthodologie
4.7. Déroulement de l’évaluation
Au vu des points que nous avons choisi d’étudier et du modèle de qualité établi, nous avons mis en place une évaluation qui met les traducteurs au centre de l’étude. En effet, si les résultats obtenus établissent bien une comparaison entre les deux outils, nous obtiendrons également des informations sur les participants en fonction du groupe dans lequel ils ont été placés. Afin d’obtenir des résultats précis et exploitables, nous avons demandé aux participants de réaliser des tâches liées à la préparation d’un projet (4.6.), mais aussi de répondre à deux questionnaires. Tous ces éléments doivent prendre place dans un ordre précis que nous allons voir ci-dessous.
• 1re partie : les participants doivent lire et remplir le formulaire de consentement qui leur a été envoyé avant de commencer l’évaluation. Ils doivent également lire la fiche d’instructions dans son intégralité afin de prendre connaissance du déroulement de l’évaluation. Ils peuvent ensuite débuter en remplissant le questionnaire « pré-évaluation » (Annexe 5), dont le lien sera indiqué dans la fiche d’instructions. Celui-ci permet de dresser le profil professionnel des participants et d’indiquer leur expérience dans le domaine des outils de TAO, puis plus précisément sur les outils qui sont évalués. Il leur sera par exemple demandé s’ils ont déjà reçu une formation sur Memsource ou MemoQ, quels outils de TAO ils ont déjà utilisés ou encore s’ils ont déjà fait de la traduction professionnelle.
• 2e partie : une fois le premier questionnaire rempli, les participants peuvent passer à la partie pratique de l’évaluation, qui consiste à réaliser des tâches de préparation de projet, de la section A ou B, sur les deux outils Memsource et MemoQ. Dans chaque section, les tâches sont divisées en deux étapes comme nous avons pu le voir précédemment (4.6.) et chacune de ces étapes devra être répétée sur chacun des outils, car les participants doivent
6http://www.line-x.fr/
réaliser deux mesures. Ils devront d’abord se chronométrer en réalisant l’étape entière, puis compter le nombre d’opérations nécessaires à la réalisation de la tâche. Pour cela, nous leur avons fourni des instructions précises, notamment en incluant en annexe des instructions (Annexes 1 et 2), des captures d’écran du menu à partir duquel commencer les mesures pour les deux outils. Nous avons choisi de demander aux participants de faire ces mesures séparément afin de ne pas fausser l’un ou l’autre des résultats. Lorsque toutes les étapes sont terminées et les mesures prises, les participants doivent les relever dans un tableau (Annexe 7) qui leur aura été fourni, comme celui de la Figure 9.
Figure 9 : Exemple de tableau des résultats à remplir par les participants (Section A)
Pour plus de clarté, il a été demandé aux participants d’indiquer le numéro de leur groupe ainsi que le nom de la section réalisée dans le nom du tableau de résultats.
• 3e partie : après la partie pratique et l’inscription des mesures dans le tableau de résultats, les participants doivent répondre à un questionnaire « post-évaluation » (Annexe 6). Celui-ci leur demande de rendre compte de leur expérience sur les outils, principalement en notant sur une échelle de 1 à 6 la facilité d’utilisation de certaines fonctionnalités, comme l’ajout d’une limite de caractères, ou la prise en main des outils Memsource et MemoQ. Le Groupe 1 ayant reçu un protocole détaillé, les participants appartenant à ce groupe doivent répondre à quelques questions concernant l’utilité du protocole, tandis que le Groupe 2 doit répondre à des questions sur le besoin éventuel d’une
aide supplémentaire, comme un protocole. Le travail des participants s’achève ici, il ne leur reste plus qu’à envoyer le formulaire de consentement et le tableau des résultats.
Cette forme d’évaluation à la fois pratique et mesurable s’accompagne d’une évaluation subjective. C’est une forme d’évaluation que nous avons dû mettre au point nous-même, en nous appuyant sur notre formation (Starlander, 2018), notre expérience et nos recherches sur les points à évaluer (Quah, 2006) ainsi que sur les questions à poser (Saldanha &
O’Brien, 2013), car il n’existe pas de modèle d’évaluation applicable à tous les contextes (Quah, 2006). Il a donc fallu en créer un qui soit adapté à notre étude. Celui-ci nous permettra de comparer les deux outils, MemoQ et Memsource, sur le temps et le nombre d’opérations nécessaires pour réaliser des tâches similaires, dans le cadre de la préparation d’un projet de traduction. Nous pourrons ainsi voir si l’un des deux systèmes est plus efficace du point de vue de la préparation. Grâce aux différentes catégories de participants, nous pourrons aussi déterminer lequel des deux est le plus intuitif pour des débutants, ou lequel des deux est le plus usuel pour des traducteurs plus expérimentés. Leur facilité d’utilisation sera également visible à travers le degré d’efficacité du protocole détaillé dans le Groupe 1. Nous pourrons enfin comparer ces mesures observables avec les résultats de l’évaluation humaine sur le ressenti des participants face à l’utilisation de ces outils.
4.8. Conclusion
Ce chapitre nous a permis de formuler une méthodologie détaillée (4.5.) qui apportera des réponses aux différentes questions liées à notre question de recherche principale. À travers les mesures de temps et du nombre d’opérations, nous pourrons évaluer et comparer l’efficience des deux outils choisis (4.4.1.) dans un contexte de préparation de projet (4.6.) dans le domaine des jeux vidéo. La participation de personnes aux expériences et profils variés (4.4.2.) nous permettra également de déterminer l’intuitivité des outils et mettra en avant l’intérêt d’une formation approfondie ou de la mise en place d’une forme de tutoriel.
Toutefois, afin de répondre précisément à notre question de recherche sur l’adaptation des outils de TAO à la traduction des jeux vidéo, nous devons extraire et analyser les résultats obtenus. Seules la mise en relation de toutes les données récoltées et leur mise en perspective pourront nous apporter des éléments de réponses solides. C’est pourquoi, dans
le chapitre suivant, nous allons tenter de résumer de façon claire, l’ensemble des réponses et données obtenues.