Les tests

5.1 Introduction

Compte!tenu!des!informations!qui!précèdent,!cette!section!porte!sur!les!quatre!étapes!

de!notre!étude!pilote!:!1)!la!mise!en!place,!2)!l’exécution,!3)!la!collection!des!données!

et! 4)! l’interprétation! des! résultats.! Les! tests! nous! aident! à! découvrir! si,! dans! notre!

contexte,!une!traduction!produite!à!l’aide!d’un!outil!de!TAO!est!compétitive!avec!une!

traduction!humaine!au!niveau!de!la!qualité!et!de!la!productivité!et!pour!quel!profil!

utilisateur!une!mémoire!de!traduction!s’avère!utile.!!Dans!ce!travail,!nous!attachons!

une!attention!particulière!aux!utilisateurs,!une!équipe!multilingue,!composée!de!nong traducteurs!et!de!traducteurs!professionnels.!Les!résultats!obtenus!dans!le!cadre!de!

cette! étude! ne! pourront! pas! être! considérés! comme! statistiquement! significatif,!

même! si! nous! pourrons! en! tirer! des! pistes! utiles.! Pour! que! les! résultats! soient!

significatifs,!ils!devraient!en!effet!être!soutenus!par!une!étude!nettement!plus!vaste,!

dans! laquelle! le! nombre! de! sujets! est! plus! élevé.! Néanmoins,! cette! étude! est! le!

préliminaire! obligé! de! toute! étude! plus! ambitieuse!:! ! des! recherches! faites! dans! le!

cadre! de! ce! travail! pourraient!aussi! servir! comme! modèle! de! base! pour! mener! une!

évaluation!plus!vaste.!!

+

5.2 Les tests

5.2.1 But de l’expérience pilote

Le!but!de!ce!travail!est!de!savoir!si!les!mémoires!de!traduction!ont!un!impact!sur!la!

qualité! et! la! productivité! des! traductions! faites! par! différents! types! d’utilisateur.!

Etant!donné!que!des!extraits!de!textes!de!la!brochure!principale!du!MEOS!sont!repris!

dans! les! documents! qui! accompagnent! la! publication,! nous! estimons! que! les!

traductions! de! tous! les! documents! autour! du! MEOS! pourrant! ainsi! être! effectuées!

plus!rapidement!puisque!les!phrases!clés!du!document!de!base!sont!stockées!dans!la!

mémoire!de!traduction.!L’expérience!a!deux!objectifs!:!nous!souhaitons!montrer!que!

les!mémoires!de!traduction!améliorent!la!productivité!et!la!qualité!des!traductions!et!

à!quel!point!les!mémoires!de!traduction!ont!un!impact!sur!les!traductions!faites!par!

des!nongspécialistes!et!des!traducteurs!avec!peu!d’expérience.!Nous!voulons!vérifier!

notre! hypothèse! à! l’aide! d’un! test! scénario! et! mesurer! comment! l’outil! influence! la!

performance!des!différents!utilisateurs.!Nous!allons!mesurer!les!erreurs!et!le!temps!

mis!par!traduction!et!par!utilisateur!dans!un!test!manuel!et!un!test!avec!l’outil!Trados.!

!

5.2.2 Matériel de test et sujets

Sur!la!base!de!la!méthodologie!présentée!au!chapitre!précédent,!les!différents!tests!

seront! réalisés! dans! des! conditions! les! plus! authentiques! possibles.! Ils! doivent!

correspondre!à!la!réalité!et!refléter!la!pratique!quotidienne!chez!Manpower.!Pour!ce!

faire,! les! tests! sont! exécutés! au! poste! de! travail! du! traducteur! dans! les! locaux! de!

l’équipe!Marketing.!!

!

Nous! avons! sélectionné! comme! matériel! de! test! le! communiqué! de! presse! du! 2^ème! trimestre!2013!du!groupe!de!documents!de!l’étude!MEOS!(cf.!section!3.4).!Le+ texte!

sera! traduit! depuis! le! français! vers! l’allemand.! Il! contient! 706! mots.! Le! format! de!

texte! est! un! fichier! MS! Word! sans! formatage! particulier.! Le! document! se! trouve!

actuellement!en!traitement!dans!le!service!de!traduction!chez!Manpower!et!n’a!donc!

pas!encore!était!traduit!auparavant.!Pour!les!tests,!le!texte!est!distribué!sous!forme!

électronique.! Si! les! sujets! le! souhaitent,! ils! ont! la! possibilité! d’imprimer! le! texte!

auparavant,!néanmoins!aucun!des!participants!n’a!fait!usage!de!cette!option.!L’outil+

de+ travail! utilisé! pour! le! test! est! l’ordinateur! sur! le! poste! de! travail! du! traducteur!

interne!chez!Manpower!sur!lequel!Trados!Studio!2011!est!installé.!Celuigci!comporte!

SDL!Trados!et!la!mémoire!que!nous!avons!préparée!(voir!section!3.5).!Sur!le!poste!de!

travail,!les!sujets!ont!également!accès!à!l’internet!et!l’intranet,!donc,!si!nécessaire,!ils!

ont!la!possibilité!de!faire!des!recherches!supplémentaires.!Pour!les!tests,!nous!avons!

gardé!le!seuil!d'analogie!à!70!%!qui!est!mis!par!défaut!sur!SDL!Trados!Studio.!

!

Les+sujets!sont!tous!de!langue!maternelle!allemande!et!maîtrisent!la!langue!française!

au!niveau!C2.²³!!Le!groupe!de!sujets!se!compose!de!quatre!personnes!au!total.!Il!s’agit!

de!quatres!jeunes!femmes!âgées!entre!26!et!29!ans.!Trois!des!quatres!sujets!ont!suivi!

!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

23 Selon le cadre européen commun de référence pour les langues : http://www.coe.int/t/dg4/linguistic/cadre1_fr.asp

une!formation!universitaire!en!traduction!à!la!Faculté!de!traduction!et!d’interprétaion!

de!l’Université!de!Genève!et!forment!donc!le!groupe!des!traducteurs!professionnels!

avec! différents! niveaux! de! compétences! et! d’expérience! de! travail.! Un! sujet!

représente! le! cas! d’un! amateur,! c’estgàgdire! d’une! personne! qui! n’a! pas! suivi! de!

formation! en! traduction.! En! ce! qui! concerne! les! nongtraducteurs,! il! était! difficile! de!

trouver! des! collègues! dans! l’entreprise! qui! remplissent! d’un! côté! tous! les! critères!

nécessaires! pour! participer! au! test! (combinaison! linguistique)! et! qui! disposent! de!

l’autre!côté!de!suffisament!de!temps!pour!participer!aux!tests.!Par!conséquent,!nous!

avons!été!obligé!de!procéder!avec!un!seul!sujet!qui!ne!présente!la!catégorie!des!nong traducteurs.!Les!sujets!n’ont!pas!été!payés!pour!leur!participation.!Dans!le!tableau!cig dessous! (Tableau! 2)! les! critères! pour! chaque! sujet! sont! présentés! de! manière!

détaillée.!!

!

! sujet+1++ sujet+2++ sujet+3++ sujet+4++

âge+ 29! 26! 29! 27!

sexe+ féminin! féminin! féminin! féminin!

Formation+ en+

En! fin! d’études!

Master! en!

Fait! de! temps! en!

temps! des! petites!

traductions! pour!

dépanner!!

Connaisance+ du+

domaine+MEOS+

7!ans! pas!de!connaisances! 3!ans! pas! de!

connaissances!

Connaissance+ de+

l’outil+Trados+

oui! oui!! oui! non!

Tableau+2!:+Profils+des+parictipants++

!

!

5.2.3 Caractéristiques / mesures

Le! Groupe! EAGLES! a! intégré! la! norme! ISO! 9126! dans! ces! projets! de! recherche.! Ce!

tableau!de!critères!sert!à!modéliser!les!qualités!d'un!logiciel!et!il!aide!l’évaluateur!à!

identifier!les!critères!qu’il!souhaite!évaluer!pour!juger!l’outil!qui!lui!convient!le!mieux.!

EAGLES!a!repris!ce!concept!comme!base!de!départ!afin!de!structurer!les!évaluations!

des! outils! TAO.! La! norme! ISO! 9126! décrit! six! caractéristiques! de! qualité! (EAGLES,!

1996!:!59)!:!!

1. Capacité+fonctionnelle:!Le!logiciel!répondgil!aux!besoins!fonctionnels!?!

2. Fiabilité+:! Le! logiciel! maintientgil! son! niveau! de! service! en! cas! de! pannes! /!

erreurs!?!

3. Facilité+d'utilisation!:!Le!logiciel!requiertgil!peu!d’effort!à!l’utilisation!?!

4. Rendement+/+Efficacité!:!Estgce!que!le!logiciel!est!rapide!et!rentable!?!

5. Maintenabilité!:!Estgce!que!le!logiciel!requiert!peu!d’effort!pour!l’adapter!aux!

nouveaux!besoins!?!

6. Portabilité!:!Peutgon!transférer!le!logiciel!d’un!environnement!à!un!autre!?!

Dans!notre!cas,!nous!nous!concentrons!sur!les!première!et!quatrième!caractéristiques!

de!la!liste,!la!fonctionnalité!ainsi!que!le!rendement!et!l’efficacité!de!l’outil.!Pour!ceci,!

deux!critères!sont!mesurés!:!le!temps!et!la!qualité!des!traductions.!Pour!le!premier,!la!

mesure! précise! du! temps! écoulé,! nous! utilisons! un! chronomètre! digital!;! pour! le!

second,!nous!nous!appuyons!sur!la!métrique!de!la!norme!SAE!J2450,!avec!laquelle!la!

qualité! des! textes! peut! être! analysée! et! comparée.! La! personne! responsable! de!

l’évaluation! de! la! qualité! des! textes! doit! impérativement! être! de! langue! maternelle!

allemande! et! être! qualifiée! pour! garantir! une! évaluation! fiable.! Dans! ce! but,! un!

professeur!qualifié!et!expérimenté!dans!le!domaine!de!l’évaluation!de!la!qualité!des!

traductions! a! été! choisi.! De! plus,! l’évaluateur! présente! l’avantage! d’être! un! expert!

dans! le! domaine! de! la! traduction! économique! et! il! enseigne! depuis! des! années! la!

traduction!économique!depuis!le!français!vers!l’allemand!à!la!Faculté!de!Traduction!

et!Interprétation.!Sachant!que!le!texte!traduit!dans!notre!étude!pilote!fait!partie!des!

textes!économiques!de!l’entreprise,!nous!pouvons!partir!du!principe!que!l’évaluation!

se!déroule!dans!des!conditions!fiables.!!

+