les!perpectives!
4. Méthodologie d’évaluation
4.2 L’évaluation et méthodologie
+
4.2 L’évaluation et méthodologie
Cette!section!porte!sur!l’évaluation!des!outils!de!traduction!assistée!par!ordinateur!
(section!4.2.1),!l’évaluation!de!la!qualité!en!traduction!(section!4.2.3)!et!les!aspects!
méthodologiques!qui!nous!aideront!à!mettre!en!place!notre!étude!pilote!(section!
4.2.2).!!
!
4.2.1 L’évaluation des outils TAO
Depuis! l’avènement! des! premiers! systèmes! de! traduction! assistée! par! ordinateur!
commercialisés! au! début! des! années! quatregvingtgdix,! les! outils! ont! constamment!
évolués!et!sont!aujourd’hui!largement!utilisés!tant!par!les!traducteurs!indépendants!
que! par! des! entreprises! et! des! agences! de! traductions.! Comme! le! dit! Beurdeley!
(2010!:! 23)! «!Il! existe! pourtant! peu! de! littérature! disponible! sur! la!qualité́! de! ces!
outils,! et! encore! moins! de! méthodologie! sur! leur! évaluation! et! leur! comparaison!».!
Margaret! King! (1993)! mentionne! cependant! dans! son! article! intitulé! «!Sur%
l’évaluation%des%systèmes%de%traduction%assistée%par%ordinateur!»!que,!après!des!débuts!
hésitants,!des!progrès!importants!ont!été!enregistrés!au!niveau!des!évaluations!des!
systèmes!TAO.!Selon!King,!les!expériences!ainsi!que!les!méthodologies!d’évaluation!
des! systèmes! TAO! n’ont! cependant! pas! coïncidé! avec! les! développements!
technologiques! car! les! différents! groupes! d’évaluateurs! poursuivaient! des! intérêts!
différents! :! si! les! entreprises! ont! fait! des! évaluations,! elles! n’ont! pas! vu! l’intérêt! de!
publier!les!résultats!gratuitement!;!ou!les!chercheurs,!eux,!s’intéressaient!uniquement!
à!l’évaluation!de!leur!prototype!qu’il!cherchaient!à!commercialiser.!!
!
Dans! ce! travail,! nous! cherchons! une! méthode! d’évaluation! qui! nous! permette! de!
mesurer!l’efficacité!de!l’outil!de!TAO!implanté!chez!Manpower.!Nous!allons!présenter!
les! appuis! trouvés! dans! la! littérature! du! domaine.! Comme! un! de! nos! critères! est!
l'amélioration! de! la! qualité! des! traductions! au! sein! de! l’entreprise,! nous! allons!
également!nous!pencher!sur!la!qualité!en!traduction!et!voir!comment!la!mesurer.!!
4.2.2 Méthodologie EAGLES
Dans! cette! section,! nous! allons! présenter! la! méthode! EAGLES! et! d’autres! méthodes!
d’évaluation!qui!nous!aident!à!définir!la!marche!à!suivre!pendant!l’exécution!de!notre!
étude! pilote.! Les! concepts! présentés! englobent! les! différents! types! de! tests,! les!
critères! de! qualité! et! le! matériel! de! test.! La! présente! étude! met! l’accent! sur! les!
utilisateurs!finaux!des!outils!TAO.!Il!faut!donc!trouver!une!méthode!d’évaluation!qui!
cible!la!performance!des!utilisateurs!et!le!rendement!d’un!outil!TAO.!Quand!il!s’agit!
de! tester! un! logiciel,! nous! pouvons! distinguer! deux! types! d’évaluation,! par! boîte!
blanche! et! noire.! La! première! est! utilisée! dans! les! cas! où! les! sujets! connaissent!
exactement!le!fonctionnement!interne!d’un!logiciel!;!par!exemple!les!chercheurs!et!les!
développeurs! (Walpen,! 2011!:! 36).! La! seconde,! qui! s’applique! dans! notre! cas,! est!
utilisée!pour!tester!et!analyser!les!sorties!d’un!logiciel,!tandis!que!le!fonctionnement!
interne! du! programme! n’est! pas! pris! en! compte! (Höge,! 2002!:! 128).! Nos! critères!
principaux! sont! le! temps! et! la! qualité,! donc! il! nous! incombe! de! savoir! via! quel! test!
nous! obtenons! les! résultats! nécessaires.! Le! rapport! EAGLES!17définit! trois! types! de!
tests!possibles!:!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
17 EAGLES Evaluation Working Group : http://www.issco.unige.ch/en/research/projects/eagles/
!
g liste+ de+ caractéristiques! (feature! inspection)!:! ce! type! de! test! est!
particulièrement!utile!pour!des!comparaison!de!deux!ou!plusieurs!outils!car!il!
s’agit!d’une!liste!de!caractéristiques!à!travers!laquelle!l’absence!ou!la!présence!
de!certains!fonctions!peut!être!vérifiée.!!!
g le+test+de+performance!(systematic!or!benchmark!testing)!:!ce!test!examine!la!
performance!d’un!système,!soit!pour!un!ou!plusieurs!modules!ou!le!système!
entier.!(Höge,!2002!:!142).!!
g le+test+scénario+:!Ce!type!de!test!est!un!exemple!pour!une!méthode!de!la!boîte!
noire!où!l’objectif!principal!consiste!à!évaluer!l'adéquation!des!outils!logiciels!
dans! les! tâches! quotidiennes.! En! effet,! il! s'agit! de! tester! le! logiciel! dans! son!
utilisation! prévue! avec! l'utilisateur! potentiel,! en! effectuant! une! tâche!
standardisée!(Höge,!2002!:!143).!!
!
Pour!la!suite!de!ce!travail,!nous!avons!choisi!le!test!scénario!car!il!permet!d’observer!
la!qualité!et!l’efficacité!depuis!la!perspective!d’un!utilisateur!final.!Le!type!de!test!que!
nous! allons! exécuter! est! une! sousgcatégorie! du! test! scénario! qui! est!connue! sous! le!
nom! du! «!test! de! terrain!»! (field! test).! Cette! méthode! d'évaluation! se! déroule! en!
milieu!réel,!c’estgàgdire!au!poste!de!travail!habituel!de!l’utilisateur!avec!un!évaluateur!
qui!prend!des!notes!et!chronomètre!le!temps!etc.!(Höge,!2002!:!143).!
Selon!Karat!(1990:352),!le!test!de!terrain!devrait!se!dérouler!dans!un!environnement!
physique! (place! de! travail,! niveau! de! bruit…)! et! social! (ambiance! de! travail,!
interruptions! par! des! collègues…)! qui! correspond! à! la! réalité! professionnelle! du!
traducteur.!Karat!mentionne!également!que!même!si!les!facteurs!d’un!environnement!
habituel!sont!assurés,!le!comportement!des!sujets!peut!varier!parce!qu’ils!se!sentent!
«!observés!».! ! Pour! obtenir! des! résultats! fiables,! Karat! (1990:353)! conseille! de!
standardiser! le! test! pour! que! chaque! utilisateur! fasse! le! test! dans! les! mêmes!
conditions.! ! Même! si,! selon! Karat,! on! observe! un! besoin! croissant! de! tester! des!
systèmes! dans! leur! situation! réelle! de! travail,! il! n’existe! presque! pas! d’approche!
méthodologique! pour! définir! ce! type! de! test! (Karat! 1990:352).! ! Le! test! scénario! se!
distingue! des! autres! types! de! test! mentionnés! cigdessus! car! il! prend! en! compte!
l’utilisateur! final.! Toutefois,! un! inconvénient! de! faire! la! même! tâche! avec! et! sans!
support!d’un!outil!est!que!l’utilisateur!exécute!deux!fois!la!même!chose.!Il!existe!donc!
un!risque!que!les!sujets!développent!des!stratégies!de!résolution!des!problèmes!lors!
du!premier!test!qu’ils!appliqueront!dans!le!deuxième.!En!revanche,!un!changement!de!
tâche!ou!de!sujets!est!également!difficile,!car!confronter!l’utilisateur!à!un!autre!type!
de! document! ou! faire! exécuter! les! tests! par! différents! sujets! compliquerait!
l'interprétation!des!résultats!de!test!(Colgan,!BrouwergJanse,!1990:255).!Oppermann!
(1988:12)!souligne!à!ce!propos!qu’il!est!d’autant!plus!important!d’avoir!un!nombre!de!
participants! suffisamment! représentatif! et! que! des! facteurs! tels! que! l’éducation,!
l’expérience! et! l’expertise! doivent! être! prises! en! compte.! ! Dans! le! cadre! de! ce!
mémoire,!un!test!scénario!avec!un!nombre!élevé!n’est!pas!faisable!pour!des!raisons!
d’organisation.! Nous! voulons! néanmoins! procéder! à! une! première! évaluation! et! en!
tirer!des!résultats!significatifs.!!!
Pour! mener! l’évaluation! avec! le! testgscénario,! nous! nous! servirons! d’un! guide!
«L’évaluation%en%7%étapes»!(cf.!Figure!11)!établi!par!le!groupe!EAGLES!qui!propose!une!
structuration! pour! des! procédures! d’évaluation! des! outils! TAO.! Ce! document! a! été!
publié! par! l’observatoire! suisse! des! industries! de! la! langue! en! 1999.! Nous! allons!
utiliser!ce!document!comme!point!de!repère!afin!de!mener!à!bien!notre!étude!pilote.!!
!
!
L'évaluation+en+7+étapes:+
1.+Pourquoi+faire+une+évaluation?+
• Quel! est! le! but! de! l'évaluation?! Toutes! les! personnes! impliquées! ontgelles! la! même!
compréhension!du!but!de!l'évaluation?!
• Que! vagtgon! évaluer! exactement?! Un! système! dans! son! entier! ou! un! module! de! celuigci?! Un!
système! pris! isolément! ou! un! système! pris! dans! un! contexte! spécifique?! Quelles! sont! les!
limites!du!système?!
!
2.+Elaborer+un+modèle+des+tâches+
• Identifier!les!rôles!et!les!agents!pertinents.!
• Comment!le!système!vagtgil!être!utilisé?!
• Par!qui?!Pour!quelle!utilisation?!Qui!sont!les!utilisateurs?!
!
3.+Définir+des+caractéristiques+de+haute+qualité+
• Quelles!caractéristiques!du!système!doivent!être!évaluées?!Ontgelles!toutes!la!même!importance?!
!
4.+Spécifier+des+critères+détaillés+pour+le+système+évalué+sur+la+base+des+étapes+2+et+3+
• Pour! chaque! critère! identifié,! peutgon! trouver! un! moyen! valable! et! cohérent! de! mesurer! les!
performances! du! système! en! fonction! de! ces! critères?! Dans! le! cas! contraire,! ces! derniers!
devront! être! décomposés! en! critères! secondaires! mesurables! de! manière! à! les! rendre!
valides.!Ce!processus!doit!être!répété!jusqu'à!ce!que!ce!que!les!critères!soient!mesurables.!
!
5.+Définir+les+mesures+à+appliquer+au+système+pour+les+critères+déterminés+sous+le+point+4.+
• Tant! la! mesure! que! la! méthode! pour! obtenir! cette! mesure! doivent! être! définies! pour! chaque!
critère.!
• Pour! chaque! critère! mesurable,! que! vagtgon! considérer! comme! un! bon! résultat,! comme! un!
résultat! satisfaisant,! comme! un! résultat! insatisfaisant,! en! fonction! du! modèle! des! tâches!
(2)?!Où!se!situe!le!seuil!d'acceptabilité?!
• Habituellement,!un!critère!est!décomposé!en!plusieurs!critères!secondaires.!Comment!les!valeurs!
des!différents!critères!secondaires!se!combinentgelles!à!la!valeur!définie!pour!le!critère!de!
référence! afin! de! refléter! leur! importance! relative! (là! encore! en! fonction! du! modèle! des!
tâches)?!
!
6.+Préparer+l'exécution+de+l'évaluation+
• Développer!le!matériel!de!test!qui!permettra!d'évaluer!le!système.!
• Qui! sera! effectivement! chargé! de! procéder! aux! différentes! mesures?! Quand?! Dans! quelles!
circonstances?!Sous!quelle!forme!le!résultat!final!sera!tgil!présenté?!
• !
7.+Exécuter+l'évaluation:+
• Procéder!aux!mesures.!
• Comparer!les!résultats!à!l'échelle!des!degrés!de!satisfaction!préalablement!déterminée.!
• Résumer!les!résultats!dans!un!rapport!d'évaluation
!
Figure+11+:+«L’évaluation+en+7+étapes+»+selon+EAGLES+18+
!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
18 http://www.issco.unige.ch/en/research/projects/osil/sept-etapes.html consulté en août 2013
4.2.3 L’évaluation de la qualité de traduction
Il!existe!de!nombreuses!méthodes!permettant!!d'évaluer!la!qualité!d’une!traduction.!
Schiaffino!et!Zearo!(2006!:!53)!les!ont!regroupées!en!trois!catégories!de!compétence:!
compétences!du!traducteur,!processus!de!traduction!!et!qualité!de!la!traduction!!
(people,!process,!product).!
!
g Traducteurs!:!Différentes!institutions!comme!des!associations!des!traducteurs,!
des! organisations! internationales! ou! des! réseaux! d'établissements!
d'enseignement! utilisent! des! méthodes! d’évaluation! pour! mettre! à! l'épreuve!
des!compétences!en!traduction!(Schiaffino!et!Zearo,!2006!:!53).!
g Processus!de!traduction!:!Un!grand!nombre!d’initiatives!dans!le!domaine!de!la!
qualité!de!traduction!traitent!du!processus!de!traduction!comme!par!exemple!
la!norme!DIN!2345!(qui!a!été!remplacée!par!la!norme!européenne!EN!15038!
en!2006)!(Schiaffino!et!Zearo,!2006!:!53).!!
g Qualité! de! la! traduction!:! Pour! évaluer! la! qualité! d’un! texte! traduit! diverses!
grilles! d’évaluation! ont! été! proposées! par! des! organismes.! Les! plus! connus!
sont! la! norme! SAE! J2450,! ! adoptée! par! la! SAE! International! (Society! of!
Automobile! Engineers)! et! la! grille! d’évaluation! proposée! par! LISA!
(Localization!Industry!Standards!Association)!(Schiaffino!et!Zearo,!2006!:!53).!!
!
Dans!ce!travail!nous!nous!intéressons!à!la!qualité!du!produit,!c’estgàgdire!la!qualité!de!
la! traduction.! La! question! de! la! qualité! d’une! traduction! reste! cependant! très!
complexe!et!soulève!des!problématiques.!Si!l'on!consulte!les!ouvrages!19sur!la!qualité!
de!la!traduction!et!son!évaluation,!nous!découvrons!vite!qu'il!n'existe!pas!de!solution!
unique! dans! les! différents! scénarios! de! traduction! et! que! les! critères! et! attentes!
individuelles!jouent!un!rôle!clé!dans!l'évaluation!de!la!qualité.+
!
Le! fait! que! plusieurs! personnes! sont! impliquées! dans! un! processus! de! traduction!
entraîne! déjà! un! conflit! d'intérêt,! car! chacune! d’entre! elles,! que! ce! soit! l’auteur! du!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
19!Sauf! mention! contraire,! les! informations! dans! cette! section! se! basent! en! grande!
partie!sur!l'ouvrage!de!Federica!Scarpa!(2010).+
texte!source,!le!traducteur,!le!mandataire!ou!les!destinataires,!aura!son!propre!point!
de! vue! sur! la! qualité! d’un! texte! traduit! et! la! réalité! dans! le! monde! du! travail! des!
traducteurs!démontre!souvent!que!les!avis!sur!la!qualité!peuvent!diverger!fortement!
entre! les! différents! acteurs! (Gile,! 1995!:! 36g42).! Le! problème! fondamental! réside!
souvent! dans! le! fait! que! l’auteur! du! texte! de! source! et! le! mandataire! n’ont!
généralement!pas!la!compétence!linguistique,!culturelle!et!traductive!nécessaire!pour!
juger!la!qualité!du!travail!exécuté!par!le!traducteur!(Scarpa!2010!:!233).!
Afin!de!mettre!fin!à!cette!confusion!liée!à!la!variété!de!besoins!et!motifs!qui!ont!un!
impact! sur! l’évaluation! de! la! qualité! d’une! traduction,! certains! critères! de! qualités!
universels! ont! été! établis.! Mais! là! encore,! il! apparaît! que! les! avis! divergent!:!
d'innombrables!modèles!ont!été!développés!pour!évaluer!la!qualité!d’un!texte!traduit.!!
!
Chaque! méthode! d’évaluation! s'est! donné! sa! propre! priorité! :! que! ce! soit! les!
méthodes! qui! mettent! l'accent! sur! l’exactitude! par! rapport! au! texte! source,! sur! la!
fonctionnalité! de! la! traduction! ou! sur! une! absence! totale! d’erreurs! (Scarpa,! 2010!:!
234).! Ceci! provient! aussi! du! fait! que! le! jugement! de! la! qualité! d’une! traduction! se!
déroule! dans! deux! contextes! différents,! à! savoir! d'une! part! le! milieu! didactique! et!
d’autre!part!le!milieu!professionnel.!Dans!ce!dernier,!l’évaluation!de!la!qualité!s'étend!
augdelà!d’un!simple!jugement!du!texte.!Il!s’agit!souvent!d’une!évaluation!d’un!service!
entier!qui!comprend!également!des!facteurs!économiques!relatifs!au!temps!consacré!
à!la!traduction!et!donc!au!coût!(Scarpa,!2010!:!234).!
La!procédure!de!jugement!sur!la!qualité!dépend!donc!de!plusieurs!facteurs!et!même!
si! de! nombreux! modèles! d’évaluation! existent,! il! faut! décider! au! cas! par! cas! quels!
critères! de! qualité! sont! considérés! les! plus! importants.! Dans! notre! cas,! un! critère!
essentiel! est! de! garantir! l’utilisation! de! la! terminologie! harmonisée! et! correcte! qui!
caractérise! l’étude! MEOS.! Même! si! dans! autres! cas,! les! règles! de! grammaire! et!
d’orthographe!jouent!un!rôle!très!important!dans!le!jugement!de!qualité,!nous!allons!
classer! ces! erreurs! dans! une! catégorie! moins! importante.! Afin! de! réaliser! une!
évaluation! comparative! qui! nous! permet! de! classer! les! erreurs! en! différentes!
catégories,! notre! choix! s’est! porté! sur!la+ norme+ SAE+ J2450,! ! adoptée! par! la! SAE!
International! (Society! of! Automobile! Engineers! g!20!).! ! La! norme! J245021!se! prête!
bien! à! notre! analyse! car! elle! nous! permet! une! mesure! objective! de! la! qualité! d’une!
traduction! et! pas,! comme! ceci! est! souvent! le! cas! pour! les! relectures,! d’une! mesure!
subjective.!Cette!grille!d’évaluation!peut!être!utilisée!quelle!que!soit!la!langue!du!texte!
source! ou! cible! et! indépendamment! de! la! méthode! de! traduction! (traduction!
humaine,! traduction! assistée! par! ordinateur! ou! traduction! automatique).! Point!
important! également! à! mentionner!:! la! méthode! s’adapte! partiellement! aux! besoins!
individuels!des!évaluateurs!car!elle!leur!laisse!décider!si!une!erreur!détectée!dans!le!
texte! est! considérée! comme! grave! ou! mineure.! Dans! notre! cas,! une! attention!
particulière! sera! aussi! accordée! aux! exigences! de! l'entreprise! relatives! à! sa!
terminologiegmaison.! Ainsi,! si! dans! notre! cas! de! figure,! une! faute! de! terminologie,!
c’estgàgdire!un!terme!inappropprié!est!trouvé!dans!le!texte,!il!compromet!davantage!
la!qualité!d’une!traduction!qu’une!erreur!de!ponctuation!par!exemple.!!
La! métrique! nous! permet! de! classer! les! erreurs! de! deux! manières! :! d’abord! la!
personne! responsable! de! l’évaluation! classe! l’erreur! dans! une! des! sept! catégories!
présentées!cigdessous!dans!la!Figure!12.!Après!avoir!déterminé!la!catégorie!d’erreur,!
l'évaluateur!considère!ensuite!s’il!s’agit!d'une!erreur!mineure!ou!d'une!grave!erreur.!
A!la!fin!de!l’évaluation,!toutes!les!erreurs!sont!additionnées.!Ce!résultat!est!divisé!par!
le!nombre!de!mots!du!texte!source.!Le!résultat!final!est!donc!«!un!score!»!qui!permet!
de!voir!la!qualité!globale!du!document!traduit.!!
Figure+12:+Catégories+d’erreures,+classifications+et+pondération+d’erreur!22!!
+
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
20 SAE International est une association mondiale de plus de 128 000 ingénieurs et experts techniques associés de l'industrie aérospatiale, automobile et des véhicules commerciaux. http://fr.sae.org/about/
21 La norme J2450 relative à la qualité des traductions peut être achetée via le site Internet SAE. sur http://store.sae.org/webcd.htm.
22 téléchargeable sous http://store.sae.org/webcd.htm
4.3 Conclusion
En! arrivant! à! la! fin! de! ce! chapitre,! nous! pouvons! constater! qu’une! méthodologie!
universelle! pour! l’évaluation! n’existe! pas! encore! dans! le! domaine! des! outils! TAO.!
Néanmoins,! nous! avons! pu! trouver! des! recommandations! et! des! méthodes! qui!
répondent!à!nos!besoins!et!qui!nous!seront!utiles!pour!la!suite,!à!savoir!la!mise!en!
place!et!le!déroulement!de!notre!étude!pilote.!
!
+ + + + + + + + + + + + + + + + + + + +