Comparaison de deux outils d'alignement dans le contexte de CICR : AlignFactory et WinAlign

Master

Reference

Comparaison de deux outils d'alignement dans le contexte de CICR : AlignFactory et WinAlign

BEURDELEY, Manuelle

Abstract

Évaluation de deux outils d'alignement (AlignFactory et WinAlign) selon un profil utilisateur établi d'après les besoins identifiés au cours d'un stage dans le service de traduction du Comité international de la Croix-Rouge de Genève. Le mémoire est composé d'une partie théorique présentant les origines et le fonctionnement des outils de traduction assistée par ordinateur, ainsi que les méthodes d'évaluation existantes. La partie pratique consiste en l'application de la méthode d'évaluation établie par le groupe de travail EAGLES, à travers la définition de caractéristiques et de critères correspondants aux besoins du CICR, la mise en place de tests selon des marches à suivre rigoureuses, et enfin la présentation et l'analyse des résultats.

BEURDELEY, Manuelle. Comparaison de deux outils d'alignement dans le contexte de CICR : AlignFactory et WinAlign. Master : Univ. Genève, 2010

Available at:

http://archive-ouverte.unige.ch/unige:14846

Disclaimer: layout of this document may differ from the published version.

MANUELLE BEURDELEY

COMPARAISON DE DEUX OUTILS D’ALIGNEMENT DANS LE CONTEXTE DU CICR :

ALIGNFACTORY ET WINALIGN

Mémoire présenté à l’École de traduction et d’interprétation pour l’obtention du Master en traduction, mention traductique

Directeur de mémoire : Pierrette Bouillon

Juré :

Marianne Starlander

Université de Genève Septembre 2010

Remerciements

En préambule à ce mémoire, je souhaite adresser mes remerciements les plus sincères aux personnes qui m'ont apporté leur aide et qui ont contribué à l'élaboration de ce mémoire.

Tout d’abord, je tiens à remercier Pierrette Bouillon de m’avoir recommandé d’effectuer un stage au Comité International de la Croix-Rouge, puis d’avoir accepté d’être ma directrice de mémoire. Ses conseils et sa disponibilité m’ont été très précieux. Je remercie également Marianne Starlander d’avoir endossé la charge de juré, mais aussi de m’avoir aiguillée sur des pistes auxquelles je n’avais pas pensé.

Ensuite, j’aimerais remercier Bruna Novellas Vall de m’avoir encadrée lors de mon stage au Comité International de la Croix-Rouge et d’avoir répondu à mes questions pendant et après le stage. Un grand merci également à Ruth Griffiths et à tous mes collègues de COM-LIN pour leur accueil et leur gentillesse.

Enfin, je souhaite remercier l’entreprise Terminotix de m’avoir fourni l’outil AlignFactory pour toute la durée de mes recherches.

Je n’oublie pas mes parents pour leur contribution et leur soutien, ainsi que mes amis pour leur aide.

Table des matières

I - Introduction générale p.7

II – Mémoires de traduction et outils d’alignement p.9

2.1 Introduction p.9

2.2 Les textes parallèles : origine et évolution p.9 2.3 Définitions et fonctionnement des mémoires de traduction et

des outils d’alignement p.11

2.3.1 La mémoire de traduction p.11

2.3.2 L’outil d’alignement p.13

2.3.3 Les méthodes d’alignement p.16

2.4 Utilité des outils de traduction assistée par ordinateur pour le

traducteur p.21

2.5 Conclusion p.22

III – Méthodes existantes de comparaison et d’évaluation des outils

d’aide à la traduction p.23

3.1 Introduction p.23

3.2 Méthodes et recommandations p.24

3.2.1 Les fondements p.24

3.2.2 L’initiative EAGLES et la norme ISO 9126 p.26

3.2.3 L’évaluation en 7 étapes p.32

3.3 Conclusion p.34

IV – Préparation de l’évaluation des outils d’alignement WinAlign et

AlignFactory p.36

4.1 Introduction p.36

4.2 Pourquoi faire une évaluation ? p.36

4.3 Profil utilisateur p.36

4.3.1 La personne chargée de l’alignement p.37

4.3.2 WinAlign de SDL Trados 2007 p.38

4.3.3 AlignFactory de Terminotix p.38

4.3.4 Le corpus de textes p.39

4.4 Définir des caractéristiques de haute qualité p.39

4.4.1 Le rendement p.40

4.4.2 La fiabilité p.40

4.4.3 La maintenabilité p.40

4.4.4 La portabilité p.41

4.4.5 La capacité fonctionnelle p.42

4.4.6 Le prix p.43

4.5 Spécification des critères détaillés et des mesures à appliquer p.43

4.5.1 Le rendement p.44

Comportement temporel p.44

4.5.1.1 Test 1 p.44

4.5.1.2 Test 2 p.44

4.5.2 La fiabilité p.44

Maturité p.44

4.5.2.1 Test 3 p.44

4.5.3 La maintenabilité p.45

Facilité de modification p.45

4.5.3.1 Test 4 p.45

4.5.3.2 Test 5 p.45

4.5.4 La portabilité p.46

Compatibilité p.46

4.5.4.1 Test 6 p.46

4.5.4.2 Test 7 p.46

4.5.4.3 Test 8 p.46

Langues p.46

4.5.4.4 Test 9 p.46

4.5.4.5 Test 10 p.46

4.5.5 La capacité fonctionnelle p.47

Préparation des textes p.47

4.5.5.1 Test 11 p.47

Règles de segmentation p.47

4.5.5.2 Test 12 p.47

4.5.6 Le prix p.48

4.5.6.1 Test 13 p.48

4.6 Conclusion p.48

V – Exécution de l’évaluation p.49

5.1 Introduction p.49

5.2 Marches à suivre et évaluation p.49

5.2.1 Le rendement p.49

Comportement temporel p.49

5.2.1.1 Tests 1 et 2 p.49

5.2.2 La fiabilité p.54

Maturité p.54

5.2.2.1 Test 3 p.54

5.2.3 La maintenabilité p.56

Facilité de modification p.56

5.2.3.1 Test 4 p.56

5.2.3.2 Test 5 p.57

5.2.4 La portabilité p.58

Compatibilité p.58

5.2.4.1 Tests 6, 7 et 8 p.58

Langues p.58

5.2.4.2 Tests 9 et 10 p.58

5.2.5 La capacité fonctionnelle p.58

Préparation des textes p.58

5.2.5.1 Test 11 p.58

Règles de segmentation p.59

5.2.5.2 Test 12 p.59

5.2.6 Le prix p.60

5.2.6.1 Test 13 p.60

5.3 Résultats et commentaires p.61

5.3.1 Le rendement p.61

Comportement temporel p.61

5.3.1.1 Test 1 p.61

5.3.1.2 Test 2 p.62

5.3.2 La fiabilité p.63

Maturité p.63

5.3.2.1 Test 3 p.63

5.3.3 La maintenabilité p.64

Facilité de modification p.64

5.3.3.1 Test 4 p.64

5.3.3.2 Test 5 p.64

5.3.4 La portabilité p.65

Compatibilité p.65

5.3.4.1 Test 6 p.65

5.3.4.2 Test 7 p.65

5.3.4.3 Test 8 p.66

Langues p.66

5.3.4.4 Test 9 p.66

5.3.4.5 Test 10 p.67

5.3.5 La capacité fonctionnelle p.67

Préparation des textes p.67

5.3.5.1 Test 11 p.67

Règles de segmentation p.68

5.3.5.2 Test 12 p.68

5.3.6 Le prix p.69

5.3.5.3 Test 13 p.69

5.3.7 Résultats généraux p.69

VI – Conclusion générale p.72

Bibliographie p.74

Annexes I-XIII

I – Introduction générale

Ce mémoire s’inscrit dans le cadre d’un stage que j’ai effectué au Comité International de la Croix-Rouge (CICR) à Genève en juillet 2009. Ce stage représentait une excellente occasion de me familiariser avec la vie professionnelle, mais également de mettre en pratique les connaissances acquises durant les cours d’informatique et de traductique suivis à l’École de Traduction.

Au cours de ce stage, j’ai, dans un premier temps, été chargée d’aligner les textes traduits par les traducteurs du CICR avec l’outil WinAlign, puis, dans un second temps, d’importer les segments alignés dans la mémoire de traduction de l’organisation, de manière à ce que ceux-ci soient réutilisés par les traducteurs à l’avenir.

Après un mois passé à aligner des textes avec WinAlign, j’ai commencé à avoir une connaissance importante de ses points forts et faibles. J’ai d’abord pensé effectuer une évaluation de cet outil, puis ma directrice de stage m’a parlé d’un outil d’alignement qui pouvait devenir un concurrent sérieux pour WinAlign : AlignFactory, de la société Terminotix. Je me suis renseignée sur cet outil et j’ai appris que la société Terminotix acceptait de me fournir l’outil AlignFactory gratuitement pour toute la durée de mes recherches. Le CICR était également prêt à me donner un corpus de textes pour ce travail. J’ai donc décidé d’effectuer une comparaison de WinAlign et d’AlignFactory.

Le corpus de textes dont je dispose est un échantillon représentatif des textes traduits au CICR. L’évaluation que je vais mener donnera donc une idée des performances des deux outils dans l’alignement de ce type de textes.

La première partie de ce mémoire (p.9) sera consacrée à la présentation historique et fonctionnelle des outils d’aide à la traduction et plus précisément des mémoires de traduction et des outils d’alignement. Elle permettra de rappeler les caractéristiques de ces outils, mais aussi de montrer leur impact sur le métier de traducteur.

Dans la deuxième partie (p.23), nous verrons quelles sont les méthodes existantes d’évaluation des outils d’aide à la traduction et les recommandations à suivre pour mener à bien une évaluation. Ainsi, nous aurons une meilleure idée de la manière de structurer une évaluation pour que les résultats soient valides.

La troisième partie (p.36) aura pour objet la préparation de l’évaluation. Nous définirons, en accord avec les recommandations et méthodes étudiées au préalable, les caractéristiques de qualité ainsi que les critères détaillés que nous souhaitons évaluer.

Dans la quatrième partie (p.49), nous exécuterons l’évaluation d’après la méthode que nous aurons choisi de suivre. Puis nous présenterons et commenterons les résultats (p.61), qui nous permettront de savoir lequel des deux outils est le plus performant selon nos exigences.

II - Mémoires de traduction et outils d’alignement

2.1 Introduction

Le but de ce mémoire est de comparer deux outils d’alignement. Dans cette présentation historique et théorique, nous verrons tout d’abord que les origines de ces outils modernes sont très lointaines, puis nous expliquerons leur utilité et enfin leur fonctionnement, en nous attardant sur les services qu’ils rendent au traducteur.

2.2 Les textes parallèles : origine et évolution

Pour bien comprendre ce que sont les outils d’alignement, il est indispensable de parler du type de textes qu’ils traitent : les textes parallèles.

Les textes parallèles sont « deux ou plusieurs textes de langues différentes, comprenant un texte original et ses traductions ¹».

Les textes parallèles sont donc bilingues ou multilingues. Ils sont apparus aussitôt que l’écriture a été inventée, vers l’an moins 3300 avant notre ère. Nos ancêtres avaient déjà compris l’utilité d’exprimer la même idée en plusieurs langues, de manière à être compris par le plus grand nombre. Nous pouvons citer à titre d’exemple la Pierre de Rosette – datant de moins 196 – sur laquelle sont gravés trois textes identiques dans trois langues différentes (hiéroglyphes, démotique et grec)². Il existe de nombreuses traces de textes multilingues à travers toute l’Histoire. Comme le note cependant Jean Véronis, ce n’est que très récemment que ces ressources ont commencé à se multiplier³.

1 Nakamura-Delloye (2007)

2 Abdel Hadi (2008)

3 Véronis (2000)

Depuis quelques années en effet, « l’explosion de l’information multilingue, à travers le Web, la globalisation des marchés, etc., fournit des sources de plus en plus considérables de ces " pierres de Rosette " électroniques que sont les textes parallèles, et constitue un moteur extraordinaire pour la recherche et le développement des technologies qui les exploitent. ⁴». La création de documents électroniques s’étend aujourd’hui à de très nombreux domaines et concerne même les documents anciens, qui peuvent être convertis grâces aux scanners. Le nombre et la diversité des documents potentiellement exploitables par les outils modernes de traitements automatiques des langues est donc en constante augmentation.

De nos jours, l’Union européenne est, par exemple, une grande productrice de textes parallèles, puisqu’elle doit traduire sa législation dans les 23 langues officielles, suivant la déclaration figurant dans le tableau 1.

« DÉCLARATION relative au régime linguistique dans le domaine de la politique étrangère et de sécurité commune La Conférence convient que le régime linguistique applicable est celui des Communautés européennes.

Pour les communications COREU, la pratique actuelle de la coopération politique européenne servira de modèle pour le moment.

Tous les textes relatifs à la politique étrangère et de sécurité commune qui sont présentés ou adoptés lors des sessions du Conseil européen ou du Conseil ainsi que tous les textes à publier sont traduits immédiatement et simultanément dans toutes les langues officielles de la Communauté. »⁵

Tableau 1 : Déclaration parue dans le Journal Officiel de l’Union Européenne

4 Véronis (2000)

5 Traité sur l’Union européenne - Journal officiel n° C 191 du 29 juillet 1992

Malgré la naissance très lointaine des textes parallèles, il fallut attendre les années 1970 pour que ceux-ci fassent l’objet d’études approfondies et soient exploités dans le cadre du traitement automatique des langues⁶. Auparavant, les recherches portaient surtout sur la traduction entièrement automatique et de haute qualité (TEAHQ), qui consiste à fournir un texte à la machine pour qu’elle effectue le processus de traduction sans intervention humaine. Les résultats n’étaient pas concluants et, en 1966, la publication du rapport ALPAC – très critique envers la traduction automatique – marqua l’arrêt du financement de la recherche dans ce domaine aux Etats-Unis pour plus de dix ans⁷. Les chercheurs concentrèrent alors leurs efforts sur la traduction assistée par ordinateur et développèrent différents supports informatiques destinés à aider le traducteur dans son travail. Aujourd’hui encore, la TEAHQ reste théorique dans la grande majorité des cas. Elle n’est possible que dans des domaines très limités. Le système METEO⁸, développé par des chercheurs canadiens, est un des seuls exemples fiables de la TEAHQ. Il s’agit d’un système de traduction automatique de bulletins météorologiques. Sa fiabilité s’explique par le caractère limité des termes utilisés en météorologie, ainsi que par la syntaxe simple des phrases à traduire. Les traducteurs humains, quant à eux, doivent répondre à des contraintes de qualité, de productivité et de rentabilité toujours plus grandes. Ils se tournent plutôt vers des programmes de traduction assistée par ordinateur pour n’automatiser que certains aspects de leur travail.⁹ Parmi ces outils, les mémoires de traduction et les outils d’alignement sont les plus répandus et seront l’objet de la prochaine section.

2.3 Définitions et fonctionnement des mémoires de traduction et des outils d’alignement

2.3.1 La mémoire de traduction

Une mémoire de traduction est une base de données contenant des textes multilingues (aussi appelés bi-textes¹⁰ ou multi-textes), le plus souvent sous forme

6 Véronis (2000)

7 L’Homme (2008)

8 Bouillon (2006)

9 L’Homme (2008)

10 Harris (1988)

de segments. Les segments correspondent généralement à des phrases et sont alignés et stockés afin d’être réutilisés pour des traductions futures.

Une mémoire de traduction peut être alimentée de différentes manières :

- L’utilisateur peut ouvrir l’interface de la mémoire de traduction en même temps que son traitement de texte et alimenter la base de données segment par segment tout en traduisant ;

- L’utilisateur peut importer des textes multilingues préalablement traduits via un outil d’alignement. Il peut s’agir de textes traduits avant l’acquisition de la mémoire de traduction, ou de textes récents révisés.

La mémoire de traduction, après avoir été alimentée, établit des correspondances partielles ou totales entre les phrases de la base de données et les phrases en train d’être traduites. Les correspondances pertinentes sont proposées à l’utilisateur, qui peut choisir de les intégrer à sa traduction.

Image 1 : Le Workbench de Trados

L’image 1 montre le Workbench de Trados intégré à l’interface de Word. En bleu, nous pouvons voir les mots à traduire et en vert, la proposition de traduction d’après un segment de la base de données.

2.3.2 L’outil d’alignement

Un outil d’alignement est complémentaire à une mémoire de traduction et fonctionne en suivant plusieurs étapes. Tout d’abord, il segmente les textes individuellement selon des règles de segmentation¹¹. Les règles de segmentation sont prédéfinies dans chaque outil et déterminent après quels éléments l’outil doit segmenter ou non le texte. Généralement, c’est la ponctuation qui définit la segmentation : les points, les points-virgules, les points d’exclamation et d’interrogation, les deux points et les retours à la ligne marquent la fin d’un segment. Parfois, la typologie est aussi prise en compte dans les règles de segmentation : par exemple, un outil ne segmentera pas forcément après un point si celui-ci est suivi d’une minuscule, cela étant particulièrement utile pour le abréviations ou les initiales.

Toutefois, ces règles peuvent être modifiées à tout moment par l’utilisateur, soit en choisissant par exemple d’ignorer telle ou telle marque de ponctuation, soit en créant une liste de termes suivis d’un point que l’outil ne doit pas considérer comme une fin de segment. Après la segmentation, l’outil associe les segments multilingues avant leur stockage dans la base de données utilisée par la mémoire de traduction. Cette possibilité d’intervention permet à l’utilisateur de tirer le meilleur profit de son outil d’alignement.

Si la mémoire de traduction est alimentée segment par segment par le traducteur, il n’est pas nécessaire de vérifier les segments dans la base de données de l’outil d’alignement, puisqu’ils y sont entrés tels quels. Il est néanmoins possible d’effectuer des modifications par la suite. En revanche, si la mémoire de traduction est alimentée massivement par l’importation de textes déjà traduits, il vaut mieux prendre le temps de vérifier les alignements de segments, et le cas échéant, de les

11 Mourad (1999)

modifier. Il arrive en effet que l’outil d’alignement fasse des erreurs, qui peuvent être de différentes natures.

Par exemple, nous avons pu observer, dans le contexte du CICR, que les notes de bas de page posent de gros problèmes de segmentation à WinAlign, d’une part car elles contiennent des initiales, qui sont mal gérées par les outils : en effet, les outils suivent les règles de segmentation et coupent systématiquement après les points et donc naturellement après les lettres suivies d’un point. Même s’il est possible de les modifier, elles ne sont jamais parfaites car, pour des raisons évidentes, il ne serait pas pertinent de retirer le point des marques de segmentation. La solution serait d’ordonner aux outils de ne plus segmenter après chaque lettre seule suivie d’un point, mais ils le feraient de nouveau après des initiales de type « P.-H. ». De plus, les formats des notes de bas de page étant différents selon les langues, l’alignement est d’autant plus fastidieux. D’autre part, les notes de bas de page sont parfois réparties sur deux pages différentes, et les outils ne les réunissent pas lors de l’alignement. Les outils peuvent aussi être perturbés si, lors de la traduction dans le Workbench, le traducteur a décidé de modifier la structure du texte. La plupart du temps, celui-ci aura choisi de traduire une phrase source par deux phrases cibles (segmentation 1 : 2) ou deux phrases sources par une seule phrase cible (segmentation 2 : 1) ; ces particularités sont en général bien gérées par les outils. Par contre, si le traducteur décide de changer l’ordre de certains paragraphes, les outils ne pourront que très difficilement lier les segments de manière correcte. Il est difficile de résoudre ce problème sans porter atteinte à la qualité des traductions et à la liberté du traducteur. Un dernier problème important se pose pour les titres des documents, voire ceux des chapitres. Comme ceux-ci sont mis en page différemment du reste du texte, ils sont parfois coupés par des retours à la ligne forcés ou des tabulations, que les outils reconnaissent comme des marques de segmentation. Une solution en amont consisterait à supprimer ces marques de ponctuation problématiques.

Dans le cas des vérifications a posteriori dont nous parlions, celles-ci permettent de s’assurer de la qualité des segments stockés puis réutilisés par la mémoire de traduction, qui est parfois partagée par tout le service de traduction.

Dans ce travail de mémoire, nous allons évaluer et comparer deux outils d’alignement : WinAlign (l’outil d’alignement de SDL Trados) et AlignFactory (l’outil d’alignement de Terminotix).

Image 2 : Un bitexte aligné dans WinAlign

L’image 2 montre un bitexte tel qu’il apparaît après alignement dans Winalign.

Nous pouvons voir que l’outil a segmenté les phrases en gras de manière incorrecte (probablement à cause des symboles de retours à la ligne présents dans le fichier texte), cela entraînant un alignement erroné. Il a ensuite correctement aligné le sous-titre « vision » et la première phrase du paragraphe, puis a segmenté après les « : » ; les deux derniers segments sources que nous voyons sont alignés avec un seul segment cible, qui ne contient pas les « : ». Pour résoudre ces problèmes, le responsable de l’alignement pourra, ponctuellement, fusionner les segments correspondants à une même phrase (les 3 premiers segments sources et les 4 premiers segments cibles) et les aligner ensemble, éventuellement fusionner les deux derniers segments sources pour obtenir un alignement 1:1. Il pourra également modifier les paramètres de segmentation pour que l’outil ne segmente

pas après les « : », mais aussi vérifier en amont le fichier texte et enlever les caractères qui perturbent l’outil, comme les retours à la ligne forcés.

2.3.3 Les méthodes d’alignement

Depuis l’invention de la première méthode automatique d’alignement de textes parallèles par Martin Kay en 1984¹², les chercheurs ont développé différentes méthodes pour que les outils soient les plus efficaces possibles.

En 1988, Martin Kay et Martin Röscheisen¹³ basent leurs alignements sur des informations internes aux textes uniquement, en se plaçant au niveau de la phrase et du mot. Dans la première partie de leur méthode¹⁴, deux textes candidats sont alignés sur la base de la linéarité : c’est-à-dire selon le principe que le début du texte source correspond au début du texte cible, que la fin du texte source correspond à la fin du texte cible et que chaque segment du texte source correspond exactement au segment du texte cible qui lui « fait face ». Selon cette hypothèse, les segments d’un texte ne peuvent être en correspondance que si les mots qui composent ces segments sont aussi en correspondance. La seconde partie de leur méthode consiste donc à comparer la manière dont les mots sont distribués dans les segments, en ne se plaçant plus au niveau de la phrase, mais du mot. Des paires de mots sont repérées dans les segments partiellement alignés auparavant.

Le processus est répété plusieurs fois, jusqu' à ce que la distribution des mots dépasse un certain seuil de similarité. À ce moment, les segments sont considérés comme alignés. De manière globale, la méthode fonctionne, mais il suffit que le traducteur fusionne, sépare ou inverse des phrases pour qu’elle ne soit plus valable. Le tableau 2 donne un exemple d’un alignement selon la méthode de Martin Kay et Martin Röscheisen. Les flèches représentent le premier alignement linéaire, et les différentes couleurs montrent le processus itératif d'extraction des paires de mots.

12 Véronis (2000)

13 Kay et Röscheisen (1993)

14 Manning and Schütze (1999)

The Movement draws strength from its proximity to affected populations and its presence on the ground, which allows it to respond swiftly to crises.

Le Mouvement tire sa force de sa proximité avec les populations touchées et de sa présence sur le terrain, qui lui permet de réagir rapidement en cas de crise.

The main priorities for the Movement, after prevention, should be responding to acute crises by meeting basic needs, such as:

Après la prévention, la priorité principale du Mouvement doit être de réagir aux crises aiguës en répondant aux besoins fondamentaux, tels que :

 first aid,  premiers secours,

 health care,  soins de santé,

 food and water,  nourriture et eau,

 shelter,  abri,

 hygiene,  hygiène,

 protection, i.e. "all activities aimed at ensuring full respect for the rights of the individual in accordance with the letter and the spirit of the relevant bodies of law...”

 protection, c’est-à-dire

« toutes les activités visant à garantir le plein respect des droits des individus

conformément à la lettre et à l’esprit des instruments juridiques pertinents… »

Tableau 2 : L’alignement selon la méthode de Martin Kay et Martin Röscheisen

William Gale et Kenneth Church¹⁵ utilisent également des informations internes aux textes pour effectuer leurs alignements : ils estiment que la longueur en caractères des segments sources et des segments cibles sont proportionnelles. Par exemple, la phrase “And I thought him much aged for it was a long time since I

15 Gale et Church (1993)

had seen him”, qui fait 71 caractères, pourrait être alignée avec les deux phrases

« Je pensais qu’il était plus vieux. En effet, je ne l’avais pas vu depuis longtemps » qui font 82 caractères. Nous remarquons ici qu’il s’agit d’une traduction 1 : 2, c'est- à-dire que la phrase source a été traduite par deux phrases cibles ; cette segmentation particulière ne pose pas de problème pour cette méthode d’alignement. Sachant que la méthode prévoit que le français est un peu plus long que l’anglais, les deux phrases seront proportionnellement équivalentes.

Ces deux approches fondatrices font totalement abstraction du sens, et présupposent que l’ordre des phrases des textes sources et cibles est identique ou similaire, et que leur contenu ne diffère pas (pas d’ajouts ou d’omissions). Elles sont souvent utilisées par la suite avec des méthodes complémentaires, que nous allons voir ci-dessous.

Fathi Débili et Elyès Sammouda¹⁶ parviennent à affiner la précision de l’alignement au niveau du mot en intégrant un dictionnaire bilingue à l’outil d’alignement. Concrètement, le système va repérer les mots et leur traduction dans le dictionnaire, puis aligner les phrases en fonction des correspondances lexicales obtenues. Si nous reprenons le même texte que pour la méthode de Martin Kay et Martin Röscheisen nous obtiendrons le même alignement, mais avec une méthode différente. Cette méthode permet d’affiner les résultats, puisque même si le traducteur inverse l’ordre des phrases, le système est capable de retrouver les mots. Dans le tableau 3, quelques mots-clefs ont été surlignés pour montrer les points de repères lexicaux mis en relation par le biais du dictionnaire pour l’alignement.

16 Débili et Sammouda (1992)

The Movement draws strength from its proximity to affected populations and its presence on the ground, which allows it to respond swiftly to crises.

Le Mouvement tire sa force de sa proximité avec les populations touchées et de sa présence sur le terrain, qui lui permet de réagir rapidement en cas de crise.

The main priorities for the Movement, after prevention, should be responding to acute crises by meeting basic needs, such as:

Après la prévention, la priorité principale du Mouvement doit être de réagir aux crises aiguës en

répondant aux besoins

fondamentaux, tels que :

 first aid,  premiers secours,

 health care,  soins de santé,

 food and water,  nourriture et eau,

 shelter,  abri,

 hygiene,  hygiène,

 protection, i.e. "all activities aimed at ensuring full respect for the rights of the individual in accordance with the letter and the spirit of the relevant bodies of law...”

 protection, c’est-à-dire

« toutes les activités visant à garantir le plein respect des droits des individus conformément à la lettre et à l’esprit des instruments juridiques pertinents… »

Tableau 3 : L’alignement selon la méthode de Fathi Débili et Elyès Sammouda

Michel Simard, George Foster et Pierre Isabelle¹⁷ proposent une amélioration de la méthode de William Gale et Kenneth Church en lui associant un outil capable de détecter les « cognates » graphiques – par exemple les dates, les chiffres, la ponctuation, les mots apparentés, les symboles – qui sont souvent identiques dans les bi-textes et qui permettent de s’y situer et de les aligner. Le tableau 4 donne un exemple de cette méthode d’alignement.

17 Simard, Foster et Isabelle (1992)

Sri Lanka Sri Lanka

CICR ICRC

Boletín n.º 01/2008 Bulletin N°. 01 / 2008

8 de febrero de 2008 8 February 2008

Tableau 4 : L’alignement selon la méthode de Michel Simard, George Foster et Pierre Isabelle

Au-delà de ces méthodes d’alignement de base, il est possible d’apporter des améliorations à différentes étapes du processus d’alignement. Par exemple, il existe, pour le français, un algorithme appelé « period-space-capital letter »¹⁸ (« Point-espace-majuscule »), destiné à résoudre les problèmes ponctuels posés par les abréviations dans les textes lors de leur segmentation. Cet algorithme marque tous les points, les points d’interrogation et les points d’exclamation comme fins de phrase s’ils sont suivis d’au moins un espace et d’une majuscule. Il peut être encodé très simplement de la manière suivante : [. ?!][ ]+[A-Z].

Malheureusement, les résultats ne sont pas très bons ; le pourcentage d’erreurs est d’environ 6.5% lorsque l’algorithme est appliqué au corpus Brown et au Wall Street Journal. Ce pourcentage peut descendre à 3% en suivant la méthode de Cherry et Vesterman¹⁹ qui consiste à ajouter à l’algorithme une liste d’abréviations qui ne terminent jamais une phrase (comme Mr. ou Prof.) et une liste de mots qui commencent toujours une phrase lorsqu’ils se situent après un point et que leur première lettre est en majuscule (comme The, This, He ou However).

Les outils d’alignement sont généralement intégrés à une suite d’outils d’aide à la traduction pouvant aussi contenir, par exemple, une mémoire de traduction ou un outil de gestion terminologique. Ils peuvent parfois être acquis séparément pour compléter une suite d’outils qui n’en contient pas.

Les outils d’alignement modernes – y compris les deux que nous allons évaluer – fonctionnent en combinant toutes les méthodes que nous avons décrites dans cette partie, mais nous n’avons pas pu obtenir le processus détaillé de leur

18 Mikheev (2003)

19 Cherry et Vesterman (1991)

fonctionnement. Nous avons néanmoins pu observer que leurs performances de base, obtenues en conservant les paramètres par défaut, peuvent être fortement améliorées par la modification de ces paramètres, notamment des règles de segmentation ou des options de filtrage des segments. Comme nous le verrons par la suite, l’utilisateur joue un rôle primordial dans l’amélioration des résultats de son outil, mais cela implique un investissement en temps et une bonne connaissance des fonctionnalités de l’outil.

Nous allons maintenant voir dans quelle mesure ces outils peuvent être utiles au traducteur.

2.4 Utilité des outils de traduction assistée par ordinateur pour le traducteur

Comme il a été mentionné plus haut, le traducteur moderne est soumis à des contraintes de qualité, de productivité et de rentabilité de plus en plus fortes. Les outils de Traduction Assistée par Ordinateur présentent plusieurs avantages pour le traducteur, qu’il soit indépendant ou qu’il travaille en entreprise.

Tout d’abord, le traducteur gagne un temps considérable, car il ne traduit plus la totalité des textes lui-même à chaque fois. En théorie, s’il utilise la mémoire de traduction du début à la fin de sa carrière, il ne traduira qu’une seule fois une même phrase, puisque sa traduction sera « recyclée » pour toutes les occurrences futures. Bien sûr, plus les textes à traduire sont répétitifs, plus les bénéfices sont appréciables. Si le traducteur travaille plus vite, il pourra accepter plus de mandats et augmentera sa productivité et ses revenus. Il faut noter que le traducteur indépendant est souvent tenu d’indiquer sur ses factures les pourcentages des mots qu’il a traduits lui-même et de ceux qui ont été traduits partiellement ou complètement par la mémoire de traduction. Le prix au mot varie en effet selon le cas, même s’il n’existe pas de tarif officiel. Certains traducteurs refuse d’ailleurs de pratiquer des réductions sur leurs traductions. Citons tout de même à titre

d’exemple l’agence de traduction « Translation Services »²⁰ qui indique qu’elle applique les tarifs suivants pour les traductions effectuées avec Trados :

- New Words and <74% 100% (full rates)

- Fuzzy (75-99%) 80% of full rate

- 100% + Reps 35% of full rate

Tableau 5 : Exemple de tarifs appliqués pour les traductions effectuées avec Trados

Nous voyons dans le Tableau 5 que le tarif plein est appliqué lorsque les correspondances entre le texte source et le texte cible sont inférieures à 74%, puis 80% du tarif plein pour les correspondances entre 75% et 99% et les nouveaux mots, enfin, 35% du tarif plein pour les correspondances à 100% et les répétitions.

Ensuite, sur le long terme, les traductions gagnent en cohésion, puisque les phrases identiques ou similaires sont toujours traduites de la même manière.

L’efficacité de la mémoire de traduction dépend de l’assiduité d’utilisation par le traducteur : en effet, plus celui-ci alimente sa mémoire de traduction, plus les propositions de traductions seront nombreuses dans la suite de son travail.

Enfin, la qualité des traductions est améliorée, notamment dans le cas des mémoires de traduction partagées. En effet, les traductions présentes dans la base de données pour être réutilisées sont toutes révisées et vérifiées.

2.5 Conclusion

Nous avons pu observer que, depuis leur création, les outils d’alignement ont beaucoup évolué, tant au niveau de leur fonctionnement que de la qualité de leurs résultats. De nos jours, ils sont largement utilisés car, associés à d’autres outils d’aide à la traduction comme les mémoires de traduction, ils représentent un soutien considérable pour les traducteurs.

Nous allons maintenant nous intéresser à la littérature existante sur la méthodologie de ces outils, et particulièrement des outils d’alignement.

20 http://www.transl-services.com/en/rates.php

III – Méthodes existantes de comparaison et d’évaluation des outils d’aide à la traduction

3.1 Introduction

Comme nous l’avons vu dans le chapitre précédent, les outils informatiques d’aide à la traduction ont vu le jour il y a approximativement 25 ans. Aujourd’hui, ils sont de plus en plus utilisés, tant par les traducteurs indépendants que par les organisations ou les agences de traduction. Il existe pourtant peu de littérature disponible sur la qualité de ces outils, et encore moins de méthodologie sur leur évaluation et leur comparaison.

En 1993, dans son article intitulé « Acheter un système de traduction aujourd’hui ²¹», Kirsten Falkedal expliquait que ce manque d’information pouvait être dû aux nombreux changements que les développeurs faisaient encore subir aux outils. En effet, les outils étant apparus récemment, ils devaient être constamment mis à jour, améliorés, adaptés aux besoins des utilisateurs. Ces évolutions ne permettaient pas la mise en place d’une méthodologie d’évaluation globale et figée, étant donné que les caractéristiques qualitatives changeaient aussi rapidement. Presque 20 ans plus tard, il semble qu’à ce problème d’évolution des outils se soit ajouté celui de leur variété : effectivement, il est difficile de mettre en place une méthode d’évaluation générale pour tous les outils d’aide à la traduction disponible sur le marché. Pourtant, ce type de documents permettrait aux acheteurs d’acquérir le matériel qui correspond le mieux à leurs besoins.

Margaret King²² mentionne quant à elle une autre raison pour cette absence d’évaluations : elle pense que celles-ci existent, mais qu’elles ont été commandées par des entreprises et qu’elles restent à l’état de rapport interne confidentiel.

Nous allons ici nous pencher sur trois recommandations publiées dans la littérature du domaine, afin de tenter de cerner plus en détail les raisons d’un tel

21 Falkedal (1993)

22 King (1993)

manque de documentation, mais aussi de nous aider à mettre en place la méthode d’évaluation que nous utiliserons pour comparer les outils qui nous intéressent dans ce travail.

3.2 Méthodes et recommandations 3.2.1 Les fondements

En 1993, dans son article intitulé « Sur l’évaluation des systèmes de traduction assistée par ordinateur²³ », Margaret King²⁴ pose les bases d’une méthodologie d’évaluation centrée sur la notion d’utilisateur. Elle explique que celle-ci peut être menée par différents types de personnes : les utilisateurs, les développeurs, les investisseurs ou les acheteurs. Tous n’auront pas les mêmes attentes de l’évaluation ; par exemple, les utilisateurs souhaiteront que celle-ci les aide à choisir le produit qui leur convient, alors que les développeurs l’utiliseront pour améliorer leurs produits. La variété de ces attentes a peut-être aussi sa part de responsabilité quant au manque d’évaluations disponibles, qui ne correspondraient pas à tous les profils existants.

Du point de vue du futur utilisateur, qui nous intéresse ici, une évaluation permet de déterminer si un système correspond à ses besoins, ou plutôt quel système correspond le mieux à ses besoins, car un système répond rarement à toutes les attentes d’un utilisateur. Les besoins d’un utilisateur sont exprimés en critères et il convient qu’ils soient le plus détaillés possibles, afin de prendre en compte tous les aspects du système. Margaret King cite les critères suivants, adaptables à l’utilisation de chacun : la terminologie intégrée au système, les modifications (la maintenance), les performances, l’aide fournie après achat, le prix, l’intégration dans un système informatique déjà installé et la formation des utilisateurs.

23 King (1993)

24 Margaret King est linguiste informatique, elle a été directrice de l’ISSCO et du département de TIM à l’ETI, où elle a enseigné plusieurs cours sur les nouvelles technologies. Ses recherches portent sur la traduction automatique, la sémantique des langages naturels et l’évaluation des produits et systèmes linguistiques. Dans ce dernier domaine, qui nous intéresse particulièrement pour ce travail, elle a notamment présidé le groupe de travail sur l’évaluation EAGLES (Expert Advisory Group on Language Engeneering Standards).

Malgré les différences de critères, Margaret King distingue quatre étapes à respecter pour effectuer une bonne évaluation :

- Identifier les besoins qu’on espère satisfaire et ce qu’on attend du système pour établir une liste de critères ordonnée en fonction de l’importance. Les critères sont définis par le contexte, donc par la personne qui effectue l’évaluation, en fonction de ses intérêts.

- Rechercher une technique pour réunir les données concernant les critères

- Rassembler les données et leur analyse

- Donner un jugement de base sur les informations obtenues.

La personne qui mène l’évaluation est ensuite libre d’imaginer les critères qui lui seront utiles, selon ce qu’elle cherche à tirer du processus.

Il existe ainsi la méthode dite exclusive, qui consiste à poser une question et à y répondre simplement par oui ou par non. On peut imaginer poser une question telle que « Le système peut-il fonctionner sur un ordinateur de type Z ? ». Si la réponse est non, le système est exclu. Cette méthode est plutôt indiquée pour la comparaison d’un grand nombre de systèmes, et il est recommandé de l’appliquer avec des critères indispensables, sans quoi le risque est grand d’exclure tous les systèmes très rapidement.

Il est également possible de mener une évaluation en utilisant le chronométrage. Il faut alors effectuer différentes tâches avec le système, tout en chronométrant, puis décider si le temps obtenu est acceptable, ou alors choisir le système le plus rapide.

Enfin, il existe la technique du contrôle du comportement, qui consiste à faire subir au système diverses expériences, puis à inscrire les résultats de chaque expérience sur une échelle de notation prédéfinie. Les notes des systèmes sont ensuite comparées et révèlent ainsi quel système est le plus performant.

Ces trois méthodes sont parfaitement adaptées aux objectifs de notre travail. En effet, nous allons pouvoir inclure à notre évaluation un grand nombre de critères,

que nous aurons choisis en fonction des besoins déterminés. De cette manière, nous pourrons juger de la qualité de toutes les compétences qui nous intéressent dans les deux outils. Ces indications données par Margaret King ont été développées à l’occasion du projet EAGLES, que nous allons détailler maintenant.

3.2.2 L’initiative EAGLES et la norme ISO 9126

L’initiative européenne EAGLES a été menée sur 3 ans par un groupe de travail composé de différents chercheurs, sous la direction de Margaret King. Le groupe de travail avait pour objectif d’identifier et de définir les composants indispensables à la conception d’un recueil de critères d’évaluation, ainsi que des conseils pour les utiliser. Le projet nous intéresse particulièrement pour ce travail car il est centré sur l’utilisateur humain.

Le rapport EAGLES²⁵, publié à la fin du travail, en 1994, ne prétend pas être exhaustif, ni contenir une méthodologie de l’évaluation complète ; il doit plutôt être considéré comme un guide pour l’évaluation.

Le groupe de travail insiste sur le fait qu’il est indispensable que l’évaluateur puisse choisir des critères qui sont pertinents pour son travail. Les chercheurs se sont concentrés sur la question de l’évaluation des systèmes et des produits de linguistique informatique, en différenciant trois types d’outils : les aides à l’écriture, les aides à la traduction et les systèmes de gestion des connaissances.

La méthode d’évaluation proposée par EAGLES reste dans le même esprit que les recommandations de Margaret King dont nous avons parlé dans le point précédent : il s’agit d’une méthode centrée sur l’utilisateur, qui laisse à l’évaluateur une grande liberté dans le choix de ses critères. Pour ces raisons, nous allons suivre la méthode EAGLES et adapter les critères à toutes les caractéristiques que nous souhaitons évaluer dans nos deux programmes. Nous appliquerons bien entendu le même barème de notation aux deux programmes, ce qui nous permettra de trouver lequel est le plus performant.

25 EAGLES Evaluation Working Group (1994)

Le groupe de travail EAGLES a pris comme point de départ la norme ISO 9126²⁶, qui définit un langage commun pour modéliser les qualités d’un logiciel. La norme dénombre six caractéristiques pour les logiciels : la capacité fonctionnelle, la fiabilité, la facilité d’utilisation, le rendement, la maintenabilité et la portabilité ; ainsi que cinq étapes dans le déroulement de l’évaluation : la définition des exigences de qualité, la spécification de l’évaluation, la préparation de l’évaluation, la réalisation de l’évaluation et la production du rapport d’évaluation.

Ci-dessous, nous allons présenter les attributs de chaque caractéristique de la norme sous forme d’un tableau. Afin de comprendre l’objectif d’évaluation de ces attributs, nous avons imaginé une question type pour chacun d’entre eux, en nous inspirant du tableau illustrant un article²⁷ publié sur le site brésilien Scientific Electronic Library Online (www.scielo.br). Bien sûr, la portée d’un attribut ne se limite pas à la question proposée, qui fait seulement office d’exemple. En outre, il faut noter que les attributs revêtent différents degrés d’importance selon le type d’outil évalué.

Caractéristiques Attributs Exemple de question Capacité

fonctionnelle :

L’outil répond-il aux

attentes de

l’utilisateur ?

 Pertinence

 Exactitude

 Interopérabilité

 Sécurité

 L’outil propose-t-il

des actions

appropriées ?

 L’outil effectue-t-il l’action qu’il a proposé ?

 L’outil interagit-t-il correctement avec les autres outils et systèmes en place ?

 L’outil bloque-t-il l’accès aux données dangereuses ?

26 Norme ISO 9126 (1991)

27 www.scielo.br/scielo.php?script=sci_arttext&pid=S1413-70542005000500024

Fiabilité :

L’outil est-il dépourvu d’erreurs et de pannes ?

 Maturité

 Tolérance aux pannes

 Facilité de

récupération

 Les erreurs sont- elles fréquentes ?

 Comment l’outil réagit-il face à une erreur ?

 Est-il possible de récupérer des données en cas de plantage ?

Facilité

d’utilisation :

Les efforts

d’utilisation sont-ils importants ?

 Facilité de

compréhension

 Facilité

d’apprentissage

 Facilité d’exploitation

 Le principe de fonctionnement de l’outil est-il aisé ?

 Est-il facile d’apprendre à utiliser l’outil ?

 Est-il facile de travailler avec l’outil, de le contrôler ?

Rendement : L’outil est-il rapide ?

 Comportement temporel

 Utilisation des ressources

 Quel est le temps de réponse, la vitesse d’exécution d’une tâche ?

 Quel type et quelle

quantité de

ressources l’outil utilise-t-il ?

Maintenabilité :

Est-il aisé d’effectuer des modifications ?

 Facilité d’analyse

 Facilité de

modification

 Est-il facile de localiser une erreur ?

 Est-il facile de modifier des

 Stabilité

 Testabilité

données ?

 En cas de

modification des données, existe-t-il un risque accru d’erreurs ?

 Est-il facile de localiser une erreur si des modifications ont-été effectuées au préalable ?

Portabilité :

L’outil s’utilise-t-il facilement dans un autre

environnement ?

 Facilité d'adaptation

 Facilité d'installation

 Coexistence

 Interchangeabilité

 Est-il possible d’adapter l’outil à

un autre

environnement ?

 Est-il facile d’installer l’outil

dans un

environnement ?

 Existe-t-il des incompatibilités avec certains systèmes/outils ?

 L’outil peut-il être facilement utilisé en parallèle avec un autre ?

Tableau 6 : Questions clefs pour les caractéristiques et les attributs de la norme ISO 9126

La volonté du projet EAGLES est d’établir une liste de vérification (checklist) correctement normée, afin qu’elle soit applicable à n’importe quel outil et que les résultats ne dépendent pas des variables situationnelles. Chaque élément d’une liste de vérification doit pouvoir être évalué selon :

- une échelle (très bien, bien, moyen, mauvais, très mauvais) - la présence ou l’absence d’un élément (oui ou non)

- la valeur numérique de l’élément (temps, nombre de clics…) Selon le résultat, les points attribués seront plus ou moins importants.

Le rapport EAGLES distingue trois types de tests :

- La liste de caractéristiques (Checklisting of features), une structure hiérarchique comportant les composants, les fonctions, les attributs et les valeurs d’un outil. Il n’y a pas encore de test à ce stade, il s’agit juste d’attester de la présence ou de l’absence des caractéristiques recherchées. Par exemple, nous pourrions voir si les deux outils supportent les documents .pdf ou non. Si tel n’est pas le cas, l’outil ne sera pas exclu, mais il n’obtiendra pas de points pour cette caractéristique.

- Le test scénario (Scenario test), durant lequel l’évaluateur travaille sur l’outil, puis fait part de ses observations concernant la qualité et l’efficacité de l’outil en tant qu’utilisateur. Les résultats peuvent être donnés sous forme de questionnaires, d’évaluations à base de mots clefs, de rapport libres. Par exemple, il pourra être demandé à l’évaluateur de répondre à la question « Pensez-vous que la modification des alignements dans la base est 1) Très facile, 2) Moyennement facile, 3) Difficile ».

- Le test de performance (Benchmark testing), qui a pour but de déterminer la performance de l’outil pour une tâche donnée.

Contrairement au test de scénario, le test de performance est totalement objectif, puisqu’il mesure des données métriques. Par exemple, un test peut porter sur le temps mis par l’outil pour aligner un texte. Selon le résultat, les points attribués sont plus ou moins importants.

Nous remarquons que, selon le type de mesure utilisé, l’objectivité est plus ou moins respectée ; c’est pourtant elle qui garantit la validité des résultats. Nous éviterons, dans la mesure du possible, d’inclure trop de jugements humains dans nos évaluations, afin d’obtenir des résultats fiables.

Pour la suite de notre travail, nous allons nous intéresser principalement à la partie des aides à la traduction, qui correspond à l’annexe E²⁸ du rapport final EAGLES. En effet, les outils d’alignement que nous allons évaluer font partie de la catégorie des aides à la traduction, et nous trouverons dans cette annexe des éléments utiles à notre travail. Cette annexe est divisée en quatre parties : la première concerne les profils d’utilisateurs et attire notre attention sur l’importance de définir précisément le contexte de notre évaluation. Les deuxième et troisième parties décrivent les différents types d’aides à la traduction ainsi que leurs fonctionnalités. Ces parties ne contiennent pas beaucoup de détails sur les outils d’alignement en particulier, elles insistent encore une fois sur l’importance de fixer des normes d’évaluation, pour assurer la validité de la méthode et des résultats :

« Any feature checklist in the context of evaluation needs to be standardized in the sense that it should be applicable for any such tool and the results should be independent of situational variables. »

(EAGLES Evaluation Working Group, Evaluation of Natural Language Processing Systems Final Report, 1994. P. 140)

28 EAGLES Evaluation Working Group (1994) pp. 136-155

La quatrième partie de cette annexe s’intéresse à la procédure d’évaluation. Elle propose une liste des étapes à suivre pour mettre en œuvre une évaluation méthodologique, en s’appuyant sur les recommandations de la norme ISO 9126 dont nous avons fait la liste dans la section précédente : la définition des exigences de qualité, la spécification de l’évaluation, la préparation de l’évaluation, la réalisation de l’évaluation et la production du rapport d’évaluation. Ces informations ont été résumées par les auteurs dans le document que nous allons étudier dans la prochaine section.

3.2.3 L’évaluation en 7 étapes

Quelques années après la fin des recherches, le groupe de travail EAGLES a établi le document « Les clefs de l’évaluation en 7 étapes »²⁹, qui nous sera très utile pour continuer nos recherches de manière structurée. Il s’agit d’un résumé en 7 étapes des points importants que le rapport complet EAGLES conseille de suivre pour mener à bien l’évaluation centrée sur l’utilisateur d’un système de technologie linguistique. Ce document, que vous trouverez ci-dessous, a été publié par l’Observatoire suisse des industries de la langue³⁰. Dans le chapitre suivant, qui sera consacré à l’évaluation des systèmes, nous reprendrons les 7 étapes et nous les détaillerons.

L'évaluation en 7 étapes:

1. Pourquoi faire une évaluation ?

Quel est le but de l'évaluation ? Toutes les personnes impliquées ont-elles la même compréhension du but de l'évaluation ?

Que va-t-on évaluer exactement ? Un système dans son entier ou un module de celui-ci ? Un système pris isolément ou un système pris dans un contexte spécifique ? Quelles sont les limites du système ?

29 EAGLES Evaluation Working Group (1999)

30 http://www.issco.unige.ch/en/research/projects/osil/index.html

2. Élaborer un modèle des tâches

Identifier les rôles et les agents pertinents.

Comment le système va t-il être utilisé ?

Par qui ? Pour quelle utilisation ? Qui sont les utilisateurs ? 3. Définir des caractéristiques de haute qualité

Quelles caractéristiques du système doivent être évaluées ? Ont-elles toutes la même importance ?

4. Spécifier des critères détaillés pour le système évalué sur la base des étapes 2 et 3

Pour chaque critère identifié, peut-on trouver un moyen valable et cohérent de mesurer les performances du système en fonction de ces critères ? Dans le cas contraire, ces derniers devront être décomposés en critères secondaires mesurables de manière à les rendre valides. Ce processus doit être répété jusqu'à ce que ce que les critères soient mesurables.

5. Définir les mesures à appliquer au système pour les critères déterminés sous le point 4.

Tant la mesure que la méthode pour obtenir cette mesure doivent être définies pour chaque critère.

Pour chaque critère mesurable, que va t-on considérer comme un bon résultat, comme un résultat satisfaisant, comme un résultat insatisfaisant, en fonction du modèle des tâches (2) ? Où se situe le seuil d'acceptabilité ? Habituellement, un critère est décomposé en plusieurs critères secondaires.

Comment les valeurs des différents critères secondaires se combinent-elles à la valeur définie pour le critère de référence afin de refléter leur importance relative (là encore en fonction du modèle des tâches) ?

6. Préparer l'exécution de l'évaluation

Développer le matériel de test qui permettra d'évaluer le système.

Qui sera effectivement chargé de procéder aux différentes mesures ? Quand ? Dans quelles circonstances ? Sous quelle forme le résultat final sera t-il présenté ?

7. Exécuter l'évaluation:

Procéder aux mesures.

Comparer les résultats à l'échelle des degrés de satisfaction préalablement déterminée.

Résumer les résultats dans un rapport d'évaluation, cf. point 1.

Tableau 7 : Les 7 étapes de l’évaluation selon EAGLES

La méthodologie de l’évaluation élaborée par le groupe de travail EAGLES a été utile à de nombreux chercheurs. Par exemple, en 2002, Marianne Starlander s’est principalement appuyée sur la méthode du projet EAGLES pour effectuer son évaluation du correcteur de grammaire et d’orthographe Cordial 7³¹.

3.3 Conclusion

Dans notre travail, nous allons nous fonder sur la méthodologie du projet EAGLES et définir les critères qui sont le mieux adaptés à nos outils.

Comme nous l’avons remarqué, les recommandations et méthodes sont plutôt rares dans le domaine. Pourtant, celles que nous avons étudiées nous ont été très utiles, car elles ont le mérite d’être similaires et de ne pas se contredire. Nous avons ainsi été en mesure de constituer une liste exhaustive des aspects à ne pas oublier de traiter dans les différentes phases de l’évaluation.

31 Starlander Ybargüen (2002)

À la lumière de ces travaux, nous allons pouvoir procéder à la préparation d’une évaluation, puis à une comparaison des outils, en nous concentrant sur le point de vue de l’utilisateur.

IV – Préparation de l’évaluation des outils d’alignement WinAlign et AlignFactory

4.1 Introduction

Dans ce chapitre, nous allons présenter les outils d’alignement que nous souhaitons évaluer et comparer, ainsi que le corpus de texte avec lequel nous allons procéder aux différents tests. Nous allons reprendre les points du document

« L’évaluation en 7 étapes » (cf. 2.2.2) concernant la spécification des critères et des mesures à appliquer, ainsi que les indications de Margaret King et du groupe de travail EAGLES pour choisir les critères de qualité qui nous semblent pertinent d’évaluer. Enfin, nous allons définir les mesures que nous appliquerons aux deux outils selon une marche à suivre prédéfinie.

4.2 Pourquoi faire une évaluation ?

Nous souhaitons comparer l’outil qui est actuellement utilisé par le CICR (WinAlign) à un autre outil (AlignFactory), afin de constater si ce dernier obtiendrait de meilleurs résultats dans certains domaines. Nous allons donc tenter d’évaluer de la manière la plus complète possible les capacités que nous jugeons importantes pour les deux outils.

Les résultats obtenus ne sont pas destinés à influencer une décision d’achat à court-terme, ils revêtent plutôt un caractère informatif. Les recherches effectuées permettent également de mener une évaluation de manière méthodologique.

4.3 Profil utilisateur

Un profil utilisateur est « une source de connaissance qui contient des acquisitions sur tous les aspects de l'utilisateur qui peuvent être utiles pour le comportement du système³² ».

32 Wahlster et Kobsa (1986)

Dans notre cas, le profil utilisateur prend en compte la personne en charge de l’alignement, mais aussi le type d’outils utilisé par cette personne, ainsi que le corpus de textes à sa disposition, qui est représentatif du type de textes traduits au CICR. Les prochains points présenteront en détails tous les aspects du profil utilisateur de ce travail.

4.3.1 La personne chargée de l’alignement

Il est important de connaître la façon dont est utilisé un outil pour pouvoir définir correctement les critères que nous souhaitons évaluer. Comme nous l’avons expliqué auparavant, la mémoire de traduction du CICR est alimentée massivement via l’outil d’alignement WinAlign. L’utilisateur est donc une personne qui récupère des couples de textes, les prépare, puis les aligne dans WinAlign. Ensuite, elle doit impérativement vérifier que les alignements sont corrects, afin de garantir une qualité irréprochable aux segments présents dans la mémoire.

Pour pouvoir aligner correctement avec WinAlign, la préparation des textes est indispensable : elle consiste à supprimer certains éléments des textes, comme le suivi des corrections, les smart tags, les retours forcés, les tables des matières… Le but est d’éviter que WinAlign ne les reconnaisse pas et bloque durant la segmentation, ou qu’il segmente de manière erronée et que la validation de l’alignement soit plus longue.

Les tests que nous allons faire passer aux deux outils ont souvent été imaginés sur la base de l’expérience de travail que nous avons accumulée avec WinAlign. Nous allons donc faire passer ces tests à WinAlign et à AlignFactory, pour voir lequel des deux est le plus performant. Mais nous n’allons pas seulement tenter de piéger AlignFactory sur la base des erreurs relevées lors de l’utilisation de WinAlign : nous allons bien entendu également comparer la gestion des tâches basiques par les deux outils.

4.3.2 WinAlign de SDL Trados 2007

WinAlign fait partie de la suite d’outils de Traduction Assistée par Ordinateur SDL Trados 2007, qui contient aussi une mémoire de traduction (le Workbench) et un outil d’alignement (WinAlign).

Le service du Comité International de la Croix-Rouge où j’ai effectué mon stage utilise la suite d’outils de SDL Trados depuis le milieu des années 90. La mémoire de traduction est la plupart du temps alimentée massivement via WinAlign par des stagiaires engagés spécialement pour le faire. Les traducteurs du service sont peu nombreux à travailler avec la mémoire de traduction – l’utilisation de celle-ci impliquant un investissement en temps que tous ne peuvent pas se permettre. La situation est en train de changer, puisque les traducteurs qui entrent sur le marché aujourd’hui ont souvent reçu une formation pour ces outils, contrairement à leurs prédécesseurs.

Les traducteurs qui travaillent avec le Workbench de Trados envoient leurs textes nettoyés aux réviseurs, puis enregistrent eux-mêmes les corrections dans la mémoire après que la révision a été faite. Si un texte important doit être ajouté à la mémoire, les traducteurs peuvent le faire eux-mêmes en suivant la procédure mise en place dans le service, mais cela reste exceptionnel.

4.3.3 AlignFactory de Terminotix

Quant à la suite d’outils de Terminotix Inc., elle ne contient pas de mémoire de traduction, mais un outil d’alignement (AlignFactory). Elle peut être complétée par un moteur de recherche terminologique (LogiTerm) et un outil de dépouillement terminologique (SynchroTerm).

Terminotix propose donc un outil d’alignement destiné à alimenter les mémoires de traduction de ses concurrents, puisque lui-même n’en offre pas. Dans ce dessein, il enregistre les fichiers qu’il produit au format .tmx, pour qu’ils soient compatibles avec la plupart des autres mémoires de traduction. À noter que depuis août 2009, Terminotix offre la possibilité d’aligner gratuitement des textes en