R ´esultats obtenus

Les lexiques extraits ont ´et ´e ´evalu ´es du point de vue de leur utilisabilit ´e (section 2.2.3.1) et du point de vue de la qualit ´e des traductions qu’ils permettent de produire (section 2.2.3.2).

2.2.3.1 Utilisabilit ´e des lexiques Temps de traduction

Il est estim ´e qu’un traducteur professionnel peut traduire entre 2 000 et 2 500 mots par journ ´ee de huit heures en agence de traduction (250 `a 313 mots/heure) (SFT, 2009). Les r ´esultats obtenus font ´etat de temps de traduction plut ˆot rapides. Dans nos exp ´eriences, la situation minimale est celle qui demande le moins de temps de traduction (503 mots/heure). Comme c’est a priori la situation la plus difficile, on aurait pu penser que c’est celle qui aurait demand ´e le plus temps (difficult ´e `a d ´ecider d’une traduction...). Une explication serait que, dans cette situation, le traducteur a moins de ressources `a parcourir. Concernant les situations avec ressources sp ´ecialis ´ees, le temps pass ´e est ´equivalent aux meilleurs temps d’une situation professionnelle : 322 mots/heure et 310 mots/heure pour les situations cible et maximale

respectivement, ce qui est aussi en partie ´etonnant car les ´etudiants ont une moyenne de temps traduction estim ´ee aux alentours de 200 mots/heure.

Utilisation des ressources

Les traducteurs ont not ´e, pour chaque terme probl ´ematique, les ressources auxquelles ils avaient eu recours pour traduire le terme :

Ressources g ´en ´eralistes Les dictionnaires de langue g ´en ´erale bilingues et monolingues. Ressources sp ´ecialis ´ees Les lexiques issus des corpus comparables pour la situation cible,

Internet pour la situation maximale.

Intuition Le recours `a des heuristiques intuitives, comme la reprise de la graphie du terme

modulo une adaptation `a la morphologie de la langue cible, par exemple, la traduction de

sensitivity par sensitivit ´e.

Une traduction a pu ˆetre produite `a l’aide de plusieurs sources, par exemple, en traduisant un terme mot `a mot `a l’aide de la ressource g ´en ´erale, puis en cherchant une attestation de la traduction candidate dans la ressource sp ´ecialis ´ee.

Le figure 2.1 montre le nombre de fois o `u chaque ressource a ´et ´e utilis ´ee en fonction des situations de traduction. Dans les situations cible et maximale, les traducteurs ont tr `es peu eu recours aux ressources g ´en ´eralistes : plus la ressource sp ´ecifique est large, plus elle a jou ´e un r ˆole dans la production de la traduction, et moins l’intuition ou les ressources g ´en ´eralistes ont ´et ´e utilis ´ees. Dans la situation cible, les traducteurs ont autant eu recours `a l’intuition que dans la situation minimale, ce qui semble indiquer qu’ils n’ont pas ´et ´e enti `erement satisfaits de cette ressource.

FIGURE 2.1 – Nb. de fois o `u chaque ressource a ´et ´e utilis ´ee en fonction des situations de traduction

Impressions de traducteurs sur les lexiques issus de corpus comparables

La traduction dans la situation cible n’a pas ´et ´e ais ´ee. Les textes sp ´ecialis ´es se sont r ´ev ´el ´es tr `es durs `a traduire et, bien que les retours soient bons sur l’interface, le contenu du lexique a fortement ´et ´e critiqu ´e. On peut m ˆeme dire qu’il y a eu, dans un premier temps, un fort rejet. Voici le verbatim d’un courriel envoy ´e par l’un des traducteurs :

≪En gros, 75 % des mots techniques ne figurent pas dans le glossaire, et sur les 25 % restants, 99 % ont entre 10 et 20 traductions candidates, mais aucune de valid ´ee. Du coup, dans le meilleur des cas on est “ `a peu pr `es s ˆur”, mais jamais totalement. Et dans le pire des cas (tr `es fr ´equemment, malheureusement) on y va “ `a l’instinct”.≫

Apr `es discussion, il s’av `ere que les traducteurs s’attendaient `a trouver directement la traduction d’un terme en le tapant dans le champ de recherche. Ils n’ ´etaient pas suffisamment pr ´epar ´es `a l’utilisation d’un lexique proposant plusieurs traductions candidates. Nous avons vu avec eux comment ils pouvaient mettre en place des strat ´egies pour tirer le meilleur parti du lexique bilingue, par exemple nous leur avons sugg ´er ´e d’exploiter les informations pr ´esentes dans les fiches terminologiques (termes proches, concordancier, collocations) et d’utiliser la recherche plein-texte pour valider des id ´ees de traductions. Cette r ´eaction devant le lexique peut ˆetre en partie expliqu ´ee par le fait que les traducteurs ´etaient des ´etudiants et manquaient d’exp ´erience.

2.2.3.2 Qualit ´e des traductions produites Accord inter-annotateur

La mesure d’accord inter-annotateur utilis ´ee est le Kappa de Carletta (1996). Cette mesure prend en compte l’accord observ ´eP (A) et la probabilit ´e d’un accord al ´eatoire P (E) :

Kappa = P (A) − P (E) 1 − P (E)

Concernant la t ˆache de jugement, nous obtenons un accord faible (0,36) mais meilleur que Callison-Burch et al. (2007) (0,23 et 0,25) qui jugent des phrases enti `eres alors que nous jugeons des groupes syntaxiques. Concernant la t ˆache de classement, l’accord est fort (0, 65). Ces r ´esultats sont coh ´erents avec ceux de Callison-Burch et al. (2007) : il est plus facile d’annoter des groupes syntaxiques que des phrases enti `eres et il est plus facile de classer des traductions que de les juger dans l’absolu. Enfin, nous notons que l’accord est meilleur pour la th ´ematique SCIENCES DE L’EAU(0,42) que pour la th ´ematique CANCER DU SEIN(0,25).

T ˆache de jugement

Les r ´esultats de la t ˆache de jugement sont pr ´esent ´es dans la figure 2.2. Nous avons ´evalu ´e s ´epar ´ement les traductions de la th ´ematique CANCER DU SEIN et les traductions de

la th ´ematique SCIENCES DE L’EAU.

Pour la th ´ematique CANCER DU SEIN, la proportion de traductions jug ´ees fausses est quasi- ´equivalente dans les trois situations. Le lexique issu du corpus comparable (situation cible) a permis d’augmenter le nombre de traductions jug ´ees exactes par rapport `a la situation

minimale : 43 % contre 38 %. La situation maximale est celle qui a permis de produire les meilleures traductions (47 % de traductions exactes).

Concernant la th ´ematique SCIENCES DE L’EAU, les traductions produites dans la situation cible (lexique issu des corpus comparables + dictionnaires g ´en ´eralistes) sont plus souvent fausses que celles traduites dans la situation minimale (dictionnaires g ´en ´eralistes uniquement) : 25 % vs. 10 %. Ceci n’est pas normal car les deux situations partagent un socle commun de ressources g ´en ´eralistes. Les traductions produites dans la situation cible auraient d ˆu ˆetre au moins aussi bonnes que celles produites dans la situation minimale. Une explication possible est que, comme montr ´e dans la figure 2.1, les traducteurs qui ont traduit dans la situation cible se sont surtout servi des ressources g ´en ´eralistes et de leur intuition et ont peu utilis ´e le lexique sp ´ecialis ´e, peut- ˆetre `a cause de leur premi `ere r ´eaction de rejet.

T ˆache de classement

Les r ´esultats de la t ˆache de classement sont pr ´esent ´es dans la figure 2.3. On retrouve des r ´esultats similaires `a ceux de la t ˆache de jugement :

– Lorsque les traductions d’un m ˆeme terme sont compar ´ees entre elles, celles produites dans la situation maximale (dictionnaires g ´en ´eralistes + Internet) sont toujours les meilleures, quelle que soit la th ´ematique, ceci est plus marqu ´e avec la th ´ematique SCIENCES DE L’EAU.

– Les traductions faites dans la situation cible sont meilleures que celles produites dans la situation minimale uniquement pour la th ´ematique CANCER DU SEIN et pas pour la th ´ematique SCIENCES DE L’EAU.

(a) CANCER DU SEIN (b) SCIENCES DE L’EAU

FIGURE2.2 – R ´esultats de la t ˆache de jugement

(a) CANCER DU SEIN (b) SCIENCES DE L’EAU

FIGURE2.3 – R ´esultats de la t ˆache de classement

2.2.3.3 Couverture des lexiques

Nous observons que, quel que soit le mode d’ ´evaluation, le lexique sp ´ecialis ´e ne semble pr ´esenter un int ´er ˆet par rapport `a la situation minimale qu’avec les donn ´ees CANCER DU SEIN. Nous expliquons ceci par le fait que le vocabulaire des textes SCIENCES DE L’EAU ´etait tr `es peu couvert par le lexique extrait `a partir des corpus comparables.

Les textes `a traduire ont ´et ´e s ´electionn ´es manuellement, de fac¸on intuitive, avec pour seul crit `ere le fait que leur sujet soit le m ˆeme que celui de la th ´ematique du corpus comparable. Or, la th ´ematique SCIENCES DE L’EAUest beaucoup trop g ´en ´erale14_{, ce qui a pu nous conduire `a}

s ´electionner des textes contenant un vocabulaire diff ´erent de celui du corpus comparable. Nous pouvons aussi noter que les textes du corpus CANCER DU SEINproviennent uniquement des sources franc¸aises alors qu’une partie des textes `a traduire provient de sources canadiennes. Ceci a pu participer `a r ´eduire la couverture des lexiques. Toutefois, ce probl `eme n’a pas ´et ´e relev ´e par les traducteurs.

Nous avons calcul ´e, pour chaque th ´ematique, la proportion du vocabulaire des textes `a traduireT qui se trouve effectivement dans le lexique L :

couverture(L, T ) = |L| ∩ |T | |T |

Les r ´esultats sont donn ´es dans le tableau 2.8. Dans le meilleur des cas, m ˆeme si le lexique contenait 100 % de traductions correctes, le traducteur n’y trouverait des traductions utiles que pour 67 % des mots du textes `a traduire pour la th ´ematique CANCER DU SEIN et 14 % uniquement pour la th ´ematique SCIENCES DE L’EAU. Le lexique CANCER DU SEIN, bien qu’acquis sur un corpus plus petit et l ´eg `erement moins comparable que le corpus SCIENCES DE L’EAU, couvre plus de vocabulaire que le lexique SCIENCES DE L’EAU.

CANCER DU SEIN SCIENCES DE L’EAU

textes `a traduire (EN) 0,94 0,14

traductions de r ´ef ´erence (FR) 0,67 0,78

TABLE2.8 – Couverture des textes `a traduire (et leurs traductions) par les lexiques extraits

2.2.3.4 Reproduction du protocole `a plus grande ´echelle

Le travail pr ´esent ´e jusqu’ici s’inscrit dans un lot de travail du projet ANR METRICC auquel nous avons particip ´e. Notre participation avait pour but de proposer un protocole d’ ´evaluation et d’en faire une premi `ere exp ´erimentation `a petite ´echelle afin de r ˆoder le processus. La

14. D’apr `es le site de la revue Sciences de l’eau, il s’agit d’un champ pluridisciplinaire empruntant `a sept grands domaines :

– l’hydrologie, l’hydrog ´eologie, la gestion des ressources en eaux ; – la qualit ´e physicochimique des eaux souterraines et des eaux de surface ; – l’hydrobiologie, la microbiologie, la toxicologie et l’ ´ecotoxicologie ; – la structure et le fonctionnement des ´ecosyst `emes aquatiques ; – la qualit ´e et le traitement de l’eau potable ;

– l’ ´epuration des eaux r ´esiduaires ;

– les aspects socio ´economiques et juridiques de la gestion de l’eau.

reproduction `a grande ´echelle du protocole a ´et ´e assur ´ee par le Dr. Emmanuel Planas (Planas, 2011) qui enseigne les outils d’aide `a la traduction aux ´etudiants-traducteurs de l’Universit ´e Catholique de l’Ouest. Nous avons souhait ´e faire ´etat des r ´esultats obtenus par le Dr. Planas car ils s’inscrivent dans la suite logique de notre travail et contribuent `a ´eclairer la question de l’apport des corpus comparables `a la traduction sp ´ecialis ´ee.

Le protocole a ´et ´e reproduit avec les donn ´ees de la th ´ematique CANCER DU SEIN sur

un groupe de 20 ´etudiants traducteurs. Chaque traducteur a traduit un texte dans une seule situation de traduction. Les groupes d’ ´etudiants affect ´es `a chaque situation de traduction sont de niveaux ´equivalents. Notons qu’il s’agit d’ ´etudiants de premi `ere ann ´ee de Master alors que dans notre exp ´erimentation, nous avions une personne ayant fait de la traduction en Licence et deux ´etudiant-e-s en derni `ere ann ´ee de Master. Pour l’ ´evaluation, seule la t ˆache de jugement `a ´et ´e effectu ´ee. Un entraˆınement pr ´ealable a ´et ´e men ´e sur les textes de la th ´ematique SCIENCES DE L’EAU, ce qui garantit une certaine homog ´en ´eit ´e dans l’annotation.

La figure 2.4 permet de comparer les r ´esultats obtenus par Planas avec les n ˆotres. Le premier aspect frappant est que, globalement, les traducteurs de Planas sont moins comp ´etents que les n ˆotres (18 % `a 20 % de termes faux pour nous ; 26 % `a 44 % pour Planas). Cette diff ´erence est normale puisque que les traducteurs de Planas sont des ´etudiants de M1 et non de M2 comme dans notre cas. Planas note d’ailleurs que les erreurs de traduction faites dans la situation maximale sont surtout dues au manque de culture scientifique et au manque d’exp ´erience des traducteurs. Dans plusieurs cas, la traduction est erron ´ee car le traducteur a fait une confiance aveugle `a une source Internet non fiable.

On retrouve le m ˆeme rapport entre les situations : la situation maximale est la meilleure, la situation minimale est la moins bonne. La diff ´erence entre situation cible et situation minimale est beaucoup plus marqu ´ee pour Planas : -7 % de traductions fausses lorsque les traducteurs utilisent le lexique issu de corpus comparables (-1 % dans notre cas).

FIGURE 2.4 – Comparaison de la qualit ´e des traductions obtenus avec les donn ´ees CANCER DU SEIN: exp ´erimentation de Planas (2011) vs. notre exp ´erimentation

2.3

Discussion

Il est assez difficile de tirer des conclusions g ´en ´erales sur l’utilit ´e des lexiques issus de corpus comparable `a partir de notre exp ´erience car d’une part, une partie de nos donn ´ees a ´et ´e mal construite (SCIENCES DE L’EAU) et d’autre part, nous n’avons pas d ´emontr ´e que les diff ´erences de qualit ´e observ ´ees ´etaient significatives. L’exp ´erience de Planas (2011), effectu ´ee uniquement avec les donn ´ees CANCER DU SEIN, fait ´etat d’une diff ´erence plus marqu ´ee entre traductions faites uniquement avec les ressources g ´en ´eralistes et traductions faites avec les ressources g ´en ´eralistes et le lexique issu du corpus comparable. Toutefois, l’exp ´erience a ´et ´e men ´ee avec des ´etudiants traducteurs et non des professionnels. Or, on sait que les ´etudiants travaillent diff ´eremment des professionnels (Carl et al., 2011). Au mieux, nous pouvons dire que les lexiques issus de corpus comparables sont une aide pour les traducteurs inexp ´eriment ´es. Une perspective de recherche sera donc de reproduire l’exp ´erience avec des donn ´ees mieux construites et des traducteurs professionnels.

Au-del `a de la mesure de l’utilit ´e des corpus comparables, ces exp ´eriences ont r ´ev ´el ´e plusieurs obstacles `a l’exploitation des corpus comparables pour la traduction sp ´ecialis ´ee.

Tout d’abord, nous avons observ ´e l’importance de travailler avec des th ´ematiques de granularit ´e fine et la n ´ecessit ´e de collecter un corpus en forte ad ´equation avec les textes `a traduire.

Ensuite, nous nous sommes rendu compte que la forme des lexiques extraits est g ˆenante pour les traducteurs, voire provoque un rejet. La pr ´esentation d’une liste de 20 traductions candidates est perturbante (≪99 % ont entre 10 et 20 traductions candidates, mais aucune n’est valid ´ee≫). Apr `es discussion avec les traducteurs, il semble qu’une liste de 3 ou 4 traductions

serait le maximum acceptable.

Enfin, la simple ´enum ´eration des traductions candidates, bien qu’associ ´ee `a un concordancier, n’est pas suffisante : les traducteurs manquent d’indices leur permettant de valider les traductions (≪on est “ `a peu pr `es s ˆur”, mais jamais totalement [...] on y va “ `a

l’instinct”≫).

Forts de ces constats, nous d ´egageons cinq axes de recherche pour am ´eliorer l’exploitation des corpus comparables :

Formation et recueil des besoins Les lexiques issus de corpus comparables repr ´esentent un

nouveau type de ressource, moins pr ´ecis que les ressources auxquelles sont accoutum ´es les traducteurs. Bien que reconnus comme utiles dans les ´etudes de traductologie, il semble que ce type de ressource ne soit pas entr ´e dans les habitudes des traducteurs ni m ˆeme ne fasse partie de leur formation. Il serait donc bon d’ ´etablir un dialogue entre d ´eveloppeurs d’outils de TAO, ergonomes de la traduction et formateurs afin que les outils d’analyse des corpus comparables correspondent effectivement aux besoins des traducteurs et que ces outils soient enseign ´es dans les formations.

Collecte du corpus Il est n ´ecessaire d’am ´eliorer la comparabilit ´e du corpus, que ce soit `a

l’aide de m ´etriques bas ´ees sur le vocabulaire partag ´e entre les deux corpus (Li et al., 2011; Li et Gaussier, 2010) ou par une prise en compte du type discours lors de la constitution du corpus (Morin et al., 2007; Goeuriot, 2009). L’ad ´equation entre les textes `a traduire et les textes du corpus doit ´egalement ˆetre optimale. Des recherches r ´ecentes ont donn ´e lieu `a des crawlers th ´ematiques (Talvensaari et al., 2008; de Groc, 2011) et `a des syst `emes d’acquisition de corpus comparables `a partir du Web (Kilgarriff et al., 2011).

Contextualisation des termes Il est essentiel de donner aux traducteurs les moyens de

s’assurer de leurs choix de traduction. De simples concordanciers monolingues et 65

d ´ecorr ´el ´es l’un de l’autre ne peuvent suffire. Traductions candidates et terme source doivent ˆetre pr ´esent ´es dans des contextes pertinents pour la traduction. Cet axe de recherche est actuellement explor ´e dans le cadre du projet ANR CRISTAL15qui s’int ´eresse aux contextes riches en connaissances pour la traduction (Meyer, 2001).

Outillage Les outils des traducteurs doivent ˆetre adapt ´es afin de leur permettre d’exploiter

correctement les lexiques issus de corpus comparables. Tr `es peu d’outils de TAO ont ´et ´e conc¸us pour traiter ce type de ressource (Sharoff et al., 2006; Brown de Colstoun et al., 2011) et les fonctionnalit ´es de recherche en corpus sont encore limit ´ees. De plus, tr `es peu de format d’ ´echanges de lexiques bilingues (TBX, XLIFF...) permettent d’ ´echanger des lexiques issus de corpus comparables (Delpech et Daille, 2010).

´

Equivalences traductionnelles Il s’agit l `a d’am ´eliorer directement la qualit ´e des lexiques

extraits. Nous avons vu que les traducteurs n’appr ´ecient pas d’avoir une longue liste de traductions candidates, surtout si dans bon nombre de cas, aucune ne s’av `ere utile. Afin d’am ´eliorer l’utilisabilit ´e des lexiques par les traducteurs techniques, il conviendra de favoriser la pr ´ecision des lexiques, quitte `a produire moins de traductions candidates. Dans tous les cas, on s’attachera `a faire apparaˆıtre la traduction correcte parmi les premi `eres candidates.

Nous avons choisi de poursuivre nos recherches dans le cadre de la recherche d’ ´equivalences traductionnelles et notamment, nous nous sommes donn ´e pour objectif d’essayer d’obtenir des lexiques plus pr ´ecis, m ˆeme si ces derniers sont de taille plus modeste. La m ´ethode distributionnelle est une m ´ethode employ ´ee depuis les ann ´ees 90 et, malgr ´e les nombreuses recherches visant `a l’am ´eliorer, nous avons vu dans le chapitre 1 que les r ´esultats se situent entre 13 % et 65 % de pr ´ecision sur le Top1 (tableau 1.1). Il faut prendre en compte au moins 20 traductions candidates pour esp ´erer obtenir entre 40 % et 94 % de pr ´ecision selon les domaines et les couples de langues. De plus, l’approche distributionnelle n ´ecessite de grands volumes de textes pour obtenir les meilleurs scores. Or, le recours aux corpus comparables a lieu lorsque, justement, les donn ´ees se font rares.

Ces raisons font que nous nous sommes orient ´es vers d’autres m ´ethodes d’acquisition de lexiques qui ne sont pas sp ´ecifiques aux corpus comparables. Il s’agit de m ´ethodes visant non pas `a extraire pr ´ealablement des termes puis `a les aligner mais plut ˆot `a g ´en ´erer automatiquement les traductions d’un terme source. Ces m ´ethodes ont produit r ´ecemment de bons r ´esultats sur les corpus comparables (Morin et Daille, 2010; Weller et al., 2011; Harastani

et al., 2012). Nous en faisons un ´etat-de-l’art dans le chapitre suivant avant de proposer une

am ´elioration de ces m ´ethodes dans le chapitre 4.

15. Contextes RIches en connaissanceS pour la TrAduction terminoLogique, www.projet-cristal.org

Chapitre 3

G ´en ´eration automatique de

traductions de termes

Sommaire

3.1 Approches compositionnelles . . . . 68

3.1.1 Principe de la traduction compositionnelle . . . 68