• Aucun résultat trouvé

6.3 Evaluation des traductions g ´en ´er ´ees 136 ´

6.3.2 Apport de la g ´en ´ericit ´e du mod `ele

Dans cette exp ´erience nous comparons notre syst `eme `a des approches qui ne chercheraient `a traduire qu’un type particulier de construction morphologique ou qui ne seraient bas ´ees que sur l’identification de cognats. Nous avons choisi quatre bases de comparaison :

Pr ´efixation Cette approche ne traduit que les mots construits par pr ´efixation. Le terme source

est d ´ecoup ´e (lorsque c’est possible) en pr ´efixe + base, le pr ´efixe est traduit avec la table de traduction des morph `emes (nous ne retenons que les traductions qui sont elles-m ˆemes des pr ´efixes) et la base est traduite avec le dictionnaire g ´en ´eraliste. Base et pr ´efixe sont concat ´en ´es en un seul mot. Cela correspond approximativement `a l’approche de Cartoni (2009b).

Les mots sources compos ´es d’un pr ´efixe et d’une base lexicale autonome repr ´esentent 31 % de la r ´ef ´erence a posteriori franc¸ais (32 % pour l’allemand) et 25 % de la r ´ef ´erence

a priori franc¸ais (34 % pour l’allemand).

Composition savante Cette approche ne traduit que les mots construits par composition

savante. Le terme source est d ´ecoup ´e (lorsque c’est possible) en un ensemble de confixes ou un ensemble de confixes et mots simples, les confixes sont traduits avec la table de traduction des morph `emes (nous ne retenons que les traductions qui sont elles- m ˆemes des confixes) et les mots sont traduits avec le dictionnaire g ´en ´eraliste. Tous les morph `emes traduits sont concat ´en ´es en un seul mot. L’ordre des ´el ´ements n’est pas conserv ´e. Cela correspond approximativement `a l’approche de Harastani et al. (2012) `a la diff ´erence qu’ils distinguent ´el ´ements initiaux et ´el ´ements finaux et que l’ordre des ´el ´ements est conserv ´e.

Les mots sources compos ´es d’au moins 1 confixe et de bases lexicales autonomes ou d’autres confixes repr ´esentent 18 % de la r ´ef ´erence a posteriori franc¸ais et allemand et 56 % de la r ´ef ´erence a priori franc¸ais (52 % pour l’allemand).

Composition populaire Cette approche ne traduit que les mots construits par composition

populaire. Le terme source est d ´ecoup ´e (lorsque c’est possible) en un ensemble de mots simples et les mots sont traduits avec le dictionnaire g ´en ´eraliste. Les traductions peuvent ˆetre concat ´en ´ees en un seul mot ou en plusieurs mots. L’ordre des mots n’est pas conserv ´e. Cela correspond approximativement `a l’approche de Weller et al. (2011) si ce n’est qu’elles se basent sur des patrons de traduction pr ´ed ´efinis.

Les mots sources compos ´es de plusieurs bases lexicales repr ´esentent 48 % de la r ´ef ´erence a posteriori franc¸ais (49 % pour l’allemand) et 25 % de la r ´ef ´erence a

priori franc¸ais (21 % pour l’allemand).

Cognat Cette approche traduit n’importe quel mot en lui assignant comme traduction son

cognat lorsque ce dernier existe. Les cognats sont identifi ´es avec la m ´ethode d ´ecrite section 5.5.6.

Nous avons compar ´e ces quatre m ´ethodes de “base” avec notre syst `eme qui prend en compte plusieurs structures morphologiques et se fonde aussi sur des ressources permettant de g ´erer la variation. Les r ´esultats sont donn ´es dans les tableaux 6.6, 6.7 (r ´ef ´erence a

posteriori) et 6.8, 6.9 (r ´ef ´erence a priori).

6.3.2.1 Evaluation a posteriori´

Sur la r ´ef ´erence a posteriori, nous voyons que la plupart des autres m ´ethodes sont beaucoup plus pr ´ecises que notre m ´ethode. Pour autant, ces m ´ethodes g ´en `erent tr `es peu de

traductions, ce qui, au final, fait que notre m ´ethode produit le lexique le plus utilisable (au sens de notre mesure d’utilisabilit ´eU ), quel que soit le couple de langues.

Si nous comparons les quatres m ´ethodes de base entre elles, nous observons que la composition savante est la plus pr ´ecise, suivie de pr `es par la pr ´efixation. Ces deux m ´ethodes, par contre, ont une tr `es faible couverture mais qui peut ˆetre expliqu ´ee par le fait que notre liste de termes sources contient en majorit ´e des compos ´es populaires. La m ´ethode la plus int ´eressante des quatre se r ´ev `ele ˆetre celle des cognats. C’est celle qui obtient les meilleurs scores d’utilisabilit ´e (U). Composition populaire et cognats ont une pr ´ecision relativement faible. Les r ´esultats sont meilleurs pour les cognats lorsque l’on prend en compte les traductions acceptables ; en effet, beaucoup de cognats identifi ´es sont des variantes morphologiques (aromatherapist → aromath´erapie, comprehensively → comprehensive). Des cas d’erreurs impliquent typiquement des mots pr ´efix ´es commepretreatment → treatment ou des combinaisons avec un autre mot tr `es court :fulvestrant-er → fulvestrant.

Pour les compos ´es populaires, les erreurs sont dans leur vaste majorit ´e caus ´ees par les traductions fertiles souvent combin ´ees `a un ordre de mots diff ´erents du terme source, par exemple :

– low-risk est traduit par bas car cela risquer qui apparait dans le contexte≪...sauf si le

nombre de plaquettes est trop bas car cela risquerait de ...≫

– strong-smelling est traduit par fort pour bien sentir qui apparait dans le contexte≪Presser

assez fort pour bien sentir le tissu mammaire≫.

Pour autant, certaines traductions ont un sens assez proche de celui du terme source :milk- producing est traduit par lait produire (contexte :≪canal ´evacuant le lait produit par la glande

mammaire.≫).

6.3.2.2 Evaluation a priori´

Sur la r ´ef ´erence a priori, les r ´esultats sont `a peu pr `es sembables `a ceux de l’ ´evaluation a

posteriori : les autres m ´ethodes sont plus pr ´ecises mais au final, nous obtenons la meilleure F1-

mesure. Nous obtenons aussi toujours le meilleur rappel. La pr ´ecision des cognats est toujours bien meilleure lorsque l’on prend en compte les traductionsEXACTouACCEPTABLE. Pr ´efixation et composition ont de tr `es bonnes pr ´ecisions mais les cognats restent, des quatre m ´ethodes de base, la m ´ethode donnant la meilleure F1-mesure.

La diff ´erence avec l’ ´evaluation a posteriori est qu’ici, la composition populaire obtient de tr `es bons r ´esultats. En franc¸ais, sur quatre compos ´es populaires, la traduction donn ´ee par l’UMLS est trouv ´ee directement :workload → charge de travail, lifestyle → style de vie, viewpoint → point de vue, half-life → demivie. Pour l’allemand, il est difficile de tirer des conclusions : un seul compos ´e populaire a obtenu une traduction et la traduction g ´en ´er ´ee, bien qu’exacte, n’est pas celle propos ´ee dans l’UMLS :child-birth est traduit par geburt ein kind ‘naissance d’un enfant’ (traduction annot ´eeEXACT) alors que l’UMLS proposegeburt‘naissance’3.

6.3.2.3 Synth `ese

Nous pouvons conclure qu’il est int ´eressant de chercher `a traduire plusieurs types de structures morphologiques tout en s’appuyant sur des ressources permettant de g ´erer la variation plut ˆot que de se concentrer sur un seul type de construction : m ˆeme si les traductions

3. ≪Die Geburt eines Kindes l¨autet umfassende Ver¨anderungen in der weiblichen Brust ein.≫‘La naissance

d’un enfant annonce des changements majeurs dans la poitrine f´eminine.’

TERME SOURCE TRADUCTIONUMLS TRADUCTION GEN´ ER´ EE´ ANNOTATION

heterozigozity heterozygot (DE) heterozygozity EXACT

radiography roentgen (DE) radiograpisch ACCEPTABLE

lumpectomy ablation d’une tumeur (FR) lumpectomie EXACT

co-repressors co-r ´epresseur (FR) cor ´epression ACCEPTABLE

TABLE6.4 – Diff ´erences entre les r ´ef ´erences a priori et a posteriori C PE UE PEA UEA Composition savante ,03 ,95 ,03 1 ,03 Cognat ,13 ,66 ,08 ,81 ,10 Composition populaire ,05 ,63 ,03 ,65 ,03 Pr ´efixation ,02 ,90 ,02 ,97 ,02 Notre m ´ethode ,40 ,59 ,24 ,69 ,28

TABLE 6.6 – Comparaison avec d’autres m ´ethodes de g ´en ´eration, ´evaluation a posteriori anglais-franc¸ais C PE UE PEA UEA Composition savante ,03 ,96 ,02 ,98 ,02 Cognat ,10 ,58 ,06 ,66 ,07 Composition populaire ,04 ,55 ,02 ,62 ,03 Pr ´efixation ,03 ,86 ,02 ,92 ,03 Notre m ´ethode ,36 ,48 ,17 ,56 ,20

TABLE 6.7 – Comparaison avec d’autres m ´ethodes de g ´en ´eration, ´evaluation a posteriori anglais-allemand P R F1 PE RE F1E PEA REA F1EA Composition savante ,83 ,20 ,32 ,97 ,23 ,37 1 ,24 ,38 Cognat ,76 ,37 ,50 ,89 ,44 ,59 ,92 ,45 ,61 Composition populaire 1 ,03 ,06 1 ,03 ,06 1 ,03 ,06 Pr ´efixation ,56 ,04 ,07 ,89 ,06 ,12 1 ,07 ,13 Notre m ´ethode ,80 ,52 ,63 ,94 ,62 ,75 ,95 ,63 ,76

TABLE6.8 – Comparaison avec d’autres m ´ethodes de g ´en ´eration, ´evaluation a priori anglais- franc¸ais P R F1 PE RE F1E PEA REA F1EA Composition savante ,80 ,18 ,29 ,95 ,21 ,35 ,95 ,21 ,35 Cognat ,62 ,26 ,36 ,86 ,36 ,50 ,89 ,37 ,52 Composition populaire 0.0 0.0 0.0 1 ,01 ,02 1 ,01 ,02 Pr ´efixation ,75 ,07 ,12 1 ,09 ,16 1 ,09 ,16 Notre m ´ethode ,70 ,51 ,59 ,88 ,64 ,74 ,89 ,66 ,76

TABLE6.9 – Comparaison avec d’autres m ´ethodes de g ´en ´eration, ´evaluation a priori anglais- allemand

sont moins pr ´ecises, au final, le nombre de termes sources ayant rec¸u au moins une traduction correcte est plus important. Les cognats apparaissent comme une m ´ethode int ´eressante pour compl ´eter un lexique bilingue.

Notons que notre syst `eme n’est pas ´equivalent `a l’union des quatres m ´ethodes auxquelles il a ´et ´e compar ´e. La forte couverture de notre syst `eme s’explique par le recours `a diverses strat ´egies de traductions qui ne sont pas employ ´ees par les quatre m ´ethodes auxquelles nous avons compar ´e notre syst `eme :

– Aucune des quatre m ´ethodes n’emploie de ressources destin ´ees `a g ´erer la variation. Par exemple, la m ´ethode de traduction bas ´ee sur pr ´efixation ne pourra ´etablir d’ ´equivalence entrebioavailable et biodisponibilit´e.

– `A l’exception de la m ´ethode bas ´ee sur les cognats, le dictionnaire de cognat n’est utilis ´e par aucune autre m ´ethode. Par exemple, la m ´ethode de traduction bas ´ee sur la composition populaire ne pourra traduiretaxane-treated en traitement par taxane puisque la traduction detaxane n’existe que dans le dictionnaire de cognats.

– Seule la m ´ethode de traduction bas ´ee sur la composition populaire g ´en `ere des traductions fertiles. Les autres m ´ethodes ne peuvent pas g ´en ´erer de telles traductions. Par exemple, la m ´ethode bas ´ee sur la composition savante ne pourra pas trouver d’ ´equivalence entre tumorectomy et ablation de la tumeur et la m ´ethode bas ´ee sur la pr ´efixation ne pourra pas trouver d’ ´equivalence entrepre-chemotherapy et avant la chimioth´erapie.

– Aucune des m ´ethodes auxquelles nous avons compar ´e notre m ´ethode ne propose de strat ´egie de repli. L’ ´equivalenceuniformly → uniforme ne peut ˆetre trouv ´ee que par notre m ´ethode.

– Pour finir, notre m ´ethode propose aussi de traduire des termes suffix ´es. Ceci nous permet de trouver des traductions commeretrospectively → fa¸con retrospective.