Conclusion

Comme nous l’avons vu, la désambiguïsation lexicale est une tâche centrale

du TAL qui questionne en permanence l’existence et la nature d’un aspect

fonda-mental des langues : le sens. L’histoire de cette tâche est riche et complexe. En

effet, notamment à cause du fait que les ressources disponibles sont très rares, les

approches employées, même les plus récentes, mêlent toujours plus ou moins des

connaissances structurées discrètes à des données manuellement annotées.

Bien qu’elle semble essentielle afin de créer des systèmes ayant une meilleure

compréhension de la langue et faisant moins d’erreurs de sémantique, les systèmes

de DL sont en pratique rarement utilisés dans d’autres tâches. Cette faible

utilisa-tion peut être due à une faiblesse des performances des systèmes actuels ou à un

manque d’uniformisation des ressources. Cela peut être pourtant en passe de

chan-ger, grâce aux progrès notables accomplis ces dernières années.

Dans nos contributions spécifiques à la DL, nous montrons ainsi comment nous

avons amélioré les performances d’un système de DL à base de connaissances (voir

chapitre 3), uniformisé les données d’entraînement et d’évaluation (voirchapitre 4)

puis proposé une nouvelle architecture neuronale pour la DL supervisée (voir

cha-pitre 5) et enfin présenté une méthode pour l’amélioration de la couverture et des

Chapitre 2

Traduction automatique neuronale

2.1 Introduction

La traduction automatique (TA), en anglaisMachine Translation_{(MT), est une}

tâche importante du traitement automatique des langues qui vise à traduire un texte

d’une langue source vers une langue cible. Elle représente un défi majeur et

particu-lièrement complexe, car le passage d’une langue à une autre nécessite de résoudre

de nombreuses autres problématiques du TAL, comme la compréhension du

lan-gage naturel, l’adaptation au style et au domaine, la résolution de coréférences, la

désambiguïsation lexicale, etc.

La TA est une tâche avec des enjeux importants. En effet, elle est directement

utilisée au quotidien au travers de systèmes comme Google Translate

¹

ou DeepL

²

,

permettant de traduire des courtes phrases ou des documents entiers. Elle est aussi

utilisée par des agences de traduction afin de faciliter le travail des traducteurs qui

peuvent post-éditer la sortie d’un système de TA

³

(Lemaire,2017).

De plus, la TA est aussi un moteur pour le TAL. Elle a en effet contribué

à de grandes avancées qui ont aussi impacté d’autres tâches. On peut citer par

exemple les modèles neuronaux « séquence à séquence » (Sutskever et al., 2014),

les modèles d’attention (Bahdanau et al.,2015) ou encore l’architecture

Transfor-mer (Vaswani et al.,2017).

De multiples approches pour la TA existent. On peut les regrouper en trois

1. https://translate.google.com

2. https://www.deepl.com/translator

3. https://www.tradonline.fr/localisation-de-contenus-volumine

grandes catégories qui sont (1) les approches à base de règles, qui s’appuient sur

des dictionnaires et des données syntaxiques, morphologiques et sémantiques dans

les langues source et cible, (2) les approches statistiques, qui s’appuient sur des

modèles statistiques entraînés sur des corpus parallèles et monolingues, et enfin (3)

les approches neuronales, qui remplacent les modèles statistiques par des réseaux

de neurones.

À l’instar de la désambiguïsation lexicale, les approches neuronales sont

au-jourd’hui prédominantes dans les travaux de recherche sur la TA et dans les

cam-pagnes d’évaluation. Dans ce chapitre, nous allons ainsi nous focaliser sur les

sys-tèmes de TA neuronaux et les avancées qu’ils ont permises dans les architectures

neuronales. Nous parlerons des ressources nécessaires à leur mise en œuvre, et de

leur évaluation.

2.1.1 Historique et enjeux

On peut retracer les origines des premières études sur la TA au début des années

1950, avec notamment l’organisation de la première conférence dédiée à cette tâche

en 1952, et l’expérience de Georgetown-IBM en 1954, une démonstration publique

d’un système de traduction russe-anglais pouvant gérer un vocabulaire de 250 mots

et six règles grammaticales (Hutchins,1986,2004).

De ces débuts jusqu’aux années 1980, les premiers systèmes de TA reposaient

sur des dictionnaires et un ensemble de règles pour une paire de langues en

particu-lier. Ce n’est qu’au début des années 1990 qu’émergent les approches statistiques,

s’appuyant elles sur des corpus parallèles, avec notamment les travaux deBrown

et al.(1990), un groupe de chercheurs chez IBM.

Par la suite, les travaux de Brown et al. (1991) décrivent une méthode pour

l’alignement automatique de phrases dans un corpus, et l’article de Brown et al.

(1993) propose un ensemble de cinq modèles statistiques de traduction qu’on

ap-pellera « modèles IBM », et dont on expliquera brièvement le fonctionnement dans

lasection 2.1.2.

Enfin, les modèles neuronaux, que nous allons détailler dans lasection 2.2ont

remplacé progressivement les modèles statistiques depuis notamment les travaux

deSutskever et al.(2014). Ces modèles se distinguent par l’utilisation d’un unique

réseau « bout en bout » remplaçant les multiples modèles statistiques nécessaires

aux systèmes statistiques classiques.

Les enjeux autour de la TA sont nombreux : comme l’écrit Hutchins (1986),

et l’aboutissement du premier système de TA russe-anglais dans les années 1950.

Dans les années 1970, ce sont toutes les problématiques de normalisation des

docu-ments administratifs, commerciaux et techniques de la Communauté économique

européenne qui ont grandement encouragé la recherche. Durant cette période, la

TA est aussi utilisée dans certains cadres spécifiques. On peut noter par exemple

le système canadien TAUM-METEO (Chevalier et al.,1978) qui permettait de

tra-duire quotidiennement les bulletins météorologiques de l’anglais vers le français.

Aujourd’hui, de nombreux systèmes grand public et accessibles en ligne

per-mettent de traduire gratuitement du texte (Google Translate, Microsoft Translator,

DeepL...), et peuvent être utiles dans de nombreux cas (communication à

l’étran-ger, aide à la rédaction...). Cependant, même si la qualité de la traduction des

sys-tèmes de TA s’est beaucoup améliorée, notamment grâce aux modèles neuronaux

(voir section 2.2), ils souffrent toujours de problèmes importants, notamment en

ce qui concerne les langues dites peu dotées (voirsection 2.4).

2.1.2 Modèles statistiques

Les modèles de traduction statistiques ont d’abord été théorisés par Weaver

(1955) puis repris et popularisés par Brown et al.(1990) de chez IBM. Ils

s’ap-puient sur un ensemble de corpus parallèles, c’est-à-dire des textes manuellement

traduits, afin de déterminer, grâce à des modèles statistiques, la meilleure

traduc-tion possible pour une phrase source.

Plus formellement, dans les méthodes statistiques, pour traduire une phrase

x _{depuis une langue source, on cherche la phrase} yˆ_{dans la langue cible, qui va}

maximiser la probabilité conditionnelle p(y|x)_{, c’est-à-dire la probabilité que} y

soit une traduction dex_{. On a donc la formule suivante :}

ˆ

y= argmax

y

(p(y|x))

On s’appuie ensuite sur la formule de Bayes qui est la suivante :

p(y|x) = ^p(x|y)·p(y)

p(x)

Avecp(x)_etp(y)_{respectivement la probabilité des phrases}x_ety_{indépendamment}

de leur traduction.

Comme nous recherchons une phrasey _{qui maximise cette formule pour une}

final, la formule queBrown et al.(1993) appellent « l’équation fondamentale de la

traduction automatique » est la suivante :

ˆ

y= argmax

y

(p(x|y)·p(y))

ˆ

y_{étant ainsi la phrase qui maximise le produit des probabilités}p(y)_etp(x|y)_.

L’avantage de cette approche est qu’elle scinde le problème en deux parties :

D’un coté, la résolution dep(x|y)_{se fait à l’aide d’un}modèle de traduction_{, dont}

le rôle est d’attribuer une probabilité que la phrasex_{soit une traduction possible}

de la phrasey_{. De l’autre coté,}p(y)_{se résoud à l’aide d’un}modèle de langue_{, qui}

donne une probabilité quey_{soit une phrase correcte à part entière.}

Dans l’article deBrown et al.(1993), les auteurs proposent ainsi un ensemble

de cinq modèles de traduction permettant d’estimerp(x|y)_{, en calculant les}

aligne-ments les plus probables entre les mots de la langue source et ceux de la langue

cible. Ces alignements sont ainsi réalisés grâce à des corpus parallèles.

Une des implémentations les plus connues de ces modèles IBM est GIZA

(Al-Onaizan et al.,1999) et son amélioration principale nommée GIZA++ (Och et Ney,

2003). Cette dernière sera notamment intégrée au programme Moses (Koehn et al.,

2007), un système complet permettant l’entraînement et l’utilisation de ces

mo-dèles statistiques en plus d’avoir d’autres avantages, dont la possibilité d’intégrer

un modèle de langue externe et l’implémentation d’un algorithme de recherche par

faisceau.

Plus précisément, Moses fonctionne grâce à un modèle log-linéaire, dans lequel

n_{composants vont chacun assigner une probabilité}p_{à une potentielle traduction.}

Chaque composant a un poidsλ_{et ces probabilités sont combinées selon la formule}

suivante :

ˆ

y= argmax

y

(p(y|x)) = argmax

y n

X

i=0

λ

_i

·log(p

_i

(x, y))

!

De cette manière, le modèle de langue ainsi que le modèle de traduction sont

deux composants du modèle log-linéaire. Moses intègre ensuite d’autres

compo-sants, comme :

— une pénalité sur les mots produits, qui compte simplement le nombre de mots

dansy_{afin de décourager les phrases trop longues ;}

— une pénalité sur les mots inconnus, qui compte le nombre de mots inconnus

— un modèle de distorsion, qui permet de réordonner les mots de la phrase

produite en calculant le coût de réordonnancement de chacun des mots dey

par rapport à l’ordre des mots dansx_{. Plus précisément, le calcul du coût est}

effectué grâce à la formule suivante :^P

ⁿi=0

d

i

, avecd

i

=abs(p

1

+ 1−p

2

)_,

oùp

₁

_{est la position dans}x_{du mot dont la traduction est à l’indice}i−1_dans

y_{, et}p

₂

_{est la position dans}x_{du mot dont la traduction est à l’indice}i_dans

y_{, enfin}n_{est la taille de la phrase}y_.

D’autres composants peuvent ainsi s’ajouter et contribuer au calcul des

proba-bilités. Par exemple, lors de mes travaux de master (Vial,2016), nous avons intégré

un modèle de désambiguïsation lexicale à Moses, qui pénalise les traductions dont

les sens ne correspondent pas aux sens des mots désambiguïsés de la phrase source.

À noter que le programme Moses ainsi que des tutoriels et même des liens vers

les principaux corpus parallèles sont accessibles sur le site Web de Moses

⁴

.

2.1.3 Vers les représentations continues

Entre les années 2014 et 2016, on observe un basculement progressif des

mé-thodes statistiques pour le TAL utilisant des traits explicites et des représentations

discrètes vers des méthodes utilisant des représentations continues dont les traits

ne sont plus explicités.

En effet, les travaux de Mikolov et al. (2013) sur les vecteurs de mot

pré-entraînés (Word2Vec) ainsi que les améliorations qui ont suivies (Pennington et al.,

2014;Peters et al.,2018;Devlin et al.,2019) ont montré qu’il était possible

d’ap-prendre des représentations continues de mots de grande qualité, uniquement à

partir de corpus bruts, et sans autre connaissance au préalable.

Dans lechapitre 1, nous avons vu que pour la DL, ces méthodes ont notamment

impacté les méthodes supervisées (voirsection 1.4.2), qui s’appuient aujourd’hui

fortement sur ces vecteurs de mot et modèles de langue pré-entraînés, à la place

de traits explicites tels que les parties du discours et les collocations de mots,

per-mettant à la fois de simplifier les modèles et d’améliorer leurs performances.

En TA, en plus des vecteurs de mot comme Word2Vec, ce sont aussi les

avan-cées importantes sur les réseaux de neurones, comme l’architecture « séquence à

séquence » deSutskever et al.(2014), qui ont permis de simplifier et d’améliorer

les performances des systèmes statistiques.

En effet, ces modèles permettent de s’affranchir de la définition des nombreux

composants qu’on a vus précédemment (modèle de langue, modèle de traduction,

modèle de distorsion, etc.) pour n’avoir qu’un réseau de neurones unique,

appre-nant conjointement à encoder une phrase source, décoder en langue cible, aligner

les mots... pour des performances nettement supérieures.

Dans la section suivante, nous allons ainsi voir plus en détail ces architectures

neuronales, qui sont au cœur de plusieurs contributions de cette thèse.

Dans le document Modèles neuronaux joints de désambiguïsation lexicale et de traduction automatique (Page 72-79)