Les réseaux neuronaux

Les travaux sur les réseaux neuronaux ont commencé dès les années 80 et se sont poursuivis au cours des années 90. Les chercheurs qui travaillaient dans ce domaine avaient pour objectif d’améliorer la traduction automatique. Ils étaient cependant limités par les technologies existantes et par la quantité de données exploitables pour entraîner leurs modèles, cette conjonction d’éléments défavorables les forçant à abandonner les recherches en la matière pendant près de vingt ans face au manque de résultats. L’approche statistique avait donc pris de l’importance jusqu’à occuper une place dominante dans le domaine.

L’intérêt pour les réseaux neuronaux reprend toutefois aux alentours de 2007 lorsque des modèles de langue neuronaux commencent à être intégrés dans les méthodes statistiques même si la méthode mettra du temps à se généraliser, notamment à cause de problèmes dus à l’informatique. En effet les groupes de recherche, qui devaient utiliser des processeurs graphiques (GPU) pour entraîner les modèles, n’étaient souvent pas en mesure d’utiliser ce type

20

de matériel, soit parce qu’ils n’en avaient pas, soit parce qu’ils n’avaient pas l’expérience nécessaire pour exploiter leur potentiel (Koehn 2017, 5). L’usage des réseaux de neurones s’est par la suite étendu à d’autres composants de la traduction automatique statistique et a mené peu à peu au développement de systèmes purement neuronaux. Un tournant s’est produit lors de la Conférence sur la traduction automatique (WMT) de 2016, au cours de laquelle un système de traduction automatique neuronal a remporté les tests présentés dans presque toutes les paires de langues ; la recherche s’est depuis lors focalisée sur cette technologie et avance à grands pas.

La caractéristique principale de la traduction automatique neuronale est que les mots et les phrases sont représentés numériquement grâce à des vecteurs, là où la représentation est discrète dans les systèmes statistiques. Cette particularité a permis d’utiliser de puissantes techniques d’apprentissage automatique (l’apprentissage machine) comme les réseaux neuronaux (Casacuberta Nolla and Peris Abril 2017, 68).

Un réseau neuronal est composé d’un ensemble de neurones artificiels connectés les uns aux autres. Leur rôle est d’effectuer un produit scalaire entre leur vecteur d’entrées et un vecteur de poids associé à chacun d’entre eux puis d’utiliser une fonction d’activation pour déterminer leur sortie. Le réseau neuronal le plus connu est le perceptron multicouche. Il est formé de couches de neurones de telle manière que les sorties d’une couche sont les entrées de la couche suivante.

Outre le perceptron multicouche, il existe les réseaux neuronaux récurrents, dans lesquels les neurones se réalimentent avec leurs propres sorties directement ou indirectement, ce qui les rend aptes à apprendre et à générer des séquences temporelles (Casacuberta Nolla and Peris Abril 2017, 69). La méthode d’apprentissage de réseaux neuronaux la plus commune s’appelle

« rétropropagation », un nom qui tire son origine du fait que les poids sont d’abord mis à jour sur la couche de neurones de sortie avant de propager l’information d’erreurs aux couches précédentes. Chaque fois qu’un exemple d’entraînement est chargé, un terme d’erreur est associé à chaque nœud du réseau, ce qui forme la base sur laquelle les valeurs des poids entrants seront mises à jour (Koehn 2017, 12).

L’architecture la plus utilisée pour implémenter la rétropropagation est basée sur un encodeur suivi d’un décodeur. L’encodeur est un réseau neuronal récurrent qui analyse la phrase source de gauche à droite et de droite à gauche pour en générer une représentation vectorielle. Le décodeur, un autre réseau neuronal récurrent, produit une phrase cible à partir de la phrase source. Il génère les phrases mot après mot en se basant sur le mot généré précédemment, l’état du réseau neuronal au temps précédent et la représentation de la phrase source fournie par l’encodeur (Casacuberta Nolla and Peris Abril 2017, 69).

21

Figure 7 : Schéma d’architecture basée sur un encodeur et un décodeur (Koehn 2017, 47)

En général, les systèmes de traduction automatique neuronaux génèrent plusieurs possibilités de traduction pour traduire un mot source, ce qui engendre une recherche de la meilleure traduction sous forme d’arborescence. Il est néanmoins possible de contrôler la recherche en éliminant au fur et à mesure les branches les moins prometteuses (Casacuberta Nolla and Peris Abril 2017, 70).

La force des réseaux neuronaux réside essentiellement dans le fait qu’ils traduisent les phrases entières à partir du concept ou de l’idée qu’elles véhiculent, obtenu grâce à la représentation vectorielle, que nous avons décrite précédemment. Les textes obtenus sont ainsi plus cohérents dans leur ensemble et il peut parfois être difficile de les identifier comme étant traduits automatiquement. Le travail des relecteurs s’en trouve donc changé, car ils doivent désormais davantage se concentrer sur le sens des phrases que sur les tournures de phrases et la grammaire.

Traduire par phrases entières offre aussi l’avantage non négligeable de mieux traiter les langues dont l’ordre des mots diffère fortement de celui de l’anglais ou du français, comme l’allemand ou les langues asiatiques et celui de générer des traductions plus fluides et naturelles².

Selon Koehn, il reste cependant une importante marge de progression car :

- les méthodes de personnalisation et d’adaptation n’ont pas encore été développées pour les systèmes neuronaux ;

- le vocabulaire reste limité à cause des restrictions qu’impose le matériel informatique.

Les modèles actuels sont entraînés avec un vocabulaire de 50'000 mots et dans le cas où ils dépasseraient ce nombre, les mots excédentaires sont fragmentés, ce qui représente

2 https://www.linguacustodia.finance/fr/lapprentissage-par-reseau-de-neurones-pour-les-outils-de-traduction-automatique/ (consulté le 6 mai 2019)

22

un réel problème pour étendre ces systèmes à des domaines qui comportent une vaste terminologie ;

- seules des études pilotes ont développé des techniques d’adaptation à des domaines, mais les recherches n’ont pas encore dépassé ce stade ;

- plusieurs indicateurs montrent que les systèmes neuronaux requièrent une grande quantité de données pour être efficaces ; or la quantité nécessaire pour surpasser les modèles basés sur les phrases n’a pas encore été établie ;

- il est difficile de débugger les systèmes neuronaux. En effet, contrairement aux systèmes statistiques basés sur les phrases où il est possible d’identifier la raison pour laquelle le système a traduit d’une telle manière et d’y remédier, les chercheurs ont pour l’heure peu d’espoir de trouver un moyen de le faire pour les systèmes neuronaux ;

- corriger les erreurs de traduction produites par les systèmes neuronaux est une tâche complexe, car ces derniers ont tendance à générer des phrases où certains mots semblent coller au contexte, mais n’ont en réalité pas grand-chose à voir avec la phrase source³ ; - en règle générale, les systèmes neuronaux rencontrent des problèmes à partir du moment où les textes à traduire diffèrent fortement des conditions d’entraînement. (Koehn 2017, 90) ;

Malgré les problèmes précités, il est important de garder à l’esprit que cette technologie est encore très récente et que la recherche se met en place afin de trouver à brève échéance des réponses à ces problèmes.

Afin de comprendre l’état actuel des systèmes neuronaux, il est intéressant de se placer du point de vue des fournisseurs de traduction automatique, car l’objectif des grands acteurs du milieu que sont Google, Microsoft Translator et les nouveaux arrivants tels que DeepL est de permettre à n’importe qui de traduire n’importe quoi n’importe quand. Pour remplir ce cahier des charges, les systèmes doivent être en mesure de couvrir autant de domaines que possible et sont donc entraînés avec des quantités de données gigantesques. Cette méthode a ses avantages, mais elle accentue surtout certaines faiblesses. En effet, au moment de traduire, le système génère la meilleure traduction possible à partir de l’énorme quantité de données dont il dispose. Il détermine ainsi statistiquement quelle traduction est la plus appropriée et va donc se focaliser sur la phrase à traduire plutôt que sur le texte complet pour identifier le contexte. Or, certaines phrases, prises individuellement, peuvent être comprises de différentes manières sans le

3 https://omniscien.com/state-neural-machine-translation-nmt/ (consulté le 7 mai 2019)

23

contexte élargi et il peut arriver que le système choisisse le mauvais domaine et traduise une phrase hors du contexte général du texte. Pour éviter ce problème, certains fournisseurs de traduction automatique ont donc mis au point des systèmes personnalisés conçus pour remplir une fonction précise qu’ils ont entraînés avec des contenus moins denses et spécialisés dans un domaine. Ils produisent ainsi des traductions directement ancrées dans le domaine topique, moins ambigües et globalement de meilleure qualité.⁴

En l’état, il serait néanmoins trompeur de dire que les systèmes neuronaux approcheront bientôt le niveau de qualité des traductions humaines et cela pourrait engendrer des attentes irréalistes ; mais il est toutefois indéniable qu’ils sont aujourd’hui la technologie de traduction automatique la plus prometteuse. Ils affichent en effet les meilleurs résultats lors des dernières évaluations et ont été adoptés rapidement par de nombreux acteurs du marché, tels que Google et Systran.

Cette technologie a cependant encore besoin de faire ses preuves, notamment lorsqu’elle doit traduire des textes issus de domaines qu’elle n’a pas encore abordés et dans des conditions où elle manque de ressources. Ces problèmes devraient être résolus au moins en partie au cours des années à venir.

Nous allons maintenant présenter les trois traducteurs automatiques neuronaux qui seront utilisés au cours de notre expérience.

2.2.3.1 DeepL Traducteur

La genèse de DeepL est racontée sur son site officiel www.deepl.com⁵. Elle débute en 2007, lorsque Gereon Frahling quitte son poste chez Google Research et commence à développer un moteur de recherche de traductions. Leo Fink et lui programment des « crawlers », des algorithmes qui seront utilisés par Linguee pour collecter des traductions sur internet, et des systèmes d’apprentissage machine. En 2009, Linguee, le premier moteur de recherche pour les traductions, est lancé. De nouvelles paires de langues deviennent disponibles au fil du temps et le moteur gagne rapidement en popularité auprès des utilisateurs. A partir de 2014, Linguee développe des outils d’apprentissage machine que les concepteurs entraînent avec les traductions récoltées pour le développement de leur moteur de recherche. Grâce à l’expérience accumulée dans le domaine de l’intelligence artificielle, la société lance le projet d’un système de réseaux neuronaux pour la traduction de tous types de textes en 2016, et DeepL Traducteur est officiellement lancé publiquement en août 2017. En mars 2018, DeepL (anciennement

4 https://omniscien.com/riding-machine-translation-hype-cycle/ (consulté le 7 mai 2019)

5 https://www.deepl.com/press.html (consulté le 9 mai 2019)

24

Linguee), lance DeepL Pro, un service de traduction en ligne optimisé qui permet d’intégrer un plug-in de logiciel pour donner la possibilité aux traducteurs d’intégrer le traducteur automatique à leur logiciel de traduction, tels que SDL Trados ou memoQ. Outre l’aspect pratique, cette version professionnelle assure une protection élargie des données des utilisateurs puisque les textes et leurs traductions ne sont pas conservés ou utilisés pour l’entraînement du réseau neuronal.

Figure 8 : Interface de DeepL (https://www.deepl.com/translator)

Derrière ce traducteur en ligne se cache un superordinateur basé en Islande dont la puissance de calcul est de 5,1 pétaFLOPS, soit 5 100 000 000 000 000 opérations par seconde, suffisant pour traduire un million de mots en moins d’une seconde. Les développeurs l’utilisent pour entraîner les réseaux neuronaux de traduction à partir des textes multilingues récoltés, qui apprennent sans assistance humaine à traduire en respectant la grammaire et la structure des textes. DeepL est aujourd’hui capable de traduire en 9 langues (français, anglais, allemand, espagnol, portugais, italien, néerlandais, polonais et russe), soit 72 combinaisons possibles et d’autres réseaux sont en cours d’entraînement pour intégrer à terme le mandarin et le japonais.

DeepL a également créé une interface de programmation applicative (API en anglais) qui

25

permet aux développeurs de créer des applications de traduction en direct pour vidéo et chat, des extensions de navigateur, des clients de messagerie, des services de traduction en réalité augmentée etc.

Selon les informations trouvées sur le site officiel de DeepL, ce traducteur aurait été préféré à ses concurrents comme Google Traduction ou Bing Microsoft Translator lors de blind-tests, les évaluateurs ayant apparemment choisi les versions de DeepL Traducteur trois fois plus souvent que les autres. De plus, les évaluations automatiques semblent aussi aller dans ce sens. Selon notre propre expérience au cours de notre formation, les traductions produites par ce traducteur sont étonnantes de par leur qualité, tant au niveau de la fluidité qu’au niveau grammatical.

Il nous paraît néanmoins important de souligner que nous avons surtout eu l’occasion de tester la qualité des traductions de textes techniques sur DeepL, moins de textes littéraires ou de langue parlée. Cependant, la réputation de ce traducteur automatique comme étant le plus performant et notre expérience personnelle lors de diverses utilisations l’ont fait apparaître comme tout indiqué dans le cadre de notre expérience, la traduction de gros mots, étant vraisemblablement un aspect de la langue moins développé et entraîné que d’autres.

2.2.3.2 Google Traduction

Google Traduction a été lancé en avril 2006 sur la base d’un système statistique qui traduisait d’abord le texte source en anglais puis le traduisait dans la langue demandée. Ses corpus étaient basés sur des documents des Nations Unies et du Parlement européen. Google a décliné son traducteur en application Android en janvier 2010 et a sorti une version iOS en février 2011⁶. A partir de 2016, le système statistique a été remplacé par un réseau neuronal, fonctionnel pour traduire entre le mandarin et l’anglais, avant d’être étendu à d’autres langues. Ce changement a non seulement permis au système de traiter des phrases entières au lieu de parties comme le faisait auparavant le système statistique, mais aussi de ne plus avoir à passer par l’intermédiaire de l’anglais pour traduire d’une langue à l’autre. Google Traduction est aujourd’hui capable de traduire dans 103 langues différentes, soit davantage que n’importe quel autre traducteur automatique, et bénéficie du travail accompli dans le monde entier par des utilisateurs qui participent à son amélioration en traduisant des textes, ce qui lui fournit ainsi des traductions humaines pour s’entraîner. Ces changements de mode de fonctionnement ont ainsi globalement amélioré la qualité des traductions de 60%, même si la qualité n’est pas la même dans chaque

6 https://www.independent.co.uk/life-style/gadgets-and-tech/news/google-translate-how-work-foreign-languages-interpreter-app-search-engine-a8406131.html (consulté le 9 mai 2019)

26

paire de langues. Les traductions entre l’anglais et le français sont par exemple en l’état bien plus probantes que celles entre le mandarin et l’anglais⁷.

Figure 9 : Interface de Google Traduction (https://translate.google.com/?hl=fr)

Google Traduction a également la particularité de pouvoir traduire différents documents ou médias. Il propose la traduction de mots, de sites web, de documents (.doc, .docx, .odf, .pdf, .ppt, .pptx, .ps, .rtf, .txt, .xls, .xlsx), par saisie vocale, d’images, de texte dans d’autres applications ou encore d’écriture manuscrite⁸.

Nous avons choisi de réaliser notre expérience avec Google traduction, car c’est sans doute le traducteur automatique en ligne le plus connu et utilisé à travers le monde. Il représente ainsi un bon point de repère du fait que la plupart des personnes non professionnelles du domaine pensent à Google Traduction lorsque l’on évoque le sujet de la traduction automatique. De plus, Google s’est (et a) beaucoup investi dans ce traducteur et il nous a dès lors paru intéressant de le mettre à l’épreuve dans le cadre de notre expérience.

2.2.3.3 Bing Microsoft Translator

Bing Translator est la plateforme en ligne intermédiaire du traducteur automatique Microsoft Translator. Bing Translator a été lancé en 2007 (sous le nom de Windows Live translator). Ce traducteur a d’abord fonctionné sur la base d’un système statistique (encore en fonction

7 https://www.argotrans.com/blog/accurate-google-translate-2018/ (consulté le 9 mai 2019)

8 https://support.google.com/translate/answer/6142468?hl=fr&ref_topic=7011659 (consulté le 9 mai 2019)

27

aujourd’hui) puis d’un système neuronal, implémenté en mai 2018. D’après les informations trouvées sur le site officiel de Microsoft⁹, le système statistique utilise un corpus parallèle et les méthodes statistiques ainsi que des informations linguistiques pour améliorer la qualité de ses traductions. La traduction automatique neuronale de Microsoft Translator fonctionne pour toutes les langues supportées, soit plus de 60 langues naturelles. Le système prend en compte la phrase entière pour respecter autant que possible le contexte de la phrase source et générer des traductions plus fluides que celles produites par la méthode statistique.

Figure 10 : Interface de Bing Microsoft Translator (https://www.bing.com/translator)

Microsoft Translator Text API est une interface de programmation applicative utilisée depuis 2007 par Microsoft et disponible depuis 2011 pour les clients de la société. Ce service, qui permet de traduire du texte, des sites web et des applications est intégré aux produits de Microsoft tels que Bing, Cortana, Office ou Skype. Il est aussi utilisé dans la traduction de la parole depuis 2014 (dans Skype Translator) et a été ouvert aux clients sous forme d’API au

9 https://www.microsoft.com/en-us/translator/business/translator-api/ (consulté le 10 mai 2019)

28

début de l’année 2016. La technologie de traduction vocale est intégrée aux applications Microsoft Translator sous Android, iOS et Windows¹⁰.

L’objectif de notre mémoire étant d’évaluer l’efficacité des traducteurs automatiques pour gérer la traduction de gros mots en contexte, nous avons sélectionné un autre acteur important de la traduction automatique, qui plus est facilement accessible. Nous avons donc décidé d’utiliser le traducteur de Microsoft pour notre expérience. Il constitue ainsi un troisième point de comparaison, développé par un acteur majeur de la traduction dans le monde et qui développe des technologies linguistiques depuis de longues années déjà. De plus, il nous permettra d’observer les différences qui pourraient exister entre Microsoft Translator et Google Traduction.