de phrases dans la langue cible. Si nous supposons que le corpus d’apprentissage est constitué de
phrases syntaxiquement correctes, alors les suites de mots les plus fréquentes ont plus de chances
d’être correctes syntaxiquement [Brown et al., 1990]. À chaque suite de mots, est associé une
vraisemblance, calculée sur la base de sa fréquence d’apparition dans le corpus, qui estime la
qualité de la suite.
Au moment de la construction des traductions, le calcul de la vraisemblance P(e) d’une
hypothèse de traductione={e1, e2, . . . , em}, dem mots, est fait comme suit :
P(e) =
m
Y
i=1
P(ei|e1, ..., ei−1) (1.6)
Oùei représente le iéme mot de la traduction e. La probabilité P(ei|e1, . . . , ei−1) représente
la probabilité d’avoir le motei dans une traduction sachant la suite de mots qui le précède. De
cette manière, plus l’hypothèse de traduction est composée de suites de mots fréquentes dans la
langue cible, plus elle a une meilleure probabilité d’être syntaxiquement correcte dans la langue
cible.
En pratique l’apprentissage et l’estimation de telles probabilités, pour des phrases longues,
s’avèrent impossible du fait du nombre de données disponibles qui ne le permettent pas. C’est
pour cela que dans les modèles de langage, la taille maximale des suites de mots à prendre en
considération est limitée. Ces modèles sont appelés modèlesn-grammes, oùnreprésente la taille
maximale des suites de mots. Dans ce cas, l’estimation de la vraisemblanceP(e) est simplifiée
comme suit :
P(e) =
m
Y
i=1
P(ei|ei−n+1, ..., ei−1) (1.7)
Si un système de traduction, d’une langue source vers l’anglais, propose l’hypothèse de
tra-ductione= ”the green house”, alors la probabilité dee, selon un modèle de langue3-grammes
(voir Figure1.10), est calculée comme suit :
— P(e)= P(the) x P(green|the) x P(house|the green) x P(.|green house)
Le plus grand problème des modèles de langage statistique est le fait que les corpus
d’appren-tissage ne couvrent pas tous les mots et les suites de mots d’une langue. C’est pourquoi, des
techniques de lissage [Chen and Goodman, 1999] sont appliquées au cours de l’apprentissage,
pour éviter d’avoir des probabilités nulles au moment de l’estimation de la probabilité du modèle
de langue d’une hypothèse de traduction contenant des suites de mots inconnues du modèle. Le
lissage par repli (back-off) [Katz, 1987] est l’une des techniques les plus utilisées dans les systèmes
de traduction et que nous expliquons à travers cet exemple.
Si un 3-grammes (une suite de 3 mots dans la traduction) n’existe pas dans le modèle de
langue, comme c’est le cas pour la suite "green house .", nous redescendons à un modèle 2
-grammes en estimant la probabilité P(.|house), si ce dernier n’existe pas non plus, alors on
estime la probabilité du1-grammeP(.). Cette technique est appelé leback-off. La probabilité de
la traduction de l’exemple précédent, est calculée comme suit en utilisant les probabilités de la
figure1.10 :
— P(e)= P(the) x P(green|the) x P(house|the green) x P(.)
— P(e)= 0,5 x 0,45 x 0,38 x 0,89 = 0,076095
Si un mot de la traduction n’existe pas dans le modèle de langue, sa probabilité est remplacée
par celle du mot "unk"qui représente tous les mots inconnus, qui n’existent pas dans le corpus
d’apprentissage. Durant l’apprentissage, un seuil de fréquence d’apparition des mots, dans le
corpus, est utilisé pour sélectionner les mots à prendre en compte pour la construction du modèle
de langue. Les autres mots, ayant une fréquence d’apparition inférieure au seuil, sont remplacés
par le mot "unk" qui est rajouté à l’ensemble des mots pris en compte pour l’apprentissage.
De nos jours, les modèles de langage qui permettent d’atteindre les meilleures performances de
traduction sont des modèles 5-grammes.
1.4.4 Décodeur
La dernière composante d’un système de traduction automatique statistique est ce qu’on
appelle le décodeur. Dans le décodeur, un algorithme est implémenté pour la recherche et la
construction de la meilleure traductioneˆ, pour une phrase sourcef en entrée.
En pratique, le décodeur prend en entrée la phrase source f et la décompose en segments
sur la base des informations sauvegardées dans la table de traduction. Par la suite, le décodeur
traduit chaque segment vers la langue cible, toujours en se basant sur la TT. Selon l’algorithme
implémenté au niveau du décodeur, une dernière étape peut être ajoutée, dans laquelle les
seg-ments cibles sont réorganisés afin de trouver le bon ordre dans la langue cible. La segmentation
et les liens entre les segments sources et cibles définissent l’alignement (a) au niveau du segment.
Au niveau du décodeur TAS, le processus de traduction est considéré comme un problème
d’optimisation combinatoire difficile (Équation 1.8). En effet, pour une phrase source donnée,
l’espace de recherche est énorme en raison du nombre de segmentations possibles de la source et
du grand nombre de traductions possibles pour chaque segment source. Ajoutons à cette
com-plexité, le réordonnancement (réorganisation des segments cibles) à appliquer sur la phrase cible
pour construire une traduction syntaxiquement correcte. Donc, dans le décodeur, un algorithme
d’optimisation est implémenté pour construire la traductioneˆ, qui maximise la probabilité
condi-tionnelleP(e, a|f). Cette probabilité est estimée essentiellement, sur la base du score du modèle
de langueP(e)et du score du modèle de traduction P(f|e, a).
De nos jours, les systèmes de TAS combinent avec les deux scores de base, d’autres scores
estimés par d’autres modèles, qui évaluent d’autres caractéristiques de la traduction. Ces
nou-veaux scores sont ajoutés dans le but d’améliorer la qualité de l’évaluation des hypothèses de
traduction au moment du décodage. En combinant tous les scores, le problème d’optimisation à
résoudre au niveau du décodeur est reformulé comme suit :
ˆ
e=argmax
e,a
|h|
Y
i=1
hi(f, e, a)λ
i(1.8)
hi est la fonction qui calcule le score duième modèle.λi est un poids associé à la fonctionhi.
Les poidsλi sont intégrés dans la formule, pour donner à chaque fonctionhi, un poids
d’impor-tance dans la combinaison par rapport aux autres fonctions de la combinaison.
Dans les systèmes de TAS, les scores estimés à partir des différents modèles, n’ont pas les
mêmes ordres de grandeur. Och et Ney [Och and Ney, 2003] ont proposé une fonction basée sur
le modèle log-linéaire, qui combine ces différents scores, pour l’évaluation des hypothèses de
traduction durant le décodage. L’approche log-linéaire permet de combiner plusieurs variables,
qui ne sont pas forcément dépendantes ni de même ordre de grandeur, afin de calculer un score
global estimant la qualité d’une hypothèse de traduction. L’application de l’approche log-linéaire
nous permet de reformuler le problème d’optimisation de la Formule1.8comme suit :
ˆ
e=argmax
e,a
|h|
X
i=1
λi×log(hi(f, e, a)) (1.9)
Les poidsλsont des paramètres numériques à optimiser, afin de mettre en place une fonction
d’évaluation guidant efficacement le processus de décodage vers la traduction optimale. Dans la
section suivante, nous détaillons ce processus d’optimisation, et dans les sections d’après, nous
présentons les plus importants décodeurs proposés pour la traduction automatique statistique
ainsi que les plus importants algorithmes d’optimisation des paramètresλ.
1.4.5 Optimisation des paramètres
L’optimisation des paramètresλconsiste à leur trouver des valeurs qui permettent de mettre
en place une fonction d’évaluation efficace. Cette fonction doit guider le décodeur dans son
pro-cessus de recherche vers des traductions optimales.
L’optimisation de ces poids pour un système de TAS, se fait sur un ensemble de
développe-ment composé denphrases sources{f1, ..., fn}et de leur traduction de référence{r1, ..., rn}. Le
but de l’optimisation est de trouver les valeurs des poidsλqui permettent de minimiser une
fonc-tion d’erreur (Err). Cette fonction d’erreur estime la différence entre les traductions des phrases
sources{ˆe1, ...,ˆen}, en sortie du décodeur, et les traductions de référence. Idéalement, pour
ef-fectuer cette optimisation, nous appliquons un algorithme d’optimisation classique en exécutant
le décodeur plusieurs fois et en ajustant l’ensemble des poids, jusqu’à une convergence vers un
jeu de poids optimal. Ce processus d’optimisation est défini comme étant la minimisation de la
somme des erreurs (différences) entre les traductions{ˆe1, ...,eˆn}et les références{r1, ..., rn} :
ˆ
λ=argmin
Dans le document
Algorithmes bio-inspirés pour la traduction automatique statistique
(Page 43-46)