7.3 Expérimentations
7.3.1 CDG Treebank
Nous évaluons notre méthode sur le CDG Treebank, contenant 3 030 structures de dépendances dans lesquelles sont utilisées des dépendances projectives, des dépendances non-projectives et des ancres. Nous souhaitons d’une part comparer les résultats de notre méthode avec d’autres méthodes d’analyse par transition et d’autre part adapter des corpus standards à notre méthode.
•Les données sont alors exploitées sous trois formes différentes :
• Les structures d’origines du CDG Treebank sont préservées pour effectuer des expérimenta- tions avec la méthode que nous proposons. Dans cette section nous nommons alors le corpus CDG Treebank 1.
• Les ancres des structures non-projectives sont retirées pour effectuer des expérimentations avec des méthodes d’analyse standards.
• Les ancres d’origines sont retirées et remplacées par des ancres assignées automatiquement dans le but de montrer qu’un corpus standard peut être adapté facilement à notre méthode. Le corpus résultant est nommé CDG Treebank 2.
Les ancres apparaissant dans les structures de dépendances d’origine sont spécifiques aux CDG dans le sens où elles résultent de la définition des types des grammaires catégorielles de dépen- dances qui ont été manuellement construits et donc linguistiquement réfléchis. Cependant la fi- nalité des ancres des CDG est la même que celles des dépendances qui peuvent être produites à l’aide de méthode de projectivisation : proposer des dépendances projectives alternatives aux dé-
pendances non-projectives. Nous utilisons donc la méthode de projectivisation employée parNivre
et Nilsson (2005) (initialement employée par leur méthode d’analyse pseudo-projective) sur le CDG Treebank dépourvu des ancres d’origines. L’algorithme de projectivisation est présenté dans
la sous-section2.3.2du chapitre2. Les dépendances projectives (en ce cas des ancres artificielles)
qui en résultent ne sont alors pas substituées aux dépendances non-projectives mais ajoutées aux structures pour obtenir un corpus adoptant la représentation mixte des CDG. Nous obtenons fi- nalement un CDG Treebank 2 très similaire au CDG Treebank 1 puisque 90,9 % des ancres sont identiques (i.e. obtiennent la même tête).
• Le système de prédiction que nous employons pour effectuer les étapes non-projectives de
la méthode est le même que dans le chapitre précédent (section 6.3.2). Nous utilisons donc un
SVM pour apprendre et prédire les transitions des systèmes. En outre, les patrons de traits sont adaptés aux systèmes mais sont dans l’ensemble également les mêmes. En ce qui concerne l’étape
projective, le MaltParser (Nivre et al., 2006a) est utilisé et repose également sur un système de
prédiction exploitant l’efficacité des SVM.
Dans le cadre d’une comparaison avec d’autres systèmes d’analyse par transition, nous choisis- sons de conduire les expérimentations sur les algorithmes proposés par le MaltParser et de présen- ter ceux ayant les meilleurs résultats dans deux catégories différentes :
• le système covnonproj (Covington, 2001), proposant une analyse non-projective en un seul
traitement ;
• le système arc-eager associé à la méthode pseudo-projective (Nivre et Nilsson,2005) permet-
tant de retrouver les dépendances non-projectives par déprojectivisation.
Les patrons de traits employés pour ces systèmes sont déterminés à l’aide du MaltOptimizer (Bal-
lesteros et Nivre,2012).
• Les critères d’évaluation demeurent identiques à ceux exposés dans le chapitre précédent.
Nous procédons à des évaluations croisées et chaque partie de test est pré-étiquetée grammati-
calement par Melt (voir la section 6.5) avant analyse. La comparaison des scores d’analyse en
dépendances se fait alors suivant les critères classiques : LA, LAS et UAS. Dans un souci d’équité, les scores d’attachement comprennent uniquement les résultats sur les dépendances projectives et sur les dépendances non-projectives mais n’incluent pas les scores sur les ancres dans le cas de notre méthode. En outre, les ponctuations ne sont pas incluses dans le calcul des différents scores.
• Les résultats des expérimentations sont présentés dans le tableau 7.6. Notons, dans un pre- mier temps que les scores obtenus par la méthode que nous proposons (3-4), sur les dépendances projectives, surpassent (+0,9/0,8 LAS) ceux de la méthode covnonproj (1) mais équivalent (- 0,1/0,2 LAS) les résultats de la méthode pseudo-projective (2). La méthode covnonproj (1), joi- gnant la prédiction des dépendances projectives et des dépendances non-projectives dans un même système, atteint des scores inférieurs sur les dépendances projectives alors que la méthode projec- tive arc-eager permet d’obtenir de bons scores sur les dépendances projectives dans les deux si- tuations dans lesquelles elle est employée, (2) et (3-4). En (2) il s’agit de prédire les dépendances projectives d’origine et les dépendances projectives contenant une information, encodée dans leurs étiquettes, sur les dépendances non-projectives auxquelles elles sont associées. Tandis qu’en (3-4) il s’agit de prédire les dépendances projectives et les ancres sans différenciation des unes par rapport aux autres. Dans le premier cas (2), on obtient alors des scores très légèrement supérieurs (mais pas significativement) pour les dépendances projectives mais la précision des étiquettes (LA) est inférieure (-2,0) pour les dépendances non-projectives et occasionnent des scores très inférieurs en LAS (≈-13,4) et UAS (≈-12,9) pour ces dépendances. Dans le cas de la méthode que nous pro-
posons, la bonne prédiction des ancres et en particulier de leurs étiquettes syntaxiques4 semble
donc profitable à la reconnaissance des dépendances non-projectives. En résumé, notre méthode permet donc d’obtenir de meilleurs scores sur les dépendances non-projectives et également sur l’ensemble des dépendances.
Toutes dép. Dép. Projectives Dép. Non-Proj.
LA UAS LAS LA UAS LAS LA UAS LAS
(1)covnonproj 82,2 85,5 78,0 82,8 86,2 78,7 68,7 68,7 62,7
(2)pseudo-proj 5 83,6 85,9 78,7 84,1 87,0 79,7 73,5 56,9 53,5
(3)non-projLR (CDGTbk1) 83,7† 86,3‡ 79,1‡ 84,1† 86,9† 79,6† 75,5† 70,2 † 66,3‡
(4)non-projLR (CDGTbk2) 83,7† 86,2† 79,0‡ 84,1† 86,9† 79,5† 75,5† 70,5 † 66,7‡
TABLE7.6 – Résultats des expérimentations sur le CDG Treebank. Notre méthode (3-4), ici nommée
non-projLR, est comparée aux méthodes covnonproj et pseudo-projective (+arc-eager) du MaltPar- ser. Le symbole † signifie que les scores de notre méthode (3-4) sont significativement supérieurs (à
0,5 %, conformément au test de Student) à la méthode covnonproj et le symbole † signifie que les
scores sont significativement supérieurs à la méthode pseudo-projective (+arc-eager). Le symbole ‡ signifie que les scores sont significativement supérieurs aux deux méthodes.
En examinant plus en détail les résultats sur les dépendances non-projectives, il est égale- ment à noter que des différences persistent entre les dépendances droites et les dépendances
gauches (comme observé dans le chapitre précédent, section6.5). En effet, les dépendances non-
projectives gauches atteignent des scores supérieurs (75,0 % LAS) par rapport aux dépendances non-projectives droites (42,7 % LAS). Néanmoins ces scores sont supérieurs à ceux obtenus par la méthode que nous avons proposée dans le chapitre précédent et en particulier sur les dépendances non-projectives droites (+24,6). Nous savons donc qu’il est nécessaire, dans le cadre du formalisme
4Les systèmes non-projectifs droits et gauches exploitent en particulier, dans leurs traits, des informations sur les
étiquettes des ancres prédites en amont pour prédire les dépendances non-projectives. Les résultats sur les ancres, après l’étape projective, sont de 75,5 % en LA, 89,0 % en UAS et 72,1 % en LAS dans le cadre de notre méthode sur le CDGTbk1 (3) et de 75,5 % en LA, 87,5 % en UAS et 72,5 % en LAS sur le CDGTbk2 (4). Le score LA des dépendances ancres et des dépendances non-projectives est le même puisqu’il s’agit du pourcentage de mots pour lesquels la bonne étiquette a été trouvée (quelle que soit la sorte de la dépendance : projective ou non-projective). Ce score bénéficie donc tout d’abord de la bonne prédiction des ancres.
sur lequel nous travaillons, d’effectuer une analyse de droite à gauche pour trouver plus efficace- ment les dépendances non-projectives droites. Il est en effet très important de prédire le dépendant de la dépendance avant sa tête et ce dépendant peut être lui-même prédit plus efficacement si une ancre avec la bonne étiquette fut prédite lors de l’étape projective. Les scores éloignés des dépen- dances non-projectives gauches et droites découlent assurément des scores obtenus sur les ancres. Seulement 51,4 % des dépendances non-projectives droites reçoivent la bonne étiquette de dépen- dance (LA) tandis que ce score atteint 84,2 % pour les dépendances non-projectives gauches. Nous
supposons que la sous-représentation des dépendances non-projectives droites dans les données6
est une des explications principales de leurs faibles scores. Cependant, l’analyse des résultats en fonction des étiquettes de dépendances nous montre que même les dépendances associées à des dépendances fréquentes obtiennent des scores faibles. De plus, sur l’ensemble des dépendances (projectives et non-projectives) nous remarquons que les scores sur les dépendances droites sont également inférieurs aux scores sur les dépendances gauches. Le problème soulève alors de nou- velles interrogations quant à l’utilisation de systèmes d’analyse par transition effectuant commu- nément les analyses de gauche à droite.
Par ailleurs, nous avons expérimenté notre méthode sur les CDG Treebank 1 et 2 dans le but de comparer leurs résultats. Les deux corpus étant très similaires, les résultats sont équivalents, bien que très légèrement supérieurs sur les dépendances non-projectives dans le cas du CDG Treebank 2. L’utilisation des ancres artificielles dans le corpus est donc semblable à l’utilisation des ancres d’origines. En conséquence, la méthode est adéquate et peut être adaptée pour l’analyse d’autres langues à partir de corpus en dépendances standards.
Notons que les expérimentations étant effectuées ici sur les données du CDG Treebank, les scores obtenus sont difficilement comparables à ceux obtenus pour le français sur les données
du French Treebank (FTB) (Abeillé et al., 2003) en utilisant le MaltParser (scores supérieurs à
87 % en LAS). Le CDG Treebank, d’une part contient beaucoup moins de phrases que le FTB et d’autre part suit un schéma d’annotation dont le jeu d’étiquettes syntaxiques est beaucoup plus
étendu7 et comprenant un nombre important de fonctions syntaxiques pouvant être associées à
des dépendances non-projectives.