Résultats

(D(S

₁

)∪

r∈rel(S1,δ1,δ2)

D(r))∩(D(S

₂

)∪

r∈rel(S2,δ2,δ2)

D(r))

3.3.3 Résultats

Notre extension considère les sens proches d’un autre en fonction d’un seuil

de similaritéδ

₁

_{sur la distance cosinus avec le lemme du sens cible, et un filtrage}

supplémentaire sur le vecteur de sens cible, avec un seuilδ

₂

_.

Ces deux seuils ont été paramétrés sur un corpus de développement. Ici, nous

avons utilisé la tâche 7 de SemEval 2007 (Navigli et al.,2007) pour fixer le meilleur

ensemble de paramètres puis testé sur la tâche 13 de SemEval 2015 (Moro et

Na-vigli,2015). Nous avons échangé les corpus dans un second temps. Ce choix a été

motivé pour présenter des résultats sur deux corpus de même nature.

Les cinq modèles présentés dans la section 3.2sont évalués séparément. Les

paramètresδ

₁

_etδ

₂

_{ont été estimés en les faisant varier dans les intervalles}[0.5,0.9]

avec un pas de0.1_.

Les résultats des meilleurs jeux de paramètres sur SemEval 2007 et

SemE-val 2015 sont présentés dans le tableautableau 3.1. La comparaison de notre

mé-thode par rapport aux deux systèmes de référence est présentée dans le tableau

tableau 3.2.

Les résultats montrent que notre extension améliore très significativement les

résultats obtenus par la mesure de Lesk. L’amélioration, sur SemEval 2007, est

d’environ +5 points de pourcentage pour la pire combinaison et de +7 points pour

la meilleure. Sur SemEval 2015 les améliorations oscillent entre +3 et +9 points.

Cependant, notre extension n’atteint pas les résultats du Lesk étendu ; ceci montre

que notre réseau lexical est un peu moins performant qu’un réseau créé

manuelle-ment (tel que WordNet).

Modèle

Meilleurs paramètres sur la tâche

SemEval 2007 SemEval 2015

δ

1

δ

2

δ

1

δ

2

Word2Vec 0,5 0,6 0,5 0,6

GloVe 0,5 0,6 0,5 0,7

Dépendances 0,6 0,8 0,6 0,8

Baroni (préd.) 0,5 0,5 0,5 0,6

Baroni (compt.) 0,6 0,6 0,5 0,8

Table 3.1 – Estimation des paramètres δ

₁

_et δ

₂

_{sur SemEval 2007 et SemEval}

2015.

Système ^Tâche

SemEval 2007 SemEval 2015

Chen et al.(2014) 75.80%

^†

-Lesk 68.70% 50.65%

Lesk étendu 78.01% 61.42%

VecLesk (Word2Vec) 73.30% 57.00%

VecLesk (GloVe) _73.00% 59.01_%

VecLesk (Dépendances) _{73.02% 56.40%}

VecLesk (Baroni (préd.)) _{73.52% 53.46%}

VecLesk (Baroni (compt.)) 75.29_{% 58.02%}

Table 3.2 – Score F1 sur les tâches SemEval 2007 et SemEval 2015 pour chacun

des modèles de vecteurs de mot par rapport aux références Lesk et Lesk étendu. Les

paramètresδ

₁

_etδ

₂

_{utilisés sont ceux estimés dans le précédent tableau sur}l’autre

tâche_{, pas celle qui est testée.}†_{Un biais est présent dans l’article référencé étant}

donné que les auteurs estiment leur paramètreδ ∈[−0.1,0.3]_{comparable au nôtre,}

Un point intéressant à noter est la différence de score obtenue entre les

diffé-rents modèles de vecteurs de mot. Les meilleurs résultats sur SemEval 2007

uti-lisent la méthode deBaroni et al.(2014) qui repose sur le comptage. Ceci tend à

montrer que les méthodes de création de vecteurs de mot moins récentes à base

de comptage sont parfois meilleures que les modèles prédictifs. Cependant, sur

SemEval 2015, c’est la méthode GloVe qui obtient les meilleurs résultats. Ces

fluctuations dans les résultats sont peut-être dues aux différentes natures des

mé-thodes de création des vecteurs de mot, ou bien dues aussi aux différents corpus

sur lesquels ils ont été entrainés. En tout cas, nous montrons que quel que soit le

modèle sous-jacent utilisé, notre méthode améliore systématiquement le score de

Lesk.

Par ailleurs, si l’on compare notre système à la meilleure méthode état de l’art

à notre connaissance (Chen et al., 2014) exploitant des ressources similaires aux

nôtres (un dictionnaire et des corpus non annotés), nous observons que nos

résul-tats sont les meilleurs sur les systèmes de DL à base de connaissances. En effet,

les auteurs estiment un paramètreδ_{similaire à nos}δ

₁

_etδ

₂

_{directement sur la tâche}

d’évaluation. Leurs scores varient entre 72.10% et 75.80% en fonction deδ_{. À}

no-ter que nous obtenons un score de 77.08% sur SemEval 2007 avec le meilleur jeu

de paramètres appris sur cette même tâche.

3.4 Conclusion

Dans ce chapitre nous avons présenté un modèle de vecteurs de sens,

représen-tant tous les sens issus d’un dictionnaire. Ce modèle est construit en s’appuyant

sur les définitions du dictionnaire et sur un modèle de vecteurs de mot existant.

Notre méthode consiste à sommer les vecteurs de mot présents dans la définition,

pondérés en fonction de leur partie du discours ainsi que de leur fréquence.

Nous avons créé cinq modèles de vecteurs de sens, distribués librement

⁸

,

cha-cun reposant sur un modèle de vecteurs de mot différents.

Ces modèles sont ensuite utilisés comme un réseau lexical pour améliorer un

système de DL fondé sur l’algorithme de Lesk. Nous utilisons une méthode

simi-laire àBanerjee et Pedersen(2002) avec comme différence principale l’utilisation

d’un réseau lexical construit totalement automatiquement.

Les résultats que nous obtenons sur deux tâches de DL montrent une

amélio-ration systématique du score par rapport à la mesure de Lesk classique (d’environ

8. https://persyval-platform.univ-grenoble-alpes.fr/DS117/detai

+3 points de pourcentage à +9 points selon le modèle).

Nous avons appliqué notre méthode uniquement sur la base lexicale WordNet

pour évaluer nos modèles sur des tâches très connues en DL sur la langue anglaise.

Cependant, notre méthode peut être appliquée très facilement à d’autres langues

où les ressources sont moindres : un dictionnaire classique ainsi que des corpus

non annotés sont les ressources suffisantes pour créer ainsi un système de

désam-biguïsation lexicale performant.

Chapitre 4

UFSAC : Unification de corpus

annotés en sens

4.1 Introduction

Les corpus annotés en sens sont une ressource centrale pour la DL. En effet, ils

sont indispensables d’une part pour l’apprentissage des systèmes supervisés, qui

sont généralement les plus performants, mais aussi pour l’évaluation de tous les

systèmes de DL. L’évaluation des systèmesin vivo_{, c’est-à-dire en intégrant la DL}

à une tâche plus large, étant encore peu exploitée.

Depuis sa création, WordNet (Miller et al.,1990) est sans aucun doute

l’inven-taire de sens et la base de données lexicale la plus connue et la plus utilisée pour la

désambiguïsation de l’anglais. C’est aujourd’hui un standardde facto_{utilisé pour}

l’annotation de la vaste majorité des corpus annotés en sens, et même les autres

inventaires de sens qui sont parfois utilisés (tels que BabelNet, ou l’inventaire de

sens de l’Ontonote) sont aussi reliés à WordNet.

Malgré cette prédominance de WordNet, deux problèmes majeurs freinent

l’utilisation des corpus annotés en sens. Premièrement, les corpus n’utilisent pas

tous la même version de l’inventaire de sens, et les étiquettes de sens entre

diffé-rentes versions sont incompatibles entre elles. Deuxièmement, chaque corpus est

distribué dans un format qui lui est propre et qui est parfois très différent des autres

corpus. La conséquence de ces deux problèmes est que très peu de travaux dans la

littérature de la DL entraînent ou évaluent un système sur plus d’un ou deux corpus

annotés en sens.

l’éva-luation (par exemple les corpus issus des campagnes SensEval/SemEval) et ceux

créés dans d’autres buts, comme l’apprentissage ou l’estimation des distributions

de sens, sont très rarement utilisés d’une façon différente de celle initialement

pré-vue.

Dans ce chapitre, nous présentons un travail d’unification des corpus anglais

annotés en sens WordNet, dans un format unique, simple à comprendre et simple

d’utilisation. Nous mettons sur le même plan les corpus créés pour l’évaluation ou

pour l’apprentissage, afin de faciliter la création de nouveaux systèmes de DL qui

pourraient par exemple exploiter l’ensemble des corpus disponibles pour

l’appren-tissage à l’exception d’un pour l’évaluation, puis répéter l’expérience en changeant

le corpus d’évaluation.

Dans ce but d’unification, nous avons ainsi créé le format UFSAC (Unified

Format for Sense Annotated Corpora), et nous fournissons à la communauté tous

les corpus annotés en sens que nous connaissons, dans ce format, avec toutes les

étiquettes de sens converties à la dernière version de WordNet (la 3.0). Nous

four-nissons aussi une bibliothèque Java permettant de facilement lire, écrire et modifier

des corpus dans ce format, ainsi qu’un ensemble de scripts permettant de convertir

les corpus d’un format à un autre.

Les travaux présentés dans ce chapitre sont issus d’un de nos articles de

confé-rence (Vial et al., 2018b) (en anglais) lui-même étant la continuité d’un autre de

nos articles (Vial et al.,2017b) (en français).

4.2 Corpus annotés en sens

Les corpus annotés en sens sont des ressources rares et coûteuses. En effet, la

Global WordNet Association recense une liste de 26 corpus annotés avec

l’inven-taire de sens de WordNet

¹

. Ces corpus concernent 17 langues, mais seulement trois

d’entre elles possèdent au moins 100 000 annotations. L’anglais, avec plus de deux

millions de mots annotés en sens arrive en tête, devant le néerlandais avec environ

300 000 annotations et le bulgare avec 100 000 annotations. Cela est d’ailleurs une

des raisons qui explique pourquoi la plupart des recherches scientifiques en DL se

focalisent sur l’anglais.

Comme abordé dans lasection 1.3.2, l’anglais dispose ainsi de nombreux

cor-pus annotés en sens, créés avec différents objectifs et s’appuyant sur différents

inventaires de sens.

Après leur distribution, il n’existe aucune raison scientifique de ne pas utiliser

indifféremment ces corpus soit pour exploiter leurs exemples pour la construction

d’un système de désambiguïsation lexicale, soit pour évaluer de tels systèmes, soit

pour estimer une distribution des sens. D’ailleurs, le SemCor est utilisé depuis

longtemps dans la construction de systèmes de désambiguïsation lexicale (Chan

et al.,2007b;Navigli et al.,2007) ou même dans le cadre de l’évaluation parYuan

et al.(2016). Cette dernière utilisation est tout de même assez rare puisque c’est

l’une des seules expériences que nous avons pu trouver dans la littérature avec

Màrquez et al.(2002).

Cependant, le format des ressources distribuées diffère fortement suivant leur

utilisation d’origine, ce qui peut être un frein à leur utilisation. Pour l’estimation de

la distribution des sens ou la construction d’un système de désambiguïsation

lexi-cale par exemple, un seul fichier regroupe toutes les informations tandis que dans le

cas de l’évaluation, il y a deux fichiers, l’un qui contient les données non-annotées

en sens et l’autre qui ne contient que les annotations. Enfin pour certains corpus,

comme le DSO et l’OMSTI, il y a un fichier pour chaque lemme du dictionnaire,

et chaque fichier contient des exemples de phrases dans lesquelles ce lemme est le

seul mot annoté en sens.

La liste de tous les corpus annotés en sens portés à notre connaissance,

utili-sant un inventaire de sens de WordNet, ou relié à WordNet se trouve dans la

sec-tion 1.3.2. Dans letableau 1.1, nous faisons un récapitulatif des différents

inven-taire de sens utilisés dans ces corpus. Comme nous pouvons le voir, ces inveninven-taires

sont très variables, et même si la majorité utilise WordNet 3.0 ou y est relié, il n’y

a pas de comptatibilité directe des étiquettes de sens avec les anciennes version de

WordNet, BabelNet ou Ontonotes.

Dans le document Modèles neuronaux joints de désambiguïsation lexicale et de traduction automatique (Page 126-132)