Bien que les approches existantes pour l’extraction d’événements présentent des diffé-
rences importantes, il est possible de les comparer selon plusieurs axes :
— les systèmes ou les différents modules d’un système peuvent être plus ou moins
dépendants du domaine concerné ;
— les modèles peuvent exploiter un degré variable de connaissances linguistiques ;
— la conception des modèles peut nécessiter plus ou moins de données annotées.
Les premiers systèmes d’extraction d’information à partir d’un texte (Hobbs,1986) se
voulaient universels. Ils ne faisaient pas l’hypothèse de l’existence d’un domaine particulier
ou d’un type d’information spécifique à extraire. Ces systèmes visaient à réaliser une ana-
lyse complète du document (syntaxique, sémantique et pragmatique) afin de comprendre
le texte dans son ensemble. Bien que cette approche soit théoriquement pertinente pour
"résoudre" l’extraction d’information indépendamment du domaine ou de la tâche cible,
ces systèmes étaient trop complexes à développer et nécessitaient trop de ressources7et de connaissances à modéliser. De manière générale, la compréhension de texte suppose une
analyse en profondeur de l’intégralité des documents. L’implémentation et l’application
de ces traitements s’avèrent impossibles, même à l’heure actuelle. En se fixant une tâche
moins ambitieuse par l’introduction des notions de domaine et d’information structurée et
5. http://www.biocreative.org/ 6. https://www.i2b2.org/NLP/
7. Les développeurs de TACITUS rapportaient que 36h de calculs étaient nécessaires pour les 100
spécifique (entités, attributs, relations et événements), l’extraction d’information se diffé-
rencie de la compréhension de texte par la réduction de la profondeur et de la couverture
de l’analyse linguistique nécessaire au fonctionnement d’un système.
1.4.1
Approches à bases de connaissances
Utilisation de motifs lexico-syntaxiques. Ce changement de paradigme pour la
conception permet l’apparition, dès la fin des années 1980, des premiers systèmes d’extrac-
tion d’information. Ce changement annonce aussi la prédominance des approches intra-
phrastiques. En effet, puisque l’objectif n’est plus la compréhension globale du texte mais
l’extraction ponctuelle d’informations, de nombreux systèmes ne travaillent dans un pre-
mier temps qu’au niveau local. Une phase de consolidation est généralement réalisée à la
fin pour fusionner les formulaires construits localement. Ces premiers systèmes, comme
ATRANS (Lytinen et Gershman,1986) ou SCISOR (Rau,1988), tiraient leur efficacité de
règles et d’expressions régulières définies manuellement. De ce fait, ils nécessitaient tou-
jours une conception complexe réalisée spécifiquement par un expert et propre au domaine
cible. Ils se caractérisaient par un aspect rigide et monolithique les rendant difficilement
adaptables à d’autres langues ou domaines. Le système FASTUS (Hobbs et al.,1997) po-
pularise sur la campagne MUC-3 l’utilisation d’automates à états finis en cascade et plus
généralement l’approche séquentielle. Ce système réalise ainsi séquentiellement 5 étapes
de reconnaissance de motifs et de chunking, la sortie de chaque module étant l’entrée
du module suivant. L’intérêt de cette décomposition est l’apparition de la modularité au
sein des systèmes d’extraction d’information. Celle-ci permet une modification plus aisée
qui facilite le développement et l’adaptation des systèmes. De plus, les trois premières
étapes opèrent au niveau linguistique et sont très peu dépendantes du domaine. De ce
fait, l’adaptation au domaine ne concerne que les 2 dernières étapes.
Extraction de motifs lexico-syntaxiques. Si les systèmes à base d’automates en
cascade marquent un tournant au regard de la lourdeur de la tâche de conception d’un
système, cette conception est toujours manuelle et nécessite l’intervention de connaissances
paradigme intervient avec l’utilisation de méthodes d’extraction de motifs. Le travail
nécessaire pour l’adaptation à un nouveau domaine passe ainsi de la conception des règles
à l’annotation d’un corpus.
Ces méthodes, à l’instar de RAPIER (Mooney et Califf, 1999) ou d’Autoslog (Riloff,
1993), utilisent différentes représentations des exemples telles que des sacs de mots, un
étiquetage en parties du discours ou des arbres syntaxiques. (Grishman et al., 2005) pro-
pose une approche séquentielle d’identification des déclencheurs puis des arguments pour
finir par la classification du type d’événements. Ce système s’appuie sur l’utilisation de
structures syntaxiques et de classifieurs séquentiels et constitue donc aussi un précurseur
des approches à base de classifieurs.
1.4.2
Apprentissage de classifieurs
À la différence des systèmes précédents, les systèmes utilisant des classifieurs consi-
dèrent la tâche d’extraction d’événement comme une tâche de classification de séquence.
Un texte est un ensemble de phrases traitées comme des séquences de tokens. La détec-
tion d’événement consiste alors à appliquer à chaque élément de la séquence un classifieur
entraîné à détecter les déclencheurs et leur type, séquentiellement ou de manière jointe.
Il en va de même pour les arguments, généralement prédits parmi les entités nommées
détectées en amont.
On distingue au sein de cette famille d’approches deux tendances. La majorité des
études utilisent des approches séquentielles en traitant d’abord l’identification et la classi-
fication des déclencheurs puis celle des arguments (Ahn,2006;Chen et Ji,2009;Grishman
et al., 2005). Mais certaines études mettent en œuvre également des approches jointes
(Chen et Ng,2012; Li et al., 2013). Ces méthodes tentent de réduire le problème de pro-
pagation des erreurs, symptomatique des approches séquentielles. De plus, elles peuvent
ainsi tenir compte de l’interdépendance entre arguments et déclencheurs ou entre détec-
tion et caractérisation des déclencheurs ou des arguments. Néanmoins, ces approches se
rejoignent sur les types de classifieurs et de représentations utilisés, avec une évolution pa-
des études portant sur les deux tâches. Les classifieurs sont le plus souvent des machines à
vecteurs de support (Hong et al., 2011;Liao et Grishman,2010; Zhou et al., 2005) ou des
classifieurs de type maximum d’entropie (Nguyen et Grishman, 2014; Sun et al., 2011).
L’efficacité de ces approches étant particulièrement dépendante de la qualité des repré-
sentations choisies, la création de représentations adaptées est essentielle. Les approches à
base de classifieurs ont ainsi supprimé l’effort d’élaboration de règles mais l’ont remplacé
par un effort d’ingénierie des représentations lui aussi conséquent.
Cependant, une fois des représentations efficaces obtenues, celles-ci s’avèrent assez gé-
nériques pour être transposées dans des domaines proches.Zhou et al.(2005) introduisent
pour l’extraction de relations la plupart des traits (features) utilisés dans l’état de l’art.
Ces représentations sont produites à plusieurs niveaux : au niveau lexical (sac de mots
et tête de mention des déclencheurs, premiers et deuxièmes mots des contextes gauche,
milieu, et droit), syntaxique (chemins dans l’arbre syntaxique entre les deux mentions,
chunking puis extraction des têtes des groupes nominaux) et sémantique (utilisation des
types d’entités ACE et de WordNet (Miller,1995)).Sun et al.(2011) reprennent ces repré-
sentations et complète la représentation lexicale par l’utilisation de bigrammes des mots
du contexte central. D’autres informations sémantiques ont été exploitées, telles que les
synonymes de WordNet (Li et al., 2013) ou la hiérarchie de prédicats de FrameNet (Li
et al.,2014). Il est à noter que le niveau de granularité maximum de ces représentations est
généralement le mot bien que des approches descendent au niveau des morphèmes pour
l’extraction d’information en chinois (Chen et Ji, 2009). La représentation des mots est
généralement de type local ou one-hot, c’est-à-dire par un vecteur binaire de taille N où N
est la taille du vocabulaire et dont seule la dimension correspondant au mot considéré est
active. Cette représentation symbolique pose deux problèmes (Turian et al.,2010) : d’une
part en traitant les mots en tant que symboles discrets et indépendants, les représenta-
tions de courir et de coureur ne sont pas plus similaires que celles de courir et deux, ce
qui ne permet pas de capturer convenablement la sémantique des mots ; d’autre part, si
les vocabulaires cible et source sont différents, le système ne dispose d’aucune information
lemmatisation, la prise en compte des morphèmes ou de ressources externes telles que des
lexiques thématiques ou WordNet permettent partiellement de compenser ces limites. Ces
traits sont toutefois d’un intérêt limité, étant trop peu discriminants ou trop dépendants
de la disponibilité de nombreuses ressources externes construites manuellement.
1.4.3
Représentations distribuées
Pour répondre aux limitations soulevées précédemment, de nouvelles méthodes ont
été proposées pour induire de manière non supervisée des représentations de mots. Ces
représentations s’appuient sur l’hypothèse distributionnelle introduite par (Harris,1954).
Cette hypothèse – "You shall know a word by the company it keeps !” (Firth, 1957) –
postule que le sens d’un mot peut être déduit des contextes dans lesquels il apparaît et par
extension, que des mots apparaissant dans des contextes similaires ont des sens similaires.
Il est alors possible d’induire des représentations à partir de la distribution des mots et
de leurs contextes au sein de grands corpus de textes. La possibilité de produire de telles
représentations à partir de corpus non annotés est particulièrement intéressante pour les
modèles d’apprentissage supervisé car il est alors possible d’induire des représentations
pour des mots absents du corpus d’apprentissage. Ce faisant, le modèle est capable de
mieux généraliser à de nouveaux exemples.
Trois principales familles de représentations de mots peuvent être distinguées dans
ce cadre (Turian et al., 2010) : les représentations distributionnelles, les représentations
par groupement (clustering) et les représentations distribuées ou par plongement lexical
(embeddings). Nous ne présentons ici que les méthodes par plongement lexical, utilisées
par la plupart des approches actuelles. Les représentations par plongement (Bengio et al.,
2003; Collobert et Weston, 2008; Mikolov et al., 2013) proposent d’exploiter l’hypothèse
distributionnelle en associant à chaque mot un vecteur dense de faible dimension. Ces
vecteurs sont dits denses et à faible dimension par opposition à l’encodage one-hot utilisé
auparavant : leur nombre de dimensions se réduit généralement à quelques centaines et
pour un mot donné, toutes ces dimensions sont actives.
proposées par (Mikolov et al.,2013) reposent l’une sur la prédiction d’un mot cible à par-
tir de son contexte et l’autre sur la prédiction des mots du contexte à partir du mot cible.
D’autres méthodes de plongement ont été définies par la suite, telles que GloVe (Penning-
ton et al.,2014), fastText (Joulin et al.,2017), ELMo (Peters et al.,2018) ou BERT (Dev-
lin et al., 2018) mais les modèles CBOW et Skip-Gram restent les plus usités pour la
tâche de détection d’événements, notamment par l’intermédiaire des représentations pré-
entraînées fournies par Google en appliquant l’outil word2vec à une partie des données
GoogleNews.