L'évaluation dans Senseval et Romanseval

De même que les conférences MUC et TREC ont répondu à un besoin d’unifor-misation des tâches et de l’évaluation des méthodologies proposées en traitement de l’information, Senseval²³cherche dès sa première campagne en 1999 à définir un protocole d’évaluation des différents systèmes de désambiguïsation, partant de la constatation que les conditions dans lesquelles les différents systèmes présentés dans la littérature étaient jusque là trop différentes pour permettre une comparai-son impartiale et juste. Senseval se propose donc de déterminer le cadre définis-sant la tâche de désambiguïsation sémantique et de fournir un protocole d’évalua-tion commun sous forme de compétid’évalua-tion.

La tâche proposée aux différentes méthodes consiste à associer les occurrences de certains lemmes présents dans un corpus avec leurs sens dans un dictionnaire. Pour la première campagne de Senseval, ce sont les ressources Hector qui ont été choisies (Atkins,1993), composé d’un fragment de 17 Mo du British National Corpus (BNC)dontl’étiquetageaétéréaliséparsixlexicographesavecunniveaudeconver-gence de 95 %. Bien que le dictionnaire présente trois niveaux de granularité, c’est le niveau le plus fin qui est retenu pour la tâche de désambiguïsation sémantique. L’évaluation n’est pas menée sur l’ensemble des mots des textes présentés au sys-tème lors de cette première campagne : seules 41 unités lexicales sont concernées (15 substantifs, 13 verbes, 8 adjectifs et 5 mots de catégorie indéterminée).

Lors de la première campagne Senseval, une évaluation analogue a été menée sur deux langues romanes, le français et l’italien, ce qui lui a valu le nom de Roman-seval²⁴(Segond,2000;Calzolari et Corazzari,2000). Cette évaluation applique les mêmes principes que son homologue anglophone mais, pour le français, ex-ploite le dictionnaire Larousse et le corpus du projet Arcade²⁵. Les mots à désam-biguïser étaient soixante : vingt substantifs, vingt adjectifs, vingt verbes.

La seconde campagne d’évaluation Senseval menée en 2001 s’est éloignée des principes de la première en s’axant sur une désambiguïsation de l’ensemble des mots du texte, et non plus d’une petite partie prédéfinie d’entre eux. De plus, le 23. Les données relatives aux deux campagnes Senseval sont disponibles sur le sitehttp:// www.senseval.org.

24. Voyezhttp://www.lpl.univ-aix.fr/projects/romanseval/. 25. Voyezhttp://www.lpl.univ-aix.fr/projects/arcade/.

2. Les outils d’analyse textuelle

dictionnaire dont les sens ont été utilisés comme référence à cette évaluation sont ceux de WordNet. Enfin, l’expérience de Romanseval a été délaissée pour le fran-çais, Senseval s’étant étendu à d’autres langues (basque, chinois, tchèque, danois, néerlandais, estonien, italien, japonais, coréen, espagnol, suédois). De ce fait, le système francophone n’a pu participer à cette campagne.

Les critères d’évaluation qui ont présidé aux tests sur le système du français dans

Brun et al.(2001) correspondent à ceux de la campagne Senseval-2, excepté en ce qui concerne l’utilisation des sens de WordNet, puisque cette évaluation concer-nait des textes francophones. Les sens sont ceux du dictionnaire que nous utili-sons pour extraire les règles de désambiguïsation sémantique, l’OHFD (Corréard et Grundy,1994). Les résultats présentés dans cette évaluation sont encourageants (cf. tableau2.1).

Catégorie ^PrécisionRègles lexicales Précision Règles sémantiques Précision Toutes règles Rappel Règles lexicales Rappel Règles sémantiques Rappel Toutes règles Noms 0,88 0,48 0,68 0,24 0,14 0,38 Verbes 0,97 0,50 0,58 0,08 0,19 0,27 Adjectifs 1 0,51 0,68 0,23 0,23 0,46 Total 0,90 0,50 0,65 0,19 0,16 0,35

Tableau 2.1. Résultats de l’évaluation du système de désambiguïsation sémantique

français (extrait deBrun et al.,2001).

Suite à cette évaluation, différentes conclusions ont été tirées qui sont remar-quables pour nous dans la mesure où cette méthodologie nous intéresse pour le traitement du problème qui nous occupe. Tout d’abord, l’ensemble des erreurs ne sont pas redevables aux règles de désambiguïsation sémantique. En effet, dans cer-tains cas, le défaut provient d’un défaut des analyseurs (morphologique et synta-xique) qui sont appliqués en amont de la désambiguïsation. C’est bien entendu le résultat global qui nous intéresse, mais nous avons vu que nous disposions désor-mais d’analyseurs plus récents et plus performants.

L’examendesrésultatsdusystèmededésambiguïsationsémantiquepourlefran-çais accuse un déficit par rapport à la même méthode appliquée à l’anglais (65 % contre 80 %). Ce déficit est spécialement marqué dans l’utilisation des règles sé-mantiques (50 % contre 70 %), alors que les règles lexicales restent globalement aussi efficaces (90 %). Le défaut provient donc de la ressource utilisée pour effec-tuer la généralisation sémantique des règles, AlethDic. En effet, de nombreux dé-fauts de cohérence avec le découpage en sens du dictionnaire de référence, l’OHFD, ont été constatés, ainsi que l’existence de classes sémantiques trop générales ou couvrant des concepts trop divers.

2.4. Conclusion

Enfin, une dernière constatation était liée au problème de la faible couverture. Elle provient essentiellement d’un besoin d’information (exemple ou collocation) pour chaque sens de chaque entrée pour construire une règle de désambiguïsa-tion. Ce besoin n’est pas toujours comblé. Pour information, moins de 40 % des entrées de l’OHFD possèdent au minimum une règle de désambiguïsation séman-tique. L’information contenue dans le dictionnaire et attachée à un sens particulier de chaque lemme est donc capitale.

Ces remarques tiennent bien compte des réalités auxquelles est confrontée une telle méthode de désambiguïsation sémantique. Il nous faut les prendre en consi-dération lors du choix des ressources lexicales qui y sont adaptées.

2.4. Conclusion

Nous avons besoin d’outils d’analyse textuelle qui permettent d’identifier à la fois les mots, les relations entre les mots et le sens de ces mots dans les documents. De plus, les méthodes choisies doivent se prêter à l’étude de textes nombreux et volumineux. Enfin, cette analyse a pour but non seulement la collecte de l’informa-tion contenue dans les textes, mais aussi l’enrichissement de cette informal’informa-tion. À ce titre, elle se doit d’établir des liens entre les lexèmes et un dictionnaire de réfé-rence, garant de la nature et du sens des mots. Par ailleurs, les résultats de l’analyse constituant la structure informationnelle initiale des documents analysés, il faut qu’ils se prêtent à la conservation et à la manipulation de l’information.

Les outils choisis pour effectuer cette analyse correspondent donc bien à ces cri-tères. La chaîne NTM-XIP présente la robustesse voulue en même temps qu’une souplesse propre à faciliter l’identification, le stockage et la manipulation de l’in-formation. De plus, la méthode de désambiguïsation sémantique permet d’identi-fier l’information lexicale liée à chaque sens sélectionné dans tout le dictionnaire choisi comme référence. Il s’agit à présent de déterminer le ou les dictionnaires dont l’information d’une part servira de base à l’analyse linguistique des textes et d’autre part permettra un enrichissement contextualisé et abondant de l’informa-tion détectée dans les documents.