Pour chaque document (balise<DOC>), les champs<DOCNO>avec le tag et le numéro de document contenu à l’intérieur ainsi que le contenu textuel des balises<TEXT>,<P>,<HEADLINE>, <DOCTYPE>sont indexés avec LUCY. Pour l’évaluation des méthodes à l’aide du programme TREC_EVAL, nous utilisons les topiques et les jugements de pertinence correspondant du corpus AQUAINT.
Construction des requêtes Comme nous l’avons expliqué dans la section 5.1.3.1, nous utili- sons plusieurs jeux de requêtes construites automatiquement ou manuellement. Dans cette ex- périence, pour le deuxième jeu de requêtes utilisant le champ « description », les termes sont extraits automatiquement à l’aide d’un processus basé sur le langage naturel développé au sein de notre équipe par X. Tannier [Tannier et al., 2005] ce qui donne par exemple pour le topique
375 :
Lucy 375 energy feasible hydrogen source status
Conjonction proximité floue375 energy & feasible & hydrogen & source & status
Construction de la liste de réponses Nous rappelons que pour notre méthode de proximité floue, la liste des résultats est composée en premier des documents retournés par notre méthode et ensuite, pour éviter un rappel insuffisant, si le nombre de documents retournés par la proximité floue n’atteint pas1000, nous complétons la liste avec les documents retournés parLUCYqui ne font pas déjà partie de la liste.
Pour la tâche Robuste, le fichier de réponses doit en plus contenir un classement des re- quêtes. Il s’agit de prédire le classement auquel on aboutirait si les requêtes étaient classées selon leur performance de la meilleure à la moins bonne. Nous avons associé à chaque requête, le score du premier document renvoyé, et nous avons classé les requêtes dans l’ordre décroissant en fonction des valeurs de ces scores.
5.3.1.2 Variations de la zone d’influence
Les résultats de toutes les expériences, illustrées dans la figure5.6, montrent que la proxi- mité floue obtient les meilleures performances jusqu’à 50% de rappel dans l’expérience l200pf
pour des requêtes manuelles avec une zone d’influence large (k = 200). Les deux dernières
FIG. 5.6 – Aquaint 2005 - ensemble des runs soumises comparées à la méthode de référence de OkapiLUCY
courbes d200pf et dOkapi correspondent au jeu de requêtes construites automatiquement sur le contenu du ‘ champ « description » avec un processus basé sur le langage naturel. Ces résultats ne remettent pas en cause la méthode d’extraction de mots-clés utilisée car la faible performance n’est pas étonnante. La figure5.7montre ces deux courbes seules pour plus de lisibilité. Pour ces deux courbes, nous constatons que l’utilisation de la proximité dégrade les résultats de LUCY, nous pouvions dans une certaine mesure nous attendre à ce résultat car la proximité floue n’est pas encore adaptée aux requêtes comportant beaucoup de termes. Une solution pourrait être mise en place en décrivant des parties optionnelles dans les requêtes. Cette solution vise à trouver un compromis pour effectuer un rappel plus important de documents.
Les résultats utilisant le jeu de requêtes automatiquement construites sur le titre du topique sont illustrés dans la figure5.8. La méthode de LUCY est meilleure que la notre avec la valeur dek égale à 50 et même 200 sauf au premier niveau de rappel. Au premier niveau de rappel, la
précision de notre méthode est plus grande que celle deLUCYsi nous prenonsk = 200, en effet,
avec une plus large zone d’influence la proximité floue donne de meilleurs résultats.
Le jeu de requêtes, construites manuellement, étant plus adapté à notre méthode, nous permet d’obtenir plus largement de meilleurs résultats (cf. figure 5.9). La différence entre la proximité floue et la méthode Okapi deLUCYest de l’ordre de 10% sur les trois premiers niveaux
FIG. 5.7 – Aquaint 2005 - rappel précision - requêtes construites automatiquement à partir du champ description.
FIG. 5.8 – Aquaint 2005 - rappel précision - requêtes construites automatiquement à partir du champ titre.
de rappel puis diminue de moitié pour tendre vers 0 à partir de 60% de rappel. A partir de ce dernier niveau, les trois méthodes se rejoignent ce qui est tout à fait normal puisque nous avons complété notre liste de documents avec celle de LUCY quand la méthode de proximité floue n’obtient pas assez de réponses. Notre méthode est au-dessus de celle deLUCYà tous les niveaux de rappel, cependant les courbes pourk = 50 et k = 200 se croisent plusieurs fois. Contrairement
aux requêtes automatiques construites à partir du titre, la précision de notre méthode de proximité floue en utilisant des requêtes manuelles, est donc plus grande que la précision deLUCY même aveck = 50. En effet, les requêtes écrites à la main permettent de compléter et préciser le besoin
d’informations, le système sélectionne ainsi plus de documents avec notre méthode et peu de topiques sont complétés à l’aide de résultats deLUCY. Cette expérience, nous montre aussi que si la zone d’influence est plus grande, le nombre de documents sélectionnés par la proximité floue est plus important et la précision est meilleure au premier niveau de rappel.
FIG. 5.9 – Aquaint 2005 - rappel précision - requêtes construites manuellement exploitant au mieux la proximité floue
Dans la section suivante, nous nous intéressons aussi à l’impact de la valeur dek sur les
résultats mais nous nous concentrons plus particulièrement sur l’incidence de l’utilisation ou non de la lemmatisation (à l’indexation ou à l’interrogation). Le comportement de la proximité floue est étudié sur une seconde collection de test.
5.3.2
Tâche FR Adhoc CLEF 2005
Avant d’étudier l’impact de la lemmatisation, nous exposons les résultats que nous avons obtenus avec la méthode de la proximité floue pour la tâche « Adhoc Monolangue » en français à l’occasion de la campagne d’évaluationCLEF200521.
Comme nous avons pris en exemple dans la section5.1.3.1, la collection de test de CLEF 2005 pour décrire le principe général de la construction des requêtes, nous ne la détaillerons pas ici. Par ailleurs, la construction des listes de réponses est similaire à celle adoptée dans la tâche Robuste (collectionAQUAINT) excepté le classement des topiques qui n’est pas demandé ici.
5.3.2.1 Résultats de la campagneCLEF2005
Nous avons soumis différentes runs officielles basées sur des :
1. requêtes automatiques construites à partir des mots du titre aveck = 20 (runt020pf) et aveck = 50 (runt050pf) ;
2. requêtes manuelles construites à partir des mots des trois champs (titre, description et nar- ration) aveck = 50 (runl050pf) et aveck = 80 (runl080pf).
Pour la campagne d’évaluation, aucune procédure de lemmatisation n’a été utilisée au moment de l’indexation (runs t$kpf ou tOkapi), par contre, nous considérons les requêtes manuelles comme pseudo-lemmatisées car des dérivés des mots-clés sont souvent utilisés dans des disjonctions de termes (runs l$kpf ou lOkapi). Un récapitulatif des runs est disponible dans le tableau5.3.
Requêtes titres automatiques Requêtes tous champs manuelles
Okapi Lucy tOkapi lOkapi
Proximité flouek = 50 t50pf l50pf
Proximité flouek = 200 t200pf l200pf