VI.1 Bilan, où en sommes-nous ?
Il y a deux manières de voir nos résultats. Celle brute et chirée des méthodes de calcul des formalismes proposés, et celle qui ouvre le chemin aux améliorations. C'est de cette conjonction que nous pouvons analyser nos résultats et rappeler notre cadre de travail pour relativiser l'observable.
VI.1.1 Présentation des résultats
Nos résultats objectifs expérimentaux sont de deux sortes, ceux portant sur la construction d'unités pour représenter les liens entre les questions (dont nous appelons l'ensemble un contexte), et ceux portant sur l'usage de ces unités dans le cadre d'une recherche de documents dans un SQR interactif. Construction de dépendances
Nous avons proposé un modèle de construction de liens entre questions basé sur la notion de dépendance.
Il existe une dépendance entre une question β et une question α quand certains termes de la question α ou de sa réponse sont indispensables pour obtenir la réponse à la question β. Sur la base de cette dé nition subjective d'une dépendance, nous avons constaté que cette formalisation est adaptée aux questions enchaînées et qu'elle ore une réponse aux problèmes des ap-proches observés dans d'autres systèmes. Nous avons donné plusieurs indices solides montrant une compatibilité tant avec les modèles structuraux que dynamiques du dialogue.
Nous avons cherché à obtenir une mesure de la calculabilité de ce modèle. Sur le corpus ClefQA07-FR-EN avec un apprentissage sur les corpus FR_FR et FR_ES tous annotés à la main, nous obtenons un système multi-traits générique, optimisable à l'in ni sans changement de structure et disposant d'une F-mesure de 0.8 avec une précision légèrement supérieure au rappel. Ayant discuté les erreurs possibles par rapport à leur fréquence et l'adapta-bilité du modèle et des classes de méthodes de calcul, nous avons conclu que de meilleurs résultats passent par des analyses plus détaillées des questions et de meilleures connaissances sur les documents sur lesquels doivent être utilisées ces données, c'est à dire la manière dont seront formées les requêtes. Pour montrer comment utiliser ces dépendances, nous nous sommes inté-ressé à la formulation des requêtes, et avons ouvert la problématique au moins aussi grande de l'utilisation des dépendances dans la recherche d'information.
Usage des dépendances
Quand nous désirons utiliser un modèle, de nombreuses possibilités sont ouvertes. Disposer des dépendances incite à les utiliser selon des méthodes jusque là inaccessibles pour obtenir de meilleurs résultats. Nous avons alors développé une série de systèmes utilisant (ou pas) les termes des questions des dépendances en tenant compte (ou pas) de leur hiérarchie induite.
Dans l'optique d'un usage plus général que celui de la campagne d'éva-luation Clef, nous nous sommes intéressé au comportement des méthodes dans des cas limites et dans les cas classiques. La pondération des termes est apparue comme un élément central. La pondération est directement liée à la construction de la requête. N'ayant pas plus d'information à la construc-tion de la requête qu'après le calcul des dépendances (utilisant l'analyse hors contexte des questions), la construction de la requête a été ramenée à sa plus simple expression dérivée des méthodes traditionnelles existantes dans le SQR utilisé pour l'expérimentation : Musclef. La pondération n'est pas un élément qui permet de faire apparaitre un terme inexistant, si un terme est oublié à l'analyse de la question il l'est pour toujours. La pondération sert uniquement à diminuer le bruit des documents non pertinents. C'est pour cela que les pondérations sont relatives d'un terme à l'autre.
Cherchant à exploiter les informations contenues dans les dépendances nous avons été en mesure de construire un modèle dynamique de la pondé-ration des termes et des documents, basé sur la corrélation de présence de deux termes dans un document. Sur les mêmes corpus que ceux ayant servi à l'évaluation de détection des dépendances, nous avons évalué diérentes méthodes de sélection des documents en utilisant les dépendances. L'évalua-tion de la méthode par corrélaL'évalua-tion par rapport à celles existantes a permis d'obtenir des résultats dignes de l'état de l'art. L'examen de la répartition des résultats a permis de déduire une heuristique permettant d'améliorer un petit peu les résultats en sélection des documents. Par manque de don-nées pour l'expérimentation, par manque de temps pour les construire, nous n'avons pas pu nous intéresser à l'amélioration des techniques d'extraction de la réponse exacte via l'usage des dépendances.
Les résultats expérimentaux peuvent sembler décevants, mais le gain en performance brute n'était qu'un objectif secondaire.
VI.1.2 Analyse des résultats
Nous constatons que notre technique sans optimisation particulière per-met d'obtenir des résultats ayant les mêmes performances que les systèmes de l'état de l'art. La couverture des résultats étant légèrement diérente et
VI.1 Bilan, où en sommes-nous ? 163 la répartition des bonnes réponses connues, il est alors possible de déployer une heuristique qui permet de dépasser les résultats initiaux. Notre gain est un petit gain en valeur absolue, mais supérieur à l'état de l'art.
Disponibilité des corpus
Les résultats sont essentiellement liés aux corpus de développements et d'évaluations disponibles. Les questions du corpus ClefQA07-FR-EN sont les plus complexes dont nous disposions. Or malgré cela, la structuration interne des groupes de questions ne concerne que quelques groupes. Les questions ayant été écrites pour et par des gens de la communauté TAL, elles sont pour la plupart bien formées et bien structurées. La résolution des anaphores, basée sur la grammaire et sur quelques propriétés de sémantique, est alors un trait favorisé. Nous pouvons supposer que des questions moins bien formées avec des groupes plus liés/complexes auraient très fortement baissé les résultats des stratégies simples vues au premier chapitre. Nous pourrions alors dire que nous avons réalisé un gain de robustesse du système.
Nous manquons de données dans nos corpus pour étudier plus d'optimi-sation. Nous n'avons pas pu établir la boucle : tests, analyse, modi cation. Nous ne disposons pas de su samment de corpus pour cela, la di culté im-posée par le domaine ouvert empêche notamment des analyses trop nes des questions et des corpus de documents. Nous ne voulions pas risquer la cri-tique du surapprentissage, seule l'heuriscri-tique de la fusion des deux sources de résultats a été réalisée puisque les analyses montrent qu'elle est statiquement fondée.
Problème de dé nition et de technologie
Les résultats globaux ne sont pas très nombreux. C'est une thématique carrefour de plusieurs sujets, di cile à évaluer puisque la complexité a été réduite entre les campagnes ClefQA2007 et ClefQA2008 et n'a pas été re-nouvelée après TREC06 suite à l'uniformité des solutions déployées. Les dif- cultés sont donc aussi vastes que la dé nition de la tâche elle-même et la restriction aux domaines spéci ques de la jointure technologique.
Un tour d'horizon visant à constater expérimentalement et théoriquement ce qui peut faire l'objet de travaux de développement et d'optimisation ulté-rieurs nous semblait important. Où faire les gains ? De quelle nature peuvent-ils être ? Comment les évaluer par rapport à l'existant ? Ce sont des questions qui avant de trouver une réponse devaient être formalisées, une exploration mise en place et de premières expérimentation tentées. C'est le but du travail présenté dans ce mémoire qui ne peut pas être évalué numériquement.
Un cadre théorique
Les formalismes proposés ne sont directement liés à aucune théorie du dia-logue ou des SQR et moteurs de recherche, mais nous les proposons comme socles pour la construction d'autres théories plus élaborées. L'analyse que nous avons menée montre bien qu'une théorie de structuration ne peut ce-pendant pas être proposée indépendamment d'un cadre général d'utilisation de la structure et des méthodes de calcul associées (par exemple le dialogue pour la recherche d'information en domaine ouvert). Nos apports sont dans notre proposition de formalisation des calculs, via la formalisation en dépen-dances.
Tant au niveau du dialogue que de la recherche d'information, l'objectif n'est pas d'optimiser, mais d'ouvrir des voies. Les optimisations sont telle-ment nombreuses dans chaque cas qu'elles dépassent largetelle-ment le cadre de ce mémoire. Ce sont pourtant des prérequis, mais les optimisations relèvent d'un travail d'ingénierie impliquant de nombreuses personnes, et ne faisant pas spéci quement appel à des explorations supplémentaires.