1.5 Bilan
2.1.3 Indexation des documents
Le processus d’indexation en RI dérive de la notion d’index en ingénierie do- cumentaire, dont le but est de fournir une vue synthétique des thèmes d’un docu- ment [Baeza-Yates et Ribeiro-Neto, 1999]. Dans son acception documentaire, un index se dé- finit comme l’association entre une nomenclature (i.e. une liste de descripteurs dont la structure peut se rapprocher de celle d’un thésaurus) et un ensemble de renvois (références à une ou plu- sieurs pages, voire à d’autres descripteurs) [Mekki et Nazarenko, 2001]. Alors que certains 1Dans ce cas de figure, il sera plus simple pour l’utilisateur de naviguer dans des documents relatifs au(x)
domaine(s) approprié(s) pour arriver à son objectif sans avoir à l’expliciter [Hernandez, 2005]. C’est la problé- matique connexe de l’exploration d’informations, que nous n’abordons pas dans ce mémoire.
considèrent comme nécessaire la normalisation des connaissances manipulées dans un in- dex [Gros et Assadi, 1997], d’autres jugent plus pertinent de ne pas contraindre celles-ci afin de garantir la diversité des points de vue [Bourigault et Charlet, 1999].
Avec l’apparition d’Internet se fait sentir le besoin de pouvoir retrouver rapidement des documents traitant d’un sujet donné. Du fait de la croissance exponentielle du nombre de documents disponibles sur le Web, une approche manuelle du problème telle qu’employée par l’ingénierie documentaire n’est pas viable. La RI adapte donc la notion d’index pour en faire le socle de base d’une approche automatisée. Dans ce contexte, le processus d’in- dexation consiste à extraire d’un document ou d’une requête une représentation caractéris- tique de sa sémantique [Baziz, 2005]. Le résultat correspond à un ensemble de termes ap- pelé langage d’indexation. Ce langage peut s’avérer être un lexique figé (langage contrôlé) ou non (langage libre), auquel cas l’index se compose des termes principaux du document, bien souvent extraits de façon automatique. Dans un contexte de RI, on peut alors attri- buer à la notion d’index une définition plus opérationnelle : il s’agit d’une structure recensant
de façon univoque (e.g. via les URI) et pour chaque terme du langage d’indexation les ressources
textuelles mentionnant ce terme ainsi qu’éventuellement, la (les) position(s) relative(s) de son (ses) occurrence(s). A ce niveau, nous préférons avertir le lecteur d’une ambiguïté lexicale : l’ap-
pellation de "terme" pour un descripteur d’index dans un cadre de RI ne correspond pas à la notion homonyme abordée tout au long du précédent chapitre. Par "terme", on comprendra ici "groupe de mots possédant une unité sémantique2". Le terme tel qu’on l’entend ici peut donc se réduire à sa portion congrue, à savoir une simple chaîne de caractères.
On peut définir l’indexation automatique d’un document selon deux étapes : pendant une première phase, le SRI sélectionne les termes caractéristiques au contenu textuel ; il peut ensuite juger du poids relatif de chacun d’eux de façon à affiner sa perception de la sémantique du document. Même si nous avons déjà mentionné certaines techniques liées en 1.3.3.1, nous détaillons ci-après les principes de repérage et de pondération de termes avec un langage d’indexation libre. En 2.1.5, nous abordons les principales limites d’une telle approche, ainsi que les avantages et inconvénients à recourir à un processus d’indexa- tion par un langage contrôlé.
2.1.3.2 Repérage des termes
Si l’on se base sur la figure 2.2, on constate que le repérage de termes est le résultat de l’enchaînement de plusieurs modules plus ou moins facultatifs :
– l’analyse syntaxique consiste en l’application d’une grammaire sur le contenu textuel pour en dégager les syntagmes nominaux, verbaux . . .
– l’utilisation d’un anti-dictionnaire permet d’éliminer les "mots vides" de l’index (e.g. "le|la|les", "et|ou", "être|avoir" . . . ) et de réduire ainsi sa taille. Les mots vides corres- pondent à des termes pouvant apparaître dans n’importe quel texte et par conséquent non discriminants pour la tâche de RI.
– la lemmatisation consiste à associer un mot à sa forme canonique, à savoir l’infinitif pour un verbe et le masculin et/ou singulier pour le reste (e.g. "mangeront" donne "manger", "délicates" donne "délicat").
– La radicalisation, opération plus extrême que la lemmatisation, représente toute va- riante d’un terme par une forme unique. Pour remplir cet objectif, plusieurs stratégies sont possibles, comme l’utilisation de tables de correspondance, la suppression de pré- fixes et suffixes, la troncature . . . Là encore, au détriment des temps de traitement, de tels processus permettent de réduire la taille finale de l’index et de rassembler de facto certaines expressions lexicalement proches. Par exemple, selon un algorithme adapté de [Porter, 1980] pour la langue française, le mot "itération" est transformé pour la suite des traitements en la chaîne de caractères "iter".
– l’analyse statistique sert, entre autres, à regrouper en termes des mots dont la séman- tique émerge de l’interprétation de leur juxtaposition. Elle a usuellement recours à la notion de co-occurrence de mots (i.e. leur apparition simultanée) pour essayer de dé- gager de nouveaux termes. Une forte co-occurrence entre deux mots peut s’expliquer de différentes manières : soit ces mots ne sont interprétables qu’en étant combinés (e.g. "arbre à cames"), soit leurs sens en contexte sont liés par une relation sémantique (e.g. les mots "chat" et "souris" car généralement, les chats chassent les souris), soit ils dési- gnent des notions de sens proche (e.g. "train" et "auto" dans un contexte du type "Train
et auto sont les moyens de transport les moins onéreux.")
Parmi l’ensemble des processus possibles, seule l’analyse statistique est réellement indépen- dante de la langue dans laquelle est rédigé le document à indexer.
Figure 2.2 — Processus générique de reconnaissance de termes adapté
de [Baeza-Yates et Ribeiro-Neto, 1999]
2.1.3.3 Détermination de l’importance d’un terme
Pour aller plus loin dans la caractérisation d’un document à partir des mots qu’il contient, certains SRI choisissent d’estimer numériquement leur importance relative. Gé- néralement, le calcul du poids d’un terme relativement à un document et un ensemble de textes se fonde à la fois sur son importance au sein du document (pondération locale) et sur son potentiel à différencier le document en question des autres (pondération globale). En
effet, un terme fortement discriminant et représentatif du document sera d’autant plus sus- ceptible de permettre de retrouver un document pertinent (lorsque la requête le contient).
Pour mesurer l’importance locale d’un terme, la plupart des approches utilise sa fré- quence d’occurrence dans le texte. De fait, la conjecture de Luhn [Luhn, 1958] détecte une corrélation entre ces deux notions. Elle se fonde pour cela sur la loi de Zipf3 [Zipf, 1949] et sur certaines observations : les mots très fréquents dans un document ont tendance à se retrouver aussi nombreux dans l’ensemble des textes à indexer (et sont donc peu discrimi- nants) alors que les mots très rares ne permettent généralement pas d’observer de régula- rités d’usage. Après avoir défini un intervalle de rangs appropriés, on peut alors calculer la pondération locale d’un terme à partir de sa fréquence. Certaines formules conçoivent le poids du terme comme directement proportionnel à sa fréquence dans le document (term
frequency), certaines établissent un rapport logarithmique, d’autres encore normalisent le
poids en fonction de la fréquence maximale constatée dans l’ensemble des documents de la collection. On notera tout de même que la loi de Zipf est une approximation qui ne semble refléter la réalité que dans le cas de termes composés d’un seul mot. Des recherches comme celles de [Egghe, 1999] ont été menées afin d’affiner cette loi et de permettre des calculs d’importance locale de termes multi-mots plus appropriés.
La pondération globale mesure directement le potentiel discriminant d’un terme en considérant qu’il sera d’autant plus élevé que le nombre de documents dans lesquels le terme apparaît sera faible. La mesure la plus commune, appelée Inverse of Document Fre-
quency, se définit ainsi pour le terme t [Spärck-Jones, 1972] : IDF(t) = −logd f(t)
|D|
avec d f(t) le nombre de documents dans lesquels apparaît t et|D|le nombre total de do- cuments. Certains travaux comme [Singhal et al., 1995] ou [Robertson et Walker, 1997] pro- posent des mesures proches d’IDF mais plus adaptées à des collections de documents à taille variable car elles prennent en compte la taille relative d’un document par rapport à la moyenne et évitent ainsi de favoriser les textes longs.