Mesure de similarité

L'autre utilisation de l'indexation consiste à calculer, pour chaque document, un score de similarité par rapport à tous les autres, et ainsi de créer un réseau de proximité de docu- ments.

La plupart des méthodes de classification utilisent des techniques statistiques proches de celles employées par les moteurs de recherche pour évaluer la proximité d’un texte avec une requête [18], les mêmes méthodes sont utilisées pour mesurer la ressemblance entre un texte et un autre texte.

De nombreuses mesures de similarité ou dissimilarité entre les mots ont été définies jusqu’à présent. Citons par exemple quelques mesures fondées sur les cooccurrences de mots dans les corpus : la mesure d’Information Mutuelle [117], le Rapport d’Association [118] ain- si que d’autres coefficients tels que le coefficient de Dice [119] ou la mesure de Jaccard

l’approche distributionnelle afin de définir une mesure de désimilarité relativement aux clas- ses cibles que l’on cherche à apprendre

L'analyse factorielle des correspondances [73] permet également de représenter syn-

thétiquement les documents sur un graphique à deux dimensions31, et donc d'évaluer les dis-

tances, selon certains axes qu'il faut interpréter. Cette méthode, utilisée le plus souvent sur une matrice documents-mots a été appliquée sur une matrice documents-concepts.

Cette méthode met en évidence très rapidement les proximités sémantiques des docu- ments. L'analyse factorielle des correspondances est une méthode statistique qui commence à donner de bons résultats quand le corpus de textes est suffisamment étendu pour que les co- occurrences de mots soient suffisamment significatives ; cela fonctionne d'autant mieux que les unités textuelles sont courtes, comme en bibliographie [74]. Par contre, lorsque les textes sont de longueur importante, les cooccurrences de mots perdent de leur signification (ce qui impose de segmenter les textes). Par contre les cooccurrences de concepts sont moins sensi- bles à la taille des textes. Une autre utilisation de l'Analyse Factorielle des Correspondances sur les concepts détectés est de classifier automatiquement les textes [75].

Assurer que des documents similaires aient toujours la même indexation est un problème particulièrement délicat, que l’indexation soit manuelle ou automatique. Lorsque le processus d’indexation est manuel, la consistance est posée sous la forme : est ce que deux indexeurs différents indexent de la même façon le même document ? Lorsque le processus est automati- que, le problème est vu sous un autre angle : est ce que deux documents au contenu sémanti- que identique sont indexés de la même façon ? On mesure la consistance en comparant les réponses entre deux indexeurs différents (consistance inter-indexeur). Pour un document d et un terme t, la consistance est définie par : le nombre de termes affectés à d par les indexeurs A et B sur le nombre de termes affectés à d par les indexeurs A ou B. On peut également mesu- rer les réponses d’un même indexeur (consistance intra indexeur) [69].

La phase d'indexation se fait en représentant le document sous forme vectorielle (modèle le plus courant) : les coordonnées représentent les poids dans le document des termes retenus. Lors d'une classification, la pertinence d'un document par rapport à un autre est évaluée par le degré de similarité entre le vecteur du premier document et celui du deuxième pour une classi-

31 _{Ou 3. En fait, ces axes correspondent aux facteurs cf Atlas linguistique de l’ISC Lyon}

Un mot polysémique pourra être vu dans différents plans correspondants plus ou moins à divers champs lexi- caux.

fication non supervisée, ou le degré de similarité entre le vecteur du document et ceux de la base de référence pour une classification supervisée.

Pour chaque document du corpus, on calcule le score de similarité avec l’ensemble de concepts des autres documents. On peut utiliser comme mesure de similarité la formule Co-

sine qui calcule le cosinus de l'angle entre le vecteur représentant un document et chaque do-

cument du corpus [72].

avec : c : un concept, d : le document, r : le deuxième document, TFIDFc,d : le score TFIDF du

concept c dans le document d.

Dans la classification supervisée on extrait de la base N des nouveaux documents, ceux qui sont les plus similaires aux documents de référence R. La similarité s entre un nou- veau document dj de N et un document de référence dk de R est mesurée par le cosinus de

l’angle formé par les vecteurs représentant ces documents (mesure couramment employée

dans les systèmes de recherche d’information) [79].

D'autres mesures de similarité existent : nombre de concepts communs entre le nou- veau document et les documents de référence, somme des produits TFIDF ou encore mesure

Okapi. Parmi ces mesures Cosine est souvent celle qui donne les meilleurs résultats [71]. En

effet, elle pondère la somme des produits TFIDF par la taille des documents.

Des approches utilisent directement la proximité des termes pour le calcul du score des documents [122,123], mais il y a des méthodes basées sur la similarité statistiquesentre mots. Par exemple en [105] on choisit un couple de mots extraits du corpus Reuters-21578, dont la dissimilarité est parmi les plus faibles. Les mots « graphic » et « mattress » n’entretiennent pas, à première vue, de relation sémantique, cependant leur distribution respective par rapport aux classes cibles (cf. figure 4.19), indique que ces deux mots jouent un rôle commun, ce qui explique leur proximité statistique. De la même manière, les deux mots « graphic » et

Figure 4.19 Distribution de deux mots fortement similaires sur 50 classes.

Figure 4.20 Distribution de deux mots fortement dissimilaires sur 50 classes.

4.6. Conclusion

Le traitement du document est devenu un enjeu. Les avancées sont dûes en grande par- tie au progrès effectués dans le traitement automatique de la langue naturelle. Des étapes de prétraitement ont lieu avant la fouille de données en tant que tel. Le prétraitement concerne la mise en forme des données entrées selon leur type, leur analyse, ainsi que le nettoyage des données, le traitement des données manquantes, la sélection d’attributs ou la sélection d’instances. Cette première phase est cruciale car du choix des descripteurs et de la connais- sance précise de la population dépendra la mise au point des modèles de prédiction. L’information nécessaire à la construction d’un bon modèle de prévision peut être disponible dans les données mais un choix inapproprié de variables ou d’échantillon d’apprentissage peut faire échouer l’opération.