Random Indexing (RI) ou projection aléatoire

Face à ces différentes méthodes de lissage de matrice, supervisées ou non supervisées, la méthode du Random Indexing a émergé comme une alternative aux modèles de sémantique distributionnelle qui dépendent de la SVD pour l’étape de la réduction de dimensions dans la génération de vecteurs de contexte. Cette méthode permet notam- ment un gain significatif en temps de traitement et réduction de la mémoire utilisée pour le calcul de similarité sémantique à partir de corpus volumineux [Kanerva et al., 2000, Karlgren et Sahlgren, 2001]. En effet, si la réduction de dimensions facilite le trai- tement des vecteurs de contextes, cela ne résoud pas le problème initial de construction d’une matrice de co-occurrence potentiellement immense. Même les implémentations telles que la LSA, qui utilisent des réductions de dimensions puissantes, nécessitent une première étape de collecte initiale des données au sein d’une matrice de co-occurrence. Le calcul de la réduction de dimensions est ainsi très lourd. Le Random Indexing a pour avantage de ne pas nécessiter, contrairement aux autres modèles vectoriels, de représentation sémantique ni de traitements lourds comme la SVD pour la LSA. Décrit précisément par [Sahlgren, 2005], le Random Indexing est un modèle d’espace de mots incrémental, qui permet ainsi d’éviter la construction d’une trop grande matrice. L’auteur se base sur les travaux de [Kanerva et al., 2000] sur les représentations distribuées éparses. Au lieu de collecter dans une matrice les co-occurrences puis d’extraire les vecteurs de contexte de cette matrice, le RI accumule incrémentalement les vecteurs de contexte qui à leur tour peuvent être assemblés dans une matrice de co-occurrence. Ainsi, un plus petit nombre de dimensions d est choisi a priori comme

2.5 Bilan

un paramètre du modèle, et ensuite les vecteurs de contextes de d-dimensions sont construits de manière incrémentale.

L’accumulation des vecteurs de contexte se fait en deux temps :

– Chaque mot dans le contexte est assigné à un vecteur unique et généré aléatoirement, appelé vecteur d’index. Un petit nombre de valeurs 1 et -1 sont distribuées aléatoire- ment, et le reste des éléments sont à zéro. En générant ainsi des vecteurs creux, au nombre de dimensions suffisamment élevé, les représentations des contextes seront avec une très forte probabilité orthogonaux.

– Chaque mot dans le contexte est également assigné à un vecteur de contexte au même nombre de dimensions. Les vecteurs de contexte sont alors accumulés avec l’information des contextes en ajoutant les vecteurs d’index aux contextes dans lesquels les mots cibles apparaissent.

Les similarités extraites avec le RI sont de qualité équivalente à la LSA [Kanerva et al., 2000], notamment sur une tâche de sélection de synonymes [Karlgren et Sahlgren, 2001]. Ainsi, [Karlgren et Sahlgren, 2001] ont démontré que le RI produit des résultats similaires à la LSA en utilisant comme évaluation le Test of English as a Foreign

Language (TOEFL).

2.5 Bilan

Dans ce chapitre, nous avons présenté les méthodes distributionnelles existantes, leurs paramètres et leurs limites.

Nous nous intéressons dans cette thèse à l’adaptation des méthodes distributionnelles pour les corpus de spécialité. L’étude des paramètres distributionnels nous permet de définir ceux à adapter pour notre méthode. De plus, étant donné que les corpus de spécialité se caractérisent, entre autres, par des faibles fréquences, ils sont touchés par le problème de dispersion des données au sein de la matrice de contextes.

Pour faire face à cette limite, nous proposons d’ajouter des informations sémantiques dans les contextes distributionnels, à l’instar de [Tsatsaronis et Panagiotopoulou, 2009, Ferret, 2013b]. Cependant, notre objectif diffère : nous intégrons des relations sémantiques acquises automatiquement dans les contextes afin de réduire le nombre de contextes et ainsi augmenter leur fréquence. De plus, si les méthodes basées sur la SVD limitent les contextes en supprimant de l’information, nous proposons au contraire de conserver cette information et de regrouper les contextes en les généralisant à l’aide de ces connaissances sémantiques supplémentaires, calculées sur le corpus de travail.

C h a p i t r e 3

M é t h o d e d ’ a b s t r a c t i o n d e s

c o nt e x t e s d i s t r i b u t i o n n e l s

L’analyse distributionnelle appliquée à des corpus de spécialité ou des corpus de petite taille est limitée par une dispersion des données dans la matrice des contextes : cette matrice, représentant la distribution des mots ou des termes, est souvent très creuse (beaucoup d’éléments ont une valeur nulle). Pour tenter de résoudre ce problème, nous proposons une approche consistant à densifier la matrice des contextes. Pour ce faire, nous proposons de réaliser une abstraction des variations superficielles ou des contextes peu significatifs statistiquement ou liés au bruit de la méthode d’identification de ces distributions. Pour cela, nous avons cherché, dans un premier temps, à filtrer les contextes de manière à sélectionner ceux qui semblent les plus pertinents, et surtout, à réaliser une abstraction des contextes, en les généralisant et en les normalisant à l’aide d’informations sémantiques extraites des corpus.

Dans ce chapitre, nous commençons par décrire le processus d’analyse distributionnelle mis en œuvre, puis nous présentons la méthode de généralisation et de normalisation des contextes distributionnels que nous proposons.

3.1 Méthode distributionnelle

Les méthodes d’analyse distributionnelle identifient la similarité entre les mots d’un texte à partir des contextes que ces mots partagent. Les informations statistiques sur les contextes partagés permettent de calculer la proximité distributionnelle de ces mots. Pour y parvenir, plusieurs paramètres entrent en jeu : les mots cibles en relation, le type de contexte utilisé (fenêtres graphiques ou analyse syntaxique), les mesures de similarité et de pondération.

La méthode d’analyse distributionnelle que nous avons mise en œuvre suit le schéma présenté dans la figure 3.1. L’abstraction des contextes se trouve au cœur de la méthode, entre la définition des contextes et des mots cibles et le calcul de similarité sémantique. L’abstraction des contextes, qui correspond, pour nous, à leur généralisation et à leur normalisation, est réalisée à l’aide de relations sémantiques acquises automatiquement. C’est une fois que la variation morphologique et sémantique est réduite dans les contextes que nous calculons la similarité entre les mots cibles.

Corpus Relations Calcul de similarité sémantique Sélection des contextes Définition des mots cibles et contextes Généralisation et normalisation des contextes Pré−traitement Méthodes automatiques, sources de relations sémantiques

Mots cibles : termes simples et complexes Fenêtre graphique (de 21 et 5 mots) Etiquetage et lemmatisation

Extraction de termes Mesures de similarité

Pondérations

Etape 1 Etape 2

Etape 1bis

Analyse distributionnelle

a. Pour la généralisation b. Pour la normalisation

Variation terminologique (VT) Inclusion lexicale (IL) Patrons lexico−syntaxiques (PLS) synonymie (SYN) Inférence de la Etape 3 contextes partagés mots cibles Seuils sur :

F i g u r e 3 . 1 : Processus d’analyse distributionnelle.

Dans le document en fr (Page 45-49)