IRIES : un système interactif d’apprentissage de règles
F- mesure (F) – Cette fonction permet de trouver un bon compromis entre le
8.2 Rôle des informations linguistiques dans les performances des règlesperformances des règles
8.2.2 Cas d’usage 2 : désambiguïsation lexicale
La désambiguïsation lexicale est la tâche qui consiste à choisir la bonne signifi-caion d’un mot polysémique dans un contexte donné.
Nous considérons, dans ce travail, que la désambiguïsation lexicale peut être une tâche particulière d’EI. En effet, il s’agit de repérer, dans le texte, un seul mot mais qui peut avoir plusieurs sens. Pour un mot donné, nous cherchons à annoter uniquement le sens (lexie) majoritaire. Ceci constitue un défi pour un algorithme d’EI car plusieurs contre exemples s’expriment de la même manière que les exemples d’apprentissage, ce qui rend la tâche d’apprentissage plus délicate.
La table 8.3 donne quelques statistiques sur les deux mots du corpus SyntSem sur lesquels portent nos expérimentations.
Mot Nombre
de lexies Nombre totald’exemples Nombre d’exemples de lalexie majoritaire
Compagnie 12 412 294
Organe 6 366 140
Table 8.3 – Statistiques sur les mots à extraire.
— Compagnie : il s’agit d’annoter dans le texte 294 parmi 412 occurrences du mot « compagnie » dont le sens est décrit dans la figure 8.2.
Figure 8.2 – Lexie majoritaire du mot « compagnie ».
— Organe : il s’agit d’annoter dans le texte 140 parmi 366 occurrences du mot « organe » dont le sens est décrit dans la figure 8.3.
Nous réalisons donc deux expérimentations : la première a comme but tissage de la lexie majoritaire du mot « compagnie » et la deuxième vise l’appren-tissage de la lexie majoritaire du mot « organe ». Les deux expérimentations sont effectuées en suivant un processus de validation croisée 10 fois pour les versions sui-vantes de WHISKRExt: WHISKMot(initial), WHISKLem, WHISKPos, WHISKMotLem, WHISKMotPos, WHISKLemPoset WHISKMotLemPos. Les tables 8.4 et 8.5 présentent les performances moyennes obtenues respectivement dans la première et la deuxième expérimentation.
Dans la première expérimentation où il s’agit de reconnaître la lexie majoritaire du mot « compagnie » représentée par 71% du nombre d’exemples qui représentent
8.2. Rôle des informations linguistiques dans les performances des
règles 151
Figure 8.3 – Lexie majoritaire du mot « organe ».
Version de WHISKRExt Nombre de règles vp P R F
WHISKMot (initial) 41.1 25.2 89% 85% 86% WHISKLem 40 26.9 79% 91% 83% WHISKPos 125 2.9 25% 1% 14% WHISKMotLem 34.1 26.7 83% 91% 86% WHISKMotPos 32 26 88% 89% 87% WHISKLemPos 27.6 28.1 84% 96% 88% WHISKMotLemPos 27.9 27.7 85% 94% 88% Table 8.4 – Performances moyennes des versions de WHISKRExt utilisées dans la tâche d’apprentissage de la lexie majoritaire du mot « compagnie ». vp correspond au nombre moyen d’annotations prédites correctement dans le corpus de test. P, R et F correspondent respectivement aux valeurs moyennes de précision, rappel et F-mesure sur les données de test.
Version de WHISKRExt Nombre de règles vp P R F
WHISKMot (initial) 58.4 6.1 71% 53% 50% WHISKLem 51.8 6.2 72% 54% 52% WHISKPos 71.5 0.5 11% 4% 5% WHISKMotLem 54.1 7.5 67% 63% 54% WHISKMotPos 56.4 6.7 66% 53% 50% WHISKLemPos 51.1 7.8 69% 66% 60% WHISKMotLemPos 55.8 7.2 66% 75% 63%
Table 8.5 – Performances moyennes des versions de WHISKRExt utilisées dans la tâche d’apprentissage de la lexie majoritaire du mot « organe ». vp correspond au nombre moyen d’annotations prédites correctement dans le corpus de test. P, R et F correspondent respectivement aux valeurs moyennes de précision, rappel et F-mesure sur les données de test.
152 Chapitre 8. Expérimentations le concept en général, conformément aux résultats des expérimentations sur l’ap-prentissage des habitats de bactéries, les différentes versions étendues de WHISKR
se comportent de la même manière et WHISKLemPos obtient la meilleure F-mesure (à égalité avec WHISKMotLemPos) même si elle ne dépasse celle de WHISKMotque de deux points en F-mesure. Pour vérifier si ces résultats sont significatifs, nous avons calculé les scores t-test relatifs à la F-mesure (paired t-test) pour pouvoir comparer deux à deux entre elles les différentes versions de WHISKRExt testées.
Le t-test révèle, dans la première expérimentation, les assertions suivantes : — WHISKPosest moins performant que toutes les autres versions de WHISKRExt
testées avec un niveau de confiance égal à 100% ;
— WHISKMot est plus performant que WHISKLem avec un niveau de confiance égal à 90% ;
— WHISKLemPosest plus performant que WHISKLemavec un niveau de confiance égal à 90%.
Dans la deuxième expérimentation où il s’agit de reconnaître la lexie majoritaire du mot « organe » représentée par 38% du nombre d’exemples qui représentent le concept en général, en revanche, les différents algorithmes testés peinent à dis-tinguer la lexie majoritaire du mot « organe » des autres lexies, ce qui explique les valeurs relativement faibles de F-mesure (63% au meilleur des cas obtenue par WHISKMotLemPos). Même si WHISKLemPosn’obtient pas les meilleures performances dans cette expérimentation, il dépasse largement WHISKMot (10 points de plus en F-mesure).
Le t-test relatif à la F-mesure réalisé également pour cette deuxième expérimen-tation, révèle les assertions suivantes :
— WHISKPosest moins performant que toutes les autres versions de WHISKRExt
testées avec un niveau de confiance égal à 100% ;
— à part WHISKLemPos, WHISKMotLemPos est meilleur que toutes les autres ver-sions de WHISKRExt testées avec un niveau de confiance supérieur à 90%. Concernant le nombre de règles inférées, WHISKLemPos induit le moins de règles respectivement dans les expérimentations 1 et 2 avec respectivement environ 14 règles et 7 règles de moins que WHISKMot.
À part l’élimination de WHISKPos, le calcul des scores t-test dans les deux ex-périmentations ne donne pas les mêmes conclusions.
Nous pouvons remarquer d’après les expérimentations réalisées dans cette section que :
— Plus on ajoute des traits linguistiques aux règles, plus elles sont générales (meilleur rappel) et plus elles sont performantes par conséquent (meilleure F-mesure).
— WHISKLemPosa toujours un rappel nettement supérieur à celui de WHISKMot
à valeurs de précision proches, ce qui fait de lui la bonne version de WHISKRExt
à utiliser quand on cherche à privilégier le rappel.
— WHISKMot obtient les meilleures valeurs de précision, ce qui fait de lui la bonne version de WHISKRExt quand on cherche à privilégier la précision. Ceci est compréhensible car WHISKMot cherche les formes exactes des mots à extraire, ce qui diminue le risque d’erreur.
8.3. Évaluation du gain en temps d’apprentissage 153