Au total la ressource produite compte 72 patrons, dont nous présentons quelques exemples dans le tableau 8.6. La comparaison des deux systèmes évalués, indiquée dans le tableau 8.5, montre que notre méthode de construction de ressource par amorçage est globalement plus efficace pour la détection d’opi- nion dans ce corpus d’un nouveau domaine. Le modèle d’étiquetage de séquence entraîné sur les avis du domaine de l’hôtellerie, certes plus précis (+3,62pp en précision), est en effet significativement moins cou- vrant (-21,12pp en rappel).
Ressource Précision Rappel F1
Patrons initiaux 64,10 5,11 9,46
Patrons extraits 66,86 45,80 54,36
CRF 70,48 24,68 36,56
TABLEAU8.5 – Évaluation du modèle CRF (entraîné sur un domaine différent) et de l’extraction de patrons par amorce pour la détection d’opinion parmi des avis sur des appareils électroniques en chinois.
Ces résultats prometteurs laissent entrevoir des opportunités intéressantes en matière d’échange entre les approches symbolique et probabiliste. En effet s’il était possible d’appuyer un modèle de classification sur des premières annotations automatiquement créées à l’aide des patrons, cela pourrait en accélérer la mise en place. Nous procédons à la validation d’une telle supposition dans le chapitre suivant.
Patron Expression Traduction
subjectivème terme 多功能设置 les paramètres sont multifonctions
terme 也 ADV subjectivème 菜单界面也很友好 l’interface est aussi très agréable
subjectivème 的 terme 出色的机身设计 excellent design du produit
terme CS 不 subjectivème 对焦系统虽然不够 le système de focus n’est pas
suffisant
terme 不 VERB ADV subjectivème 整机重量不是很重 le poids n’est globalement pas
un problème
TABLEAU8.6 – Exemples de patrons extraits et d’expressions correspondantes
8.3
Synthèse
Dans ce chapitre, nous avons présenté une méthode d’extraction de patrons de détection en nous inspirant de deux concepts existants.
• L’extraction de marqueurs polylexicaux au sein de fenêtres caractéristiques d’expressions subjec- tives, telle que proposée par [Riloff and Wiebe, 2003] ;
• Les patrons à instanciation variable, définis par [Murray and Carenini, 2011], à travers lesquels nous généralisons des marqueurs extraits en patrons.
À l’aide de cette méthode nous avons cherché à compléter des bases de patrons de détection existantes, puis à en créer une nouvelle pour une langue encore non traitée.
• Nous avons conclu que l’enrichissement des ressources établies ne permet pas d’améliorer signifi- cativement la détection d’opinion, voire en gêne le fonctionnement ;
• En revanche nous obtenons par cette méthode des résultats très positifs pour la création d’une res- source. Les patrons ainsi construits se révèlent notamment plus performants pour la détection d’opi- nion qu’un modèle d’étiquetage entraîné sur un domaine différent.
9
Annotation de corpus assistée
9.1 Annotation pour la fouille d’opinion . . . 106
9.1.1 Motivations . . . 106
9.1.2 Travaux existants . . . 106
9.1.3 Phases de l’annotation . . . 107
9.2 Amorçage à l’aide de patrons . . . 108
9.2.1 Opinions initiales . . . 108
Sélection de patrons . . . 108
Sélection de termes . . . 108
9.2.2 Amorçage . . . 109
9.3 Rendre l’annotation accessible . . . 110
9.3.1 Contraintes d’annotation . . . 110
Annotation en comité restreint . . . 110
Propriété des données . . . 110
Annotation et outils existants . . . 110
9.3.2 Interface d’annotation . . . 110
Travaux existants . . . 110
Limites des outils . . . 111
Proposition . . . 112 9.3.3 Ludification de l’annotation . . . 113 Travaux existants . . . 113 Intérêts et limites . . . 113 9.4 Synthèse . . . 114 105
Il ressort des expériences précédentes que la constitution d’une ressource symbolique semble plus adaptée à l’initialisation d’un système de fouille d’opinion qu’à son développement sur le long cours. Afin d’améliorer continuellement ce système, il est donc nécessaire d’emprunter une approche différente. Sur la base de notre étude des systèmes hybrides décrits au chapitre6, nous proposons de faire reposer ce système sur une méthode probabiliste supervisée.
Dans ce chapitre, nous expérimentons plusieurs moyens de réduire l’effort d’annotation intrinsèque à la mise en place d’une telle méthode. Nous proposons tout d’abord une solution à l’inconvénient que représente le « démarrage à froid » de la création de matériel annoté en nous appuyant sur une ressource symbolique, puis nous combinons cette amorce à une annotation itérative. Nous étudions enfin dans quelle mesure l’annotation peut être présentée de manière plus efficace et éventuellement ludifiée dans notre cadre de travail afin de pallier la fastidiosité de la tâche.
9.1
Annotation pour la fouille d’opinion
Nous argumentons ici brièvement pour la création de matériel annoté, puis nous abordons la notion existante d’apprentissage actif, dont l’objectif est de réduire l’effort d’annotation et sur laquelle nous nous appuyons pour les expériences présentées par la suite.
9.1.1
Motivations
Nous avons vu lors de la comparaison des méthodes au chapitre6, qu’un modèle d’étiquetage de séquence offre globalement une meilleure détection de l’opinion à granularité fine qu’un système reposant sur un ensemble de règles. En ce sens, il paraît inévitable de créer un matériel d’entraînement, c’est-à-dire des corpus annotés. Par ailleurs l’intérêt de ce type de ressource ne se limite pas à une question de performance. Comme nous l’avons évoqué au chapitre5, la maintenance d’exemples de phrases annotées est plus aisée que celle d’une liste de patrons car ces exemples sont explicites et ne constituent pas, à l’inverse des règles symboliques, un risque de dérive de détection. Cette transparence des éléments de la ressource nécessaire au modèle probabiliste est également synonyme d’un accès plus ouvert à la contribution, tandis que l’ajout manuel de patron est un travail d’expert.
Malgré ces avantages, que nous avons pu développer dans les chapitres précédents, l’annotation de corpus en cibles d’opinion reste une tâche fastidieuse, et de manière plus concrète, trop chronophage pour l’appliquer dans notre cadre de travail. Par conséquent, ce que nous recherchons s’apparente davantage à une aide à l’annotation, ou une « annotation assistée par ordinateur », pour reprendre une expression usitée dans le domaine du dessin et de la conception technique.
9.1.2
Travaux existants
La notion existante se rapprochant le plus de celle d’une « annotation assistée par ordinateur » est l’appren- tissage actif. Cette appellation recouvre un groupe de méthodes visant à réduire l’ensemble d’entraînement d’un modèle probabiliste, en sélectionnant les exemples les plus informatifs pour l’annotation, comme illustré sur la figure9.1.
La sélection peut se dérouler selon plusieurs stratégies différentes, comme l’échantillonnage incertain (uncertainty sampling [Lewis and Gale, 1994]) qui consiste à présenter à l’annotateur les exemples pour lesquels le modèle est le moins confiant, ou encore la requête par votes (query-by-committee [Seung et al., 1992]), où plusieurs modèles apprennent en concurrence à partir de traits de classification différents. Les exemples sur lesquels le « comité » est le plus en désaccord sont proposés à l’annotation. Il existe d’autres stratégies que nous ne détaillons pas ici, cependant il est admis que l’échantillonnage incertain, que nous avons utilisé, est la plus efficace [Settles, 2010]. En ce qui concerne l’apprentissage actif pour l’étiquetage de séquence, [Tomanek and Hahn, 2009] proposent de réduire davantage l’effort manuel nécessaire en ne présentant à l’annotateur que les segments de séquence incertains. La mesure de cet effort manuel est par
9.1. ANNOTATION POUR LA FOUILLE D’OPINION 107 Documents non annotés Documents annotés Modèle de classification Annotation Prédiction Apprentissage Sélection Ajout