8.2. EXPÉRIENCES 101
8.2
Expériences
Nous évaluons notre méthode itérative d’extraction de patrons en l’appliquant à deux situations. Dans la première, la ressource de référence (« Patrons initiaux » sur la figure8.2) est une liste de patrons relative- ment fournie et dont les éléments ont été corrigés ou optimisés au cours du temps. Dans la seconde, nous expérimentons cette méthode pour la création d’une nouvelle ressource, soit une génération d’une liste de patrons qui ne nécessite, pour les besoins de l’algorithme, qu’un unique patron défini manuellement.
8.2.1
Acquisition de patrons à partir d’une ressource existante
Nous souhaitons observer dans quelle mesure l’extraction automatique de patrons lexico-syntaxiques peut enrichir les règles de détection d’opinion en français et en anglais que nous avons manuellement construites et régulièrement mises à jour.
Cadre expérimental
Afin de comparer les performances obtenues avec les résultats précédents, nous menons ces expériences sur les corpus annotés en cibles d’opinion issus de l’atelier SEMEVAL 2016, sur lesquels nous nous sommes
également appuyés aux chapitres 5 et 6. L’extraction de patrons est appliquée au corpus d’entraînement (335 documents dans le corpus en français, 350 dans le corpus en anglais), puis nous comparons sur le corpus d’évaluation les résultats de la détection d’opinion reposant sur les patrons initiaux dans un premier temps, et la ressource enrichie dans un second temps.
Résultats
S’il est vrai que la liste de patrons dans les deux langues a bel et bien été enrichie (plusieurs itérations sont effectivement nécessaires avant d’atteindre une convergence), nous constatons cependant que la per- formance globale des systèmes a peu changé, comme il est indiqué sur les tableaux 8.1 et 8.2 (-0,37pp F1 en français, +0,13pp F1 en anglais). Les résultats pour chacune des langues illustrent en réalité deux phénomènes différents. Dans le cas du français, de nouveaux patrons identifiés permettent une amélioration légère de la couverture des opinions (+0,14pp en rappel), au prix d’un plus grand nombre d’expressions détectées qui ne sont pas des opinions (-1,66pp en précision).
Ressource Précision Rappel F1
Patrons initiaux 44,13 26,15 32,84
Patrons extraits
(9 itérations jusqu’à convergence) 42,47 26,29 32,47 TABLEAU8.1 – Extraction de patrons de détection en français
Ressource Précision Rappel F1
Patrons initiaux 54,33 34,50 42,20
Patrons extraits
(8 itérations jusqu’à convergence) 60,11 32,67 42,33 TABLEAU8.2 – Extraction de patrons de détection en anglais
Les patrons extraits depuis le corpus en anglais sont plus précis – car davantage lexicalisés – lorsqu’ils correspondent à une expression d’opinion (+5,78pp en précision), mais certains chevauchent des segments de texte couverts par les patrons initiaux et entravent leur activation, ce qui induit une perte de couverture (-1,83pp en rappel).
8.2.2
Construction d’une nouvelle ressource
Les résultats précédents tendent à montrer que cette identification automatique de nouveaux patrons de détection peine à améliorer une ressource déjà établie. Nous conduisons à présent une seconde extraction afin d’évaluer la capacité de cette méthode à créer une liste de patrons dans une langue où aucune ressource n’existe, dans notre cas le chinois.
Corpus
Cette expérience nécessite deux corpus annotés en cibles d’opinion en chinois. Nous utilisons le corpus d’avis clients sur des appareils électroniques issu de l’atelier SEMEVAL ABSA 2016 afin d’évaluer la méthode d’identification de patrons, et le corpus MioChnCorp1[Yiou et al., 2015], constitué d’avis clients sur des hôtels, pour comparer cette détection d’opinion ex nihilo avec l’adaptation d’un modèle d’extraction probabiliste existant. En effet il ne s’agit pas tant de voir ici le gain qu’apporte la ressource créée par rapport à un seul patron de détection, mais aussi l’intérêt de cette méthode face à une approche plus commune, dans le cas où nous disposerions d’un premier modèle entraîné sur des données d’un domaine différent.
Lexique affectif
Les subjectivèmes chinois que nous employons sont issus d’une traduction d’un sous-ensemble de subjec- tivèmes en français par un locuteur natif. Par ailleurs, nous enrichissons ce lexique à l’aide de la méthode d’extraction par patrons présentée au chapitre 7. Ces marqueurs sont, comme en français ou en anglais, généralement des adjectifs. Cependant la langue chinoise distingue deux types d’adjectifs : les qualificatifs « simples », qui ont le même statut que nos adjectifs attributs ou épithètes, et les verbes statifs qui corres- pondent davantage à l’usage d’un participe passé pour qualifier un sujet. De ce fait les verbes statifs sont rarement neutres et forment par conséquent une classe de mots de facto subjectivèmes.
Marqueur extrait Traduction Occurrences
方便 pratique 15
快 rapide 8
实用 fonctionnel 7
出色 incroyable 6
TABLEAU8.3 – Exemple de marqueurs d’opinion extraits du corpus en chinois
Patron d’amorçage
Nous définissons un seul patron d’amorçage, terme subjectivème , soit l’association la plus simple for- mant une opinion. Ce patron ne permet d’extraire qu’un nombre restreint d’expressions d’opinion, dont nous présentons quelques exemples dans le tableau8.4, mais avec une précision satisfaisante, comme in- diqué dans le tableau8.5.
Expression extraite Traduction Expression extraite Traduction
出片效果色彩深沉 le filtre de film est sombre 操作简单方便 le fonctionnement est simple
反差高 le contraste est fort 焦准确 le focus est précis
性能良好 la performance est bonne 降噪功能明显 la réduction de bruit est
significative
TABLEAU8.4 – Exemples d’opinions extraites du corpus par le patron d’amorçage terme subjectivème
8.2. EXPÉRIENCES 103 Résultats
Le traçage des résultats de chaque itération, illustré sur la figure 8.3, valide notre approche : la précision initiale est non seulement conservée mais est même améliorée (+2,76pp), tandis que le rappel croît de façon continue jusqu’à une stabilisation (+40,69pp). Le « saut » que nous observons sur la courbe à l’itération 5 est dû à l’identification d’un patron couvrant de nombreuses expressions, terme ADV subjectivème , telle que 成像质量很好 (la qualité d’image est très bonne).
0 5 10 15 20 25 0 0.2 0.4 0.6 Itérations Précision Rappel F1