Regroupement de points de vue

Dans cette expérimentation, nous avons pour objectif d’évaluer l’exactitude d’identifica- tion des points de vue (VIA – viewpoint identification accuracy) pour VODUM et les modèles de référence afin de tester les hypothèses (H1), (H2), (H3), (H4) et (H5). Étant donné que la collection Bitterlemons contient deux points de vue différents (israélien et palestinien), la mesure de VIA s’apparente ici à l’exactitude d’un problème de regroupement binaire. La VIA est alors la proportion de documents regroupés correctement. Comme il l’a été rapporté dans [Paul et al., 2010], la VIA d’un modèle thématique peut exhiber une variance élevée parmi différentes exécutions de l’échantillonneur de Gibbs, en raison de la nature stochastique de la procédure. Par conséquent, pour chaque modèle évalué, nous effectuons 50 exécutions de l’échantillonneur de Gibbs, avec 1 000 itérations pour chacune. Nous conservons uniquement le tirage final de chaque exécution.

Le nombre de thèmes pour notre modèle VODUM et ses versions dégradées VODUM-D, VODUM-O, VODUM-W et VODUM-S est fixé à 12. Pour les modèles de l’état de l’art, le

nombre de thèmes est choisi en suivant la recommandation de leurs auteurs respectifs : 8 pour TAM (en accord avec [Paul et al., 2010]), 6 pour JTV (en accord avec [Trabelsi et Zaïane, 2014]). Dans le cas de LDA, le nombre de thèmes est fixé à 2 : LDA ne modélisant pas les points de vue, nous étudions dans quelle mesure LDA est capable d’aligner points de vue et thèmes.

Pour VODUM, VODUM-D, VODUM-O et VODUM-W, le dernier tirage de chaque exé- cution de l’échantillonneur de Gibbs fournit une attribution de points de vue aux documents de la collection. Nous utilisons ainsi directement ces attributions pour former deux groupes représentant chacun un point de vue et évaluer la VIA de ces groupes. VODUM-S a cependant des attributions de points de vue positionnés au niveau des phrases, donc dans ce modèle nous attribuons à chaque document le point de vue qui est majoritaire dans les phrases le compo- sant. Lorsque les phrases d’un document sont assignées de manière équilibrée à chaque point de vue, le point de vue de la phrase est choisi aléatoirement suivant une loi uniforme. Nous avons adopté une approche similaire pour TAM, JTV et LDA en utilisant respectivement la majorité parmi les aspects, points de vue et thèmes (positionnés au niveau des mots) pour déduire les attributions de points de vue des documents.

Le résultat de l’expérimentation est fourni sous forme de boîtes à moustaches dans la Figure 4.4, afin de capturer la variance des résultats. Nous résumons également les VIA moyennes et les intervalles de confiance à 95 % qui leur sont associés (ici calculés à partir des 50 exécutions de l’échantillonneur de Gibbs et suivant une loi t de Student) dans la Table 4.3. On peut observer que le modèle VODUM a globalement obtenu les meilleurs résultats sur la tâche de regroupement de points de vue. Plus spécifiquement, les performances de VODUM sont en moyenne supérieures à celle des modèles de l’état de l’art TAM, JTV et LDA, ce qui soutient l’hypothèse (H5). Notons que VODUM est significativement meilleur (pour un niveau de significativité statistique α = 0, 05) que JTV et LDA, mais que la différence avec TAM n’est pas significative. Il est probable que cela soit dû à la variance élevée de la VIA, impliquant qu’un nombre supplémentaire d’exécutions pourrait être requis10.

Parmi les modèles de l’état de l’art, TAM a obtenu les meilleurs résultats. On peut éga- lement observer que les performances de JTV ne dépassent pas celle de LDA sur cette tâche. Cela peut sans doute être expliqué par le fait que la dépendance entre attributions de thèmes et de points de vue n’a pas été prise en compte pour identifier les points de vue des docu- ments dans JTV – les attributions de points de vue au niveau des mots dans JTV ne sont pas nécessairement alignées pour des thèmes différents.

Les résultats obtenus par les versions dégénérées soutiennent les hypothèses (H1), (H2), (H3) et (H4). VODUM-O et VODUM-W ont obtenu des performances significativement plus basses que tous les autres modèles, se rapprochant de 50 % (VIA correspondant à une approche qui attribuerait aléatoirement les points de vue aux documents). Par conséquent, la séparation des mots thématiques et des mots d’opinion, ainsi que le positionnement des attributions de thèmes au niveau des phrases – caractéristiques adoptées par VODUM et absentes dans

10. Nous avons ici fixé le nombre d’exécutions à 50 pour limiter le temps de calcul (environ 270 secondes pour une unique exécution).

Tableau 4.3 – Exactitude d’identification des points de vue (VIA) et intervalle de confiance (IC) à 95 % autour de la VIA moyenne pour VODUM, TAM, JTV, LDA, VODUM-D, VODUM-O, VODUM-W et VODUM-S. Une valeur plus élevée indique une meilleure perfor- mance. Le meilleur résultat est signalé en gras. Les IC sont calculés à partir de 50 exécutions et suivant une loi t de Student.

Indicateurs Modèles

VODUM TAM LDA JTV

VIA moyenne 0,639 0,620 0,568 0,548

IC à 95 % [0,609 ; 0,670] [0,594 ; 0,647] [0,551 ; 0,585] [0,539 ; 0,558] VODUM-D VODUM-W VODUM-S VODUM-O VIA moyenne 0,598 0,517 0,564 0,518

IC à 95 % [0,569 ; 0,626] [0,513 ; 0,520] [0,551 ; 0,577] [0,514 ; 0,523]

VODUM-O et VODUM-W, respectivement – sont grandement bénéfiques à notre modèle pour identifier correctement le point de vue des documents. Ceci apporte donc confirmation aux hypothèses (H2) et (H3). Le modèle VODUM-S a obtenu une VIA supérieure à celles de VODUM-O et VODUM-W, mais néanmoins significativement plus faible que celle de VODUM. Ainsi, le positionnement des variables de point de vue au niveau des documents mène à une meilleure VIA que leur positionnement au niveau des phrases, soutenant (H4). Parmi les versions dégénérées, VODUM-D a globalement obtenu les meilleurs résultats, qui demeurent toutefois inférieurs à ceux de VODUM. Nous avons donc établi empiriquement la validité de la supposition faite dans [Qiu et Jiang, 2013; Qiu et al., 2013b], postulant que l’utilisation de distributions de thèmes spécifiques aux points de vue (au lieu d’être spécifiques aux documents comme c’est le cas dans VODUM-D) améliore la VIA. Cela implique également la confirmation de l’hypothèse (H1).

En complément de l’analyse quantitative présentée dans cette section, nous étudions la qualité des thèmes, opinions et points de vue découverts par VODUM dans la Section 4.2.2.3.

4.2.2.3 Analyse qualitative des thèmes et des points de vue découverts par VO-