Limites de la prédiction directe d’emojis

L’approche proposée dans ce chapitre consiste à prédire des emojis par classi-fication multi-étiquettes à l’aide de caractéristiques discriminantes orientées vers le sentiment et l’humeur. Cette approche possède toutefois plusieurs limites :

Déséquilibre. Il n’est pas possible de prendre en compte efficacement les

emo-jis rares du corpus d’entraînement. Ceci entraîne alors une sur-représentation des emojis les plus utilisés qui représentent un petit échantillon compte tenu du nombre important d’emojis disponibles. Ainsi, nous pourrions nous retrouver avec un système qui peut bien fonctionner mais qui, soit fera du sur-apprentissage sur les éléments rares amenant ainsi une mauvaise prédiction de ces derniers, soit possédera un score de rappel tellement faible que ces éléments seraient tout aussi bien ignorés. La gestion du déséquilibre dans la représentation des emo-jis est ainsi cruciale si l’on veut obtenir une bonne recommandation, tandis que pour une simple prédiction elle devient moins importante, la recommandation consistant aussi à proposer d’autres emojis liés même si leur utilisation est moins importante.

Jeu d’étiquettes changeant. La liste des emojis est toujours amenée à être

modifiée et enrichie, comment le modèle de prédiction pourrait-il alors prendre en compte des emojis qu’il n’a pas vu lors de la phase d’entraînement ? Cette li-mite est très importante dans le cadre d’un système de recommandation à usage réel puisqu’elle provient plus du contexte sociétal où les utilisateurs et les en-treprises créent régulièrement de nouveaux emojis, que d’une problématique de

performance pure. En effet, non seulement de nouveaux emojis apparaissent ré-gulièrement, mais chaque application possède son lot d’emojis, ou d’autocollants (stickers, des images plus détaillées représentant une attitude émotionnelle). Pre-nons pour exemple l’emoji licorne, comment promouvoir cet emoji s’il vient juste d’être intégré et donc qu’il n’y a aucun cas d’exemples d’utilisation ? Cette adapta-bilité du système de recommandation désiré est importante à prendre en compte, les systèmes de prédiction ou suggestion pure ne suffisant pas pour ce cas.

Interprétabilité. Prédire des emojis est une première étape nécessaire mais

ne donne pas d’informations sur la raison de cette prédiction. Proposer ainsi des emojis un à un sans donner un sens à la prédiction en structurant la réponse n’en-traîne pas toujours une confiance de l’utilisateur vis-à-vis du résultat proposé et de la recommandation effectuée. Si l’utilisateur ne peut pas interpréter les résul-tats, alors il aura l’impression que le système se trompe, ou alors ne saura pas comprendre pourquoi le système se trompe dans tel ou tel cas. Un bon exemple de ce cas de figure est le cas du sarcasme et de l’ironie : le système de prédiction peut prédire à la fois des emojis parce qu’ils correspondent à l’émotion présente dans le message mais aussi parce qu’il les a vu apparaître dans ce contexte alors qu’ils étaient utilisés pour du sarcasme, c’est-à-dire montrer une émotion ou une polarité contraire au contenu du message.

This cake is just wonderful !

3.5. Conclusion

Dans ce chapitre, la prédiction d’emoji a été abordée en ayant pour objectif principal de prédire directement chaque emoji. L’hypothèse des différentes fonc-tions des emojis dans une conversation et dans l’interprétation d’un message (voir chapitre 1) a fait l’objet de deux approches différentes : une prédiction d’emojis par génération de contenu pour remplacer le mot en cours (fonctions référentielles et d’expression) et une prédiction d’emojis par classification super-visée pour enrichir le contenu textuel (fonctions expressives, conatives et méta-linguistiques).

L’approche générative mélangeant chaînes de Markov cachées et lexique de référence agrégé s’est montrée déséquilibrée puisque très efficace sur un certain panel d’emojis et beaucoup moins dans l’ensemble. La prise en compte de 1 215 emojis s’est révélée être une des sources de la difficulté de la tâche, qui montre également des limites par la constitution du lexique de référence.

L’approche discriminante utilisant une classification supervisée multi-étiquettes pour proposer plusieurs emojis possibles pour chaque phrase a donné des

sultats encourageants. Elle est comparable avec l’état de l’art sur la prédiction directe d’emojis (BARBIERI, BALLESTEROS et SAGGION, 2017; XIE, Z. LIU et al., 2016a; X. LI, YAN et al., 2017) et se différencie principalement par une ap-proche orientée caractéristiques discriminantes de sentiment et d’humeur avec des arbres de décision, mais aussi par le corpus de messages instantanés privés utilisé. Cette approche s’est montrée efficace aussi bien sur un corpus limité à 164 emojis sentimentaux qu’à 1 070 emojis divers et variés.

L’information relative à l’humeur de l’utilisateur lors de l’écriture du message s’est montrée déterminante pour la prédiction d’emojis dans un corpus instan-tané privé. Toutefois l’approche générale, aussi bien générative que discrimi-nante, souffre du fort déséquilibre du jeu d’étiquettes : quelques emojis sont sur-représentés tandis que d’autres sont très peu utilisés. Aussi, la prédiction de l’emoji ou des emojis n’est pas toujours interprétable puisqu’il peut s’agir de plusieurs emojis représentant chacun des idées contradictoires par exemple. De plus, le jeu d’emojis à prédire ne peut pas directement être étoffé sans obtenir des exemples d’utilisation du nouvel emoji. Cette prédiction d’emojis est donc limitée et ne saurait être suffisante à une véritable recommandation d’emojis. Pour pallier à cette problématique, nous proposons dans le chapitre suivant de ne plus prendre en compte les emojis directement, mais leurs catégories dans le chapitre4.

3.6. Synthèse

Approches méthodologiques : générative et discriminante Approche générative

— Objectifs : améliorer les systèmes existants présent et prendre en

compte deux fonctions des emojis (référentielle et expression). — Méthode : utilisation de HMM pour générer le mot à suivre à partir

du mot en cours ou du mot précédent. Distance d’édition avec un lexique agrégé pour transformer ce mot en un emoji.

— Résultats : efficace pour un ensemble restreint d’emojis de type

ob-jet, mais inefficace dans l’ensemble. — Limites : biais de constitution du lexique.

— Perspectives : constituer automatiquement le lexique et remplacer

la génération du mot.

Approche discriminante

— Objectifs : prédire plusieurs emojis par phrase et prendre en compte

trois fonctions des emojis (conative, expressive et méta-linguistique). — Méthode : classification supervisée multi-étiquettes par RandomFo-rest avec prise en compte de l’humeur et de l’analyse de sentiment

sur des messages privés.

— Résultats : classification efficace avec des sacs de caractères, aussi

bien sur les emojis sentimentaux que sur l’ensemble. Apport non né-gligeable de l’humeur et du sentiment dans la classification.

— Limites : déséquilibre des données non pris en compte,

impossibi-lité d’adapter à de nouveaux emojis et difficile interprétabiimpossibi-lité de la prédiction finale lorsque plusieurs emojis se contredisent.

— Perspectives : ne plus considérer les emojis comme les objets directs

de la prédiction, permettre l’ajout de nouveaux emojis.

Contribution :

— Prise en compte de cinq des six fonctions de l’emoji dans la conver-sation.

— Modèle de prédiction par approche générative et correspondance lexicale pour les emojis utilisés en remplacement d’un mot.

— Modèle de prédiction par classification multi-étiquettes pour les emo-jis utilisés pour ajouter de l’information contextuelle, orienter l’in-formation textuelle ou garder la conversation en cours. Prédiction d’emojis pour proposer plusieurs emojis (jusqu’à 1070) et non pour classer les messages par emoji.

— Application à un corpus de messages instantanés privés avec prise en compte de l’humeur actuelle de l’utilisateur.

4. Catégorisation d’emojis