Prédiction d’emoji

L’emoji est récemment passé du statut d’outil permettant d’améliorer une tâche connexe à objet principal de la prédiction. En 2016, Xie et al. ont ainsi cherché à recommander des emojis en réponse d’un flux de conversation. Ils ont donc classifié des conversations par 10 emojis possibles en représentant les dialogues par un encodeur utilisant un LSTM (HOCHREITERet SCHMIDHUBER,1997) pour chaque réponse, suivi d’un LSTM hiérarchique (J. LI, LUONG et al.,2015) repré-sentant l’ensemble de la conversation. Ce modèle appris sur 1 164 694 conversa-tions de Weibo14a donné un taux de Mean Reciprocal Rank (MRR) (RADEV, QIet al.,2002) de 54,8% et une précision pour les 3 emojis les plus présents (P@3) de 65,7%. D’une manière similaire mais en se concentrant sur la prédiction d’emo-jis dans les tweets, Barbieri et al. (BARBIERI, BALLESTEROS et SAGGION, 2017) ont utilisé des Bi-LSTM (HUANG, W. XUet al., 2015) pour classer des tweets en 20 emojis possibles représentant les emojis les plus utilisés dans leur corpus de 40 millions de tweets. Ils ont obtenu une f-mesure de 34% pour les 20 emojis et 65% pour les 5 emojis les fréquents. En comparant les résultats de Xie (XIE, Z. LIU et al., 2016a) et Barbieri (BARBIERI, BALLESTEROS et SAGGION, 2017) avec les 48,8% d’exactitude obtenus par (FELBO, MISLOVE et al., 2017) pour prédire les 5 emojis les plus fréquents, la tâche de prédiction directe d’emojis n’est pas triviale. Ce qui s’est confirmé par une autre tentative de classification de tweets par 50 emojis les plus présents (ZHAOet ZENG,2017) obtenant 45,8% en f-mesure et 40,3% en exactitude à partir de l’architecture CNN de Kim (KIM, 2014). Une autre approche de classification a été intentée par Li et al. (X. LI, YAN et al.,2017) en comparant les matrices représentant les emojis suites à des plongements lexicaux avec la représentation créée par la couche de CNN dans leur réseau, ils montrent que cette approche est efficace sans avoir recours à une dernière couche de softmax (BRIDLE,1990). Ils ont obtenu 63,01% de précision pour les 5 emojis les plus fréquents (P@5) ainsi que 41,39% de MRR, allant dans le même sens que les autres études de prédiction d’emoji. La classification de tweets par emojis a également fait l’objet d’une tâche à SemEval2018 (BAR

BIERI, CAMACHO-COLLADOS et al., 2018) consistant à classer des tweets anglais et espagnols par 20 emojis et dont les f-mesures maximales ont été de 35,99% pour l’anglais et 22,36% pour l’espagnol.

La prédiction d’emoji a récemment évolué en prenant en compte plusieurs modalités, avec pour point de départ la mise en place de légende automatique d’images sous forme d’emojis (CAPPALLO, MENSINKet al.,2015) à l’aide de plon-gements sémantiques pour le texte et de CNN pour représenter l’image, les deux représentations étant alors comparées. D’une manière proche, Barbieri et al. (BARBIERI, BALLESTEROS, RONZANOet al.,2018) ont mis en place une prédiction de réaction à des images sous forme d’emojis en considérant les 20 emojis les plus fréquents. Les caractéristiques visuelles sont obtenues par réseaux de neurones résiduels (HE, X. ZHANG et al., 2016) tandis que les caractéristiques textuelles des emojis sont obtenues par FastText (JOULIN, GRAVE et al., 2016), obtenant une amélioration de 13,42% comparé à l’utilisation unique de caractéristiques textuelles ou visuelles. La multimodalité a également été utilisée pour résumer automatiquement une vidéo en un ensemble d’emojis (CAPPALLO, SVETLICHNAYA

et al., 2019) ou encore pour prendre en compte les saisons pour influencer la prédiction d’emoji (BARBIERI, MARUJOet al.,2018).

2.4. Discussion

Dans ce chapitre, nous avons présenté les différents travaux sur les emojis. Cet état de l’art est constitué de travaux récents mettant en évidence l’émer-gence actuelle de recherches sur les emojis. Les premiers travaux ont principa-lement cherché à comprendre les emojis par le biais de travaux générateurs de ressources que nous séparons en deux parties : ceux dédiés à l’étude de simi-larité d’emojis, bien souvent à l’aide de plongements lexicaux, et ceux dédiés à l’obtention d’une meilleur définition sémantique pour chaque emojis à l’aide notamment d’auto-encodeurs, de ressources lexicales ou de plongements lexi-caux. La prise en compte d’emojis dans des modèles de classification a ensuite été effectuée d’abord dans l’objectif d’une meilleure analyse du sentiment ou des émotions, avant d’avoir pour objectif unique la prédiction d’emojis en elle-même. Les travaux actuels présentent plusieurs limites. Tout d’abord la recommanda-tion des emojis n’est pas considérée puisque seule la prédicrecommanda-tion d’emojis l’est par le biais d’une classification mono-étiquette. Les emojis prédits sont ensuite res-treints aux emojis les plus fréquents, perdant alors tout sens dans la prédiction qui en suit pour une recommandation ultérieure, les emojis les plus fréquents étant souvent uniquement à polarité positive. Ces deux principales limites sont celles auxquelles nous souhaitons pallier.

Le travail présenté dans ce manuscrit propose une contribution multiple au traitement des emojis. La première contribution réside tout d’abord dans l’ap-proche méthodologique de par les paramètres de plongements lexicaux des mots et des emojis, mais également de par la portée considérée pour la recommanda-tion. L’objectif de construire une recommandation d’emojis n’a été abordé que par (XIE, Z. LIU et al., 2016a) et dans le travail présenté l’objectif n’est pas de classer les messages par emoji mais bien de proposer un panel d’emojis comme autant de choix à l’utilisateur. La seconde concerne la représentation des emo-jis, aussi bien dans leur considération comme de simples mots à part entière que dans la manière dont ils sont pris en compte techniquement : en tant que simple indice, représentation vectorielle de leur contexte compressé, ou méta-catégories. Enfin, la dernière principale contribution revient à la nature même du système de recommandation établi qui se veut être un système hybride entre prédiction et recommandation, et finalement assez éloigné des systèmes de re-commandations habituels. Il s’agit d’un système sur-mesure répondant aux spé-cificités de la tâche.

2.5. Synthèse

Domaine récent : les travaux de recherche sur les emojis ont émergé

en 2015.

Compréhension des emojis :

— plusieurs travaux se sont attelés à comprendre les emojis par l’étude de leurs usages et de leur impact social et conversation-nel ;

— certains travaux essaient de comprendre les emojis en trouvant leur sémantique adéquate.

Ressources sur les emojis :

— issues de travaux sur la compréhension des emojis — issues de modèles appris pour leur prédiction

— issues de sources diverses (sur-couche clavier, listes de standardi-sation, etc.)

Prédiction d’emojis :

— utilisée pour aider à d’autres tâches connexes (analyse de senti-ment, etc) ;

— utilisée en tant qu’objectif en soi : nouvelle tâche émergente pour tester différentes approches.

Limites actuelles :

— il n’y a pas de véritables travaux sur la recommandation d’emojis. Uniquement la prédiction d’un seul emoji pour une phrase ; — les travaux actuels sont souvent déconnectés de la réalité

appli-cative (les tweets sont des données d’un type différent, aucune évaluation par l’utilisateur final, etc.) ;

— la prédiction d’emojis est souvent restreinte aux emojis les plus fréquents, créant un biais quant à la difficulté de la tâche et la constitution du jeu d’étiquettes.

Contributions et différenciations :

— la présente thèse se concentre sur la recommandation pour l’utili-sateur ;

— la prédiction n’est pas restreinte à un seul emoji par message. Plu-sieurs emojis possibles sont considérés, individuellement ou par groupes ;

— l’évaluation du système se fait également par l’utilisateur réel et non uniquement par le fait de retrouver les emojis utilisés dans un