Limites de l’étude

Nous l’avons déjà brièvement mentionné dans la partie précédente mais notre travail possède un certain nombre de limites qui pourraient rendre intéressant un travail plus approfondi ou mis en place différemment. Nous mentionnerons d’abord le choix de notre corpus. En effet, celui-ci semblait parfait de prime abord car il était composé de commentaires standards et de commentaires ironiques, ce qui était précisément ce que nous cherchions. Or, parmi les commentaires ironiques se trouvent un certain nombre de commentaires humoristiques qui n’ont pas d’autres buts que de divertir le potentiel lecteur.

Nous sommes d’avis que ce genre de commentaires (qui pourtant sont assez présents dans notre corpus) ne sont pas les commentaires les plus pertinents pour l’étude que nous avons menée. En effet, ils ont été problématiques au moment de l’analyse de sentiment puisqu’ils sont très difficiles à noter – nous pensons d’ailleurs qu’ils sont responsables d’une grande partie des divergences que nous avons pu observer entres les annotateurs.

La deuxième limite que nous pouvons citer se trouve dans la méthodologie. En effet, il aurait pu être intéressant de faire annoter les commentaires ironiques (que ce soit au niveau de la qualité ou de l’analyse de sentiment) puis de supprimer l’ironie et de les faire annoter une seconde fois. Les données obtenues en procédant de la sorte auraient pu faire l’objet d’autres calculs statistiques (par exemple le test t-apparié) et nous aurions sans doute pu apporter une conclusion plus catégorique quant à notre question de recherche. Il nous a été difficile de comparer des commentaires standards premier degré et des commentaires humoristiques qui, parfois, étaient méta-textuels. Nous pensons notamment à l’exemple en figure 10 (Section 3.3). Le titre du commentaire (qui n’était pas indiqué dans les annotations) est le suivant : « am I doing this right ? » En écrivant cela, l’auteur fait non seulement référence aux autres commentaires humoristiques du t-shirt qu’il critique et en profite pour s’inscrire également dans ce « mouvement ».

Il aurait également été intéressant de classifier les commentaires ironiques par leurs marqueurs. En effet, notre corpus est presque entièrement constitué d’antiphrases, ce qui est sans aucun doute le procédé ironique le plus facile à traduire pour un système de TA. Il aurait été intéressant de sélectionner d’autres marqueurs et de pouvoir comparer lequel est le moins bien pris en charge, par exemple. De même, la taille des commentaires (très variable) à potentiellement pu avoir une influence sur les résultats. Il aurait été intéressant d’établir au préalable une fourchette (par exemple 100 à 300 mots) qui aurait limité l’écart de notre corpus.

Finalement, les outils en ligne que nous avons utilisé pour l’analyse de sentiment se sont révélés ne pas être efficaces. Cela a malheureusement rendu une partie - que nous espérions être importante - de notre travail - caduque. En effet, il est difficile d’établir des résultats statistiques avec des données aussi pauvres. Toutefois ces données révèlent tout de même que certains domaines sont loin d’avoir été

explorés exhaustivement et il reste de nombreuses choses sur lesquelles les chercheurs peuvent se pencher.

Pour résumer, notre travail nous a permis de mettre en place une méthodologie qui pourrait être utilisée dans une étude plus ambitieuse. Toutefois, celui-ci aurait pu être mis en place différemment et obtenir des résultats peut être plus catégoriques. Un autre corpus pourrait être envisagé de même qu’une classification plus pointue que « ironique / standard ».

6.4 Conclusion

Dans ce travail, nous avons cherché à mesurer si la présence d’un énoncé ironique dans un commentaire Amazon avait une incidence sur la qualité de la TA et sur la compréhension de celle-ci. Pour ce faire nous avons d’abord présenté les diverses notions théoriques qui étaient nécessaires à la mise en place de notre étude. Nous avons ainsi présenté la traduction automatique ainsi que son fonctionnement, puis l’ironie et les problématiques que son utilisation soulève. Nous avons ensuite introduit les divers outils que nous avons mobilisés dans notre étude avant de détailler notre méthodologie et de faire part de nos résultats.

Après cette recherche, la conclusion que nous pouvons apporter à notre travail est que dans le cadre de notre corpus, l’ironie n’a pas d’incidence sur la qualité de la traduction automatique pour DeepL et Bing.

Toutefois, selon les annotations humaines, elle a un impact négatif sur les traductions de Google Traduction. Le score BLEU, lui, a plutôt indiqué une légère amélioration de la qualité lorsque l’un des commentaires possédait au moins une phrase ironique et ce, pour les trois systèmes que nous avons mobilisés.

Quant à la compréhension de celle-ci, elle n’est généralement pas problématique. La plupart des annotations étaient toutes cohérentes les unes avec les autres. Les annotations problématiques ont surtout été le reflet d’une stratégie différente dans l’annotation plutôt que d’une réelle incompréhension. Quant à l’estimation des étoiles que nous avions demandée, elle a été effectuée correctement dans la grande majorité des cas. La minorité problématique l’a été non seulement pour les francophones mais aussi pour les anglophones. Un problème de traduction est donc exclu. Qui plus est, les commentaires dont

les annotateurs n’ont pas réussi à estimer les étoiles étaient soit humoristiques soit jugés comme

« unhelpful » (peu utiles) par les autres utilisateurs d’Amazon.

Ainsi, un utilisateur francophone quelconque ne devrait pas avoir de problèmes particuliers à accéder au contenu d’un commentaire Amazon écrit en anglais. Nous pouvons toutefois lui conseiller d’utiliser DeepL qui lui permettra d’avoir accès à une traduction de bonne qualité et qui lui permettra en plus d’avoir accès à l’implicite du message.

RÉFÉRENCES

ALPAC 1966. Languages and machines : computers in translation and linguistics. A report by the Automatic Language Processing Advisory Committee, Division of Behavioral Sciences, National Academy of Sciences, National Research Council. Washington D.C.

BAHDANAU, D., et al. 2016. Neural machine translation by jointly learning to align and translate [En ligne]. URL : arXiv :1409.0473 [Consulté le 08 Avril 2019].

BARA, B. 2010. Cognitive Pragmatics : The Mental Processes of Communication. Cambridge : MIT Press.

BENGIO, Y., et al. 2018. Fine-Grained Attention Mechanism for Neural Machine Translation [En ligne]. URL : 10.1016/j.neucom.2018.01.007. [Consulté le 11 Avril 2019].

BIRKELUND, M. 2016. Translating the implicit. Dans VIKNER, S. (Eds.), Let us have articles betwixt us : Papers in Historical and Comparative Linguistics in Honour of Johanna L. Wood. Aarhus : Department of English – School of Communication and Culture – Aarhus. pp. 111-128.

BOUILLON, P. 1993. Introduction et bref historique. Dans BOUILLON, P. & CLAS, A. (eds.) La Traductique. pp.13-20.

BOUILLON, P. 2018. Cours de traduction automatique 1. Université de Genève.

BOUILLON, P. 2018. Cours de traduction automatique 2. Université de Genève.

BOUILLON, P. & CLAS, A. 1993. La Traductique. Montréal.

BURGERS, C., MULKEN, M. 2017. Irony Markers. Dans ATTARDO, S. The Routledge handbook of language and humor. New York / London : Routledge.

BUSCHMEIER, K., CIMIANO, P., & KLINGER, R. 2014. An Impact Analysis of Features in a Classification Approach to Irony Detection in Product Reviews. WASSA@ACL.

CALLISON-BURCH, C., OSBORNE, M. & KOEHN, P. Re-evaluating the Role of BLEU in Machine Translation Research. Proceedings of the.

CARVALHO, P., et al. 2009. Clues for Detecting Irony in User-Generated Contents: Oh...!! It’s “so easy" ;-). International Conference on Information and Knowledge Management, Proceedings.

CASTILHO, S., MOORKENS, J., GASPARI, F., et al. 2017. Is Neural Machine Translation the New State of the Art ? The Prague Bulletin of Mathematical Linguistics, vol. 108 (1). pp.109-120.

CHAN, S-W. 2015. The Routledge Encyclopaedia of Translation Technology. London/New-York : Routledge.

CHAVES, M., 2012. Analysing reviews in the Web 2.0: Small and Medium Hotels in Portugal. Tourism Management, vol. 33 (5). pp. 1286 – 1287.

CHIARO, D. 2017. Humor and Translation. Dans ATTARDO, S. The Routledge handbook of language and humor. New York / London : Routledge.

CHO, K., et al. 2014a. On the properties of Neural Machine Translation : Encoder-Decoder Approaches.

Proceedings of SSST-8, Eighth Workshop on Syntax, Semantics and Structure in Statistical Translation.

pp.103-111.

CHO, K., et al. 2014b. Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation [En ligne]. URL : arXiv :1406.1078 [Consulté le 16 Avril 2019].

DAUGHERTY, T., EASTIN, M., BRIGHT, L. 2008. Exploring Consumer Motivations for Creating User-Generated Content. Journal of Interactive Advertising, vol. 8 (2). pp.16-25.

DEEPL 2018. Informations presse [En ligne]. URL : https://www.deepl.com/press.html [Consulté le 27 Mai 2019].

DE WILDE, J. 2012. The Interdisciplinary Character of Research into the Translation of Literary Irony.

TTR, vol. 25 (1). pp.83-107.

DROVER, D. 2016. Sarcasm Detection in Product Reviews using Sentence Scale Sentiment Change with Recurrent Neural Networks Submitted in Partial Fulfillment of the Requirements for CS 886 [En ligne]. URL :

https://pdfs.semanticscholar.org/f37f/41f61a607964a69d255e92d3fd9d66da890f.pdf?_ga=2.18260400

FILATOVA, E. 2012. Irony and Sarcasm: Corpus Generation and Analysis Using Crowdsourcing.

FIRTH, J. 1957. A synopsis of linguistic theory 1930-55... Selected Papers of J. R. Firth 1952-59.

London : Longmans. pp. 168-205.

FORCADA, M. 2017. Making sense of neural machine translation [En ligne]. URL : https://doi.org/10.1075/ts.6.2.06for [Consulté le 05 Mars 2019].

GERLACH, J. 2015. Improving statistical machine translation of informal language : a rule-based preediting approach for French Forums. Thèse de Doctorat, Université de Genève

GOODFELLOW, I. et al. 2016. Deep Learning. Cambridge : MIT Press.

GOOGLE AI BLOG. 2016. Zero-Shot Translation with Google's Multilingual Neural Machine Translation System [En ligne]. URL: https://ai.googleblog.com/2016/11/zero-shot-translation-with-googles.html [Consulté le 26 Mai 2019].

GROSS, M. 1972. Notes sur l'histoire de la traduction automatique. Langages, 7ᵉ année, vol. 28. pp. 40-48.

HERBERT, C. 2017. Irony and Sarcasm. Dans ATTARDO, S. The Routledge handbook of language and humor. New York / London : Routledge.

JURAFSKY, D. MARTIN, J. 2009. Speech and language processing : an introduction to natural language processing, computational linguistics, and speech recognition, Upper Saddle River N.J. : Prentice Hall.

JURAFSKY, D. MARTIN, J. 2018 (draft) Speech and Language Processing. [En ligne] URL : https://web.stanford.edu/~jurafsky/slp3/3.pdf [Consulté le 29 Mars 2019].

KOEHN, P. 2010. Statistical Machine Translation. Cambridge : University Press.

KOEHN, P. 2017. Neural Machine Translation. ArXiv preprint arXiv :1709.07809. [Online]. URL : https://arxiv.org/abs/1709.07809 [Consulté le 08 Mars 2019].

KOEHN, P. 2018. The State of Neural Machine Translation (NMT) by Philipp Koehn [En ligne].

Omniscien. URL : https://omniscien.com/state-neural-machine-translation-nmt/ [Consulté le 08 Mars 2019].

KRIS, H., BERTELS, A. 2016. Sémantique distributionnelle en linguistique de Corpus. Langages.

pp.51-64.

LIU, B. 2015. Sentiment Analysis : mining opinions, sentiments, and Emotions. Cambridge : University Press.

LIU, B. 2012. Sentiment Analysis and Opinion Mining. Toronto : Morgan & Claypool Publishers : Synthesis Lectures on Human Language technologies.

MATEO, M. 1995. The Translation of Irony. Meta, vol. 40 (1). pp. 171–178.

MCHUGH, Mary. 2012. Interrater reliability: the kappa statistic [En ligne]. URL:

https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3900052/ [Consulté le 13 août 2019].

MICROSOFT. 2015. Introducing Text Analytics in the Azure ML Marketplace [En ligne]. URL : https://blogs.technet.microsoft.com/machinelearning/2015/04/08/introducing-text-analytics-in-the-azure-ml-marketplace/ [Consulté le 03 Juin 2019].

MICROSOFT. 2019. Qu'est-ce que l'API Analyse de texte? [En ligne].https://docs.microsoft.com/fr-fr/azure/cognitive-services/text-analytics/overview [Consulté le 03 Juin 2019].

MIKOLOV, T., et al. 2013. Linguistic Regularities in Continuous Space Word Representations. HLT-NAACL. pp.746-751.

MILLER, G.A., BEEBE-CENTER, J.G. 1956. Some psychological methods for evaluating the quality of translations. Mechanical Translation, vol.3. pp.73-80.

MONCELET, C. 2006. Les mots du comique et de l’humour. Paris : Belin.

MUDAMBI, M., SCHUFF, D. 2010. What Makes a Helpful Review? A Study of Customer Reviews on Amazon.com. MIS Quarterly, vol.34(1). pp.185-200

PAPINENI, K., ROUKOS, S., WARD, T., et al. BLEU : a Method for Automatic Evaluation of Machine Translation. Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics.

Association for Computational Linguistics, pp.311-318.

PELED, L., ROI, R. 2017. Sarcasm SIGN : Interpreting Sarcasm with Sentiment Based Monolingual Machine Translation. Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, Vol.1.

POIBEAU, T. 2017. Machine Translation. Cambridge : MIT Press.

PO-YA, A. 2013. #Irony or #Sarcasm — A Quantitative and Qualitative Study Based on Twitter.

PACLIC 27. pp.349-356.

QUAH, C. K. 2006. Translation and technology. Houndmills ; New York : Palgrave Macmillan.

REYES, A., et al. 2013. A multidimensional approach for detecting irony in Twitter. Language Resources & Evaluation, vol.47(1). pp.239-268.

ROTURIER, J., BENSADOUN, A. 2011. Evaluation of MT Systems to Translate User Generated Content [En ligne]. URL :

https://pdfs.semanticscholar.org/8763/d41f730dcaf11fec1189390a66ac32e66964.pdf?_ga=2.12331988 7.59317678.1565256656-179426066.1563357970 [Consulté le 19 Juin 2019]

SALAMEH, M., MOHAMMAD, S., KIRITCHENKO, S. 2015. Sentiment after Translation: A Case-Study on Arabic Social Media Posts. HLT-NAACL.

SCHÄFFNER, C. 1998. Skopos theory. Dans BAKER, M. (eds.) Routledge Encyclopedia of Translation Studies. London: Routledge. pp.235-238.

SERETAN, V. 2017. Séminaire de recherche. Université de Genève.

SOMERS, H. 1993. La traduction automatique basée sur l’exemple ou sur les corpus. Dans BOUILLON, P. & CLAS, A. (eds.) La Traductique.

SOMERS, H. 1999. Review Article : Example-based Machine Translation. Machine Translation.

Volume 14 (2). pp.113-157.

SYSTRAN 2016. How does Neural Machine Translation work ? [En ligne]. Systran Blog. URL : http://blog.systransoft.com/how-does-neural-machine-translation-work/ [Consulté le 08 avril 2019].

TAUS. 2014. Bing Translator: Functionality [En ligne]. URL: https://taus.net/technologies/34-bing-translator#functionality [Consulté le 24 Mai 2019].

TORAL, A., WAY, A. 2018. What Level of Quality can Neural Machine Translation Attain on Literary Text ? Dans MOORKENS, J. Translation Quality Assessment : From Principles to Practice. London : Springer.

TRUJILLO, A. 1999. Translation Engines : Techniques for Machine Translation. London : Springer.

WEITZ, E. 2017. Online and Internet Humour. Dans ATTARDO, S. The Routledge handbook of language and humor. New York / London : Routledge.

WU, C. XIA, F. DELEGER, L. SOLTI, I. 2011. Statistical machine translation for biomedical text : are we there yet ? Europepmc. [En ligne] URL :

https://europepmc.org/articles/PMC3243244;jsessionid=7358715A3CAC17058953B7CC4F778750 [Consulté le 28 Avril 2019]

XING, H., GUIGANG, Z., SHANG, Ma. 2016. Technical Survey, Deep Learning. International Journal of Semantic Computing. Vol 10 (3).

XIONG, D., ZHANG, M. 2015. Linguistically Motivated SMT. London : Springer.

YVON, F. 2014. Machine Translation. Oxford Bibliographies [En ligne]. URL : https://www.oxfordbibliographies.com/view/document/obo-9780199772810/obo-9780199772810-0170.xml [Consulté le 12 Mars 2019]

ANNEXES