Règles
Nous pouvons tirer de l’analyse des résultats deux règles :
- Laisser un espace avant les signes de ponctuation double, conformément aux règles typographiques générale.
- Écrire les nombres en chiffres.
111 Notre évaluation a donc permis de confirmer qu’une règle générale reste valable pour des sous-titres. Pour la deuxième règle concernant l’écriture des nombres en chiffres, il faudrait encore tester l’application globale à l’ensemble d’un texte pour vérifier si la préférence qui a été accordée dans la majorité des cas pour notre test est confirmée.
Il faudrait également la tester sur davantage de juges.
Nouvelles hypothèses
Pour les autres catégories, l’évaluation ne permet pas de tirer de règle, mais indique plusieurs pistes qui pourraient être testées dans des évaluations supplémentaires, ou données en tant que suggestions à des traducteurs de MOOCs qui décideraient de les appliquer ou non en fonction de la situation :
- Éviter ou limiter l’utilisation des parenthèses.101
- Il est possible d’utiliser une présentation séquentielle pour mettre en valeur l’organisation logique d’une énumération de nombreux éléments sur peu de sous-titres.
- Privilégier les phrases courtes et simples lorsqu’elles sont idiomatiques, mais conserver la structure des phrases composées de propositions coordonnées ou comprenant une relative déterminative.
- Penser à utiliser des formes en « ant » et des participes passés lorsque le texte le permet.
- Penser à diviser des phrases contenant des relatives explicatives (lorsque le nombre de caractères le permet).
101 Pour pouvoir poser la règle « Éviter l’utilisation des parenthèses », il faudrait vérifier si une reformulation sans parenthèses est préférable à une formulation écrite spontanément avec des parenthèses.
112
4.4.7 Conclusion
Nous avons vu dans cette section comment nous avons sélectionné les extraits à tester en fonction des objectifs de l’expérience, et comment l’expérience a été réalisée.
Nous avons ensuite analysé les résultats concernant la perception par des utilisateurs potentiels des règles proposées dans les documents consultés. Les résultats montrent une préférence marquée dans le cas des deux règles portant sur une alternative, ce qui nous a permis de confirmer la règle relative aux espaces avant un signe de ponctuation double, et de réajuster la règle relative à l’écriture des nombres en chiffres pour l’élargir aux nombres inférieurs à douze. Deux autres règles semblent se dégager. Selon l’une d’elles, les parenthèses sont à éviter. La deuxième concerne la présentation séquentielle qui, selon les résultats de cette évaluation, devrait être limitée à des énumérations de plusieurs termes sur des sous-titres peu nombreux. Il faudrait tester ces deux dernières règles à plus grande échelle pour les confirmer. L’évaluation des autres règles a donné des résultats moins significatifs, même si elle a permis de dégager de nouvelles pistes. Cette évaluation a ainsi mis en avant le caractère subjectif des préférences de formulation et la difficulté de poser des règles générales. La perception des règles retenues a en effet souvent été différente selon le juge qui les a testées et selon leur contexte d’application.
Les pistes dégagées pourraient donner lieu, plutôt qu’à des règles, à des recommandations ou suggestions pour lesquelles les traducteurs jugeraient si elles améliorent la qualité du sous-titrage au cas par cas. Dans notre conclusion générale, nous dresserons un bilan de cette expérience et nous nous demanderons si elle a eu certaines limites.
113
Conclusion
L’objectif de ce mémoire était de sélectionner des règles applicables aux MOOCs et de les tester. La question principale était de savoir si suivre des recommandations destinées au sous-titrage ou issues des langages contrôlés permettait d’améliorer la qualité des sous-titres de MOOCs. Plusieurs questions se sont posées. Quelles sont les recommandations relatives au sous-titrage les plus adaptées aux MOOCs ? Est-ce que certaines règles de langage contrôlé peuvent être utiles ? Nous avons utilisé pour y répondre un MOOC traduit dans le cadre du projet Coursera. Nous avons commencé par définir les MOOCs et présenter celui sur lequel porte notre étude, « Inspiring Leadership through Emotional Intelligence », et le projet dans lequel il s’inscrit (Partie 1). Nous avons ensuite relevé des règles énoncées dans les recommandations sur le sous-titrage, ainsi que dans différents langages contrôlés et un langage simplifié. Nous avons alors procédé par élimination, pour conserver les règles qui semblaient convenir le plus aux caractéristiques et aux objectifs des MOOCs (Parties 2 et 3).
Pour la partie expérimentale de ce travail, à partir de la liste des règles recensées, nous nous sommes demandé quelles étaient parmi elles les recommandations les plus utiles. Nous avons appliqué l’ensemble des règles à un cours pour déterminer lesquelles pouvaient être le plus fréquemment utilisées dans un contexte de traduction de MOOCs.
L’expérience elle-même consistait en une évaluation comparative de paires de formulations. Il y avait deux cas de figure. Dans certains cas, nous avons comparé systématiquement la traduction originale et une reformulation suivant une règle. Dans d’autres, nous avons comparé différentes formulations possibles qui pouvaient indifféremment être les formulations originales ou des reformulations. Nous cherchions à répondre aux questions suivantes. Parmi différentes règles ou différentes solutions, certaines sont-elles meilleures ? Est-ce qu’éviter certains éléments permet d’améliorer la lisibilité des sous-titres de MOOCs ? Certaines formulations sont-elles à privilégier pour une meilleure lisibilité ? Quelle incidence l’application de règles a-t-elle sur la qualité ressentie par différents utilisateurs ? Selon les résultats de notre expérience, il est préférable de laisser un espace avant un signe de ponctuation double et d’écrire les nombres en chiffres. Dans l’ensemble, utiliser des parenthèses et diviser les phrases de
114 plus de 20 mots utilisées par les traducteurs ne permet pas d’améliorer la qualité ressentie par les utilisateurs de sous-titres de MOOCS mais, au contraire, l’amoindrit. Pour la présentation séquentielle, les avis sont partagés : la traduction originale a obtenu le même score que les reformulations testées, mais ces dernières ont été appréciées pour les longues énumérations couvrant un petit nombre de sous-titres. Pour ce qui est d’éviter les relatives, les solutions alternatives ont été trouvées plus lisibles dans une très faible majorité de cas. Une autre question se posait : peut-on tirer de cette évaluation des règles de rédaction destinées aux traducteurs de MOOCs ? Cette évaluation a permis de confirmer la règle générale recommandant de laisser un espace avant un signe de ponctuation double et de poser une règle conseillant d’écrire les nombres en chiffres. Les autres règles testées ont donné des résultats moins tranchés, mais l’analyse de résultats de leur application a permis de dégager quelques pistes et recommandations, notamment celle d’éviter d’utiliser des parenthèses, et celle d’envisager de présenter de longues énumérations sous forme séquentielle. De nombreux résultats étaient intéressants, mais n’étaient pas significatifs. Cela pourrait être en partie lié à l’ampleur réduite de cette expérience. Il faudrait donc faire évaluer pour les pistes dégagées des exemples plus nombreux par davantage de juges. Cette évaluation a également permis de mettre en évidence la subjectivité de la perception de la lisibilité, et la difficulté d’énoncer des règles générales de traduction et de rédaction. Il faudrait peut-être envisager plutôt des recommandations et suggestions que les traducteurs décideraient d’appliquer au cas par cas (Partie 4).
Cette évaluation présente certaines limites en ce qui concerne les participants, l’envergure et la conception de l’expérience, et l’authenticité de la situation. Dans le cadre de cette étude, nous avons testé les règles auprès de huit juges. Pour la suite, il faudrait tester les règles retenues à l’issue de l’expérience auprès de davantage d’évaluateurs. Ces juges devraient également être plus représentatifs et inclure des personnes de moins de 30 ans. Comme les juges de l’expérience pour la plupart n’étaient pas concernés par les MOOCs, il serait intéressant de trouver des participants à des MOOCs. De même, les règles testées pour ce travail sont au nombre de cinq. Pour obtenir un ensemble de règles utilisable pour rédiger des MOOCs, il faudrait également tester un plus grand nombre de règles. Pour cela, nous pourrions nous appuyer sur le tableau récapitulatif des règles répertoriées de la section 4.2.3.2. Enfin, tester un plus grand nombre d’exemples auprès
115 de juges plus nombreux pourrait peut-être donner des résultats plus significatifs pour certaines catégories et permettre de confirmer ou de nuancer des résultats obtenus pour cette expérience.
S’agissant de la conception de l’expérience, nous avons eu recours à une évaluation comparative de la lisibilité. Cette méthode a plusieurs avantages, mais aussi certaines limites. Tout d’abord, sa subjectivité correspond assez bien au critère que nous cherchions à tester, à savoir la lisibilité du sous-titrage, qui comporte une dimension subjective importante. On trouve en effet souvent plus lisible un texte qui nous est agréable à lire. Une évaluation de la compréhension semblait moins adaptée pour ce type de cours qui consistait plus en une sensibilisation à des problématiques et techniques qu’à des connaissances précises à acquérir ou à des procédures à appliquer. Cette méthode semblait également mieux prendre en compte la subjectivité de lecteurs humains qu’une évaluation de la compréhensibilité d’un texte qui se fonde sur des éléments de complexité textuelle. Par contre, nos résultats, du fait de leur subjectivité, sont moins propices à formuler des règles, et notre évaluation devrait donc être complétée par des tests plus objectifs. Une évaluation comparative de la compréhension de textes écrits spontanément ou avec des règles permettrait notamment d’obtenir des règles qui soient également applicables à d’autres types de cours demandant une compréhension plus précise.
Cette méthode comparative nous a permis de tester un nombre assez important d’exemples, 15 pour chacune des cinq règles, et soixante-cinq en tout. Cette méthode facilite la phase de l’évaluation par les juges et celle du calcul des résultats, car les possibilités de réponses sont limitées. Ces deux étapes sont notamment plus rapides que si les juges utilisent des échelles pour évaluer la qualité des traductions originales, ou apportent des corrections à des extraits de sous-titres. Par contre, les résultats sont plus restreints, car les possibilités de réponses sont plus limitées. Une méthode utilisant des échelles pourrait donner des résultats plus précis sur le degré de l’impact positif ou négatif d’une règle ressenti par les juges, et l’annotation leur permettrait de repérer des points à améliorer et de proposer des reformulations non envisagées par le concepteur.
En outre, on peut aussi imaginer que des méthodes non comparatives, comme celles impliquant des corrections par les juges [Temnikova et al., 2015] permettent d’éviter
116 l’étape d’annotation et de reformulation des traductions par laquelle nous sommes passés avant celle de l’évaluation par les testeurs.
Enfin, les documents que nous avons utilisés sont de simples fichiers Excel. Ils ont présenté l’avantage d’avoir été relativement faciles à concevoir, et à remplir. Cela a permis à certains juges de procéder à l’évaluation à distance, et à d’autres de travailler sans ordinateur, sur papier. Cette méthode pourrait donc facilement être envisagée pour une évaluation de plus grande ampleur, et les tâches simples demandées aux juges permettraient d’envisager de passer par le crowdsourcing. Cependant, cette évaluation sur des tableaux est assez éloignée de la situation d’utilisation réelle de MOOCs. Pour l’en rapprocher, il faudrait des évaluations d’extraits plus longs, notamment pour tester les règles qui impliquent des changements de temps verbaux, ou pour tester un ensemble de règles. Il serait aussi intéressant d’intégrer la dimension sonore des sous-titres, celle de la lecture en temps limité, et éventuellement celle de l’image. En effet, les omissions, les éléments à conserver, et la cohérence entre les images, le son et les sous-titres devraient être testés avec la version originale du texte, éventuellement sous forme sonore. La dimension temporelle devrait également être prise en compte, par exemple par le biais d’une lecture en temps limité ou chronométrée. Une évaluation plus complexe à mettre en place, avec éventuellement une vidéo, pourrait être envisagée pour comparer une traduction faite spontanément avec une traduction faite en suivant l’ensemble de règles.
Une telle évaluation pourrait être envisagée pour vérifier l’ensemble des règles retenues après une première phase de test.
117
Bibliographie
Documents utilisés, par ordre alphabétique
Aikawa, Takako, Schwartz, Lee, King, Ronit, Corston-Oliver, Mo, Lozano, Carmen (2007),
« Impact of Controlled Language on Translation Quality and Post-editing in a Statistical Machine Translation Environment », Proceedings of MT Summit XI, 10-14, Copenhague.
<https://www.microsoft.com/en-us/research/wp-content/uploads/2007/10/MTS-2007-Aikawa.pdf>
[Consulté le 1er juillet 2016]
[Aikawa et al.].
Arnold, D.J., Balkan, Lorna, Meijer, Siety, Humphreys, R. Lee, Sadler, Louisa (1995), Machine Translation: An Introductory Guide, Chapitre 8 : « Input »
<http://www.essex.ac.uk/linguistics/external/clmt/mtbook/HTML/node65.html#SECT ION001000000000000000000>
[Consulté le 10 septembre 2015]
[Arnold et al.].
Aubry, Rachel (2016), « Correction de sous-titres pour sourds et malentendants :
comparaison de plusieurs outils d’aide à la correction sur la base d’un corpus fourni par l’entreprise SWISS TXT », Maîtrise, Université de Genève
<http://archive-ouverte.unige.ch/unige:80660>
[Consulté le 16 août 2016].
Bartoletti, Mathilde (2013), Le sous-titrage par respeaking chez SWISS TXT : comparaison des résultats entre respeakers avancés et débutants, Maîtrise, Université de Genève
<http://archive-ouverte.unige.ch/unige:29311>
[Consulté le 22 septembre 2014].
Basic-English Institute (2015), Ogden’s Basic English, site Web
< http://www.basic-english.org/institute.html>
[Consulté le 24 avril 2016].
Bouillon, Pierrette (2013), « Traduction automatique, Cours 2 », cours à l’Université de Genève.
Boyatzis, Richard (2013), « Inspiring Leadership through Emotional Intelligence »
<https://www.coursera.org/course/lead-ei>
[Consulté le 15 août 2015].
Carnerero Rodriguez, Maria Mercedes (2014), L'impact du langage contrôlé sur la traduction juridique humaine et automatique, Maîtrise, Université de Genève
<http://archive-ouverte.unige.ch/unige:55712>
[Consulté le 2 juillet 2016].
118 Carroll, Mary et Ivarsson, Jan (1998), « Code of Good Subtitling Practice »
<http://www.esist.org/ESIST%20Subtitling%20code_files/Code%20of%20Good%20Su btitling%20Practice_en.pdf>
[Consulté le 17 avril 2014].
Cellule MOOCs UNIGE (2015), « Qu'est-ce qu'un MOOC ? »
<http://moocs.unige.ch/presentation/>
[Consulté le 29 janvier 2016].
Chervak, Steven G., Drury, Colin G., Ouelette, J.P. (1996), « Field Evaluation of Simplified English for Aircraft Workcards », Proceeding of the 10thFAA/AAM Meeting of Human Factors in Aviation Maintenance and Inspection, Alexandria, Virginia.
<http://www.researchgate.net/publication/267936128_Field_Evaluation_of_Simplified_
English_for_Aircraft_Workcards>
[Consulté le 21 novembre 2015]
[Chervak et al.].
Cormier, Dave (2010), « What is a MOOC? », vidéo
<https://www.youtube.com/watch?v=eW3gMGqcZQc>
[Consulté le 22 janvier 2016].
Coursera (non daté), « Inspiring Leadership through Emotional Intelligence », descriptif du cours
<https://www.coursera.org/course/lead-ei>
[Consulté le 2 février 2016].
Coursera (non daté), page d’accueil
<https://www.coursera.org/>
[Consulté le 2 février 2016].
Coursera (non daté), présentation de l’entreprise
<https://www.coursera.org/about/>
[Consulté le 28 janvier 2016].
« Coursera » (non daté), Wikipédia, l'encyclopédie libre
< https://fr.wikipedia.org/wiki/Coursera>
[Consulté le 27 janvier 2016].
CSA (2011), «Charte relative à la qualité du sous-titrage à destination des personnes sourdes ou malentendantes »
<http://www.csa.fr/en/Television/Le-suivi-des-programmes/L-accessibilite-des- programmes/Charte-relative-a-la-qualite-du-sous-titrage-a-destination-des-personnes-sourdes-ou-malentendantes-Decembre-2011>
[Consulté le 17 avril 2014].
den Boer, Corien (2001), « Live Interlingual Subtitling », (Multi)Media Translation, Ed.
Gambier, Yves et Gottlieb, Henrik, John Benjamins Publishing Company, Amsterdam / Philadelphia, pp. 167-172.
119 Díaz Cintas (2005), « Back to the Future in Subtitling », MuTra 2005 – Challenges of Multidimensional Translation : Conference Proceedings, pp. 16-31
<http://www.euroconferences.info/proceedings/2005_Proceedings/2005_DiazCintas_J orge.pdf>
[Consulté le 6 février 2016].
d’Ydewalle, Géry, Praet, Caroline, Verfaille, Karl, Van Rensbergen, Johan (1991),
« Watching Subtitled Television: Automatic Reading Behavior », Communication Research, vol. 18 no 5, octobre 1991, pp. 650-666
<http://crx.sagepub.com/content/18/5/650.full.pdf+html>
[Consulté le 15 février 2016].
European Association of Aerospace Industries (2001), AECMA Simplified English (Issue 1, Revision 2), Bruxelles
[AECMA].
« Formation en ligne ouverte à tous » (non daté), Wikipédia, l'encyclopédie libre
<https://fr.wikipedia.org/w/index.php?title=Formation_en_ligne_ouverte_%C3%A0_tou s&oldid=122014297>
[Consulté le 25 janvier 2016].
Georgakopoulou, Panayota (2009), « Subtitling for the DVD Industry »
<https://ymerleksi.wikispaces.com/file/view/Audiovisual+Translation.pdf>
[Consulté le 16 avril 2014].
Gerlach, Johanna (2015), Improving statistical machine translation of informal language:
a rule-based pre-editing approach for French Forums, thèse, Université de Genève
<http://archive-ouverte.unige.ch/unige:73226>
[Consulté le 16 août 2016].
Gerlach, Johanna, Porro, Victoria, Bouillon, Pierrette, Lehmann, Sabine (2013), « La préédition avec des règles peu coûteuses, utile pour la TA statistique des forums ? », 20ème conférence sur le Traitement Automatique des Langues Naturelles (TALN), 2013, pp. 539-546
<http://archive-ouverte.unige.ch/unige:30955>
[Consulté le 10 août 2016]
[Gerlach et al.].
Glenberg, Arthur M., Robertson, David A., Lansen, Jennifer L., Johnson-Glenberg, Mina C. (1999), « Not propositions », Journal of Cognitive Systems Research, no 1, Madison, pp. 19-33
<http://ac.els-cdn.com/S1389041799000042/1-s2.0-S1389041799000042-
main.pdf?_tid=1104a82a-1da4-11e6-9c12-00000aacb35e&acdnat=1463650297_dd8228d11387bf8e20a8cad01f24bba0>
[Consulté le 19 mai 2016]
[Glenberg et al.].
120 GraphPad, logiciel pour le calcul logistique en ligne
http://graphpad.com/quickcalcs/McNemar1.cfm [Consulté le 9 août 2016].
Gray, Charlotte (2014), A Comparative Evaluation of Localisation Tools : Reverso Localize and SYSTANLinks, Maîtrise, Université de Genève
<http://archive-ouverte.unige.ch/unige:55939>
[Consulté le 22 décembre 2015].
Groupement des industries françaises aéronautiques et spatiales (1999), Guide du français rationalisé, Paris
[GIFAS].
Gummerus, Eivor et Paro, Catrine (2001), « Translation Quality. An Organizational Viewpoint », (Multi)Media Translation, Ed. Gambier, Yves et Gottlieb, Henrik, John Benjamins Publishing Company, Amsterdam / Philadelphia, pp. 133-142.
Harley, Trevor A. (2008), The Psychology of Language, 3ème edition, Psychology Press, Hove et New York.
Ho, Andrew Dean, Reich, Justin, Nesterko, Sergiy O, Seaton, Daniel Thomas, Mullaney, Tommy, Waldo, Jim, Chuang, Isaac (2014), « HarvardX and MITx: The First Year of Open Online Courses, Fall 2012-Summer 2013 », HarvardX and MITx Working Paper no 1, 21 janvier 2014, disponible sur SSRN
<http://ssrn.com/abstract=2381263>
[Consulté le 29 janvier 2016]
[Ho et al.].
Huijsen, Willem-Olaf (1998), « Controlled Language – An Introduction », Proceedings of the Second International Workshop on Controlled Language Applications (CLAW 98), 21-22 mai 1998, Language Technologies Institute, Carnegie Mellon University, Pittsburgh, PA, pp. 1-15.
ITC (février 1999), « Guidance on Standards for Subtitling »
<http://www.ofcom.org.uk/static/archive/itc/itc_publications/codes_guidance/standar ds_for_subtitling/index.asp.html>
[Consulté le 22 avril 2015].
ITC (non daté), Site Web renvoyant à l’Ofcom
<http://www.itc.org.uk/>
[Consulté le 20 décembre 2015].
James, Heulwen (2001), « Quality Control of Subtitles, Reivew or Preview? », (Multi)Media Translation, Ed. Gambier, Yves et Gottlieb, Henrik, John Benjamins Publishing Company, Amsterdam / Philadelphia, pp. 151-160.
Karamitroglou, Fotios (1998), « A Proposed Set of Subtitling Standards in Europe », Translation Journal, volume 2, no 2, avril 1998
121
<http://translationjournal.net/journal/04stndrd.htm>
[Consulté le 23 mars 2015].
Koller, Daphne (2012), « Ce que nous apprenons de l'éducation en ligne », vidéo
<https://www.youtube.com/watch?v=U6FvJ6jMGHU>
[Consulté le 22 janvier 2016].
Kolowich, Steve (2012), « An LMS for Elite MOOCs? », Inside Higher Ed, 7 mars 2012
<www.insidehighered>
[Consulté le 28 janvier 2016].
KU Leuven, Research Unit Linguistics (non daté), « Le participe passé employé comme adjectif »
<https://wwwling.arts.kuleuven.be/alfagram/Temps/nperso/partpas/femploi.htm>
[Consulté le 14 mai 2016].
Lavaur, Jean-Marc et Serban, Adriana (2008), La traduction audiovisuelle: Approche interdisciplinaire du sous-titrage, De Boeck, Bruxelles.
« Massive open online course » (non daté), Wikipedia, the free encyclopedia
<https://en.wikipedia.org/wiki/Massive_open_online_course>
[Consulté le 25 janvier 2016].
« mooc » (2016), Le Petit Robert de la langue française.
Morand, Stéphanie (2013), Le sous-titrage par respeaking : analyse des résultats chez SWISS TXT, Maîtrise, Université de Genève
<http://archive-ouverte.unige.ch/unige:28306>
[Consulté le 22 septembre 2014].
Morgan, Hazel R. (2001), « Subtitling for Channel 4 Television », (Multi)Media
Translation, Ed. Gambier, Yves et Gottlieb, Henrik, John Benjamins Publishing Company, Amsterdam / Philadelphia, pp. 161-166.
Mueller, Felicity (2001), « Quality Down Under », (Multi)Media Translation, Ed. Gambier, Yves et Gottlieb, Henrik, John Benjamins Publishing Company, Amsterdam /
Philadelphia, pp. 143-150.
O’Brien, Sharon (2003), « Controlling Controlled English: An Analysis of Several
Controlled Language Rule Sets », School of Applied Language and Intercultural Studies, Dublin
<http://www.mt-archive.info/CLT-2003-Obrien.pdf>
[Consulté le 22 septembre 2015].
Ofcom (non daté), « Guidelines on the provision of television access services », Television Access Service Review: Statement, pp. 26-33
<http://stakeholders.ofcom.org.uk/binaries/broadcast/guidance/guidelines.pdf>
<http://stakeholders.ofcom.org.uk/binaries/broadcast/guidance/guidelines.pdf>