4. Méthodologie et résultats
4.8. Résultats
4.8. Résultats
Dans cette section, nous regroupons les résultats dans l’ordre suivant. Nous commençons par l’analyse automatique (sous-section 4.8.1). Pour chacune de ces simplifications, nous illustrons les données récoltées sous forme de graphiques et de tableaux. Ensuite, nous passons à l’analyse humaine (sous-section 4.8.2) : type de simplifications présentes dans le corpus, la simplification lexicale et la simplification syntaxique puis nous terminons par la réception des surtitres par le public sourd et malentendant (sous-section 4.8.3).
4.8.1. Analyse automatique
En premier lieu, nous présentons le score BLEU. En second lieu, les statistiques du corpus concernant l’indice de lisibilité Flesch, la moyenne de la longueur des phrases, le nombre de n-grammes, de phrases, de mots, de syllabes et de caractères des deux versions surtitrées.
BLEU permet de voir le degré de simplification (voir Section 3.4). Le score BLEU obtenu est de 46,05 pour la version simplifiée par rapport à la version non simplifiée.
Étant donné les nombreuses simplifications apportées à la version non contrôlée, un tel score n’est pas étonnant et coïncide avec les résultats de l’analyse humaine. Toutefois, il faut noter que, dans la version non contrôlée, il n’y a pas d’espace entre le point d’interrogation ou le point d’exclamation et le mot qui le précède. Pour cette raison, lors du calcul, même si le mot est semblable dans les deux versions, il est comptabilisé comme étant un mot différent. Ce phénomène est illustré dans la capture d’écran ci-dessous (voir Image 7) avec le mot « autant », qui devrait être en bleu.
[49]
Image 7. Capture d’écran du score BLEU
Nous regroupons dans le tableau suivant (voir Tableau 11) les données relatives à l’indice de lisibilité Flesch ainsi qu’aux statistiques sur le corpus et nous indiquons en gras les valeurs montrant que la simplification est plus importante. Rappelons que pour l’indice de lisibilité Flesch, une valeur élevée signifie qu’un texte est plus simple à comprendre (voir Section 3.4).
[50]
Version non contrôlée Version contrôlée
Indice de lisibilité de Flesch 92,5 94,7
Nombre de caractères 79’066 60’400
Nombre de syllabes 23’198 17’658
Nombre de mots 18’339 14’033
Nombre de phrases 2’557 2’521
Moyenne de la longueur des phrases 7,2 5,6
Nombre d’unigrammes
(n-gramme, composé d’un mot) 3’373 2’716
Tableau 11. Statistiques du corpus.
Ces statistiques montrent que les surtitres non contrôlés ont fait l’objet de nombreuses simplifications. En effet, les surtitres contrôlés obtiennent le score le plus élevé pour chacune des catégories.
Relevons que le nombre de phrases ne diffère pas beaucoup, ce qui ne nous surprend pas, car les deux versions ont un nombre de surtitres identiques. Le nombre de phrases par surtitre peut varier en fonction du nombre de lignes par surtitre. Nous pensons qu’il y a donc plusieurs lignes dans la version non contrôlée et qu’il y en a moins dans la version contrôlée. En revanche, concernant la moyenne de la longueur des phrases, l’écart entre les deux versions est significatif, car la valeur est passée de 7,2 à 5,6.
Il en va de même pour les autres statistiques.
Toutes ces données récoltées lors de ces différentes évaluations automatiques indiquent que la version simplifiée diffère beaucoup de la version non simplifiée. Par conséquent, nous allons voir en détail en quoi consiste la simplification détectée par l’évaluation automatique dans la section sur l’analyse humaine.
[51]
4.8.2. Analyse humaine
Avant d’aborder les résultats de notre analyse humaine, nous souhaitons faire part de remarques générales sur certaines simplifications lexicales ou syntaxiques, qui ne sont pas comprises dans notre analyse des résultats.
S’agissant du lexique, tout d’abord, dans la version non contrôlée, les noms communs suivants commencent toujours par une majuscule :
- Affaire, Amant, Âme, Amour, Appas, Arrêt, Billet, Choix, Ciel, Cœur, Cour, Crime, Défaut, Dessein, Lieux, Mérite, Mie, Mots, Nature, Personne, Procès, Raison, Siècle, Soins, Sort, Temps, Trahison, Vers, Vertu, Vice
Toutes les majuscules ont été remplacées par une minuscule pour rendre l’orthographe de ces noms conformes à l’orthographe d’aujourd’hui. Nous avions décidé de ne pas les indiquer dans notre fichier Excel car ce type de simplification n’était pas compris dans les règles que nous avons décidé de suivre. Toutefois, nous avons trouvé intéressant de le relever.
Nous avions classé dans la catégorie syntaxe tout ce qui a trait à la ponctuation (voir Section 3.3). Nous avons relevé dans notre corpus que le point-virgule, le deux-points ont été supprimés et remplacés par un point ou une virgule, selon le contexte.
Comme cette règle de ponctuation est présente dans tous les surtitres, nous avons choisi de ne pas l’indiquer, car cela surchargerait les annotations.
Dans la suite de la section, nous présentons les résultats relatifs aux types de simplifications, à la simplification lexicale et à la simplification syntaxique.
[52]
Types de simplifications
Comme mentionné plus haut (voir Section 4.3), nous avons analysé la simplification de 1'084 surtitres que nous avons classée en quatre types : aucune, syntaxe, lexique ainsi que syntaxe et lexique. Le type « aucune » signifie que les phrases de la version contrôlée et celle non contrôlée sont identiques. Au total, les surtitres ont fait l’objet de 2'028 annotations (aucune, syntaxe, lexique ou syntaxe et lexique), car nous avons analysé chaque ligne de surtitres et le nombre de lignes varie en fonction des surtitres. En effet, certains surtitres sont présentés sur une, deux voire trois lignes. Nous avons comptabilisé 1'555 simplifications de type syntaxique, lexicale ou les deux. Par conséquent, quelque 473 qualifications désignent l’absence de simplifications, dont deux ont été jugées non pertinentes car il s’agit de deux didascalies qui n’ont pas été conservées dans la version contrôlée. Le graphique suivant (voir Graphique 1) résume les résultats.
Graphique 1. Pourcentage de type de simplifications
Comme on peut le voir, près de 70 % des simplifications effectuées concernent la syntaxe ; quelque 15 % portent sur le lexique et environ 23 % du texte n’a pas fait l’objet de simplification.
Aucune 23%
Syntaxe 62%
Syntaxe et lexique
7% Lexique
8%
Type
[53]
L’absence de simplifications peut être due à plusieurs facteurs. Tout d’abord, le contenu de la version non contrôlée serait déjà compréhensible pour le public cible et le nombre de caractères, conforme aux règles de surtitrage ou le temps d’apparition des surtitres semblerait suffisant pour la lecture et la compréhension du texte. Dans le tableau ci-dessus (voir Tableau 12), nous avons choisi cinq surtitres consécutifs qui sont restés inchangés afin d’illustrer ce phénomène.
Version non contrôlée Version contrôlée 272. Ne me parlez pas.
Tableau 12. Surtitres non modifiés
Dans les sous-sections suivantes, nous allons voir plus en détail les résultats concernant les simplifications lexicales et syntaxiques.
[54]
Simplification lexicale
Sur les 15 règles relatives à la simplification lexicale répertoriées dans la littérature, seules 6 d’entre elles sont présentes dans notre corpus. Elles sont reprises dans le Tableau 13 et le Graphique 2 indique la fréquence des simplifications.
Dénomination
Mots 1. Utiliser des mots monosémiques pour éviter les ambiguïtés de sens (Ruel et al. 2011, p.24 ; Ruel et al. 2018, p.29)
2. Utiliser des mots courants, connus par le public cible (Ruel et al. 2011, p.24 ; Ruel et al. 2018, p.29 ; Freyhoff 1998, p.12)
3. Utiliser le même mot pour désigner la même réalité, ne pas recourir à des synonymes (Ruel et al. 2011, p.24 ; Freyhoff 1998, p.13)
4. Limiter l’utilisation de sigles, d’acronymes et d’abréviations (Ruel et al. 2011, p.24 ; Ruel et al. 2018, p.29 ; Freyhoff 1998, p.14), sauf s’ils sont connus par le public cible (Ruel et al. 2018, p.29)
5. Préférer les verbes aux noms (Ruel et al. 2018, p.29)
Nombre 6. Écrire les chiffres en forme numérique (Ruel et al. 2011, p.32 ; Ruel et al. 2018, p.33)
Tableau 13. Règles lexicales présentes dans le corpus
Graphique 2. Fréquence des simplifications lexicales
Règle n°2
Règle n°2 Règle n°1 Règle n°4 Règle n°5 Règle n°6
Simplifications lexicales 275 5 1 8 1
Simplifications lexicales
[55]
Au total, sur 290 simplifications lexicales, la quasi-totalité consiste à changer le lexique de la pièce en utilisant des mots et des expressions courantes. Un tel résultat ne nous surprend guère, car, comme nous l’avons précisé au début de ce chapitre (voir Section 4.3), la pièce de théâtre date du XVIIe siècle et le vocabulaire doit donc être adapté à celui de notre époque.
Nous avons constaté que certains procédés de simplification lexicale étaient récurrents dans l’ensemble de la pièce.
Quand la négation est formulée ainsi « ne…point », « point » est remplacé par
« pas ». Dans la version non contrôlée, nous comptabilisons 78 occurrences du mot
« point » et 22 occurrences dans la version contrôlée, tandis que le mot « pas » passe de 119 à 176 occurrences.
La forme conjuguée du verbe pouvoir à la première personne « puis » a été changée par sa forme actuelle « peux ». Ainsi, la version simplifiée compte 5 occurrences et la version non simplifiée en a 13.
Lorsque le mot « quelque » est utilisé comme article indéfini, il est substitué par
« un » « une » ou « des ». Nous notons 12 occurrences en moins dans la version contrôlée.
Les noms communs « scélérat », « forfait », « appas » ou « courroux » deviennent respectivement « bandit », « crime », « charme » et « colère ». Nous avons regroupé ces observations dans le tableau suivant (voir Tableau 14).
[56]
Version non contrôlée Version contrôlée Article 509. Célimène t’a fait quelques
secrets aveux ? 509. Célimène t’a fait des secrets aveux ?
Négation
53. Je ne me moque point, 53. Je ne me moque pas, 894. Lui ! de semblables Tours,
il ne craint point l’éclat, 894. De ces tours, il ne craint pas, Pouvoir
765. Qui ne saurait trouver de trop
grands Châtiments : 765. Je ne saurais trouver un bon châtiment,
Et je puis tout permettre à mes Ressentiments.
je peux tout permettre à mes sentiments.
Vocabulaire 1057. Oui, je veux bien, Perfide, oublier vos Forfaits, 1057. Je veux bien oublier vos crimes,
600. Vous avez le Champ libre, et je n’empêche pas,
Que pour les attirer, vous n’ayez des Appas.
600. Vous êtes libre, je n’empêche pas mais vous avez pas de
charmes.
626. Vous avez à vous plaindre, et
je suis en courroux, 626. Il faut vous plaindre, je suis en colère
895. Il a permission d’être franc
Scélérat ; 895. il a permission d’être franc bandit.
Tableau 14. Exemples de simplifications lexicales Simplification syntaxique
Neuf règles de simplification portent sur la syntaxe et huit d’entre elles sont présentes dans notre corpus. Nous les avons regroupés dans le tableau ci-dessous (voir Tableau 15). La règle qui n’a pas été utilisée dans l’analyse concerne la place d’un complément avant le verbe : « Éviter de placer un complément avant le verbe » (Ruel et al. 2018, p.31). Nous illustrons la répartition des règles dans un graphique (voir Graphique 3) afin d’illustrer les règles fréquemment usitées lors de la simplification.
[57]
Dénomination
Phrase 1. Rédiger des phrases courtes contenant soit 7 à 12 mots soit 30 à 60 caractères (Ruel et al. 2011, p.26 ; Ruel et al. 2018, p.30 ; Freyhoff 1998, p.12)
2. Rédiger des phrases simples dont l’ordre est le suivant : sujet, verbe, complément (Ruel et al. 2011, p.26 ; Ruel et al. 2018, p.30 ; Freyhoff 1998, p.8)
3. Rédiger des phrases à la voie active (Ruel et al. 2011, p.26 ; Ruel et al. 2018, p.31 ; Freyhoff 1998, p.13)
4. Rédiger des phrases affirmatives (ibid.)
5. Avoir une idée par phrase (Freyhoff 1998, p.13 ; Ruel et al. 2018, p.30) 6. Éviter les mots qui n’ajoutent rien au sens de la phrase (Ruel et al. 2018, p.31) 7. Choisir les temps de conjugaison les plus simples, à savoir le présent,
l’imparfait, le passé composé et le futur simple (ibid.) 8. Privilégier le style direct (Freyhoff 1998, p.12)
Tableau 15. Simplifications syntaxiques présentes dans le corpus
Graphique 3. Simplifications syntaxiques
[58]
Sur 1'555 simplifications syntaxiques, les trois règles les plus fréquentes sont les suivantes :
1) Éviter les mots qui n’ajoutent rien au sens 2) Rédiger des phrases courtes
3) Rédiger des phrases simples
Les surtitres sont restreints à un nombre limité de caractères et il nous semble que, pour cette raison, la suppression de mots et les phrases courtes constituent les règles de simplification syntaxique les plus usitées. S’agissant des phrases simples, la pièce contient des tournures syntaxiques ne suivant pas l’ordre suivant : sujet, verbe, complément. Il faut donc rétablir cet ordre afin que le surtitre soit adapté au public sourd et malentendant.
Tout comme pour la simplification lexicale, nous avons pu relever des procédés récurrents servant à rendre les surtitres accessibles.
Concernant les formes verbales, quand les verbes de modalité (pouvoir, devoir et vouloir) ou le verbe « aller » exprimant une action future précèdent un verbe à l’infinitif, ils sont supprimés et le verbe à l’infinitif est conjugué.
Tous les verbes exprimant la pensée tels que « croire », « savoir », « penser » ou
« voir » suivis par une relative sont supprimés. Les conjonctions de coordination, les adverbes et certains adjectifs qualificatifs le sont également.
Quand plusieurs noms communs sont énumérés, seuls quelques-uns sont conservés.
Concernant les transformations syntaxiques, quand un nom commun est suivi d’une relative, la relative est remplacée par un article possessif. Ces observations sont illustrées dans le tableau ci-dessous (voir Tableau 16).
[59]
Version non contrôlée Version contrôlée Adjectifs 423. Ce grand attachement aux
Défauts qu’on y blâme. 423. cet attachement aux défauts qu’on y blâme.
Adverbes
423. Et l’on a tort, ici, de
nourrir dans votre Âme, 423. On a tort de nourrir dans votre âme,
608. Et qu’il faut acheter tous
les Soins qu’on nous rend. 608. Il faut acheter les soins qu’on nous rend.
75. Partout, il est connu pour
tout ce qu’il peut être ; 75. il est connu pour tout ce qu’il peut être.
Conjonctions de
coordination 428. Et je bannirais, moi, tous
ces lâches Amants, 428. Je bannirais tous ces lâches amants
Énumération de noms communs
80. Nommez-le Fourbe,
Infâme, et Scélérat maudit, 80. Nommez-le hypocrite et bandit,
vieille Émilie, 48. Vous diriez à la vieille Émilie, Transformations
syntaxiques
425. Mais les Défauts qu’elle a,
ne frappent point ma vue. 425. mais ses défauts ne frappent pas ma vue.
49. Et que le blanc qu’elle a,
scandalise chacun ? 49. Et que son blanc scandalise chacun ?
Verbe de
modalité 73. que doit donner le Vice aux
Âmes vertueuses. 73. que le vice donne aux âmes vertueuses.
faire comme les autres, 611. on pourrait faire comme vous.
425. De Grâces, et d’Attraits, je
vois qu’elle est pourvue ; 425. Elle est pourvue de grâces, Tableau 16. Exemples de simplifications syntaxiques
[60]
4.8.3. Réception des surtitres
Lors d’un entretien téléphonique avec Olga Timofeeva, chargée du surtitrage au Théâtre de Carouge, nous avons pu obtenir les avis des sourds et des malentendants sur le surtitrage du Misanthrope. Cette pièce est la première dont le surtitrage a été proposé avec le code couleur de la Charte relative à la qualité du sous-titrage. Au Théâtre de Carouge, le surtitrage est relativement récent, car il n’est proposé que depuis deux saisons. Pour cette raison, la pratique n’est pas encore figée. Olga Timofeeva recueille les avis de plusieurs manières. Tout d’abord, quand elle récupère les tablettes à la fin de la représentation, elle demande aux spectateurs si les surtitres étaient bons et, si ce n’est pas le cas, quelles améliorations peuvent être effectuées. Ensuite, les personnes qui vont voir les pièces surtitrées sont en groupe, souvent avec une association. Il arrive que ces associations envoient un avis très complet au Théâtre de Carouge. Tous ces avis sont pris en compte. Ainsi, les surtitres correspondent aux attentes du public malentendant et sourd.
En ce qui concerne le surtitrage du Misanthrope, les malentendants trouvent que les surtitres sont trop simplifiés pour eux, tandis que les sourds ont apprécié la simplification. Comme nous l’a précisé Olga Timofeeva, ils souhaitent que le surtitrage corresponde au texte récité sur scène, car ils lisent sur lèvres. Quand le texte est trop simplifié, il ne coïncide plus avec la pièce et ils sont perdus, car certains d’entre eux entendent un peu. En conclusion, pour les sourds, la pièce doit être simplifiée tandis que pour les malentendants, le texte de la pièce peut être résumé, mais la syntaxe et le lexique doivent correspondre au texte original.
[61]
4.9. Conclusion
Dans ce chapitre, nous avons décrit la méthodologie que nous souhaitions suivre pour répondre à nos questions de recherche relatives à la simplification lexicale et syntaxique d’une pièce de théâtre surtitrée pour les sourds et malentendants. Nous avons présenté le corpus à étudier et décrit comment la simplification de la pièce s’est effectuée au Théâtre de Carouge. Ensuite, nous avons expliqué comment nous voulons procéder aux analyses humaine et automatique des surtitres. Enfin, nous avons présenté les résultats ainsi que la réception des surtitres analysés par le public visé. Nous avons pu relever les règles répertoriées dans la littérature appliquées lors de la rédaction de surtitres sans que la personne chargée du surtitrage n’en ait connaissance. Voici les principaux résultats des analyses automatique et humaine.
Analyse automatique
- Le score BLEU est de 46,05 sur 100.
- L’indice de lisibilité Flesch de la version contrôlée s’élève à 94,7 Analyse humaine
- Près de 95 % des simplifications lexicales concernent la règle « Utiliser des mots courants, connus par le public cible » (Ruel et al. 2011, p.24 ; Ruel et al.
2018, p.29 ; Freyhoff 1998, p.12)
- Près de 70 % simplifications concernent la syntaxe Les règles syntaxiques les plus fréquentes sont les suivantes :
- Éviter les mots qui n’ajoutent rien au sens de la phrase (Ruel et al. 2018, p.31) - Rédiger des phrases courtes contenant soit 7 à 12 mots soit 30 à 60 caractères
(Ruel et al. 2011, p.26 ; Ruel et al. 2018, p.30 ; Freyhoff 1998, p.12)
[62]
- Rédiger des phrases simples dont l’ordre est le suivant : sujet, verbe, complément (Ruel et al. 2011, p.26 ; Ruel et al. 2018, p.30 ; Freyhoff 1998, p.8) Les règles qui n’ont pas été utilisées dans le corpus sont les suivantes :
- Éviter de placer un complément avant le verbe (Ruel et al. 2018, p.31)
- Éviter les mots étrangers, sauf si connus du public cible (Ruel et al. 2018, p.29 ; Freyhoff 1998, p.13)
- Éviter le jargon spécialisé (Ruel et al. 2018, p.29 ; Freyhoff 1998, p.14) - Éviter les périphrases (Ruel et al. 2018, p.30)
- Éviter les noms de couleur peu connus et choisir une couleur connue puis ajouter le qualificatif « clair » « foncé » (ibid.)
- Éviter les chiffres romains (Ruel et al. 2011, p.32 ; Ruel et al. 2018, p.34 ; Freyhoff 1998, p.16)
- Mettre des ordres de grandeur à la place des pourcentages (Ruel et al. 2011, p.32 ; Ruel et al. 2018, p.33-34)
- Donner l’équivalence du système métrique (Ruel et al. 2018, p.33) - Écrire les dates en entier (ibid.)
[63]
Conclusion
L’objectif de ce mémoire est d’analyser la simplification lexicale et syntaxique d’une pièce de théâtre surtitrée à l’intention des sourds et malentendants. Pour ce faire, nous avons voulu répondre à quatre questions de recherche :
1) Quel est le degré de simplification ?
2) Quelles règles syntaxiques et lexicales proposées dans la littérature sont répertoriées dans notre corpus ?
3) Quel type de règles est le plus utilisé ?
4) Quelle a été la réception des surtitres simplifiés ?
Pour évaluer la simplification de manière automatique, nous avons recouru au score BLEU. Cette métrique permet de calculer la proportion de mots et l’ordre des mots similaires entre deux textes. Un score élevé révèle, dans notre cas, que le texte a été beaucoup simplifié. Nous avons téléchargé les deux versions surtitrées de la pièce sur un site qui effectue le calcul de la métrique BLEU. Le score obtenu s’élève à 46,05, le maximum étant 100. Ainsi, la métrique nous a indiqué que la version non contrôlée avait subi de nombreuses modifications. Toutefois, il n’indique pas si les simplifications sont lexicales ou syntaxiques.
En ce qui concerne l’indice de lisibilité Flesch, l’écart entre les valeurs des deux versions n’est pas très élevé. Étant donné que la valeur la plus haute est 100, cela signifie que la version non contrôlée, dont la valeur est 92,5, est facile à comprendre. Dans ce cas, cette version ne nécessiterait aucune simplification. Pour cette raison, nous jugeons que cet indice n’est pertinent que lors d’une comparaison entre deux textes, car il indique lequel des deux textes est le plus facile à comprendre.
[64]
Les évaluations automatiques sont pertinentes, car elles permettent d’avoir une indication générale et peuvent aider à déterminer les points à approfondir pour d’éventuelles recherches. Par exemple, la manière dont les modifications ont été effectuées.
Pour répondre à la première question, nous avons d’abord étudié la pratique du surtitrage et avons remarqué l’absence de règles. Au Théâtre de Carouge, les règles suivies sont celles du sous-titrage intralinguistique, qui est normé. Nous avons constaté que ces normes n’étaient que des règles générales sur la manière de rédiger des sous-titres. Par conséquent, nous avons souhaité savoir quelles règles souvent utilisées dans la pratique.
Nous avons donc analysé un type de langue contrôlée, le FALC. Ce dernier propose des règles spécifiques sur l’aspect linguistique, que nous avons regroupées dans deux
Nous avons donc analysé un type de langue contrôlée, le FALC. Ce dernier propose des règles spécifiques sur l’aspect linguistique, que nous avons regroupées dans deux