Observation des résultats

Nous allons maintenant nous pencher sur les résultats obtenus lors de ce premier test. Cette observation nous permettra de mettre en évidence les différences entre les sous-titres réalisés par un respeaker débutant et par un respeaker avancé sur une même vidéo du 19:30 et dans des conditions d’entraînement. Avant de commencer à analyser les résultats obtenus, voici un tableau récapitulatif des résultats des quatre respeakers :

Débutant 1 Débutant 2 Avancé 1 Avancé 2

Nombre de mots avant 629 629 629 629

Nombre de mots après 296 (47%) 261 (41%) 334

(53%) 345 (55%)

Nombre total d’erreurs 34 36 28 34

Omission peu grave 12 (35%) 18 (50%) 17 (61%) 18 (53%) Omission moyennement grave 9 (26%) 9 (25%) 4 (14%) 3 (9%)

Omission grave 3 (9%) 3 (8,5%) 0 (0%) 0 (0%)

Glissement de sens 3 (9%) 2 (6,5%) 2 (7%) 2 (6%)

Contre-sens 1 (3%) 0 (0%) 0 (0%) 2 (6%)

Erreur de mise en forme 2 (6%) 2 (5,5%) 2 (7%) 1 (3%) Erreur de reconnaissance 4 (12%) 2 (5,5%) 3 (11%) 8 (23%) Nombre total de techniques de

respeaking 12 15 26 18

Synthèse 9 (75%) 11 (73%) 17 (65%) 12 (67%)

Reformulation 3 (25%) 3 (20%) 9 (35%) 5 (28%)

Ajout 0 (0%) 1 (7%) 0 (0%) 1 (5%)

Figure 9: Résultats des quatre respeakers

Tout d’abord, nous pouvons commencer par dire que les sous-titres réalisés par les quatre respeakers s’étant prêtés au test sont d’une bonne qualité car il y a peu d’erreurs graves, l’enchaînement logique des sous-titres est respecté et les informations principales ont été données.

Nous allons commencer par parler du nombre de mots. Il faut ici rappeler que dans le nombre de mots respeakés, nous avons aussi comptabilisé tous les signes de ponctuation, ceux-ci ayant été dictés par les respeakers. Nous pouvons voir que les deux respeakers avancés ont dicté davantage de mots que les deux respeakers ayant moins d’expérience dans le sous-titrage de ce type de direct. Sur les 629 mots qui ont été dits dans l’original, les respeakers avancés ont réussi à en dicter plus de la moitié [voir figure 9]. Les respeakers débutants en ont dicté un peu moins de la moitié. Cela est certainement dû à l’expérience et à la capacité d’écouter et de parler en même temps, ce que développent les respeakers avec la pratique.

Au niveau du nombre d’omissions peu graves, les quatre respeakers sont dans une même fourchette. La différence se fait surtout au niveau des omissions moyennement graves et des omissions graves [voir figure 9]. Les respeakers débutants ont fait davantage d’omissions moyennement graves et graves comparé aux deux respeakers avancés. C’était également le résultat auquel on pouvait s’attendre, car comme nous venons de l’observer, les respeakers débutants doivent développer leur capacité d’écoute afin de mémoriser les informations importantes tout en dictant autre chose. Nous pouvons aussi émettre l’hypothèse que les respeakers acquièrent des automatismes au fil des directs, ce qui leur permet d’identifier plus facilement les informations importantes qu’il faut transmettre dans les sous-titres.

Concernant les omissions moyennement graves et graves, qui sont parmi les plus intéressantes dans nos résultats étant donné que leur nombre diffère beaucoup selon le niveau d’avancement du respeaker, nous pouvons dire qu’elles sont significatives. Nous avons pu prouver cela grâce au test de McNemar [disponible sur

http://graphpad.com/quickcalcs/McNemar1.cfm]. Le test de McNemar permet de rentrer des données et de savoir si elles sont vraiment significatives ou pas.

Pour les glissements de sens, les quatre respeakers obtiennent quasiment le même nombre de fautes. Toujours dans les fautes de sens, les respeakers débutants ne font pas plus de contre-sens que les respeakers avancés. C’est même un des respeakers avancés qui a fait le plus de contre-sens sur les quatre respeakers. Cela prouve que même un respeaker avancé n’est pas à l’abri d’une erreur de sens. Nous pouvons même émettre l’hypothèse qu’étant donné que les respeakers avancés dictent davantage de mots, ils courent aussi plus le risque de commettre des fautes de sens. Il faudra donc déterminer s’il vaut mieux dicter moins de mots afin d’être certains de ne pas faire de fautes de sens, ou bien dicter davantage de mots mais avec le risque de commettre des erreurs de sens, qui peuvent être graves pour la compréhension du direct lorsqu’il s’agit de contre-sens.

Les erreurs de mise en forme sont plutôt rares dans les résultats de notre test et on ne voit pas de grande différence dans le nombre de ce type de fautes entre les respeakers débutants et les respeakers avancés.

Le nombre d’erreurs de reconnaissance varie déjà plus entre les quatre respeakers.

C’est un respeaker débutant qui obtient le plus petit nombre de fautes de reconnaissance et un respeaker avancé qui en a commis le plus. Cela s’explique une fois de plus par le fait que les respeakers avancés dictent davantage de mots, ils parlent donc plus vite et ont plus de risques de faire ce type d’erreurs. Encore une fois, il faudra nous interroger pour savoir s’il vaut mieux dicter plus de mots en prenant le risque de laisser passer quelques erreurs de reconnaissance, ou bien dicter moins de mots en étant sûr d’envoyer à l’écran des phrases sans aucune faute.

On ne peut pas dire que le nombre d’ajout soit déterminant du niveau du respeaker, car les quatre respeakers sont à égalité de ce point de vue-là. Concernant la synthèse, nous remarquons que les respeakers avancés en font davantage que les respeakers débutants [voir figure 9], mais cet écart n’est pas très grand. Cet écart est certainement dû à l’expérience acquise par les respeakers, qui leur permet de ne garder que l’essentiel de ce que dit le présentateur ou l’invité. Nous avons comptabilisé davantage de reformulations chez les respeakers avancés que chez les respeakers débutants. Nous pouvons expliquer ce résultat en émettant l’hypothèse que les respeakers avancés ont davantage d’expérience pour identifier les idées et certains mots-clés et qu’ils construisent les phrases qu’ils dictent autour de ces idées, donc sans forcément reprendre les mots exacts qui ont été dits par les intervenants. Les reformulations que nous avons relevées dans nos résultats étant positives,

puisqu’elles améliorent la phrase originale, il ne s’agirait pas d’une évolution négative si l’on constatait que les respeakers débutants font davantage de reformulations au fur et à mesure de leur progression en respeaking. Au terme de l’observation des résultats de ce premier test, nous pouvons dire que la différence dans le nombre d’erreurs et de stratégies de respeaking se fait surtout au niveau du nombre de mots dictés, du nombre d’omissions moyennement graves et graves ainsi qu’au niveau du nombre de reformulations et que globalement, les respeakers avancés utilisent davantage de stratégies de respeaking.

Pour les stratégies de respeaking utilisées, nous avons également utilisé le test de McNemar [disponible sur http://graphpad.com/quickcalcs/McNemar1.cfm] pour déterminer si les différences entre respeakers débutants et avancés étaient significatives et pas seulement dues au hasard. Le résultat du test de McNemar pour les stratégies de respeaking montre que les données ne sont pas tout à fait significatives. Cela veut dire qu’il nous faudrait davantage de données pour pouvoir déterminer si la différence dans les techniques de respeaking utilisées par les respeakers débutants et avancés est significative ou pas.

Pour les autres types d’erreurs ou techniques de respeaking, nous n’avons pas vu une différence vraiment nette entre les respeakers débutants et les respeakers avancés.

Toutefois, les écarts que nous avons remarqués sur le nombre de mots dictés et sur les omissions sont intéressants pour notre étude. Il serait bon d’aboutir à des recommandations qui pourraient aider les respeakers qui débutent sur ce type de direct à réduire ce type d’erreurs afin de transmettre davantage d’informations au téléspectateur qui utilise les sous-titres.

Nous n’avons pas non plus remarqué que les respeakers faisaient les mêmes fautes ou utilisaient les mêmes techniques de respeaking au même endroit. Sur les quatre respeakers, il est arrivé qu’il y ait des similitudes au même endroit, mais pas de façon assez systématique pour dire que les respeakers ont sous-titré cette vidéo de la même manière.

Nous allons maintenant nous interroger sur les deux grandes stratégies qui se sont dégagées de l’observation des résultats. A savoir, est-ce qu’il vaut mieux dicter plus de mots en prenant le risque de faire davantage de fautes de reconnaissance et de fautes de sens, ou bien dicter moins de mots afin d’être sûrs de faire des phrases sans aucune faute de reconnaissance, mais au détriment de la quantité d’information contenue dans les sous-titres. Ce graphique aidera à avoir une meilleure vision de la différence entre les résultats des respeakers débutants et avancés :

0 2 4 6 8 10 12 14 16 18 20

omission peu graves

omi ssion moyennement

grave

omission gravegli ssement de sens

contre-sens erreur de mise en forme

erreur de reconnaissance

synthèse reformul ation ajout

Débutant 1 Débutant 2 Avancé 1 Avancé 2

Figure 10: Résultats des quatre respeakers sur une courbe