6. Expérience
7.2. Amélioration de la prononciation des étudiants
Nous allons à présent nous intéresser aux éventuels progrès en matière de prononciation anglaise réalisés par les étudiants au cours de cette expérience. Pour ce faire, nous avons demandé aux évaluateurs de comparer les deux versions enregistrées du texte de référence des élèves dont la participation a été significative. Il convient tout d’abord de préciser les critères retenus pour définir une « participation significative ». Premièrement, et logiquement, l’étudiant doit
uniquement pour cette raison. D’autant plus qu’il n’est pas exclu qu’une seule séance d’exercice effectuée consciencieusement puisse déjà porter ses fruits.
Deuxièmement, nous avons sélectionnés les utilisateurs qui ont effectué au moins une leçon en entier. Trois étudiants (PRON1194, PRON5490 et PRON8011) ont été exclus sur la base de ce critère. Troisièmement, il va de soi que les participants n’ont été évalués que pour les sons dont ils ont effectué la leçon. Par conséquent, les passages du texte de référence portant sur un son non entraîné par un élève donné n’ont pas été inclus dans les données transmises aux évaluateurs. Notons encore que les élèves PRON7378 et PRON8332 répondaient à tous ces critères, mais n’ont pas procédé au deuxième enregistrement du texte de référence et ne font donc pas partie de l’évaluation. En fin de compte, les huit participants suivants ont été évalués :
PRON2341 pour les leçons [Θ] – [δ] et [ɪ] – [iː]
PRON3321 pour les leçons [Θ] – [δ], [ɪ] – [iː], [b] – [p], et [h]
PRON3574 pour la leçon [Θ] – [δ]
PRON4568 pour la leçon [Θ] – [δ]
PRON4836 pour les leçons [Θ] – [δ], [ɪ] – [iː] et [b] – [p]
PRON5356 pour les leçons [Θ] – [δ], [ɪ] – [iː] et [b] – [p]
PRON8484 pour les leçons [Θ] – [δ] et [ɪ] – [iː]
PRON9022 pour les leçons [Θ] – [δ] et [ɪ] – [iː]
Les paires d’enregistrements correspondant aux participants et aux leçons retenus ont été introduites dans des tableaux, tel que décrit dans le chapitre 6.2. Protocole, dont le modèle constitue l’annexe VIII. Notons que ces enregistrements ont été disposés dans quatre tableaux par leçon, mais mélangés à l’intérieur de chacun d’entre eux (cf. chapitre 6.2 Protocole). Les trois évaluateurs présentés dans le chapitre 6.4. Les évaluateurs ont ensuite marqué d’une croix les productions orales qu’ils ont considérées les mieux prononcées. L’annexe XI détaille les réponses des évaluateurs. Un résumé est présenté dans le tableau 7.3 ci-dessous. L’objectif de ce tableau est de montrer si « oui » ou « non » la prononciation a été améliorée pour un son ou groupe de sons donné. L’indication « 1er » ou « 2e » indique de quel paragraphe du texte de référence il s’agit. En effet, rappelons-le, le texte de référence est composé de huit paragraphes, deux pour chaque leçon, et seul le
premier contient des mots figurants dans les exercices. Cette distinction nous permettra de déterminer si les progrès potentiels réalisés par les étudiants se limitent principalement aux mots entraînés. Pour déterminer si « oui » ou « non » la prononciation a été améliorée, nous avons simplement suivi l’avis de la majorité des évaluateurs : si au moins deux d’entre eux ont marqué l’extrait correspondant au deuxième enregistrement alors, « oui », la prononciation a été améliorée. Les cases « total » marquées d’un astérisque indiquent que les informations résumées dans le tableau ne donnent pas un résultat clair et que nous nous sommes fondé sur les données détaillées contenues dans l'annexe XI pour trancher. Notons
Tableau 7.3 : Résultats de l’évaluation des deux enregistrements du texte de référence
Bien que le petit nombre d’évaluateurs et, parfois, de données nous incite à considérer ces résultats avec prudence, nous considérons qu’ils sont très satisfaisants. En effet, six élèves sur huit ont amélioré leur prononciation. À noter que les deux autres n’ont utilisé le logiciel qu’une seule fois. En outre, la ligne
« total groupé », qui combine les résultats du premier et du deuxième paragraphe de chaque son ou groupe de sons entraîné, nous indique que toutes les leçons peuvent être considérées comme utiles. Remarquons toutefois que la prononciation des participants a principalement été améliorée pour les mots ou expressions qui figurent dans les exercices, puisque les résultats concernant les
étudiants concernant leur niveau de prononciation anglaise recueillies dans le questionnaire introductif rempli en classe lors de la présentation du logiciel. Les huit participants retenus ont évalué leur compétence ainsi :
PRON3321, « Je sais me faire comprendre, mais je dois parfois
PRON3574, répéter ce que je dis et j’éprouve des difficultés à
PRON9022 prononcer certains sons. »
PRON4568, « Je prononce correctement les mots que je connais,
PRON4836, mais ma prononciation est parfois un obstacle à une
PRON5356, communication efficace. »
PRON8484
PRON2341 « Je prononce clairement et n’ai pas de difficultés
particulières à me faire comprendre. »
Aucun progrès n’a été constaté chez l’élève PRON2341 probablement, car son niveau de prononciation est, selon son propre jugement, déjà très bon. Il est encourageant de constater que les participants PRON3321 et PRON9022, qui estimaient avoir un niveau moyen, ont tous deux réalisé des progrès. D’ailleurs, tous ont indiqué dans le questionnaire final (cf. 6.6.5.1. Questionnaire n° 1) avoir le sentiment d’avoir « un peu progressé ». Remarquons que même des étudiants ne s’étant connectés qu’une fois à CALL-SLT (tels que PRON8484 ou PRON9022) semblent avoir amélioré leur prononciation.
Avant de conclure, intéressons-nous de plus près à l’élève PRON3321. Son cas est en effet très intéressant premièrement, car il s’agit de la seule personne ayant effectué les quatre leçons, deuxièmement parce qu’il s’est connecté chaque semaine à CALL-SLT (quatre fois en tout), troisièmement parce que la qualité sonore de ses enregistrements est suffisamment bonne pour que les résultats de CALL-SLT soient considérés fiables et enfin, quatrièmement, parce qu’il a effectué trois fois les exercices portant sur la prononciation du « th », et deux fois ceux sur les sons [ɪ] – [iː . Nous allons donc utiliser les données du rapport d’activité pour vérifier si le nombre de phrases correctement reconnues augmente au fil des sessions d’entraînement. Notons qu’il s’agit du seul participant qui permette une telle analyse, car, bien que l’élève PRON5356 ait lui aussi effectué plusieurs fois
certaines leçons (ce qu’aucun autre n’a accompli), la mauvaise qualité de ses enregistrements empêche une lecture fiable des résultats de la reconnaissance vocale.
Pour les sons [Θ – [δ :
1re session : 17 énoncés bien reconnus sur 30 56,7 % 2e session : 18 énoncés bien reconnus sur 21 85,7 % 3e session : 15 énoncés bien reconnus sur 26 57,7 % Pour les sons [ɪ] – [iː :
1ère session : 15 énoncés bien reconnus sur 71 21,1 % 2e session : 30 énoncés bien reconnus sur 67 44,8 %
Là encore, les résultats sont positifs. Même si la différence entre la première et la troisième session d’entraînement avec la leçon relative au « th » n’est pas très grande, le pourcentage de phrases reconnues a augmenté et nous pouvons en conclure que le participant a bel et bien amélioré sa prononciation, du moins pour les sons concernés.
7.3. Conclusion
Malgré les résultats mitigés quant à la qualité de la reconnaissance vocale, nous n’avons pas l’impression que notre premier objectif, à savoir vérifier si CALL-SLT peut être utilisé pour l’apprentissage et l’amélioration de la prononciation, n’a pas été atteint. Certes, certains choix effectués lors de la préparation des leçons se sont avérés peu judicieux, mais le système en lui-même est capable de différencier une bonne et une mauvaise prononciation. Les résultats obtenus par certains étudiants sont encourageants et des exercices plus courts, mais conçus selon des critères plus stricts devraient afficher un taux de reconnaissance satisfaisant.
Notre impression positive sur l’issue de cette expérience est confirmée par les résultats démontrant les progrès réalisés par les étudiants ayant utilisé le logiciel.
Le second objectif, c’est-à-dire constater une amélioration de la prononciation
faible nombre d’évaluateurs, et parfois de données, invite à la prudence, mais nous estimons pouvoir raisonnablement conclure que CALL-SLT est adapté à l’apprentissage et à l’amélioration de la prononciation et que les leçons fondées sur la méthode des paires minimales que nous avons développées ont porté leurs fruits.