Proceedings Chapter
Reference
Intégration d'un jeu de traduction orale sur le web pour l'apprentissage d'une langue seconde
BOUILLON, Pierrette, et al.
Abstract
Dans cet article, nous présentons une expérience concrète d'intégration du logiciel d'apprentissage des langues CALL-SLT, fondé sur la reconnaissance vocale, à l'université de Bologne (Rayner et al., 2010a, 2010b ; Bouillon et al., 2011). Nous montrons dans quelle mesure la satisfaction des étudiants est corrélée à une réelle amélioration des connaissances linguistiques. Nous présentons d'abord le système CALL-SLT. Ensuite, nous décrivons l'expérience pilote qui a été menée à l'Université de Bologne avec des étudiants italophones, apprenant le français, pour évaluer qualitativement et quantitativement l'apport de CALL-SLT pour l'apprentissage des langues.
BOUILLON, Pierrette, et al . Intégration d'un jeu de traduction orale sur le web pour l'apprentissage d'une langue seconde. In: Nkambou, R, Narce, C. , Cerri, S.A., Boiron P., Paliard, C. Actes du 8ème Colloque Technologies de l'Information et de la
Communication pour l'Enseignement (TICE 2012) . 2012. p. 212-216
Available at:
http://archive-ouverte.unige.ch/unige:30917
Disclaimer: layout of this document may differ from the published version.
1 / 1
1
Intégration d’un jeu de traduction orale sur le web pour l’apprentissage d’une langue seconde
Pierrette BOUILLON, Johanna GERLACH, Claudia BAUR (ETI, Université de Genève), Cristiana CERVINI, Rachel B. GASSER (CLA, Université de Bologne)
RÉSUMÉ • Dans cet article, nous présentons une expérience concrète d’intégration du logiciel d’apprentissage des langues CALL-SLT, fondé sur la reconnaissance vocale, à l’université de Bologne (Rayner et al., 2010a, 2010b ; Bouillon et al., 2011). Nous montrons dans quelle mesure la satisfaction des étudiants est corrélée à une réelle amélioration des connaissances linguistiques. Nous présentons d’abord le système CALL-SLT. Ensuite, nous décrivons l’expérience pilote qui a été menée à l’Université de Bologne avec des étudiants italophones, apprenant le français, pour évaluer qualitativement et quantitativement l’apport de CALL-SLT pour l’apprentissage des langues.
MOTS-CLÉS • apprentissage des langues, production orale, reconnaissance vocale, évaluation
ABSTRACT •
In this paper, we present a case study in which CALL-SLT (Rayner et al 2010a, 2010b;Bouillon et al 2011), a speech recognition based CALL tool, was integrated into the teaching environment at the University of Bologna. In particular, we measure the extent to which expressed student satisfaction is correlated with objective improvement in their linguistic abilities. We start with a brief description of the CALL-SLT system. After this, we describe the pilot tests carried out at the University of Bologna with Italian-speaking students of French, and show how we performed qualitative and quantitative evaluations of CALL-SLT's utility as an aid for language teaching.
KEYWORDS • foreign language learning, oral production, speech recognition, evaluation
Introduction
Depuis quelques années, de nouveaux outils d’apprentissage des langues, fondés sur la reconnaissance vocale, apparaissent sur le marché (RosettaStone, TellMeMore, etc.). Il y a cependant peu d’études qui prouvent que ces outils permettent réellement d’améliorer les connaissances productives des étudiants. Il s’agit en effet généralement d’outils commerciaux, qui sont principalement destinés à un apprentissage en autonomie. Ce sont aussi des outils figés que l’enseignant n’a pas la possibilité de modifier pour ses propres besoins, ce qui rend toute évaluation difficile.
Dans cet article, nous présentons une expérience concrète d’intégration d’un logiciel de ce type, CALL-SLT, développé à l’Université de Genève dans le cadre d’un projet national Suisse (Rayner et al., 2010a, 2010b ; Bouillon et al., 2011).
Nous mettons d’abord en évidence les spécificités de cet outil, qui le distinguent des autres outils existants (Section 2).
Nous focalisons ensuite sur l’expérience pilote menée à l’Université de Bologne avec des étudiants italophones, apprenant le français, pour évaluer qualitativement et quantitativement l’apport de CALL-SLT pour l’apprentissage des langues : nous décrivons comment le logiciel a pu être adapté pour les besoins de l’Université de Bologne et les deux évaluations (Sections 3 et 4). Celles-ci semblent confirmer que la bonne satisfaction des étudiants est effectivement corrélée à une certaine amélioration des connaissances linguistiques. Elles montrent aussi la difficulté d’évaluer la prononciation et suggèrent des pistes pour les évaluations futures.
1. CALL-SLT
CALL-SLT est un jeu de traduction basé sur la reconnaissance vocale, disponible sur le web. Il propose à l’apprenant des sens glosés en langue maternelle (L1) à oraliser en langue seconde (L2), par exemple si L1 est l’anglais : ORDER POLITELY BOTTLE OF WATER, ou bien : SAY WHERE YOU LIVE : PARIS, etc. Les sens sont organisés en leçons et sont indépendants de la syntaxe. Pour la première glose, l’apprenant pourrait donc dire en français : « je voudrais une bouteille d’eau », « auriez-vous une bouteille d’eau », « pourrais-je avoir une bouteille d’eau », etc. Pour la seconde, il pourrait répondre : « j’habite Paris », « je vis à Paris », etc. L’hypothèse qui sous-tend CALL-SLT est donc que, en
2
essayant de se faire reconnaître par l’ordinateur, l’apprenant améliore sa fluidité et sa prononciation, et mémorise mieux le vocabulaire et la syntaxe.
Le système repose sur deux composantes, développées avec plateforme de recherche Regulus (Rayner et al., 2006) : un reconnaisseur de la parole linguistique (basé sur une grammaire) et un système de traduction automatique (TA) par interlangue. Pour vérifier si la phrase oralisée par l'apprenant est correcte, le système exécute d’abord la reconnaissance vocale, puis il détermine si la phrase reconnue correspond au sens de la glose de départ. Pour ce faire, il transforme la phrase reconnue en une représentation sémantique (interlangue), grâce à un ensemble de règles de mise en correspondance qui lient la représentation syntaxique de la phrase à la représentation sémantique (Bouillon et al., 2011). Si la phrase énoncée a la même représentation que la glose de départ, elle est considérée comme correcte ; sinon, elle est incorrecte.
La principale pierre d’achoppement de ce type de système est donc la reconnaissance vocale. Idéalement, il faudrait que celle-ci échoue quand l’apprenant fait une faute, typiquement corrigée par un enseignant, mais qu’elle réussisse dans les autres cas, pour ne pas le décourager. L’approche linguistique, induite par Regulus, devrait présenter plusieurs avantages en ce sens. Dans CALL-SLT, le reconnaisseur de la parole n’est pas donné a priori, comme dans d’autres systèmes similaires (Wang and Seneff, 2007). Il est dérivé automatiquement avec la plateforme Regulus de grammaires d’unification générales préexistantes, à partir d’un corpus de phrases, structuré en leçons. Il est donc facile, en fonction du but pédagogique, d’étendre le reconnaisseur pour de nouvelles leçons ou exercices, ou bien de dériver des reconnaisseurs plus ou moins contraints en fonction du niveau des étudiants : moins le reconnaisseur pourra reconnaître de mots et de types de phrases, plus la reconnaisance sera en effet aisée. Un autre avantage est que la reconnaissance est basée sur les grammaires (vs statistique), ce qui convient bien à une application assistée par ordinateur sur le web. Celle-ci donne en effet de bons résultats sur les phrases couvertes par la grammaire, sans avoir besoin de l’adapter à l’orateur avec des données d’entraînement. Il est également très rare que la reconnaissance produise des phrases agrammaticales qui pourraient induire en erreur l’apprenant. En somme, l’approche de la reconnaissance proposée ici paraît bien convenir à un système multilingue, dans des domaines limités et accessible à un large public d’internautes, comme nous l’évaluerons dans l’expérience qui suit.
Explication de la leçon sur DALIA
Demander de l’aide
Glose suivante Reconnaissance vocale Choisir une leçon
Choisir une paire de langues
Résultat de la reconnaissanc e
Glose en italien
Résultats de l’aide
Niveau de difficulté difficulté
3
Figure 1 • Interface CALL-SLT (version pour le français en L2 et l’italien en L1(http://www.issco.unige.ch/en/staff/tsourakis/callslt/callslt.html) Username : guest ; pas de password)
Le système CALL-SLT est accessible sur le web à l’aide d’un logiciel de navigation ordinaire. L’interface du système utilisé pour l’expérience ici est présenté dans la figure (1) : la glose est donc en italien et le résultat de la reconnaissance en français. Les boutons en haut de l’écran permettent de choisir une paire de langue ou une leçon spécifique. L’interaction avec le système se fait de la manière suivante : avant de parler, l’apprenant appuie sur le bouton « Reconnaissance vocale» et le maintient appuyé en verbalisant la phrase. Le résultat de la reconnaissance s’affiche aussitôt dans le cadran. Le vert indique un résultat correct ; le rouge un résultat incorrect et l’orange un résultat correct mais qui ne correspondrait pas à ce qu’il faut dire dans une leçon spécifique. A tout moment, suivant ce qui a été défini par le professeur, l’apprenant peut appuyer sur le bouton « Demander de l’aide » et suivre les exemples d’aide proposés sous formes écrite et orale (« Résultats de l’aide »). Il peut aussi ré-écouter ce qu’il a dit et spécifier le niveau de difficulté de la reconnaissance (« Niveau de difficulté »). Dans la suite, nous décrivons l’expérience menée à Bologne pour évaluer le logiciel.
2. Développement du logiciel pour Bologne et expérience
Un ensemble de leçons ont été insérées dans le parcours multimédia de français, Cours élémentaire A1 - A2 (D.A.L.I.A.
- Didattica per l’Apprendimento delle Lingue In Autonomia), réalisé par des enseignants du centre linguistique de l’Université de Bologne, Centro Interfacoltà di Linguistica teorica e Applicata, C.I.L.T.A. Ce cours multimédia développe avant tout deux des quatre compétences linguistiques - la compréhension écrite et la compréhension orale - sur quatre modules thématiques, divisés en quatre unités sur les différents aspects de la langue : grammaire, lexique, savoir-faire linguistiques et phonétique (Bouillon et al. 2011; Gasser 2011).
Les leçons créées jusqu’à maintenant pour CALL-SLT (huit leçons pour la rubrique « se présenter » et deux leçons pour la rubrique « prendre rendez-vous ») reprennent les thèmes des deux premiers modules DALIA, en particulier ceux ayant trait aux échanges communicatifs de l’unité des « savoir-faire linguistiques ». Sur le plan didactique, l’interface de CALL-SLT permet un dialogue intéressant entre la partie de gauche, l’exercice de production orale, et celle de droite, un espace que l’enseignant peut exploiter pour fournir des aides linguistiques (des explications complémentaires, des rappels) et faire le raccord avec certaines pages du cours multimédia DALIA (voir Figure 1). Les phrases à traduire et à dire sont pour le moment très simples et courtes, donc cet exercice s’adapte bien à un public d’apprenants débutants et faux-débutants. Comme l’indique le titre des rubriques, la production orale a trait en grande partie à la communication : apprendre à saluer, à se présenter (donner « ses » coordonnées, présenter « sa » famille, « sa» date et lieu de naissance, etc.). « Ses » et « sa » sont entre guillemets car l’étudiant ne se présente personnellement, mais il doit utiliser des coordonnées d’emprunt (nom, adresse, âge fictifs, etc.) : Dì la tua età : 19 :
« j’ai 19 ans » ; Dì dove abiti : Francia : « j’habite en France» ; Dì la tua data e luogo di nascita: 5 marzo 1994 Atene :
« je suis né le cinq mars mille neuf cent quatre-vingt quatorze à Athènes ». La tâche de production orale implique ainsi le passage d’une glose télégraphique en italien à une phrase complète en français, du discours indirect au discours direct, ce qui nécessite des transformations grammaticales (pronom sujet, adjectif possessif, etc.) et des adjonctions (dans les exemples des prépositions). Cette manière de procéder demande un petit rodage de la part des étudiants, mais évite de lier une phrase source à une phrase cible spécifique, comme proposé dans l’outil de Wang et Seneff (2007).
Le parcours DALIA est un environnement d’apprentissage en formation hybride – blended learning – d’auto- apprentissage accompagné de présentiel allégé : des séminaires de 25 heures sont offerts aux étudiants afin d’intégrer leur travail à l’ordinateur. Lors des deux dernières leçons du séminaire A1-A2, un petit échantillon de six étudiants - certains débutants et d’autres faux-débutants - ont testé ce logiciel
Tout d’abord, chacun a contrôlé si son micro fonctionnait (touche « test mic » du logiciel), puis nous leur avons conseillé avant de s’enregistrer d’appuyer sur le bouton orange pour régler le niveau de tolérance de la reconnaissance vocale et de passer de l’option “easy” à l’option “hard”, c’est-à-dire d’opter pour la difficulté maximum avec le reconnaisseur le plus étendu (cf. Section 2). Lors de la réalisation de l’exercice les étudiants ont eu accès à l’aide, c’est-à-dire à la/les bonne(s) réponse(s), après deux tentatives seulement. Il s’agit d’un choix didactique : inciter les étudiants à être actifs, à mettre tout d’abord à profit leurs propres connaissances linguistiques, agir par tentatives avant de leur offrir la/les bonne(s) réponse(s).
3. Evaluation qualitative : satisfaction des étudiants
Au terme du cours en formation hybride, nous avons demandé aux étudiants participant à l’expérimentation de remplir un questionnaire pour recueillir des informations sur les aspects suivants de CALL-SLT intégré à DALIA : i) perception de l’utilité générale des exercices CALL-SLT en auto-apprentissage, ii) perception plus détaillée des connaissances et compétences améliorées, iii) réflexion métacognitive guidée portant sur la méthodologie adoptée
4
pendant l’exécution des exercices, iv) ergonomie et fonctionnalité technique du logiciel. Le questionnaire est accessible en ligne et il est composé de 21 questions dont 2 sont à réponse ouverte1. Même si l’échantillon testé pour l’enquête est encore limité, les premiers résultats obtenus sont encourageants. Par rapport au point i) et ii), 80% des étudiants ont affirmé que les exercices de CALL-SLT sont utiles avec une variabilité des réponses entre très utiles et assez utiles. Les réponses détaillées s’accordent pour dire que CALL-SLT permet la « mémorisation de nouveaux mots/expressions », l’« amélioration de la prononciation », la perception de leur fluidité à l’oral », l’« apprentissage de différentes façons d’exprimer le même concept ». On remarque une légère baisse de la satisfaction pour la catégorie
« apprendre la structure d’une phrase (grammaire, syntaxe) ». Par rapport au point iii) qui cherche à connaître comment les étudiants font les exercices, par exemple par rapport à la séquence et à l’utilisation de toutes les fonctions du logiciel, 80% des étudiants affirment avoir profité de la possibilité de se réécouter et de comparer leur production avec le modèle. Les questionnaires, par contre, révèlent qu’il faut travailler davantage sur l’intégration des exercices DALIA et CALL-SLT parce que seulement la minorité semble profiter des approfondissements développés dans le côté droit de la page. Pas d’informations cruciales à signaler par rapport à la clarté et à l’ergonomie de l’interface. Par rapport aux réponses ouvertes, trois étudiants sur six ont profité de l’espace libre pour écrire leur considérations qui ont porté sur les aspects suivants : « il s’agit évidemment d’un outil très utile mais il faut développer plus d’unités » ; « vraiment un moyen très utile pour apprendre une langue » ; « la bonne réussite de l’exercice dépend aussi du fonctionnement du microphone ».
L’évaluation qui suit tente de corréler ces résultats qualitatifs à des données objectives.
4. Evaluation quantitative
Pour mesurer quantitativement l’intérêt du logiciel, nous avons demandé à l’enseignant du cours d’évaluer ce qui a été dit par les étudiants sur une échelle de 1 (score le plus faible) à 5 (score le meilleur), selon 3 critères : grammaire/lexique, phonétique et fluidité. Nous avons ensuite enlevé les fichiers qui avaient été jugés incompréhensibles (micro trop faible). Quand un étudiant avait appuyé sur le bouton de la reconnaissance vocale sans parler, nous avons mis un zéro pour les trois critères : dans ce cas, l’étudiant ne sait clairement pas ce qu’il doit dire, ni comment le dire. Nous avons ensuite calculé si les étudiants obtenaient un meilleur score de la part de l’enseignant : 1) quand ils ont accédé à l’aide orale et 2) quand la phrase énoncée par l’étudiant a été considérée comme correcte par le système. 1) nous permet donc de voir si l’aide orale est un bon moyen pour améliorer la performance de l’étudiant ; 2) est intéressant pour mesurer la capacité du système à détecter les phrases correctes vs incorrectes : idéalement, une phrase considérée comme correcte devrait être associée à un score élevé de la part de l’enseignant (elle ne devrait contenir aucune faute) et une phrase mal reconnue à une appréciation négative. Les résultats sont repris dans les Tableaux 1 et 2).
Total phrases Lex/Gram Phonétique Fluidité
Pas d’aide 761 4,42 2,82 2,84
Aide 304 4,75 3,06 3,14
Tableau 1 • Résultats pour les occurrences avec et sans aide
Total phrases Lex/Gram Phonétique Fluidité
Phrases considérées comme correctes par le système
505 4,85 3,11 3,11
Phrases considérées comme incorrectes par le système
560 4,31 2,77 2,87
Tableau 2 • Résultats pour les occurrences considérées comme correctes vs. incorrectes
1 https://docs.google.com/spreadsheet/viewform?formkey=dDF2Z2p2V010UkgzcDVlX3d6RDY1Qnc6MQ#gid=0
5
Ces tableaux montrent que les étudiants obtiennent effectivement un meilleur score avec l’aide que sans l’aide orale et quand l’exercice a été considéré comme correct par le système, et ceci pour les trois critères. Ces chiffres appellent cependant deux autres commentaires :
Les étudiants ont finalement peu écouté l’aide orale (304 fois sur 1065, 28%), fournie après deux tentatives, contrairement à ce que le questionnaire pouvait laisser sous-entendre (voir Section 4). Lors de la prochaine expérience, il serait utile que l’enseignant suggère de ne pas seulement considérer cet exercice comme un test pour évaluer ce qu’ils savent dire, mais aussi comme un instrument pour améliorer la prononciation et enrichir le lexique grâce à la présentation pour certaines gloses des façons différentes d’exprimer la même chose (de manière plus ou moins formelle par exemple). L’interface pourrait aussi être modifiée pour obliger l’étudiant à écouter l’aide après une ou plusieurs tentatives incorrectes.
Quand la phrase a été considérée comme correcte par CALL-SLT, le score de l’étudiant augmente. Il y a donc bien une corrélation entre ce que fait le système et la perception de l’enseignant. On aurait peut-être pu espérer une différence plus nette au niveau des résultats. Si on regarde plus en détail les données pour chaque point de l’échelle (0 à 5) (Tableau 3), on voit cependant que pour les scores 0 à 2, il y a une majorité claire de phrases jugées incorrectes par le système (247/308, 90%) (indiquées par -) et, pour les phrases avec le score 5, une majorité de phrases considérées comme correctes, indiquées par + (428/772, 55%).
Pour les scores 3 et 4 cependant, il n’y a pas de corrélation : les étudiants obtiennent une proportion plus élevée de phrases correctes avec le score 3 (842/1665, 50%) que 4 (184/442, 41%). Ceci peut s’expliquer de deux manières : la difficulté pour un enseignant de juger la performance avec une échelle de 5 points (comme ça a souvent été noté dans ce genre d’évaluation où le phénomène est connu comme « central tendency biais », Gardner, 2007) et/ou la difficulté du logiciel à traiter de manière fiable des phrases qui sont de qualité moyenne. Pour mieux comprendre la cause de cette mauvaise corrélation, nous planifions, dans une recherche future, de demander à des enseignants de noter parmi les phrases avec les scores 3, 4 et 5 celles où il corrigerait quelque chose et ce qu’il corrigerait exactement. Ceci nous permettrait d’identifier avec précision ce que le logiciel aide à corriger et ce qu’il ne peut pas corriger et de voir ensuite s’il est possible d’améliorer le reconnaisseur en ce sens. Cette étude a également démontré la difficulté à distinguer les traits phonétiques critiques pour des italophones débutants ou faux-débutants. Cela parce que l’audio est perçu dans son continuum sonore sans signalisation visuelle des difficultés de prononciation. L’oreille d’un débutant ou faux-débutants a besoin d’entraînement surtout face à un spectre vocalique beaucoup plus riche. Cette constatation nous suggère l’utilité d’ajouter à côté de l’exercice, à droite, des explications ou des schémas de mise en relief spécifiques des sons difficiles en particulier les nasales et le /R/ roulé, et de guider les étudiants à profiter des aides sonores.
Score Lex/Gram Phonétique Fluidité
+ - + - + -
0 1 34 2 40 2 40
1 0 8 0 1 1 3
2 3 5 25 58 27 58
3 10 37 422 414 410 372
4 67 134 55 43 62 81
5 424 342 1 0 3 2
505 560 505 556 505 556
Tableau 3 • Résultats pour les occurrences correctes (+) et incorrectes(-) par score attribué par l’enseignant (1 à 5)
Conclusion
Cette étude a montré l’intérêt que suscite un logiciel de ce type de la part des étudiants. Celui-ci s’explique quantitativement par le fait que l’outil remplit sa tâche, en offrant de l’aide utile et en aidant à distinguer dans une certaine mesure ce qui est correct et incorrect. Nous planifions maintenant une autre évaluation quantitative et qualitative avec un plus grand nombre d’étudiants sur une période plus longue. L’objectif à long terme serait d’élaborer un corpus oral, classé par type de fautes, de manière à avoir des données d’évaluation les moins subjectives possibles.
Sur le plan pédagogique, plusieurs pistes d’observation et de recherche pourraient s’ouvrir et être approfondies par le développement et l’utilisation de cet outil en classe on en auto-apprentissage. La possibilité de stocker les réponses des étudiants dans un délai de temps même long, et aussi de les réécouter, pourrait permettre à l’enseignant
6
d’observer de près les progrès, aussi bien que les aires de faiblesses de ses étudiants en facilitant un travail de soutien et/ou d’évaluation personnalisé. On souhaiterait aussi mettre en synergie la pratique holistique de l’enseignant avec les potentialités de l’ordinateur en contribuant au développement de la reconnaissance vocale appliquée de manière spécifique à l’apprentissage des langues.
BIBLIOGRAPHIE
BOUILLON P., RAYNER M., GERLACH J. & ESTRELLA P. (2011), Pour une interlangue utile en traduction automatique de la parole dans des domaines limités. In: TAL (Traitement Automatique des Langues), Volume 52:1.
BOUILLON P., CERVINI C., MANDICH A., RAYNER M. &TSOURAKIS N. (2011), Speech Recognition For Online Language Learning:
Connecting CALL-SLT and DALIA. In: ICT for Language Learning International Conference Proceedings, Simonelli Editore, University Press.
CERVINI C. (2011), Formation hybride et auto-apprentissage des langues étrangères au CILTA : vers un changement de paradigme par la révision du concept d'autonomie., In: Repères DORIF: autour du français, langue, culture, plurilinguisme, Roma, disponible sur internet http://www.dorif.it/ezine/ (consulté le 15 octobre 2012).
GARDNER H. J. (2007), Analyzing Ordinal Scales in Studies of Virtual Environments: Likert or Lump. In : MIT Press Journal, Volume 16:4, Pages 439-446, Department of Computer Science, FEIT College of Engineering and Computer Science, Australian National University.
GASSER R. B. (2011), Cours de français multimédia : aides linguistiques et aides à l'apprentissage. In: Repères DORIF: autour du français, langue, culture, plurilinguisme, Roma, disponible sur internet http://www.dorif.it/ezine/ (consulté le 15 octobre 2012).
RAYNER, M., BOUILLON, P., TSOURAKIS, N., GERLACH, J., BAUR, C., GEORGESCUL, M., & NAKAO, Y. (2010). A Multilingual Platform for Building Speech-Enabled Language Courses. In: Proceedings of the L2WS Workshop. Tokyo : Japon.
RAYNER, M., BOUILLON, P., TSOURAKIS, N., GERLACH, J., GEORGESCUL, M., NAKAO, Y. & BAUR, C. (2010b). A Multilingual CALL Game Based on Speech Translation. In: Proceedings of LREC. Valetta : Malte.
RAYNER, M., HOKEY, B.A. & BOUILLON, P. (2006). Putting Linguistics into Speech Recognition. CSLI. Stanford : Etats-Unis.
WANG, C. & SENEFF, S. (2007). Automatic Assessment of Student Translations for Foreign Languages Tutoring. In: Proceedings of NAACL/HLT. Rochester : GB.
