Revue de l’évaluation du matériel d’ALAO comme prérequis à la création didactique

Depuis l’apparition de la recherche en ALAO à la fin des années 70 et la création de journaux professionnels associés (p. ex. CALICO en 1983), la question de l’évaluation de l’ALAO s’est posée. Ainsi, comme le font remarquer McMurry, Williams, Rich et Hartshorn (2016), « des auteurs influents de l’ALAO ont proposé des cadres d’évaluation de l’ALAO » (p. 1). Cette recherche d’un ou de plusieurs cadres d’évaluation a été rendue nécessaire par le constat fait par certains auteurs (Burston, 2003) qu’il avait jusqu’alors été difficile de démontrer la valeur ajoutée ou non de l’ALAO sur l’apprentissage, du fait de la difficulté à isoler ou contrôler des ensembles de facteurs ayant des effets sur l’apprentissage. De plus, Jamieson, Chapelle et Preiss (2005) observent que le fait que beaucoup d’études sur l’évaluation de l’ALAO n’aient pas pris en considération le contexte d’étude a limité la validité de leur cadre d’évaluation. Nous effectuerons ici une revue des cadres les plus fréquents dans le domaine de l’ALAO.

Cadre de Chapelle (2001)

Il s’agit certainement du cadre d’évaluation qui a eu le plus de portée dans la littérature en didactique ces dernières années, puisqu’il est repris dans de nombreuses recherches et méta analyses portant sur la question (Beatty, 2010; Burston, 2003; Leakey, 2011). De plus, Chapelle prend pour ce cadre une orientation clairement interactionniste afin d’évaluer la pertinence des tâches d’ALAO en termes notamment de potentiel d’acquisition de la L2.

L’auteure identifie trois besoins importants à prendre en compte lors de l’évaluation de l’ALAO. Tout d’abord, les critères de l’évaluation doivent se baser sur les résultats et les théories de la recherche (p. ex. les principes et les buts de l’enseignement par la tâche) afin d’avoir une idée claire des conditions idéales pour l’acquisition d’une L2; autrement dit, des attentes à avoir face à

la tâche d’ALAO évaluée. Par ailleurs, l’auteure recommande d’accompagner les critères d’indications claires (guidance) concernant leur utilisation, en se rappelant que ces critères s’appliquent en relation avec le but de la tâche d’ALAO évaluée. On voit ici la tentative d’éviter les biais liés à l’interprétation des résultats par les chercheurs, et il s’agit donc d’une volonté de créer une véritable théorie de l’évaluation applicable à différents contextes. Finalement, les critères d’évaluation doivent s’appliquer non seulement au logiciel, mais aussi à la tâche planifiée par l’enseignant et réalisée par les apprenants. Par exemple, la tâche d’ALAO devrait être évaluée en fonction des objectifs linguistiques visés par la tâche, comme l’acquisition de certains mots de vocabulaire thématique.

Comme le résume bien Villada (2009, p. 1), « l’évaluation de l’ALAO est à l’intersection de la création de matériel (instructional design), de la pratique enseignante et des activités d’apprentissage ». Ceci présente selon nous la force principale du cadre de Chapelle (2001), puisque d’autres cadres n’offrent pas toujours cette perspective multiple. Par exemple, certains cadres placent l’évaluation principalement du point de vue de l’enseignant (Burston, 2003) de l’enseignant et de l’apprenant (Hubbard, 2011), du développeur (Laurillard, 1991); mais pas à la fois du chercheur, du développeur, de l’enseignant et de l’apprenant.

Chapelle (2001) articule son cadre autour de 5 principes à l’intention des potentiels évaluateurs de l’ALAO (ceci vise principalement les enseignants de L2).

- Le premier principe pose clairement que l’évaluation d’un logiciel d’ALAO ne peut pas s’appuyer sur une appréciation de l’efficacité (effectiveness). Au contraire, celle-ci doit mener à la formulation d’un constat quant à la convenance (appropriateness) d’une tâche d’ALAO dans un contexte spécifique, avec des objectifs d’apprentissage et des apprenants particuliers. En somme, l’évaluation doit permettre de déterminer dans quelle situation une telle tâche d’ALAO est la plus pertinente du point de vue de l’enseignement et de l’apprentissage, plutôt que d’affirmer de manière tranchée si le logiciel d’ALAO est efficace ou non.

- Le deuxième principe porte lui sur les méthodes (et non les critères) d’évaluation. Ainsi, l’évaluation de l’ALAO se fait de deux manières : fondée sur le jugement (judgmental) ou de

manière empirique (empirical). L’analyse fondée sur le jugement évalue les caractéristiques du logiciel et de la tâche en se basant sur les théories de l’acquisition des L2 (de manière décontextualisée, donc), alors que l’analyse empirique les évalue en contexte en se basant sur les données empiriques collectées quant à l’utilisation du logiciel et aux résultats de l’apprentissage.

- Le troisième principe présente les 6 critères permettant d’évaluer le caractère approprié de la tâche d’ALAO :

• Language learning potential: le degré auquel l’activité d’ALAO permet de fournir un apprentissage de la langue (et pas seulement une simple utilisation de la langue); autrement dit, l’évaluation du fait que la tâche d’ALAO se prête plus ou moins bien à des activités permettant une réflexion ou rétroaction sur la langue cible (travail sur la forme).

• Learner fit : le fait que la tâche soit adaptée au niveau des compétences linguistiques et non linguistiques de l’apprenant. Ces compétences propres à l’apprenant correspondent en fait aux différences individuelles, comme le style d’apprentissage, la motivation ou encore le DDC, qui est au centre de la présente étude.

• Meaning focus: le fait que, pendant la tâche, l’attention de l’apprenant se porte en priorité sur le sens dans le but d’accomplir cette tâche (même si, nous l’avons vu dans le critère 1, l'enseignement de la forme doit aussi être présent). Ceci fait référence à l’échange entre apprenants, au débat d’idées ou encore à la prise de décision.

• Authenticity: il s’agit ici d’évaluer le degré de similarité (correspondance) entre la tâche en L2 proposée en classe via l’ALAO, et la tâche telle qu’elle serait réalisée dans le monde réel. Ce critère sous-entend donc l’importance de créer des tâches réalistes et engageantes, proches de la réalité de vie (contexte sociolinguistique) des apprenants et donc des défis auxquels ils pourraient face lors de leur utilisation de la L2 dans le monde réel.

• Positive impact: le fait que la tâche d’ALAO puisse avoir des effets positifs au-delà de l’aspect de l’apprentissage linguistique pur. Par exemple, il peut être intéressant d’évaluer si l’activité aide les apprenants à créer des stratégies d’apprentissage ou à chercher à communiquer plus en utilisant la L2, ce qui sous-entend le développement du DDC.

• Practicality: la facilité avec laquelle les enseignants et les apprenants peuvent respectivement mettre en place et réaliser la tâche d’ALAO étant donné les contraintes

institutionnelles et technologiques liées au contexte d’apprentissage (p. ex. qualité du matériel informatique mis à la disposition des apprenants au sein de leur établissement). Ceci semble important, car les limites des études en ALAO mentionnent souvent les contraintes institutionnelles et technologiques.

- Le quatrième principe explique que les critères d’évaluation doivent être appliqués selon les buts de la tâche. Cela signifie là encore une prise en compte forte du contexte spécifique d’instruction (niveau des apprenants, éléments linguistiques visés par la tâche, etc.).

- Finalement, le cinquième principe porte sur le potentiel d’apprentissage de la langue. En effet, selon l’auteure, il s’agit du critère le plus important puisque les tâches d’ALAO se concentrant sur un ou plusieurs des 5 autres critères sans donner de place véritable à l’apprentissage linguistique seraient « bonnes pour d’autres buts, mais il serait difficile d’argumenter qu’elles devraient jouer un rôle central dans l’enseignement de la L2 » (notre traduction, p. 5853_{). Bien entendu, l’auteure}

souligne qu’il est aussi possible d’ajouter des objectifs non linguistiques lors de la création de tâches d’ALAO, comme des objectifs culturels ou des objectifs liés à la littératie numérique.

Pour conclure, mentionnons qu’il existe certaines critiques faites à ce cadre d’évaluation dans la littérature scientifique. Ainsi, McMurry et al. (2016) soulignent que bien que le cadre de Chapelle (2001) soit pertinent pour l’évaluation de l’ALAO en lien avec les aspects linguistiques, il ne se prête pas vraiment à l’évaluation d’éléments extérieurs à l’acquisition de la L2 (non-SLA issues) comme les aspects financier ou administratif liés à la mise en place d’activités d’ALAO. Cette critique, bien qu’avérée, n’a cependant que peu de portée dans le cadre de notre présente étude, qui porte sur les facteurs psycholinguistiques comme le DDC, faisant partie des différences individuelles, elles-mêmes reliées à la recherche sur l’acquisition des L2.

53 _{Phrase d’origine: « Tasks not intended to promote language learning in more than an incidental way, may be good} for other purposes, but it would be difficult to argue that they should play a central role in L2 teaching » (Chapelle, 2001, p. 58).

Autres cadres mentionnés dans la littérature sur l’ALAO

Bien que le cadre d’évaluation de l’ALAO de Chapelle (2001) jouisse d’une large reconnaissance dans la recherche scientifique, nous croyons utile de mentionner d’autres cadres d’évaluation afin de nous éclairer sur les bonnes pratiques en matière d’intégration de l’ALAO en classe de L2.

a) Cadre de Hubbard (2011) :

Un premier cadre fréquemment cité est celui de Hubbard (2011), basé sur des travaux débutés en 1988. Hubbard (2011) perçoit 4 buts à l’évaluation de l’ALAO (dans lesquels son cadre d’évaluation peut être utilisé) : la sélection du matériel pour l’utilisation en classe; la sélection du matériel pour une utilisation dans des environnements à accès personnel (self-access environments); la publication de revues portant sur du matériel d’ALAO dans des journaux; la rétroaction durant le processus de développement. Selon l’auteur, le but le plus commun de l’évaluation est le premier des quatre précédemment cités.

Hubbard (2011) s’appuie sur trois axes pour mettre en place son cadre d’évaluation: l’utilisation de checklists couvrant les critères évalués (échelles de Likert), les cadres méthodologiques (permettant au chercheur de formuler ses propres questions) et la recherche en acquisition des L2. Il est important de noter ici que le cadre décrit porte sur l’évaluation d’un logiciel déjà conçu par un développeur, qui n’est pas nécessairement un enseignant et qui n’est pas la même personne que l’évaluateur, ce qui limite pour nous d’emblée la portée de ce cadre. Quoi qu’il en soit, le processus d’évaluation suit six étapes :

- Tout d’abord, après avoir « pré évalué » (p. 9) le logiciel et s’être assuré que sa sélection pour l’étude est appropriée (l’auteur ne fournit pas d’explications précises à ce sujet), il convient de faire un aperçu technique (technical preview) du logiciel pour s’assurer qu’il fonctionne correctement du point de vue de l’utilisation souhaitée en classe (ou à la maison).

- Ensuite, l’évaluateur doit faire lui-même une première utilisation du logiciel en conditions réelles et de rédiger une description opérationnelle en tant qu’ « utilisateur coopératif » (p. 9). Le but de cette étape est d’obtenir une compréhension du flux (flow) des leçons : avant de faire des jugements, l’évaluateur doit donc comprendre comment le logiciel s’utilise.

- Une fois cette étape franchie, l’évaluateur doit s’interroger sur la compatibilité du logiciel avec les besoins pédagogiques de l’enseignant-utilisateur (teacher fit).

- Par la suite, il convient de se demander si le logiciel est adapté au niveau des apprenants, à leurs besoins, à leurs objectifs d’apprentissage ou encore à leur style d’apprentissage (learner fit), notamment ceux énoncés par le syllabus du cours. On voit donc ici une similitude avec le cadre de Chapelle (2001).

- La cinquième étape invite quant à elle à une réflexion sur la future ou potentielle mise en place du logiciel dans le cours de langues (operational design). L’évaluateur doit par exemple se demander quelles consignes donner aux apprenants afin que l’utilisation du logiciel se fasse de manière efficace. Les contraintes de temps peuvent aussi être envisagées lors de cette étape. - Finalement, après avoir évalué les trois éléments clés (teacher fit, learner fit, operational design), l’évaluateur est invité à proposer des jugements sur la convenance (appropriateness) du logiciel (on voit là encore une similitude avec le cadre de Chapelle). Cette dernière étape permet d’aboutir à une prise de décision sur l’utilisation ou non du logiciel, à la suite d’une évaluation de la pertinence pour l’enseignant et les apprenants. L’auteur mentionne également que les aspects économiques de la mise en place du logiciel peuvent être pris en considération à cette étape, chose que le cadre de Chapelle (2001) ne mentionne pas, même si, nous l’avons dit, l'intégration de la RV à l'enseignement des langues peut être associée à des coûts élevés (Johnson et Valente, 2008).

Toutefois, une des limitations du cadre de Hubbard (2011) est, nous l’avons dit, le fait que l’évaluateur n’est pas le développeur du logiciel, ce qui en réalité peut parfois être le cas. Une autre limite que nous entrevoyons est que la dernière étape aboutit sur une décision forcément positive ou négative quant au choix d’utiliser le logiciel pour sa classe. Cette vision contraste avec celle de Chapelle (2001) qui appelle plutôt à voir le potentiel de la plateforme selon la planification de l’enseignant et la réaction des apprenants. Or, dans le cadre de Hubbard (2011), la réaction des apprenants correspond à une évaluation de jugement de l’évaluateur, mais n’est en réalité pas confirmée (ou infirmé) par une analyse empirique, comme le propose Chapelle (2001). Nous croyons que ceci limite là encore la portée du cadre de Hubbard (2011). Finalement, McMurry et al. (2016) lui reprochent le manque de distinction faite entre critères et méthodologie d’évaluation, ce qui pourrait mener à des confusions d’interprétation chez certains chercheurs, d’après eux.

b) Cadre de Leackey (2001) :

Dans son ouvrage publié en 2011, Leakey plaide pour une approche intégrée de l’évaluation de l’ALAO. Ainsi, comme Chapelle (2001), Leakey (2011) conserve les trois pôles d’investigation que sont le logiciel, l’enseignant et les apprenants. Toutefois, l’auteur cherche également à rendre l’évaluation de l’ALAO plus systématique et destinée à la fois aux chercheurs et aux enseignants, mais aussi aux développeurs de matériel : créateurs de « logiciels, de laboratoires digitaux » ou encore d’ « environnements virtuels d’apprentissage » (introduction). Le but clairement indiqué est d’évaluer avant tout l’efficacité de l’ALAO (CALL effectiveness).

Leakey (2011) reprend les 6 critères d’évaluation de la convenance de la tâche (task appropriateness) et en ajoute 6 autres, issus de la recherche en ALAO, en acquisition des L2 et en e-learning, pour arriver à un ensemble de principes d’évaluation de l’ALAO nommé CALL enhancement criteria. L’auteur fournit d’ailleurs aux potentiels évaluateurs des grilles, de type liste de vérification, incluant les 12 critères. Les six nouveaux critères sont les suivants :

- les compétences langagières et la combinaison des compétences, soit la capacité à utiliser les compétences orales et écrites, ainsi que métacognitives.

- le contrôle de la part de l’apprenant (learner control), soit le degré auquel l’apprenant peut contrôler le rythme de son apprentissage assisté par ordinateur.

- la correction des erreurs et la rétroaction, soit la mesure dans laquelle le logiciel d’ALAO corrige automatiquement les erreurs (de quelque manière que ce soit) et la capacité du logiciel à suivre, enregistrer et rapporter les progrès de l’apprenant.

- l’ALAO collaboratif, soit les possibilités qu’offre le logiciel en termes d’opportunités de travail en dyade ou en groupe, et plus généralement en termes d’interaction sociale.

- le facteur lié à l’enseignant (teacher factor), soit l’évaluation de l’efficacité du logiciel d’ALAO se basant sur la personnalité et le style de l’enseignant (notamment en lien avec sa formation technique).

- le mode de transmission de cours (tuition delivery mode), soit la mesure dans laquelle le logiciel d’ALAO se prête facilement à différents modes d’instruction (l’auteur mentionne par exemple les séminaires, les tutoriels ou les activités de pratique).

Une des critiques souvent formulées face à ce cadre d’évaluation est le fait qu’il résulte souvent simplement en des listes de vérification complétées (McMurry et al., 2016), ce qui pourrait ne pas autoriser assez de flexibilité de l’évaluation.

c) Cadre de McMurry et al. (2016) :

Finalement, mentionnons l’étude de McMurry et al. (2016), qui cherchent à fournir un nouveau modèle plus général pour l’évaluation de l’ALAO, pouvant servir à la fois aux instructeurs, aux apprenants, ou tout autre partie prenante (stakeholders). Les auteurs précisent aussi que le cadre reprendra certains des buts d’évaluation proposés par Hubbard (2011) et Chapelle (2001), mais ne s’y limite pas. L’objectif déclaré est également de produire des évaluations efficaces, utiles, potentiellement transférables et pouvant être répliquées.

Le processus d’évaluation préconisé par McMurry et al. (2016) se déroule en trois grandes étapes. Lors de la première étape, il s’agit de réfléchir aux questions qui guideront l’évaluation. Pour se faire, l’évaluateur doit identifier l’objet d’évaluation (evaluand) et les parties prenantes (stakeholders), définir les critères d’évaluation (criteria), déterminer le but de l’évaluation (purpose) et le type d’évaluation (type). Une fois ceci effectué, l’évaluateur peut créer ses questions d’évaluation. La deuxième grande étape de l’évaluation est ensuite d’organiser la collecte de données et les analyser. Le choix des outils de collecte de données ainsi que des procédures d’évaluation découle, selon les auteurs, de l’étape précédente. Pour finir, l’évaluateur rapporte les résultats de son analyse et réfléchit à leurs implications. Les auteurs font remarquer que le terme « méta évaluation » renvoie au besoin de constamment (ré)évaluer chaque étape.

Étant donné l’aspect récent de ce cadre d’évaluation de l’ALAO, il est à l’heure actuelle difficile de trouver des critiques à son égard dans la littérature. Cela dit, il nous apparait que le principal changement proposé par ce cadre réside dans les étapes de réalisation de l’évaluation d’une part, et dans la compréhension au sens large des différentes tâches d’évaluation. Par exemple, les critères d’évaluation (criteria) doivent être compris non seulement comme des critères d’évaluation de l’apprentissage et de l’enseignement, mais aussi comme des critères pouvant être propres à l’administration ou au budget entourant la mise en place de l’activité d’ALAO évaluée.

Finalement, McMurry et al. (2016) préviennent qu’ils sont conscients de l’aspect prescriptif de leur cadre et préconisent à l’évaluateur de faire preuve de flexibilité selon le contexte d’évaluation.

À cette étape de notre revue de littérature, il nous semble qu’une solution en tant qu’évaluateur de matériel d’ALAO novateur pourrait être d’aborder des cadres très orientés vers l’acquisition des L2 (comme celui de Chapelle ou Leakey) avec une plus grande ouverture quant à la définition des critères, bien que ces deux cadres présentent déjà des visions très larges.

Conclusion sur l’évaluation en ALAO en lien avec la présente étude

Même si cette étude n’a pas principalement une visée d’évaluation du matériel d’ALAO (RV360) et explore plutôt son potentiel en lien avec le DDC, nous croyons que la revue de littérature sur l’évaluation de l’ALAO pourrait s’avérer utile pour formuler des recommandations pour les enseignants souhaitant intégrer la RV360 dans leur classe de langue pour développer la communication en L2. Dans le cadre de notre étude visant à proposer aux apprenants des tâches de communication quasi authentiques, ancrées dans la réalité de l’environnement d’apprentissage, le troisième aspect du cadre de Chapelle (2001), portant sur le caractère approprié de la tâche (task appropriateness), nous parait particulièrement pertinent. D’ailleurs, comme nous l’avons mentionné dans la description du cadre, certains des six critères de task appropriateness font expressément référence à la prise en compte du profil de l’apprenant (le DDC y est alors cité comme un exemple de différence individuelle), à l’authenticité de la tâche (un élément central de cette étude) ainsi qu’à l’impact positif du matériel sur les éléments non linguistiques de l’apprentissage (on peut ici encore penser au développement du DDC). Il conviendra donc de prêter attention à ces critères lors de la discussion (Chapitre 5).

Par ailleurs, si l’on suppose qu’un enseignant souhaitant intégrer la RV à sa classe de L2 maitrise les connaissances technologiques et disciplinaires associées, il convient de réfléchir en particulier aux implications pédagogiques du recours à cette technologie en classe de L2. À cet égard, la lecture attentive des analyses et recommandations d’autres recherches portant sur la RV permettra de nous éclairer sur les implications pédagogiques quant au recours à la RV en classe de langue. Nous le verrons dans la sous-partie suivante.

2.4.2 Recommandations pédagogiques et didactiques concernant les réalités