Intérêt de l'administration par ordinateur

3.1.3.1. capacités de stockage

La plupart des auteurs soulignent la capacité des tests diagnostiques à fournir une image assez détaillée des acquis des apprenants (nous avons mis en relief les passages intéressants dans les citations suivantes):

a test that has been designed and developed specifically to provide detailed

information about the specific content domains that are covered in a given program

or that are part of a general theory of language proficiency (Bachman, 1990, p. 60); for assessment information to be used effectively it needs to be detailed, innovative, relevant and diagnostic, and to address a variety of dimensions rather than being collapsed into one general score. (Shohamy, 1992, p. 515);

It is difficult and time-consuming to construct a test which provides detailed

diagnostic information (A. Davies et al., 1999, p. 43);

Diagnostic tests are used to identify learners' strengths and weaknesses. […] But it is not so easy to obtain a detailed analysis of a student's command of grammatical structures (Hughes, 2002, p. 15);

Diagnostic tests should enable a detailed analysis and report of responses to tasks, and must give detailed feedback which can be acted upon. (Alderson, 2005, p. 257).

Cette exigence de résultats détaillés permet de mieux identifier les besoins de chaque apprenant, mais il en découle une durée importante. Comme nous l'avons déjà noté, par exemple, le test DIALANG peut durer deux heures et demie (ou plus, selon la vitesse de l'étudiant) si toutes ses sous-parties sont utilisées. Par ailleurs, il faut trouver un moyen de

conserver ces informations détaillées de telle façon qu'elles soient exploitables par la suite, ce qui peut se révéler difficile, comme le remarque Alderson (2015, p. 38): « the average SFL

classroom teacher is faced with many learners, and diagnosing, or even remembering which learner has which problem is an enormous task. »

Plusieurs auteurs soulignent que ces problèmes peuvent être en partie résolus grâce à l'outil informatique. Ainsi, la citation d'Alderson reproduite ci-dessus continue de la manière suivante: « Hence, computer-based diagnosis, and the keeping of electronic records tracking

diagnosis, treatment and progress, should be tools that every SFL teacher has available and knows how to use » (ibid., p. 38). Le besoin de conserver des résultats détaillés pour chaque

apprenant fait donc de l'ordinateur un outil privilégié de passation de ces tests. Par ailleurs, l'ordinateur, couplé à la passation en ligne sur internet (et le fait que ce sont des tests à faible enjeu, donc moins sujets à des problèmes de sécurité), permet également de rendre plus agréable le temps important consacré à ces tests: « delivering tests over the Internet means

that individuals can take a test at the time and place of their choosing » (Alderson, 2005, p.

254).

3.1.3.2. rétroaction

Un autre avantage des ordinateurs et de leur capacité de stockage et de traitement est le fait qu'ils peuvent produire un retour formatif (feedback) facilement et immédiatement. Le

feedback (parfois aussi traduit en français par « rétroaction », ALTE 1998, p.238) est défini

comme « actions taken by (an) external agent(s) to provide information regarding some

aspect(s) of one's task performance » (Kluger & DeNisi, 1996). Son importance est connue

depuis longtemps, puisque dès le début du 20ème siècle, Edward Thorndike (1927) décrivait une « loi de l'effet » (law of effect). L'expérience consistait à demander à des sujets d'estimer la longueur d'une languette de papier, d'abord sans rétroaction (c'est la partie qui serait appelée « prétest » dans un schéma d'expérimentation moderne), puis avec rétroaction si le sujet était dans le groupe expérimental, ou toujours sans s'il était dans le groupe contrôle, puis de nouveau sans rétroaction pour tout le monde (la partie « post-test »). Les groupes expérimentaux, à qui on a dit dans la partie médiane si leur réponse était juste ou fausse (sans d'ailleurs leur donner la bonne réponse, ni leur dire dans quel sens ils s'étaient trompés), se sont beaucoup plus améliorés au post-test que le groupe contrôle (une deuxième expérience décrite dans le même article, où les sujets apprennent à dessiner des lignes d'une longueur donnée avec un bandeau sur les yeux, donne des résultats allant dans le même sens, mais

moins fiables). C'est une première démonstration de l'importance du feedback, dont l'effet est supposé ici renforcer la connexion entre la question et la réponse (dans la cadre de la théorie behavioriste de l'époque où une rétroaction positive était vue comme une récompense, une négative comme une punition). Plus récemment, le livre How People Learn (Bransford et al., 2000), dont l'ambition était de vulgariser les résultats de la recherche en acquisition et en éducation pour qu'elle puisse être utilisée dans les classes par les enseignants, affirmait également: « In order for learners to gain insight into their learning and their understanding,

frequent feedback is critical: students need to monitor their learning and actively evaluate their strategies and their current levels of understanding » (p.78). Enfin, la «

méta-méta-analyse » faite par John Hattie26 dans son livre Visible Learning: A Synthesis of Over 800

Meta-analyses Relating to Achievement (2009) identifie le feedback comme un des éléments

majeurs de la situation pédagogique. Cependant, assurer un retour formatif pour chaque apprenant prend du temps, comme le savent bien les enseignants qui n'apprécient pas toujours l'activité répétitive et prenante de correction de copies. Les ordinateurs, eux, peuvent fournir ce retour automatiquement pour les tâches simples que sont généralement les questions incluses dans les tests diagnostiques (QCM et apparentées).

D'autres chercheurs se sont posé la question du moment à privilégier pour cette rétroaction, en particulier s'il est préférable de la proposer tout de suite après la réponse de l'étudiant (feedback immédiat) ou à un autre moment, par exemple à la fin de l'activité (feedback différé, ou delayed feedback en anglais). La méta-analyse d’Azevedo et Bernard (1995) montre que, dans un contexte informatique (computer-based instruction), la rétroaction immédiate est plus efficace que la rétroaction différée. La première est associée à une taille d’effet de 0,8, c'est-à-dire un effet important d'après l'échelle de Cohen (1992), tandis que la deuxième a un effet petit à moyen (0,35, un effet tout de même non négligeable par rapport à l'absence de rétroaction).

Une autre méta-analyse – plus complexe – de la même époque, celle de Kluger et DeNisi (1996), montre que la rétroaction est efficace surtout quand elle est dirigée vers le niveau le plus « bas », celui de la tâche, un peu moins efficace si elle est dirigée vers le niveau intermédiaire, celui de l'organisation de la tâche (par exemple, choix des stratégies). Son effet peut même être négatif s'il porte l'attention sur le niveau « haut », c'est-à-dire le sujet (self) lui-même (par exemple, un compliment peut avoir un effet négatif sur les performances

futures). Ces conclusions rejoignent celles d'Alderson (2005) dans son livre sur DIALANG. Alderson décrit les analyses qualitatives basées sur des entretiens ou des observations d'étudiants en train d'utiliser le système DIALANG au moment de son pilotage, et avant son déploiement définitif. Les formes de rétroaction préférées des sujets interviewés étaient les résultats détaillés par item donnés tout de suite après la fin du test, et montrant quels items avaient été réussis, et lesquels non, en les classant selon leurs objectifs. L'étudiant peut ainsi voir combien d'items de compréhension aurale testant l'inférence il a réussis, et lesquels précisément (il peut avoir accès au texte de l'item en recliquant dessus), ou bien combien d'items de structure grammaticale sur les verbes, etc. Il s'agit d'un feedback centré sur la tâche, avec des informations très précises. Par contre, un type de rétroaction beaucoup moins apprécié était ce qui s'appelle dans DIALANG « explanatory feedback », qui essaie d'identifier les causes de l’écart éventuel entre le résultat de l'autoévaluation par l'étudiant et son résultat dans DIALANG. Un exemple de réaction négative montre que c'est le fait que cette rétroaction se rapproche du niveau du sujet et s'éloigne de la tâche qui a pu susciter ce rejet chez certains étudiants: « One student could not understand why a test should provide

learners with such information, especially if […] some of the feedback related to personality issues. » (Alderson, 2005, p. 216)

Nous pouvons retenir pour les tests que nous allons concevoir qu'un feedback clair et détaillé sera à prévoir, à destination des étudiants aussi bien que des enseignants. Ces informations devront être disponibles tout de suite après l’achèvement du test.

3.1.3.3. individualisation

L’administration par ordinateur permet également une plus grande individualisation : le temps passé sur chaque tâche par les étudiants peut varier, le nombre d'écoutes peut être adapté, et le retour formatif (feedback) peut être personnalisé également. Cela permet à la fois d'aller plus dans le détail des acquis, et d'individualiser l'enseignement, qui pourra être adapté aux besoins de chaque apprenant, besoins qui seront mieux identifiés grâce au test. Ainsi, on s’approche des éléments nécessaires à ce que Terrier et Maury (2015) ont appelé une « autoformation individualisée de masse » (§55). Nous reviendrons dans la dernière partie, au moment de la description du dispositif pédagogique envisagé, sur les caractéristiques nécessaires à un dispositif d’autoformation fructueux.