3. d éveloppement d ’ un modèle d ’ évaluation adapté au per
3.3 Éléments pour une évaluation adaptée au PER
3.3.2 Un développement possible : une épreuve adaptative
Comme nous l’avons évoqué, l’idée d’articuler deux parties dans une épreuve ten-tait de répondre à des contraintes curriculaires mais aussi organisationnelles. L’intérêt d’une épreuve informatisée, qui plus est adaptative, réside dans les nombreuses
pos-44
DéveloppementD’unmoDèleD’évaluationaDaptéau peR
les réticences exprimées depuis plusieurs années concernant ce support sont impor-tantes, en particulier quant au doute d’une maitrise suffisante de l’outil par les élèves (de la manipulation de la souris à la familiarité même de l’outil).
Les principales raisons d’explorer un support informatisé tiennent, pour une épreuve à visée diagnostique, d’une part au fait que la partie papier-crayon doit se concentrer sur le strict nécessaire et d’autre part au fait qu’il s’agit d’examiner aussi finement que possible les difficultés de certains élèves, sans alourdir la passation pour les élèves qui n’en ont pas. Déjà en 1974, T. Nelson présentait sa première devise dans Computer Lib : utiliser un ordinateur devrait toujours être plus simple que d’accomplir la même
tâche sans ordinateur. La question se pose en ces termes : que peuvent apporter les
TIC que les épreuves papiers ne sauraient fournir – ou, à l’inverse, quelle seraient leurs limites – d’abord du point de vue de l’élève, ensuite du point de vue de l’institution ?
L’adaptativité en question
Préalablement, il est nécessaire de clarifier dans quelle perspective nous entendons le terme « épreuve adaptative ». Les expériences dont nous avons pris connaissance lors de ces travaux sont principalement Stellwerk et Basis-check. Ces deux modèles sont essentiellement conçus sur une distribution des items selon leur difficulté calculée par une TRI. Par conséquent, un premier constat, qui s’inscrit mal dans nos perspectives, est que la succession des questions est uniquement liée à des réussites ou échecs à une succession de questions dont l’ordre des sujets abordés – dans une discipline annoncée – est, a priori, aléatoire (Behrens, Vermot & Marc, 2011). Or, selon nous, viser un diagnostic implique d’obtenir des informations complémentaires sur certaines questions échouées, précisément au moment où l’élève vient de se confronter à une tâche. Le format des tâches que nous envisageons doit être souple, entendu par là que nous ne souhaitons pas cantonner l’élève dans des réponses strictement fermées : nous visons, au contraire, la possibilité pour lui d’essayer, de manipuler, de recom-mencer. Cette possibilité complémentaire présente le double avantage que l’élève est rarement en position de « sécher » sur une question – c’est-à-dire de ne pas répondre ou de répondre « au hasard » – et que la séquence des manipulations effectuées four-nit un reflet assez clair du niveau de démarche de l’élève, entre démarche experte et démarche exploratoire.
Relevons que des développements importants ont lieu ces dernières années. Notam-ment la mise à disposition des enseignants, dans certains pays, d’outils de développe-ment de tests en ligne. En particulier au Luxembourg qui propose un site et une appli-cation en ligne12 permettant l’élaboration de tests par les enseignants qui le désirent. Les évolutions sont importantes et, en quelques années, les fonctionnalités proposées se sont élargies alors que nos premières explorations à ce sujet nous paraissaient peu satisfaisantes, le format des questions étant alors limité à des QCM, zones de texte ou menu déroulant.
Les possibilités de l’épreuve et des tâches
Sur support informatisé, la navigation dans l’épreuve entre diverses ressources (texte à lire, écoute de consigne, …) peut non seulement être clairement préparée et
DéveloppementD’unmoDèleD’évaluationaDaptéau peR
nue, mais aussi prélevée pour chaque élève. De plus, il est possible de proposer aux élèves qui se trompent de revenir sur leur réponse, permettant ainsi l’observation des interventions des élèves sur leurs propres productions. Ceci reste envisageable sur papier mais la gestion et les interventions nécessaires pour ce faire sont vite consi-dérées comme démesurées par les enseignants. Par ailleurs, la réponse à une erreur peut ne pas se limiter à sa seule correction mais être une tâche complémentaire, permettant une exploration affinée des causes de l’erreur. La succession des activités, avec des tâches réservées à certains élèves selon le niveau de réussite, est ainsi une réponse nouvelle au suivi des erreurs. Les possibilités pour les concepteurs s’amplifient donc de façon considérable dans la prise en compte de pistes d’explications relatives aux réponses erronées, selon des hypothèses didactiques sur les raisons d’un échec à une tâche.
Une autre option à explorer est l’apparition des informations constitutives d’une tâche. Les temps prélevés pour certaines étapes montrent la grande disparité dans l’appro-priation des tâches par les élèves, nous rappelant la modestie que doivent conserver nos analyses a priori et nos interprétations dans les démarches supposées des élèves. La possibilité de mettre sous les yeux des élèves des objets dynamiques permet de questionner différemment leur compréhension et ouvre un champ d’exploration en termes d’évaluation. Par exemple, dans une évaluation en mathématiques – mais peut-être également dans d’autres domaines – la possibilité de manipuler des objets permet des observations nouvelles des démarches des élèves, avec une fiabilité que les interprétations effectuées jusqu’à présent sur les traces papier des élèves n’offraient pas. Cette possibilité, mais également des champs d’écriture, offrent secondairement un avantage incontestable par rapport au papier : l’impression pour tous les élèves de fournir un travail abouti, propre et sans trace de leurs essais ou erreurs, impression satisfaisante que seuls les très bons élèves connaissent habituellement sur papier.
Les informations prélevées et l’automatisation de leur traitement
Outre les réponses aux items, l’outil informatique permet de prélever un nombre important d’informations dont certaines sont de nature différente de celles prélevées dans une épreuve papier-crayon. Une partie introductive de l’épreuve peut permettre d’observer le comportement des élèves face à l’outil (voir point 4.2). Ensuite, il est pos-sible de prélever le temps d’appropriation d’une tâche, son temps de réalisation, les manipulations effectuées, le temps de lecture d’un texte (en français p. ex.), l’écoute – ou non – de texte oraux. La difficulté de ce genre d’épreuve est alors non pas d’obtenir les informations mais de les traiter et d’en retenir les plus pertinentes.Dans le cadre d’une épreuve adaptative, il est possible, comme évoqué précédem-ment, de rajouter à certains élèves des tâches complémentaires ; celles-ci sont propo-sées lorsqu’une tâche a été loupée et sont construites sur les hypothèses des causes de l’échec à l’item précédent. On peut également envisager de proposer des tâches complémentaires lorsque les élèves en réussissent une en particulier, avec l’idée de prospecter sur l’élargissement des connaissances mises en œuvre. La mise en évidence de difficultés récurrentes dans la réalisation des tâches permet de caractériser une sorte de profil de l’élève, résultat instantané des connaissances de l’élève pour ces éléments testés. Tout l’intérêt de programmer l’épreuve informatisée pour en extraire un « instantané » de chaque élève réside dans la possibilité de fournir rapidement une
46
DéveloppementD’unmoDèleD’évaluationaDaptéau peR
l’élève – si tant est qu’il soit possible d’en définir. Une partie papier peut tout spécia-lement y faire écho ; elle est alors à disposition des enseignants comme complément à l’épreuve papier-crayon que passent tous les élèves.
Les équipements TIC des ménages en Suisse
Il nous a semblé nécessaire, ici, de faire l’état des lieux des équipements informatiques des ménages en Suisse, eu égard à quelques réactions sceptiques que nous avons pu observer à la proposition d’une partie d’épreuve informatisée. S’il est vrai que, dans cette situation tout particulièrement, il ne saurait être pertinent de rajouter une difficulté liée à l’outil, il s’agit également de voir dans quelle mesure, vu l’évolution exponentielle de la place des nouvelles technologies dans notre société, ce support ne permettrait pas, au contraire, de rompre avec des approches évaluatives qui ont déjà montré leurs limites.
Figure 3.3.2a : Technologies de l’information et de la communication – équipement des ménages suisses entre 1990 et 2009
Les dernières données de l’Office Fédéral de la Statistique13 quant aux équipements TIC (technologies de l’information et de la communication) des ménages datent de 2008. Elles montrent une très forte augmentation de l’équipement en ordinateurs depuis 1990 :
13 http://www.bfs.admin.ch/bfs/portal/fr/index/themen/16/04/key/approche_globale.indicator.30103.301. html/
DéveloppementD’unmoDèleD’évaluationaDaptéau peR
Dans les années 90, l’équipement informatique des ménages en Suisse a augmenté très rapidement. La part des ménages munis d’un PC au moins a plus que quintuplé entre 1990 et 2009 (elle passe de 15% à plus de 82%). Alors qu’en 1990 un ménage sur 100 seulement était équipé de deux PC ou plus, cette proportion s’élève à 35% en 2009. La forte baisse des prix des PC ainsi que la popularité grandissante de l’internet dans la population suisse ont contribué de manière déterminante à l’augmentation marquée de l’équipement en ordinateur des ménages. Si le taux d’équipement est en
lien avec le niveau de formation, on constate toutefois une moyenne de plus de 81% de l’ensemble des ménages qui sont équipés d’un ordinateur personnel (plus de 94% dans les ménages de milieu tertiaire).
Plus intéressant en co re est l’équipe ment selon la taille des ménages. Dès qu’un ménage com por te trois person nes ou plus, le taux de ménages équipés d’ordina teurs dépasse 96%.
Figure 3.3.2b : Équipement des ménages suisses en ordinateurs fixes ou portables en 2008
« Le fait principal à retenir réside dans le haut niveau d’équipement des ménages de 4 personnes et plus, en particulier en ordinateurs personnels et en consoles de jeu. En général, la présence d’enfants dans le ménage apparait ainsi comme un facteur clé dans la diffusion des nouvelles technologies au sein de la société. » Mettant en perspective ces données qui datent déjà de quelques années, il nous a semblé intéressant d’explorer les possibilités d’une épreuve adaptative dans le cadre de nos travaux, examinant à cette occasion l’habitude des élèves à l’utilisation de l’outil. Comme nous le présenterons dans la partie 4.1, nous avons donc opté pour une première phase d’épreuve sur support informatique qui, pour une épreuve dia-gnostique, semble tout à fait adapté.