Peu de travaux de recherche actuels en France questionnent le dispositif d’évaluation par QCM pour ce qu’il est et pour ses spécificités, même si Adda (1976), Pluvinage (1979) et Maury (1985), avaient commencé à s’intéresser à ces questions. Du côté anglo-saxon, Bloom & al. (1971) ont été les précurseurs des questions posées par l’évaluation des apprentissages et par l’utilisation des QCM et ont été suivis par de nombreux chercheurs qui ont continué d’explorer ce champ. Par ailleurs, les travaux de recherche qui portent sur les QCM concernent majoritairement des étudiants du supérieur (par exemple, Leclercq (1986), De Landsheere (1979)).
Nous avons mené deux expérimentations en 2013 et en 2014 avec Sayac (Sayac & Grapin 2014a, 2014b) afin d’étudier spécifiquement l’activité d’élèves de fin d’école primaire face à des questions posées sous forme de QCM6. [Nous] avons cherché à étudier la validité psycho-didactique d’items en
observant les stratégies que les élèves de ce niveau scolaire employaient pour choisir leur réponse, mais aussi à observer le potentiel effet rétroactif provoqué par la présence des choix de réponse.
II.1.1 Constats initiaux
Trois problèmes assez proches, figurant ci-dessous, relevant du champ conceptuel des structures additives et visant à évaluer la capacité d’un élève à résoudre un problème additif de composition de mesure (Vergnaud 1990) ont été proposés dans l’évaluation CEDRE 2008 à la fois sous forme de QCM et sous forme de question ouverte.
Problème 1 :
Problème 2 :
Problème 3 :
6 Le texte des différents paragraphes ci-après, décrivant les conclusions générales des expérimentations, est
171 La répartition des réponses des élèves figure en Annexe 2. Un premier constat peut être fait sur le score de non-réponse, beaucoup plus élevé lorsque l’exercice est proposé en ouvert et porte sur la recherche d’une des mesures (17,7 % contre 7,4 % pour le problème 2 et 19,8 % contre 7,6 % pour le problème 3). On peut alors supposer que les élèves s’engagent moins dans la résolution d’un problème « difficile » lorsque ce dernier est proposé en ouvert ou alors que les différentes propositions de réponse dans les QCM « sécurisent » les élèves ou sont exploitées directement par eux pour répondre à la question posée. Ce constat rejoint celui effectué à partir de l’évaluation PISA pour des élèves plus âgés (Monnier 2007, p. 27) à savoir que, sur l’ensemble du test les scores de non réponse sont beaucoup plus élevés pour les questions ouvertes à réponse construite (25,5 %) que pour celles à réponses ouvertes courtes (8,6 %) et surtout que pour les QCM (3,5 %). Le format de question a donc un impact direct sur l’entrée de l’élève dans la résolution de la tâche.
Le deuxième constat porte sur le score de réussite global à chacun de ces exercices : la forme de la question (QCM ou QROC) a peu d’impact sur la réussite dans les deux premiers problèmes (autour de 85% pour le problème 1, autour de 70 % pour le problème 2), alors que la différence est plus grande dans le cas du problème 3 : les scores de réussite diffèrent de 10 % (62,8 % pour la forme QROC, contre 72,7 % pour la forme QCM).
Ce premier constat fait à partir de ces scores de réussite à des items de CEDRE 2008 [nous] a amenées à investiguer de manière plus approfondie les scores de réussite des élèves en étudiant d’abord leurs stratégies de réponse aux QCM et les éventuelles rétroactions permises par les distracteurs, puis en comparant la réussite et les processus mis en jeu pour répondre selon le format de question (QCM et une question sous forme ouverte).
II.1.2 Stratégies de réponse
Nous distinguons le terme de stratégie de celui de procédure en nous référant à Julo (1995) pour qui :
« la notion de stratégie correspond à un niveau de description assez global et qui cherche à rendre compte de l’orientation générale que prend l'activité de résolution, alors que celle de procédure correspond à l'ensemble des opérations élémentaires que l'on met en œuvre pour atteindre le but proposé». Julo (1995)
Sous le terme de stratégies peuvent apparaître des techniques qui reposent sur des savoirs mathématiques, mais aussi d’autres processus spécifiques au format QCM contingents à la présence de choix de réponses.
On trouve, dans les travaux relatifs aux QCM (Choppin 1975, Leclercq 1987), différentes stratégies, mais toutes pensées pour des étudiants adultes. Voici, par exemple, les 3 modèles retenus par Choppin (1975) :
- Modèle 1 : quand l’étudiant « sait », il choisit la réponse correcte et quand il ne « sait pas », il choisit au hasard parmi les réponses proposées ;
- Modèle 2 : commence comme le Modèle 1, mais au lieu de répondre au hasard quand il « ne sait pas », l’étudiant commence par éliminer les solutions qu’il sait être fausses et choisit au hasard parmi celles qui restent ;
- Modèle 3 : l’étudiant commence par ranger les solutions possibles par ordre de plausibilité décroissante et si la consigne l’oblige à ne fournir qu’une d’entre elles, alors il choisit celle dont la probabilité (subjective) est la plus élevée (à ses yeux).
172 En complément de ces modèles, d’autres catégorisations existent, comme celle de Katz & al. (2000), qui distinguent des stratégies « traditional » et « non traditional ». Les premières reposent sur des techniques enseignées et que l’élève utiliserait pour répondre si la question était posée sous forme ouverte ; les autres, spécifiquement associées à des QCM, sont celles où l’élève s’appuie sur les réponses proposées pour faire un choix.
II.1.2.i Liste des stratégies retenues
[Nous] avons listé les stratégies possibles pour des élèves de dix - onze ans car il nous a semblé indéniable qu’elles ne pouvaient être identiques à celles d’étudiants adultes. Cette liste s'est complétée au fur et à mesure de [notre] expérimentation, au plus près des stratégies réelles des élèves, pour arriver à une liste de dix stratégies. Afin de réaliser plus efficacement des études comparatives, [nous] avons effectué des groupements de stratégies par type (la liste des dix stratégies ainsi que ces groupements sont explicités en Annexe 3) :
Stratégies A : stratégies de savoir. L’élève active des connaissances ou des savoir-faire (techniques – raisonnement) pour choisir la réponse qu'il pense être la bonne : soit il résout complètement la tâche (par la procédure de son choix, juste ou fausse), soit il teste les propositions de réponse et choisit celle qui peut convenir. Ces stratégies peuvent s’apparenter aux « traditional » stratégies définies par Katz & al (2000), mis à part celle où l’élève teste une à une les propositions de réponse qui est spécifique au format QCM.
Stratégies B : stratégies de substitution ou de repli. L'élève n'utilise pas ses connaissances mathématiques de façon explicite pour faire un choix : son choix ne repose pas de façon assurée sur ses connaissances.
Stratégies C : stratégies mixtes. L'élève a initié un raisonnement pour répondre à la question posée, mais il se sert des différentes propositions de réponse pour finaliser son choix.
II.1.2.ii Stratégies utilisées par les élèves de fin d’école
La première expérimentation (Sayac & Grapin, 2014a) [nous] a permis d’apporter des conclusions relativement aux stratégies employées par les élèves de fin d’école :
Choisir une réponse au hasard : il est important d’abord de distinguer ce qui relève effectivement du hasard (random-guessing ou blind-guessing) de stratégies permettant de deviner la bonne réponse (guessing) : « si un choix aléatoire est aveugle, un choix deviné ne l’est pas » (Leclercq 1987, p. 13). Peu d’élèves (entre 2 % et 10 % selon la complexité de la question) déclarent répondre au hasard, même s’il est difficile, à travers le déclaratif des élèves de discerner véritablement ce qui relève du hasard et ce qui relève du « guessing ». Les élèves ont volontiers expliqué qu’ils utilisaient d’autres stratégies correspondant davantage à du « guessing » qu’à du hasard ; il semblerait de plus qu’un effet de contrat didactique empêche les élèves de fin d’école primaire à considérer que « répondre au hasard » puisse être envisageable pour répondre.
Stratégies et niveau de connaissance des élèves : les élèves utilisent globalement des stratégies différentes suivant les items auxquels ils sont confrontés, notamment selon la complexité de l’item et selon leur niveau de connaissances. La spécificité du dispositif QCM influence particulièrement les stratégies des élèves lorsqu'ils sont face à un problème difficile à résoudre pour eux : la possibilité de choisir une réponse parmi d'autres modifie apparemment les procédures de résolution (guessing ou combinaison des nombres en jeu pour obtenir un des choix proposés) : ce qui a déjà été explicité pour des étudiants, notamment dans Katz & al (2000) et dans des études visant à comparer les effets
173 du format de question (ouvert ou QCM) sur la réussite, telles que celles recensées dans Simkin & Kuechler (2005).
II.1.3 Rétroactions
Résoudre un problème avec une question posée sous forme de QCM apporte à l’élève des éléments de contrôle complémentaires à ceux présents lorsqu’il résout le problème sous une forme ouverte. En effet, s’il obtient un résultat qui ne figure pas parmi les choix de réponse, l’élève sait que ce qu’il a trouvé est faux. Même si dans le cadre d’une évaluation bilan, l’élève n’est pas dans une situation d’apprentissage et si l’enseignant n’intervient à aucun moment, nous considérons tout de même, dans le cas des QCM, que l’énoncé et les différents choix de réponse constituent un milieu (Brousseau 1998) qui provoque des rétroactions et amène l’élève à agir sur la situation et à prendre des décisions (par exemple, changer de stratégie ou de technique de résolution si la réponse ne figure pas parmi les choix).
II.1.3.i Types de rétroactions
Ce type de rétroaction, pour la forme spécifique du QCM, apporte à l’élève « un moyen adéquat [...] pour répondre à ses doutes quant à sa résolution en voie d’élaboration » (Burgermeister & Coray 2008) et en ce sens, lui fournit un élément rétrospectif relevant d’un processus de contrôle. Il vient en complément d’autres éléments de contrôle entrant habituellement dans la résolution de problèmes, comme ceux listés par Houdement (2011) qui s’exercent dans le choix d’un modèle (contrôles pragmatiques, sémantiques et syntaxiques).
Les éléments de contrôle prospectifs et rétroactifs (Burgermeister & Coray 2008) ne sont pas sans influence sur la façon dont l’élève oriente son choix de réponse in fine. La question ne se pose guère lorsque le résultat qu’il trouve coïncide avec un choix de réponse ou lorsque l’élève ne s’est pas engagé dans une stratégie de savoir (s’il a répondu au hasard par exemple). En revanche, lorsque ce n’est pas le cas, l’élève doit prendre une décision. Trois cas sont alors possibles :
- D1 : l’élève reste dans une stratégie de savoir et vérifie ses calculs et/ou modifie éventuellement sa procédure de résolution pour trouver une réponse figurant parmi les choix ;
- D2 : l’élève utilise une autre stratégie (de repli ou mixte). Plusieurs possibilités s’offrent alors à lui : il peut choisir le nombre le plus proche du résultat qu’il a obtenu par ses calculs ou choisir le nombre pour lequel l’ordre de grandeur correspond à ce qu’il avait anticipé prospectivement (ou qu’il détermine rétrospectivement) ou encore combiner les nombres en présence pour retrouver une des propositions de réponse (Stratégie B4, décrite en Annexe 3), ou répondre au hasard.
- -D1&D2 : même après avoir repris ses calculs, l’élève ne retrouve pas sa réponse parmi celles proposées et de ce fait, il utilise une stratégie autre qu’une stratégie de savoir.
L’observation d’élève en situation de résolution et la possibilité de le questionner, comme [nous] l’avons fait lors de nos deux expérimentations, permettent d’avoir accès aux rétroactions provoquées par le QCM et de mieux étudier l’impact du format de question sur l’activité de l’élève.
II.1.3.ii Effets des rétroactions
Dans le cadre de notre deuxième expérimentation, nous avons analysé les effets rétroactifs de deux QCM portant sur la résolution de deux problèmes (Problème 1 QCM et problème 2 QCM figurant en
174 Annexe 4)7 : le premier est un problème additif alors que le second, plus complexe, est un problème
de proportionnalité avec un coefficient de proportionnalité décimal (0,75). Dans les deux cas, l’effet rétroactif du QCM a été observé pour un nombre semblable d’élèves, environ 18 % de l’ensemble de notre échantillon. En revanche, les décisions prises par les élèves sont très différentes d’un problème à l’autre : les élèves prennent majoritairement (72 %) une décision de type 1 (D1) pour le problème 1, plus simple, en reprenant leurs calculs ou en changeant d’opération alors qu’ils sont 86 % à prendre une décision de type 2 (D2) dans le problème 2.
Si on observe ensuite la qualité de la réponse choisie après cette décision, on constate, que pour le problème 1, un peu plus de la moitié des élèves trouve ensuite la bonne réponse alors qu’ils ne sont que un sur cinq pour le problème 2.
Nous observons donc, concernant la résolution de ces problèmes, un effet « QCM » lié aux éléments de contrôle apportés par les choix de réponse. Notre expérimentation tendrait à montrer que, du point de vue des scores de réussite, l’effet «QCM » est finalement très limité pour les problèmes complexes (comme pour le problème 2) dans le sens où l’élève ne sait pas comment modifier sa procédure pour trouver la bonne réponse.
II.1.4 Impact du format de question
Les deux paragraphes précédents ont montré que le format QCM impliquait une activité spécifique liée à la présence de choix de réponse ; nous nous intéressons dans ce paragraphe à comparer l’activité de l’élève selon s’il répond à une question sous forme ouverte ou sous forme de QCM. Nous avons donc proposé aux mêmes élèves, successivement, des tâches similaires sous forme de questions ouvertes, puis de QCM et avons observé les techniques et les stratégies mises en œuvre pour répondre.
II.1.4.i Reconnaissance et production
Naturellement, si en question ouverte, l’élève doit produire une réponse, il est amené à la reconnaitre dans un QCM, ce qui ne fait pas nécessairement appel aux mêmes techniques. Nous avons pu observer, dans une tâche de traduction d’écriture TTnp/ec, où l’élève doit écrire en chiffres un nombre dont il connaît l’écriture en lettres, qu’en format QCM, plus de la moitié des élèves utilisant une stratégie de savoir procédaient en comparant chiffre par chiffre ou classe par classe, mais n’étudiaient pas l’écriture chiffrée du nombre en entier.
Par ailleurs, nous avons constaté qu’aucune erreur produite à la question ouverte ne correspondait aux types de choix proposés dans le QCM8, ce qui remet en cause le choix des distracteurs proposés et peut aussi expliquer l’écart important de réussite entre les deux formats de questions.
7 Il ne s’agit pas ici uniquement de problèmes arithmétiques relevant du domaine étudié dans la thèse ; en
particulier un problème de proportionnalité impliquant un coefficient de proportionnalité non entier a été proposé dans l’expérimentation.
8QCM proposé extrait de CEDRE 2008 : deux-millions-deux-cent-vingt-cinq-mille-six s’écrit :
□ 2 225 600 □ 2 522 006 □ 2 225 006 □ 2 225 060
Les distracteurs sont conçus comme des permutations des chiffres entrant en jeu dans l’écriture du nombre mais ils ne correspondent pas à des erreurs établies sur ce type de tâches.
175 II.1.4.ii Impact sur la réussite
Réussir en question ouverte n’implique pas forcément réussir au QCM et réciproquement. Si les scores de réussite sont tous supérieurs lorsque la question est sous forme de QCM, lorsque nous étudions plus finement élève par élève, [nous] constatons que des élèves peuvent réussir, pour une tâche similaire, une question sous forme ouverte et échouer lorsqu’elle lui est présentée sous forme de QCM. Nous l’avons particulièrement observé en situation de résolution de problèmes arithmétiques, lorsqu’un des distracteurs correspond à un résultat d’étape intermédiaire : certains élèves réussissant en question ouverte arrêtent leur résolution en QCM dès qu’ils trouvent un résultat intermédiaire. Ce type de résultat interroge, par conséquent, la nature des distracteurs proposés et leur impact sur la réussite.
Les constats que [nous] avons pu établir sur l’écriture des nombres décimaux tendent à confirmer ce que Laveault & Grégoire (2014, p. 37) établissent, à savoir que le QCM n’est pas adapté pour évaluer un savoir au début de son enseignement : non seulement l’élève risque de mémoriser une réponse fausse, mais le format QCM peut également impliquer une surévaluation des connaissances de l’élève (en début d’apprentissage, un élève peut être capable de reconnaitre une réponse, mais pas de la produire).