Chapitre 3 Méthodologie
3. L’analyse des contrôles
L’analyse des productions112 des élèves en contrôles doit nous permettre émettre des hypothèses113 sur les apprentissages qui ont été construits par les élèves, en ne retenant l’enseignement qu’ils ont reçu que d’une manière globale. Cette première analyse permet notamment de comparer les résultats obtenus dans des classes différentes, en faisant tout d’abord abstraction des paramètres qui les différencient (enseignement reçu, établissement situé en ZEP …). Dans un deuxième temps, il s’agit, en affinant l’analyse des productions (en dépassant notamment l’analyse en termes de réussite/échec), de mettre en relation l’enseignement reçu avec les productions.
a.
Premières analyses
Nous effectuons tout d’abord une analyse a priori des tâches proposées en contrôle sur le même mode que l’analyse a priori des tâches du scénario du chapitre (cf. supra, analyse du scénario) : en particulier, nous identifions les procédures de résolution possibles, les domaines de travail et les connaissances nécessaires à la résolution des tâches ainsi que les adaptations qui y sont associées.
112 Nous évoquerons tantôt les productions aux contrôles et les résultats aux contrôles, ces derniers
désignant les productions évaluées en termes de réussite/échec.
113 Il ne s’agit que d’hypothèses dans la mesure où d’une part, la réussite au contrôle dépend de bien
d’autres facteurs que les apprentissages (notamment affectifs, …) comme le rappelle Aline Robert dans Vandebrouck (2008, p. 43) ; d’autre part, la réussite au contrôle n’est pas nécessairement le résultat d’un apprentissage, pas plus que l’échec n’est la manifestation de l’absence d’apprentissage ; enfin, la question de la pérennité des apprentissages se pose de toutes façons.
112
Puis nous analysons les productions des élèves en termes de réussite/échec, en codant de manière binaire. Derrière l’apparente simplicité de ce codage, se cachent des choix qui méritent d’être explicités : nous avons codé comme réussite les traces d’utilisation des connaissances appropriées, même si la réponse n’est pas parfaite. En particulier, pour les tâches de construction, nous avons codé comme réussite une construction, même imprécise, mais dont certains éléments montrent que l’élève a mobilisé une procédure correcte (par exemple par l’indication d’un codage114) ; pour les tâches de preuve, nous avons codé comme réussite les traces de la mobilisation d’une propriété adaptée { la situation, même si la formulation n’est pas correcte. Nous avons conscience que cela influe de manière non négligeable sur les résultats que nous obtenons, notamment pour les tâches de preuve. Par exemple, il est apparu qu’au-delà de la mobilisation d’une propriété adaptée { la situation, la formulation du raisonnement est un obstacle en sixième, particulièrement en ZEP. Nous reviendrons a posteriori sur l’influence de ce choix sur nos résultats, mais ce parti pris nous a semblé justifié (ce qui ne veut pas dire non questionnable) dans la mesure où, en sixième, l’objectif est une initiation au raisonnement déductif et l’amorçage d’un changement de paradigme, non un apprentissage de la démonstration mathématique y compris dans sa dimension formelle. Aussi, la mobilisation d’une propriété adaptée { une situation nous a semblé valable comme trace d’apprentissage. Nous calculons ensuite des moyennes sur les résultats obtenus : taux de réussite par élève, taux de réussite par tâche, par genre de tâches etc. et nous présentons les résultats sous forme de graphiques.
Nous avons tenu compte des questions non traitées de deux manières différentes, en présentant deux valeurs pour chaque indicateur : un pourcentage de réussite calculé sur les copies où la question a été traitée et un pourcentage où l’absence de traitement a été comptabilisée comme un échec. La raison de cette distinction est que l’absence de traitement peut avoir des causes très diverses, du manque de temps (notamment pour les questions situées en fin de contrôle) qui ne signifie pas que l’élève ne sait pas faire, { l’élève qui ne traite pas les questions pour lesquelles il n’est pas sûr de la réponse.
Les résultats ainsi obtenus nous renseignent grossièrement sur ce que les élèves ont su ou n’ont pas su faire en contrôles et nous permettent des comparaisons entre classes, en prenant toutefois en compte les différences entre les énoncés.
b.
Mise en regard avec l’enseignement reçu
L’interprétation des résultats aux contrôles est délicate. D’une part parce que, comme nous l’avons précisé plus haut, réussite au contrôle et apprentissage ne sont pas nécessairement équivalents (une réussite au contrôle peut ne pas être la trace d’un apprentissage “réel” et pérenne, mais par exemple d’un effet de contrat ; de même, un échec ou une absence de réponse n’est pas nécessairement synonyme d’absence d’apprentissage) ; d’autre part parce qu’il faut également considérer l’écart entre ce qui a été proposé durant le chapitre et ce qui est proposé en contrôle : l’échec { un type115 d’exercice différent de ce qui a été traité en classe n’a pas la
114 Nous sommes consciente du caractère imparfait de ce critère, mais il nous semble néanmoins que le
fait de coder suppose une conscience des tracés réalisés et de les avoir effectivement réalisés.
115 On entend ici “type” au sens large : qu’il s’agisse du nombre de tâches qui le constituent, de sa nature,
113
même signification que l’échec { un type d’exercice qui a été traité, éventuellement plusieurs fois. Enfin, le degré de difficulté doit aussi être comparé à celui des exercices traités durant le chapitre : le contrôle peut être plus ou moins difficile par rapport à ce qui a été traité ; par exemple, il peut présenter des adaptations des connaissances plus difficiles que celles qui ont été rencontrées.
Nous analysons donc les résultats des contrôles en les mettant en parallèle avec ce qui, dans le scénario et les déroulements peut avoir eu une influence (par exemple une tâche similaire, mais pas seulement : nous essayons dans la mesure du possible de chercher ce qui peut expliquer la réussite ou l’échec). Nous gardons toutefois { l’esprit certaines limites : non seulement on peut penser que l’ensemble du travail peut influencer les apprentissages, par exemple parce qu’un exercice peut provoquer des réorganisations des connaissances, mais aussi parce qu’une partie des facteurs serait à rechercher ailleurs que dans le seul chapitre sur la symétrie axiale (à la fois en termes de contenus, et en termes d’habitudes), ce que nous ne sommes pas en mesure de faire.
Plus précisément, à partir des réussites et échecs constatés sur des tâches données du contrôle, nous recherchons d’abord dans le scénario s’il existe des tâches similaires, qu’il s’agisse de leur nature, des variables didactiques, ainsi qu’en termes de mise en fonctionnement des connaissances. Nous recherchons ensuite les exercices qui, bien que n’étant pas du même type, portent sur les mêmes connaissances (anciennes et/ou nouvelles). Enfin, si les tâches du contrôle nécessitent des adaptations particulières116, nous cherchons dans le scénario les tâches qui ont pu permettre de travailler ces adaptations.
Puis, pour une tâche donnée d’un contrôle, une fois identifiées les tâches dont l’accomplissement peut avoir eu la plus grande influence sur les résultats du contrôle, nous considérons leur déroulement, conformément à notre hypothèse selon laquelle les déroulements influent sur les activités des élèves en modifiant éventuellement les tâches (en les simplifiant ou en les enrichissant par exemple). Nous cherchons notamment si les tâches en question ont été traitées de manière autonome par les élèves, quelle(s) procédure(s) de résolution est (sont) apparue(s) et laquelle (lesquelles) a (ont) éventuellement été privilégiée(s) lors de la correction, les aides qui ont été dispensées, si un bilan collectif a été dressé, etc. Nous identifions également les épisodes de cours, de rappels ou de correction qui ont pu permettre un réinvestissement ou au moins une évocation de la tâche et/ou des procédures de résolution associées.
En résumé, si nous mentionnions jusqu’alors des réussites et des échecs, nous tentons d’affiner nos analyses. En effet, il ne s’agit pas seulement de repérer quelles tâches sont réussies ou non, mais d’identifier des traces d’apprentissages ou de non-apprentissage (traces de conceptions erronées persistantes par exemple) dans les productions des élèves. Aussi les analyses de productions d’élèves sont-elles faites de manière relativement fine.
116 Nous excluons les adaptations fréquentes comme “faire des étapes” ou “reconnaître les modalités
d’application d’un résultat du cours” sauf si la tâche en question leur confère une difficulté particulière, par exemple si la reconnaissance des modalités d’application d’un résultat est rendue difficile par la situation ou si les étapes ne sont ni habituelles, ni indiquées.
115