Pour tenter de répondre à notre troisième question de recherche, nous nous intéressons maintenant aux résultats des élèves et donc aux réponses au premier sondage. Les enseignants se sont prononcés pour chacune des productions d’élèves sur la validation ou l’invalidation de chaque critère, ce que nous avons traduit sous la forme de l’attribution d’une valeur numérique, respectivement 1 ou 0. En considérant 0 et 1 comme une note attribuée par l’enseignant à la production de l’élève relativement à un critère donné, et en calculant la moyenne pour ce critère, nous obtenons donc à la fois une note moyenne, mais aussi le pourcentage d’élèves pour lesquels le critère a été considéré comme validé.
Nous souhaitons dans un deuxième temps pouvoir analyser les résultats des élèves en prenant en compte l’impact du paramètre58 « enseignant » sur les notes attribuées, afin notamment de les comparer à ceux obtenus sans prendre en compte cet élément. Nous avons pour cela la possibilité de pondérer les résultats des élèves en fonction du coefficient calculé à partir de la base de données « enseignant », comme présenté plus haut.
Le pourcentage des productions d’élèves pour lesquelles un critère a été validé est récapitulé dans le tableau suivant pour chacun des critères (Tableau 12).
Nous voyons que certains critères sont validés dans plus de 70% des productions d’élèves : tout d’abord ceux en lien avec la dimension « modélisation » (Mod. Appropriation et Mod. Outil pertinent), puis la mise en œuvre d’une méthode de résolution (Rech. Pistes), la recherche de régularités à partir des essais effectués (Rech. Essais cohérents), la dimension
« technique » (Tech. Outils et Tech. Notation), le soin (Prés. Soin), la pertinence de la narration (Narr. Pertinente) et le fait que les narrations des élèves soient compréhensibles (Narr.
Compréhensible).
58 Nous préférons ici le terme de paramètre à celui de facteur pour éviter toute confusion avec les facteurs apparus lors de l’analyse en composantes principales.
Dimension Critères Taux
Présentation La présentation est soignée. 81%
Narration Le texte est compréhensible. 80%
La narration est pertinente. Chaque étape de la recherche est décrite de façon structurée.
73%
La narration est complète. Les étapes sont présentées dans l’ordre chronologique.
54%
Modélisation L’élève s’est approprié le problème : reformulation, traduction en langage mathématique, schématisation, etc.
88%
Les outils, concepts mathématiques et stratégies utilisés sont pertinents. 81%
Recherche Une méthode de résolution est mise en œuvre, des pistes de résolution sont dégagées.
91%
Les essais sont cohérents avec le problème et visent à faire ressortir les régularités. L’absence d’essais n’est pas pénalisée, si une conjecture valide a été trouvée et testée.
73%
Les éléments qui ont permis d’énoncer chaque conjecture sont identifiables ; en particulier, s’il y en a, le lien avec les essais est exprimé.
51%
Une conjecture valide ou un nombre suffisant de conjectures non valides, est énoncé.
57%
Toute conjecture est testée et la démarche aboutit, soit à une preuve, soit à un contre-exemple, soit à des tests suffisamment nombreux et variés.
28%
Chaque conjecture fait l’objet d’une conclusion cohérente avec la démarche décrite au point précédent.
43%
A l’issue de ses recherches, l’élève exprime une conclusion cohérente avec le problème et les recherches qu’il/elle a effectuées.
64%
Technique Les outils et concepts mathématiques sont utilisés correctement. 71%
Les codes, notations, symboles utilisés, qui ne font pas partie du problème, sont définis.
83%
Tableau 12. Tableau de synthèse des pourcentages de productions d’élèves pour lesquelles chaque critère a été validé.
A l’inverse, un seul critère est validé pour moins de 30% des productions d’élèves. Il s’agit du critère relatif à la nécessité de tester, prouver chaque conjecture émise (Rech. Preuve). Nous avons noté lors de l’analyse a priori de ce problème que la preuve validant la formule exprimant le nombre de cartes nécessaires en fonction du nombre d’étages et obtenue par les élèves est difficilement accessible à ce niveau scolaire. L’énoncé complet de ce critère met cependant bien en avant le fait que lorsque la preuve n’est pas accessible par les élèves, ces derniers peuvent tester leur conjecture sur des exemples pour montrer qu’elle n’est pas invalidée par ces exemples, ce qui était la démarche attendue dans ce problème.
Le faible pourcentage de productions d’élèves pour lesquels ce critère a été validé ne s’explique donc pas seulement par le choix du problème proposé mais illustre selon nous les difficultés rencontrées par un grand nombre d’élèves quant au fait de tenter de valider ou prouver leurs conjectures. Cela nous amène aussi à nous interroger sur leur sensibilité quant à
172 l’importance de ces éléments en mathématiques. Tous les autres critères (Narr. Complète, Rech.
Explication conjecture, Rech. Conjecture valide, Rech. Conclusion conjecture et Rech. Conclusion recherche) sont validés pour environ la moitié des productions d’élèves, ce qui illustre qu’un nombre non négligeable d’élèves ne maîtrisent pas encore les compétences en lien avec ces critères.
En synthèse, sur le problème des châteaux de cartes, les élèves sont peu nombreux à avoir des difficultés pour s’approprier le problème ou se lancer dans la recherche. Ceci s’explique selon nous par le problème lui-même qui, comme dit précédemment, présente un bon potentiel d’appropriation par les élèves. Sur l’aspect narratif, les élèves produisent majoritairement des textes compréhensibles et pertinents mais qui ne relatent pas toujours de manière complète leur recherche. Ils mobilisent par ailleurs en général des concepts et des outils mathématiques pertinents par rapport au problème et les utilisent correctement. Concernant la dimension
« recherche », les élèves font des essais pertinents et cherchent à en faire ressortir des régularités.
Néanmoins, les éléments en lien avec la notion de conjecture sont maitrisés par un moins grand nombre d’élèves. Les conjectures font peu souvent l’objet d’une recherche de validation ou d’invalidation, elles ne sont pas toujours mises en lien avec ce qui a permis d’aboutir à celles-ci, elles ne sont pas toujours en nombre suffisant et ne font souvent pas l’objet d’une conclusion.
En regardant les résultats des élèves sous l’œil des facteurs apparus lors de l’analyse en composantes principales (Tableau 13), il nous semble intéressant de noter que les critères constituant les trois facteurs que sont la « qualité de la narration », l’« entrée dans le problème » et les « outils et technique » sont validés très majoritairement dans les productions d’élèves tandis que les deux autres facteurs « exhaustivité de la narration» et « conjecture et preuve » regroupent tous les critères qui sont le moins unanimement maitrisés par les élèves, c’est-à-dire qui font apparaître les taux de validation les plus faibles (en gras dans le Tableau 13).
Or, ces critères qui sont le moins souvent validés dans les productions des élèves sont aussi ceux (à l’exception du critère lié à la conclusion de la recherche) pour lesquels les enseignants ne sont pas en accord lors d’une évaluation commune des mêmes copies. Les critères qui posent le plus de difficultés aux élèves sont aussi ceux qui amènent au plus de divergences d’interprétation entre enseignants.
Nous allons à présent voir ce que la prise en compte de l’effet enseignant modifie dans les données que nous venons d’analyser. Nous étudions ainsi les résultats qui seraient ceux des élèves, si les enseignants attribuaient en moyenne les mêmes notes aux mêmes copies59.
59 Sur la base des évaluations qu’ils ont faites des trois productions d’élèves communes.
Facteurs Critères Taux
La présentation est soignée. 81%
Qualité de Le texte est compréhensible. 80%
la narration La narration est pertinente. Chaque étape de la recherche est décrite de façon structurée.
A l’issue de ses recherches, l’élève exprime une conclusion cohérente avec le problème et les recherches qu’il/elle a effectuées.
64%
L’élève s’est approprié le problème : reformulation, traduction en langage mathématique, schématisation, etc. régularités. L’absence d’essais n’est pas pénalisée, si une conjecture valide a été trouvée et testée.
73%
Les éléments qui ont permis d’énoncer chaque conjecture sont identifiables ; en particulier, s’il y en a, le lien avec les essais est exprimé.
51%
Conjecture et preuve
Une conjecture valide ou un nombre suffisant de conjectures non valides, est énoncé.
57%
Toute conjecture est testée et la démarche aboutit, soit à une preuve, soit à un contre-exemple, soit à des tests suffisamment nombreux et variés.
28%
Chaque conjecture fait l’objet d’une conclusion cohérente avec la démarche décrite au point précédent.
43%
Les outils, concepts mathématiques et stratégies utilisés sont pertinents. 81%
Outils et Les outils et concepts mathématiques sont utilisés correctement. 71%
technique Les codes, notations, symboles utilisés, qui ne font pas partie du problème, sont définis.
83%
Tableau 13. Tableau de synthèse des pourcentages de productions d’élèves pour lesquelles chaque critère a été validé, avec une organisation en fac teurs.
Comme nous l’avons expliqué plus haut, nous pondérons les résultats de chaque élève, pour chaque critère, par un coefficient multiplicatif afin d’atténuer le poids de l’effet enseignant (cf.
partie B. Chapitre IV. 1.1).
Les moyennes des notes pondérées (notes sur 100) pour chaque critère sont indiquées dans le Tableau 14. Pour aider à la lecture nous indiquons entre parenthèses la différence entre les notes moyennes calculées avec prise en compte du paramètre « enseignant », par rapport aux notes moyennes brutes, sans neutralisation de ce paramètre. Notons que la comparaison entre les moyennes s’effectue à partir de la même base « élèves », c’est-à-dire que nous prenons uniquement en compte, pour les deux moyennes, les élèves dont l’enseignant a évalué les trois copies communes et pour lequel nous avons pu calculer le coefficient avec lequel nous pondérons les résultats des élèves.
174 Nous voyons que les notes moyennes calculées sans tenir compte du paramètre
« enseignant » sont quasiment identiques à celles obtenues en les prenant en compte. Il n’y a aucun écart significatif.
Ces analyses nous donnent des résultats globaux sur les critères validés majoritairement par les élèves ou non. Nous nous demandons dans la suite s’il est possible de caractériser plus finement leurs compétences et ainsi définir différents profils d’élèves.
Facteurs Critères Taux
La présentation est soignée. 79(0)
Qualité de Le texte est compréhensible. 81(-1)
la narration La narration est pertinente. Chaque étape de la recherche est décrite de façon
structurée 75(-1)
A l’issue de ses recherches, l’élève exprime une conclusion cohérente avec le
problème et les recherches qu’il/elle a effectuées. 68(-1) L’élève s’est approprié le problème : reformulation, traduction en langage
mathématique, schématisation, etc. 88(-1)
Entrée dans le problème
Une méthode de résolution est mise en œuvre, des pistes de résolution sont
dégagées. 93(-1)
Les essais sont cohérents avec le problème et visent à faire ressortir les régularités. L’absence d’essais n’est pas pénalisée, si une conjecture valide a
été trouvée et testée. 72(-1)
Les éléments qui ont permis d’énoncer chaque conjecture sont identifiables ;
en particulier, s’il y en a, le lien avec les essais est exprimé. 49(0) Conjecture et
preuve
Une conjecture valide ou un nombre suffisant de conjectures non valides, est
énoncé. 56(-2)
Toute conjecture est testée et la démarche aboutit, soit à une preuve, soit à un
contre-exemple, soit à des tests suffisamment nombreux et variés. 24(0) Chaque conjecture fait l’objet d’une conclusion cohérente avec la démarche
décrite au point précédent. 38(-1)
Les outils, concepts mathématiques et stratégies utilisés sont pertinents. 82(0) Outils et Les outils et concepts mathématiques sont utilisés correctement. 71(0) technique Les codes, notations, symboles utilisés, qui ne font pas partie du problème,
sont définis.
82(-1) Tableau 14. Tableau de synthèse des notes moyennes des élèves pour chaque
critère, avec atténuation du paramètre « enseignant ».