Pour compléter nos analyses, nous cherchons donc à déterminer si certains critères d’évaluation sont prédictifs de la réussite ou de l’échec sur ce problème des châteaux de cartes. Il s’agit donc de tester l’existence d’une corrélation entre la validation ou l’invalidation de certains critères et l’échec ou la réussite à la tâche. Nous questionnons de la même façon une possible corrélation entre la validation ou l’invalidation de certains critères et la note obtenue par les élèves.
Les enseignants qui ont choisi d’attribuer une note chiffrée aux productions de leurs élèves (cela concerne 62% des élèves évalués) ont basé leur barème soit sur la grille d’évaluation établie par la commission (39% des élèves évalués) soit sur un autre référentiel (23% des élèves évalués). Ils nous ont transmis cette information par le biais du sondage. Il nous semble donc intéressant d’étudier l’influence du choix du référentiel utilisé pour l’élaboration du barème sur la note obtenue et sur la réussite ou l’échec des élèves.
Pour étudier ces différents aspects, nous analysons les résultats des élèves auxquels les enseignants ont attribué une note, et donc pour lesquels nous savons si l’élève a réussi (note supérieure ou égale à 4 sur 6) ou échoué. Nous analysons ainsi les résultats de 306 élèves. Nous effectuons une analyse en régression multilinéaire en considérant la note obtenue puis la réussite à la tâche comme une variable dépendante, et les quinze critères de la grille comme variables indépendantes dont nous cherchons à mesurer l’impact sur la variable dépendante. Cela nous permet de faire apparaître le « poids » (colonne « coefficients standardisés bêta » du Tableau 19) de chacun des critères dans l’attribution de la note, puis dans le fait d’avoir ou non réussi la tâche.
Pour la deuxième partie, nous distinguons les élèves en fonction du barème choisi par l’enseignant et nous calculons la note moyenne ainsi que le pourcentage d’élèves ayant obtenu une note suffisante pour chacun de ces sous-groupes.
Le Tableau 19 nous indique que la majorité des critères d’évaluation sont corrélés à la réussite à la tâche (sig.<0.05)
Modèle
Tableau 19. Tableau récapitulatif du poids de chaque critère d’évaluation quant à la réussite à la tâche (pour les élèves ayant reçu une note) .
Les critères associés à l’appropriation du problème (Mod. Appropriation), à une recherche cohérente d’essais (Rech. Essais coherents), au fait de conclure ses conjectures (Rech. Conclu conj) ainsi qu’à la mise en œuvre correcte d’outils mathématiques (Tech. Outils) n’ont cependant pas d’influence significative quant à la réussite (sig>0.05 pour chacun de ces critères). Pour tous les autres critères d’évaluation, les coefficients standardisés sont positifs ce qui signifie que la validation de ces critères influence positivement la réussite à la tâche. Les critères qui sont le plus fortement corrélés à la réussite à la tâche (en bleu dans le Tableau 19) sont la mobilisation d’outils
63 La colonne « B » fait apparaitre les coefficients de régression, autrement dit les pentes correspondant à chacun des prédicteurs. Les coefficients standardisés « Bêta » équivalent à une corrélation qui tient compte de la variance déjà expliquée par les autres prédicteurs. La valeur de « t » nous indique si le coefficient est significatif. Plus la valeur de « t » est élevée, plus le prédicteur, ici le critère d’évaluation, contribue au modèle. Le seuil de signification
« sig » permet de distinguer les éléments qui sont significatifs de ceux qui ne le sont pas. Nous avons choisi ici, et comme c’est généralement retenu, un seuil de 0,05. C’est le seuil à partir duquel on considère que l’hypothèse nulle (seul le hasard explique le phénomène observé) est rejetée. On voit ainsi par exemple que pour le critère « Appropriation du problème », « B » est faible (0,28) ce qui indique une faible corrélation entre ce critère et la réussite à la tâche, et en cohérence, « t » est faible mais le seuil de 0,05 est dépassé par « sig ».
Nous nous appuyons ici en partie sur une formation dispensée par Nathalie Delobbe dans le cadre des Études Doctorales en Sciences de l’Education (EDSE) de la Conférence Universitaire de Suisse Occidentale (CUSO) en juin 2018.
64 Pour l’intitulé complet des critères, se référer au Tableau 7. Ces abréviations des critères sont reprises par la suite.
184 et de concepts mathématiques pertinents (Mod. Outil pertinent), l’utilisation correcte des notations (Tech. Notation) et le fait que la narration soit compréhensible (Narr. Compréhensible).
La valeur des coefficients standardisés ne sont cependant pas assez élevés pour que l’on puisse affirmer le caractère suffisant de la validation de certains de ces critères quant à la réussite.
Les valeurs des coefficients standardisés nous indiquent que, contrairement à la réussite à la tâche, tous les critères d’évaluation influencent de façon significative la note chiffrée attribuée à la production de l’élève (Tableau 20). Les critères d’évaluation les plus fortement corrélés à la note sont (en bleu dans le Tableau 20) : le caractère pertinent et complet de la narration (Narr.
Pertinente, Narr. Complète), ceux en lien avec la notion d’essais et de conjecture (Rech. Essais cohérents, Rech. Explication conjecture, Rech. Conjecture valide, Rech. Preuve et Rech. Conclu conjecture) et le fait que les élèves mettent correctement en œuvre les outils et techniques
Tableau 20. Tableau récapitulatif du poids de chaque critère d’évaluation quant à la note chiffrée attribuée à la production de l’élève (pour les élèves ayant reçu une note).
Il est surprenant de noter que les critères qui ont le plus de poids dans la note attribuée à la production de l’élève sont totalement indépendants de ceux qui jouent le plus grand rôle quant à la réussite à la tâche.
Cinq des huit critères influençant le plus fortement la note attribuée à la production de l’élève (Narr. Complète, Rech. Explication conjecture, Rech. Conjecture valide, Rech. Preuve, Rech.
Conclusion conjecture) font partie des six critères qui sont le moins souvent considérés comme validés par les enseignants. La majorité des critères qui influencent fortement la note attribuée
posent des difficultés au plus grand nombre d’élèves et font apparaître beaucoup de différences d’interprétation entre enseignants. Inversement, à l’exception d’un critère, tous ceux qui mettent les élèves en difficulté et amènent à des divergences d’interprétation entre enseignants, jouent un rôle important dans l’attribution de la note donnée à la production des élèves.
En distinguant les résultats en fonction du barème utilisé par les enseignants, nous voyons qu’il y a très peu d’écart entre la moyenne des notes attribuées avec un barème basé sur la grille d’évaluation commune proposée et la moyenne des notes attribuées avec un barème basé sur un autre référentiel (Tableau 21). Ceci tend à montrer que les autres référentiels sur lesquels se basent les barèmes utilisés par les enseignants traduisent des attentes proches de celles exprimées dans la grille d’évaluation proposée par la commission.
En ce qui concerne le taux de réussite, nous pouvons remarquer que les productions d’élèves évaluées à partir d’un barème basé sur la grille d’évaluation proposée par la commission sont un peu plus souvent considérées comme suffisantes (86% des productions) que celles évaluées avec un barème basé sur un autre référentiel (78% des productions).
Note moyenne (sur 6) Pourcentage de réussite
Référentiel grille commune 4.563 86%
Autre référentiel 4.447 78%
Total 4.520 83%
Tableau 21. Notes moyennes distinguées en fonction du barème utilisé .
186