Nous cherchons à déterminer l’existence de profils d’élèves relatifs à la résolution de ce problème.
Nous recourrons pour cela à une analyse en clusters. Cette méthode statistique vise à découvrir une structure dans des données, en les organisant en groupes à la fois homogènes en leur sein et
distincts entre eux. Cela signifie que les éléments d’un même cluster doivent être similaires entre eux mais distincts des éléments regroupés dans les autres clusters. Il existe cependant différentes méthodes de clustering.
Nous choisissons, pour commencer, de nous référer à une des méthodes classiques de clustering, dite hiérarchique. Cette classification hiérarchique ascendante permet l’analyse typologique par la classification d’individus en un certain nombre de sous-groupes de proximité60. Au départ, chaque individu représente un groupe. Les groupes fusionnent et leur nombre se réduit au fur et à mesure des itérations successives, jusqu’à ce que tous les individus soient réunis dans un même groupe. Nous travaillons avec un regroupement des élèves en fonction de leurs résultats à chacun des quinze critères de la grille sur ce problème. Chaque élève est donc représenté par un vecteur de dimension quinze. La distance entre les élèves est ainsi estimée en fonction du carré de la distance euclidienne les séparant.
Nous procédons tout d’abord à une analyse sans imposer un nombre de clusters, c’est-à-dire sans imposer le nombre de sous-groupes. Nous analysons le dendrogramme (cf. Annexe 8) qui regroupe les individus dans des groupes de plus en plus larges. Après plusieurs essais, nous choisissons finalement de travailler avec un regroupement en neuf clusters. Nous souhaitons en effet avoir un nombre de clusters suffisant pour identifier des profils d’élèves divers, mais pas trop important pour ne pas réduire à peau de chagrin le nombre d’individus constituant chaque groupe, et ainsi rendre trop peu représentatifs les profils identifiés.
Nous choisissons donc une analyse en clusters qui regroupe les 494 élèves en neuf sous-groupes homogènes. Trois de ces sous-sous-groupes sont constitués de moins de 10 individus. Nous décidons de ne pas les conserver par souci de représentativité. Les six sous-groupes restants ne sont cependant pas homogènes en termes de nombre d’individus concernés. En effet, un de ces sous-groupes est constitué de 377 individus tandis que les autres sous-groupes ne sont pas constitués de plus de 41 individus. Pour caractériser ces sous-groupes, nous considérons la moyenne obtenue à chacun des critères de la grille (Tableau 15). C’est la structure de la grille réorganisée à partir de l’analyse factorielle qui est ici la plus pertinente pour interpréter les résultats.
Nous analysons ces moyennes et les comparant en particulier aux moyennes obtenues en considérant l’ensemble des élèves. Nous précisons ci-après le nombre d’individus constituant chacun des sous-groupes d’élèves avant de les caractériser.
60Repéré à http://moodle2.unil.ch/mod/resource/view.php?id=315732&redirect=1 le 30 septembre 2017.
176
Tableau 15. Taux de validation des critères pour chaque groupe d’élèves établi à partir d’un clustering hiérarchique.
Le premier sous-groupe est constitué de 377 élèves (cluster 1 dans Tableau 15). Avec 76.3% des élèves évalués c’est de loin le groupe le plus important. Les moyennes des élèves de ce sous-groupe sont supérieures à celles obtenues en considérant tous les élèves, et ce, pour chaque critère. Ce sont donc des élèves qui suivent les tendances générales observées auparavant. Ils réussissent globalement bien et seuls quelques critères les mettent en échec. Leurs difficultés se concentrent principalement sur la dimension « recherche et preuve » et sur le fait qu’ils n’expliquent pas toujours assez en détail comment ils en sont arrivés à formuler une conjecture, qu’ils ne tentent pas assez de tester/prouver leur(s) conjecture(s) et qu’ils ne concluent pas chaque étape liée à une conjecture.
Les élèves constituant le deuxième sous-groupe sont au nombre de 41 et représentent 8.3% des élèves évalués (cluster 2). Ils éprouvent des difficultés concernant l’aspect narration dans son ensemble : leurs narrations ne sont ni pertinentes et ni complètes, et pas toujours compréhensibles. Ils éprouvent par ailleurs des difficultés quant à la dimension « recherche et preuve » : sur le fait de trouver une conjecture valide ou d’en proposer un nombre suffisant, de chercher à prouver ces conjectures et de conclure (à propos de leur(s) conjecture(s) et de leur recherche). Ils maîtrisent cependant très bien la dimension « technique » et entrent très bien dans
le problème. Ce sont donc principalement la narration et les éléments en lien avec la recherche et la validation de conjectures qui leur posent problème.
Le troisième sous-groupe réunit 24 élèves, ce qui représente 4.9% des élèves évalués (cluster 3). Ces élèves produisent des narrations de qualité mais qui ne sont pas exhaustives. Ils ont des difficultés à mobiliser des outils pertinents par rapport au problème et à les utiliser correctement. Toute la partie relative à la démarche scientifique de la dimension recherche leur pose aussi problème (les phases d’essais, de conjecture et de preuve). Ces élèves présentent donc des difficultés dans presque toutes les dimensions évaluées et en particulier dans les dimensions
« recherche et preuve » et « outils et technique ».
Le quatrième sous-groupe est constitué de 19 élèves, soit 3.8% des élèves évalués (cluster 4). Ces élèves ont des difficultés concernant la dimension « narration », sur la dimension
« recherche » et en particulier tout ce qui touche au triplet essais-conjecture-test/preuve. Ils pensent cependant davantage que la moyenne à apporter des conclusions à leur recherche. Ces élèves présentent donc des difficultés importantes sur la dimension narrative et sur l’adoption d’une démarche scientifique, et ne mobilisent pas toujours des outils pertinents pour résoudre ce problème.
Les élèves constituant le cinquième sous-groupe sont au nombre de 12, soit 2.4% des élèves évalués (cluster 5). Ces élèves rédigent des narrations pertinentes et compréhensibles mais pas complètes. Ils ont des difficultés à mobiliser et à utiliser des outils pertinents par rapport au problème. Ils se lancent cependant sur des pistes de recherche et font des essais cohérents. Ils arrivent à trouver une conjecture valide ou ils en testent un nombre suffisant mais ne donnent pas d’explication de ce qui leur a permis d’énoncer leur(s) conjecture(s), ne cherchent pas à la/les prouver, et ne concluent pas leur recherche. Ces élèves réussissent donc à trouver une conjecture valide, ou un nombre suffisant de conjectures mais ne justifient pas de ce qui les a amenés à établir ces conjectures. De plus, ils ne cherchent pas à les prouver ou à conclure ce qui rend leurs narrations incomplètes. Enfin, ils ne mobilisent pas des outils, des concepts mathématiques pertinents par rapport au problème et ne peuvent donc pas justifier de leur bonne maîtrise.
Le sixième et dernier sous-groupe est constitué de 11 élèves, soit 2.2% de la population évaluée (cluster 6). Ces élèves présentent des difficultés importantes concernant tous les aspects de la dimension « narration ». Bien que s’étant appropriés le problème, ils ne se lancent pas sur la recherche de pistes de résolution, ils ne mobilisent pas d’outils pertinents pour attaquer le problème. Ils ont aussi des difficultés concernant le fait de trouver une conjecture valide ou d’en proposer un nombre suffisant, de chercher à les prouver et de conclure leur recherche. Ils présentent enfin des difficultés sur les deux aspects relatifs à la dimension « technique ». Ces élèves présentent donc des difficultés importantes sur toutes les dimensions évaluées.
178 Nous voyons donc que la majorité des élèves est regroupée dans un cluster qui reprend les tendances générales observées précédemment, et que les autres profils identifiés, bien que plus spécifiques, ne concernent que très peu d’élèves à chaque fois. Nous souhaitons comparer les résultats obtenus avec cette méthode de clustering (cluster hiérarchique) aux résultats obtenus avec une autre méthode dite de clustering two-step.
Cette méthode de clustering est spécifique au logiciel SPSS. Elle diffère de la méthode hiérarchique en ce qu’elle s‘effectue en deux étapes : tout d’abord un pré-classement des individus en plusieurs petits sous-clusters, puis un regroupement de ces sous-clusters en le nombre souhaité de clusters61.
Pour une comparaison pertinente avec les clusters obtenus par méthode hiérarchique, nous avons imposé au logiciel de former là aussi six clusters. La qualité des clusters est indiquée comme faible mais presque correcte. Nous poursuivons donc cette analyse.
Tous les critères ne sont cette fois pas considérés comme équivalents pour former les groupes. Ceux qui sont les plus discriminants sont, dans l’ordre décroissant : le fait de prouver ses conjectures, de rédiger une narration pertinente, de conclure chaque conjecture émise, de chercher à obtenir une conjecture valide, de faire des essais cohérents, d’utiliser des notations correctes, de rédiger une narration complète, d’utiliser correctement les outils mathématiques, de conclure sa recherche, de mobiliser des outils pertinents, d’expliquer comment ils ont abouti à une conjecture, de se lancer sur des pistes, de s’approprier correctement le problème, de rédiger une narration compréhensible et enfin de soigner sa présentation. Si le critère le plus discriminant (chercher à prouver ses conjectures) est celui qui est le moins bien maitrisé par les élèves, ce n’est pas le cas des autres critères importants pour le clustering (comme le fait de rédiger une narration pertinente).
Nous présentons ci-dessous les moyennes (sur 100) obtenues par chacun des six groupes à chacun des critères, ce qui correspond, par ailleurs, aussi aux pourcentages d’élèves de chaque groupe qui ont validé le critère (Tableau 16).
61 Pour plus de détails concernant la méthode et en particulier l’étape de pré-classement, se référer à https://www.ibm.com/support/knowledgecenter/SSLVMB_22.0.0/com.ibm.spss.statistics.algorithms/alg_twostep.ht m
Clusters
Tableau 16. Taux de validation des critères pour chaque groupe d’élèves établi à partir d’un clustering two-step.
Une des premières différences avec les clusters obtenus précédemment est le nombre d’individus composant chaque groupe. Ils sont ici beaucoup plus équilibrés puisque chacun est constitué de 57 à 112 individus. Les six groupes obtenus présentent des profils différents que nous présentons ci-dessous.
Le premier groupe (A) est le plus important en nombre d’individus puisqu’il en regroupe 112. Les élèves qui le constituent n’ont de difficultés que sur les aspects de « recherche et preuve » et sur le caractère exhaustif de leur narration. Ils rédigent des narrations de qualité, entrent facilement dans le problème et maîtrisent parfaitement les aspects techniques. Notons que ce sont les seuls qui ne rendent pas tous un travail très soigné.
Les élèves du deuxième groupe (B), qui sont au nombre de 100, rédigent des narrations de qualité, qui, de plus, sont exhaustives. Ils entrent bien dans le problème. Ils mobilisent des outils pertinents pour le traiter et gèrent correctement les aspects formels (notations, codes, etc.).
C’est la dimension « recherche et preuve » qui les met le plus en défaut, puisqu’ils ne font pas d’essais cohérents par rapport au problème, ils ne cherchent pas à valider leurs conjectures, bien qu’ils arrivent cependant à en formuler des correctes, et ne concluent pas les étapes associées à leurs conjectures.
Les 85 élèves du troisième groupe (C) maîtrisent tous les critères évalués.
Le quatrième groupe (D) regroupe 76 élèves, qui entrent bien dans le problème et rédigent des narrations de qualité, bien qu’elles ne soient pas toujours exhaustives. Ils n’utilisent
180 cependant pas toujours correctement les outils mathématiques mobilisés et ne valident pas tous les critères associés aux dimensions de « recherche et de preuve ».
Le cinquième groupe (E) est constitué de 64 élèves qui présentent des difficultés dans toutes les dimensions évaluées, notamment sur la partie spécifique à la recherche.
Les 57 élèves du dernier groupe (F) sont les seuls qui n’entrent pas adéquatement dans le problème. Leurs narrations ne sont pas pertinentes, ni toujours compréhensibles ou exhaustives.
Ils maîtrisent bien les aspects techniques mais ne valident que pour moitié les critères associés à la recherche et à la preuve.
La méthode de clustering hiérarchique amène donc à l’identification d’un macro groupe qui réunit près de 76% des élèves, et de quelques sous-groupes qui se caractérisent par un nombre important de difficultés rencontrées sur les dimensions évaluées. Le profil largement majoritaire est ainsi celui d’un élève qui s’approche de l’élève moyen62. Il réussit globalement bien et présente quelques difficultés en lien avec la dimension « recherche et preuve ». Pour les cinq autres profils identifiés, tous rencontrent de nombreuses difficultés sur les dimensions évaluées. Le seul élément qui ne pose de réel problème à aucun des profils est celui relatif à l’entrée dans le problème. Tous les autres critères, donc une majorité, amènent à des divergences ; ils sont maitrisés par les élèves de quelques groupes et posent des difficultés à beaucoup d’autres. Le tableau suivant (Tableau 17) synthétise les profils d’élèves obtenus avec cette méthode de clustering ( quand la dimension est maitrisée, quand elle ne l’est pas et ∿ lorsqu’une partie seulement des élèves du groupe la maîtrise).
1 2 3 4 5 6
Qualité de la narration
Exhaustivité de la narration ∿ ∿
Entrée dans le problème ∿
Recherche et preuve ∿
Outils et technique ∿
Tableau 17. Tableau de synthèse des différents profils d’élèves en fonction des dimensions évaluées, clusters hiérarchiques.
62 Au sens d’un élève qui a les résultats correspondants à la moyenne des résultats de tous les élèves.
Ce qui distingue ici le plus les profils d’élèves ainsi identifiés est donc la maîtrise des dimensions de recherche et preuve, l’exhaustivité de la narration, la mobilisation et maîtrise des outils et techniques mathématiques utilisés et la qualité de la narration.
La méthode de clustering two-step amène à des groupes plus équilibrés en termes de nombre d’individus et plus ciblés quant aux difficultés des élèves ainsi réunis. Un groupe rassemble notamment les élèves qui maîtrisent tous les aspects évalués, tandis qu’un autre groupe réunit ceux qui, à l’inverse, rencontrent des difficultés sur toutes les dimensions. Nous pouvons, par ailleurs, noter que le seul profil d’élèves qui maîtrise bien la dimension « recherche et preuve » est en fait performant sur tous les aspects évalués. A l’inverse, le seul groupe qui éprouve des réelles difficultés sur la partie « outils et technique » est en échec sur toutes les autres dimensions. Les dimensions les plus clivantes quant aux profils d’élèves sont là encore, la maîtrise des dimensions de recherche et preuve, la qualité de la narration ainsi que son exhaustivité, et la mobilisation et la maîtrise des outils et techniques mathématiques utilisés. Le tableau suivant reprend ces éléments de manière synthétique (Tableau 18).
A B C D E F
Qualité de la narration
Exhaustivité de la narration ∿ ∿
Entrée dans le problème ∿ ∿
Recherche et preuve ∿ ∿
Outils et technique ∿
Tableau 18. Tableau de synthèse des différents profils d’élèves en fonction des dimensions évaluées, clusters two-step.
Nous voyons donc que la méthode d’analyse choisie, ici le type de clustering, influence fortement les résultats obtenus. Avec l’une des méthodes de regroupements, nous obtenons une forte concentration des élèves au sein d’un même groupe. Les autres groupes sont constitués de peu d’individus et se caractérisent par une faible maîtrise de nombreux critères. Avec l’autre méthode, les élèves sont réunis en groupes plus équilibrés concernant le nombre d’individus. Elle permet notamment d’identifier un profil d’élèves performants sur tous les aspects évalués. Aucune des deux méthodes ne fait cependant apparaître de profils clairement plus performants sur les aspects narratifs ou sur les dimensions de recherche et preuve. Autrement dit, les élèves amenés à résoudre des problèmes et à en rendre compte par écrit ne se répartissent pas en deux groupes dont l’un serait bon en résolution de problèmes et l’autre sur la narration. Par ailleurs, quelle que soit la méthode de clustering utilisée, c’est d’abord la maîtrise de la dimension « recherche et preuve » qui permet de distinguer les élèves qui réussissent bien, des élèves qui rencontrent davantage de difficultés.
182 Nous cherchons maintenant à savoir si les critères que les élèves maîtrisent ou sur lesquels ils rencontrent des difficultés ont une influence importante sur la note qui leur est attribuée et sur leur réussite à la tâche.