Pouvoir discriminant

Cette partie reprend les données du plan de prévention de l’illettrisme. Elle est extraite des résultats de l’article intitulé « Identification des élèves à risque de redoublement en début de scolarité élémentaire : une approche exploratoire centrée sur l’évaluation des comportements scolaires. » (Cosnefroy, Atzeni, & Guimard, 2010)

Cette étude vise à explorer la capacité et l’utilité d’une évaluation rapide des habiletés d’autorégulation des élèves réalisée par les enseignants, en début de CP, à détecter les élèves à risque de redoublement un et deux ans plus tard. Plus précisément, un questionnaire proposé à l’enseignant est utilisé comme outil de détection. Parce que la littérature internationale rapporte de manière consensuelle que les compétences académiques des élèves sont reconnues comme le meilleur prédicteur de la probabilité de redoubler (Willson & Hughes, 2009), la précision de cette évaluation est comparée à celle d’un score global de performance académique évalué au même moment composé d’une centaine d’items interrogeant les performances des élèves en français et mathématiques. Afin d’illustrer l’utilité pratique du questionnaire dans sa capacité à détecter les élèves à risque de redoublement, deux valeurs seuils sont proposées pour obtenir les indices de sensibilité, de spécificité, et de valeur prédictive positive et en discuter leur valeur.

En début de CP, une évaluation des Performances Académiques (PA) en français et en mathématiques comportant 116 items a été proposée aux élèves. Ces items se répartissent en 5 grandes dimensions : reconnaissance de mots, écriture, phonologie, compréhension orale et mathématiques. Un score global sur 100 a été calculé afin de rendre compte de la performance

académique générale des élèves en début de scolarité. La consistance interne de ce score (alpha de Cronbach) est de .92.

Une évaluation des habiletés d’autorégulation (CS) des élèves en classe a été renseignée par les enseignants. Le questionnaire est celui utilisé dans l’analyse précédente (voir p.133).

Deux analyses séparées ont été réalisées sur les redoublants et non redoublants en fin de CP d’une part, et sur les redoublants et non redoublants en fin de CE1 d’autre part. Chaque analyse comprend une comparaison des redoublants et non redoublants sur les scores CS et PA et une analyse en courbe ROC où sont comparées les ASC de ces deux scores.

V.2.5.1 Comparaison en fin de CP

Les élèves ayant redoublé en fin de CP présentent des scores moyens plus faibles de CS, t(736) = 17.53, p<.001, 95% IC [12, 15.03] et de PA, t(736) = 15.76, p<.001, 95% IC [23.97, 30.79] que les élèves non redoublants (Tableau V.2-4).

Tableau V.2-4 : Scores moyens (écarts-types) obtenus aux CS et aux PA pour des élèves ayant redoublé ou non en fin de CP et en fin de CE1.

Redoublants Non redoublants CP-CE1

Fin CP (N=82) Fin CE1 (N=92) N=656

Test (étendue) M (e.t.) M (e.t.) M (e.t.)

CS (0-39) 12.17 (6.01) 16.59 (6.93) 25.69 (6.65)

PA (0-100) 36,41 (13,03) 43.54 (11,03) 63.79

(15.04)

L’analyse ROC effectuée sur l’ensemble des élèves redoublants et non redoublants en fin de CP indique (Figure V.2-1) une ASC satisfaisante aussi bien pour les Comportements Scolaires (ASC=.880, SE=.018, p<.001, IC 95% [.846, .915]) que pour les performances académiques, (ASC=.887, SE=.019, p<.001, IC 95% [.851, .924]). Le pouvoir discriminant des CS apparaît donc aussi élevé que celui des PA. Une comparaison des ASC réalisée en utilisant la méthode proposée par Hanley et McNeil (1983) indique qu’il n’y a pas de différence significative entre l’ASC des CS et celle des PA (z = 0.38, p=.35).

Figure V.2-1 : Courbes ROC pour le score de Comportements Scolaires (CS) et pour le score de Performances Académiques (PA) pour les élèves ayant redoublé ou non en fin de CP.

V.2.5.2 Comparaison en fin de CE1

L’évaluation porte sur des élèves ayant redoublé ou non leur CE1. Le pattern de résultats est similaire à celui observé en fin de CP (Tableau V.2-4), les redoublants ayant comparativement aux non redoublants des scores significativement plus faibles de PA t(746) = 12.45, p<.001, IC 95% [17.06, 23.344] et de CS t(746) = 12.23, p<.001, IC 95% [7.64, 10.56].

L’analyse ROC sur l’ensemble des élèves redoublants et non redoublants en CE1 (Figure V.2-2) présente des résultats également similaires à ceux obtenus précédemment sur les évaluations de fin de CP. On observe à nouveau une ASC satisfaisante pour les CS (ASC=.824, SE=.023, p<.001, IC 95% [.779, .869]), ainsi que pour les PA (ASC=.856, SE=.018, p<.001, IC 95% [.821, .892]). La comparaison des ASC indique que le pouvoir discriminant des PA n’est pas significativement différent de celui des CS (z = 1.40, p=.08).

1,0 0,8 0,6 0,4 0,2 0,0 1 - Spécificité 1,0 0,8 0,6 0,4 0,2 0,0 Se n s ib il it é Ligne de référence PA CS

Figure V.2-2 : Courbes ROC pour le score de Comportement Scolaire (CS) et pour le score de Performances Académiques (PA) pour les élèves ayant redoublé ou non en fin de CE1

Afin d’illustrer l’utilité pratique des questionnaires, nous avons choisi de fixer des valeurs seuils sur les deux échelles (CS et PA) pour détecter les élèves à risque de redoublement en fin de CE1. Pour chaque échelle, deux valeurs sont établies : a) une valeur seuil autorisant une sensibilité maximale et préservant une spécificité proche à .80, tel qu’il est conseillé dans la littérature (Glascoe & Byrne, 1993) ; b) une valeur seuil augmentant la spécificité à .90 au détriment de la sensibilité afin de maximiser la valeur prédictive positive (G. R. Gredler, 1997).

Tableau V.2-5 : Prédiction du redoublement au CE1 selon différentes valeurs seuils de CS (score de Comportements Scolaires) et de PA (score de Performances Académiques).

Valeur seuil sensibilité spécificité VPP

CS - seuil 1 24 0.84 0.62 0.23

PA - seuil 1 53 0.82 0.72 0.29

CS - seuil 2 15 0.49 0.91 0.44

PA - seuil 2 44 0.52 0.91 0.45

Note :VPP = valeur prédictive positive

Le Tableau V.2-5 montre que lorsqu’on tente de préserver une sensibilité et une spécificité proche de .80 (seuil 1), les résultats rapportent qu’une sensibilité de .80 ne permet pas d’atteindre une spécificité de même niveau, quelle que soit l’évaluation utilisée. Autrement

1,0 0,8 0,6 0,4 0,2 0,0 1 - Spécificité 1,0 0,8 0,6 0,4 0,2 0,0 S e n s ib il it é Ligne de référence PA CS

dit, lorsqu’on souhaite que les outils identifient un minimum de 80% (seuil 1) des élèves redoublants en fin de CE1 détectés en début de CP (sensibilité) cela conduit à diminuer le taux des Vrais Négatifs qui sont les élèves non détectés en CP et non redoublants en fin de CE1. La valeur prédictive positive traduit ce constat pour CS et PA puisque, avec cette valeur seuil, respectivement 23% et 29% des élèves jugés à risque par l’outil ont fait réellement l’objet d’un redoublement en fin de CE1. Lorsqu’on privilégie une valeur seuil centrée sur la spécificité proche de .90 (seuil 2), les valeurs positives prédictives augmentent (.44 et .45 pour CS et PA). Ainsi, 91% des élèves qui n’ont pas redoublé n’ont pas été détectés par l’outil comme susceptibles d’être à risque. Cependant, seulement 49% pour CS et 52% pour PA des élèves redoublants en fin de CE1 ont été détectés par l’outil de départ.

V.2.6

Synthèse

La présente section se proposait de comparer et de quantifier la capacité d’une évaluation des habiletés d’autorégulation des élèves effectuée par les enseignants et d’une évaluation des compétences académiques à prédire les performances et les parcours scolaires entre les grades 1 et 6. Les résultats montrent tout d’abord qu’en début d’école élémentaire, l’évaluation des habiletés d’autorégulation est fortement liée aux performances scolaires évaluées à partir d’épreuves standardisées. Ce résultat va tout à fait dans le sens des travaux soulignant la convergence globale de ces deux types d’évaluations (Agostin & Bain, 1997; Guimard & Florin, 2007; Hoge, 1983; Hoge & Coladarci, 1989; Meljac, Kugler, & Mogenet, 2001; Quay & Steele, 1998; Yen, et al., 2004). Concernant la prédiction des performances des élèves en français et mathématiques aux grades 3 (CE2) et 6 (6ème), il apparaît que les habiletés d’autorégulation évaluées au grade 1 expliquent significativement les différences interindividuelles observées lorsqu’on contrôle un ensemble de variables sociodémographiques et les performances académiques au grade 1. Ce résultat est conforme aux travaux antérieurs (McClelland, et al., 2006; McClelland, et al., 2000; Yen, et al., 2004). Lorsqu’on tente d’en quantifier la contribution, les habiletés d’autorégulation expliquent à peu près 25 % de la variance expliquée alors que les performances académiques contribuent à plus de 55% des différences ultérieures observées entre élèves. Que ce soit en français ou mathématiques, trois ou six années après l’entrée au grade 1, ces deux types d’évaluations présentent un écart significatif et relativement stable de plus de 30 points dans leur capacité à prédire les performances scolaires des élèves. La stabilité de la valeur prédictive de

l’évaluation réalisée par les enseignants sur la période considérée est attestée par un effet restant significatif, même lorsque la prédiction est réalisée au grade 6. Cependant, il peut paraître étonnant de constater que les pourcentages de variance expliquée par nos modèles au grade 6 (R2 = .46 et .45 en français et en mathématiques) sont supérieurs à ceux calculés pour le grade 3 (R2 = .41 en français et en mathématiques) alors que les sept prédicteurs sont identiques et que l’échantillon est constant. La réponse réside probablement dans le fait que les évaluations de français et mathématiques sont différentes aux grades 3 et 6. Ainsi, nous nous associons à la remarque de Guimard et Florin (2007) rapportant que lorsqu’il s’agit de comparer la valeur prédictive de deux évaluations, la qualité des prédictions est largement fonction de l’épreuve choisie en variable dépendante. Cependant, cet aspect ne remet pas en cause nos résultats, dans la mesure où les liens qu’entretiennent nos deux évaluations avec les critères au grade 6 sont plus élevés mais que l’écart d’importance reste stable.

Concernant la prédiction des parcours des élèves un et cinq ans plus tard, nos résultats montrent que lorsque l’on contrôle les variables sociodémographiques et les performances académiques au grade 1, les habiletés d’autorégulation évaluées au grade 1 contribuent significativement à l’explication des différences de parcours scolaires. Ces résultats sont en accord avec les travaux de Gadeyne et al. (2008) et Reynolds et Bezruczko (1993) mais en contredisent d’autres (Alexander, et al., 1993; Liddell & Rae, 2001). La quantification du poids de ces deux évaluations montre que les performances académiques évaluées au grade 1 restent le prédicteur le plus important, dépassant 50 % de la variance totale expliquée. Cependant, l’évaluation des habiletés d’autorégulation participe de plus d’un tiers à l’explication des parcours scolaires. Que ce soit un an ou cinq ans après l’entrée au grade 1, l’écart d’environ 15 points entre les deux évaluations est significatif et diminue par rapport à l’explication des performances scolaires.

De manière générale, la part de variance attribuable aux variables sociodémographiques est plus faible que celle attribuable aux performances et habiletés évaluées au grade 1. Ce poids explicatif est globalement plus élevé lorsqu’il s’agit des performances scolaires que des parcours scolaires. Parmi ces variables sociodémographiques, l’origine sociale reste un prédicteur significatif de l’explication des performances scolaires aux grades 3 et 6, même en présence des évaluations des performances scolaires et des habiletés d’autorégulation. Ce phénomène est conforme aux analyses récentes (Duru-Bellat, 2003; Entwisle, Alexander, & Steffel Olson, 2005). A l’instar de l’explication des performances scolaires, il apparaît que

toutes choses étant égales par ailleurs, l’origine sociale des élèves participe aussi significativement, mais plus faiblement, aux différences de parcours scolaires des élèves un an et cinq ans plus tard. Lorsqu’il s’agit de prédire les performances scolaires ultérieures des élèves, le sexe présente, toutes choses étant égales par ailleurs, un effet significatif bien que très faible et difficilement différenciable en termes d’importance. Lorsqu’il s’agit du parcours des élèves un et cinq ans plus tard, le sexe ne présente plus d’effet. L’instabilité de l’impact du sexe d’un critère à l’autre a été mis en évidence par ailleurs (Valiente, Lemery-Chalfant, Swanson, & Reiser, 2008). Qu’il s’agisse de la nationalité, de la durée de préscolarisation ou du semestre de naissance, l’impact de ces variables dans l’explication de la performance ou du parcours scolaire ultérieurs est globalement très faible et rarement significatif lorsque sont introduites les performances et habiletés d’autorégulations évaluées au grade 1 dans les modélisations. Leurs poids dans l’explication de la variance totale des critères ne se différencient que rarement les uns des autres.

En définitive, les analyses d’importance relative montrent ainsi qu’à caractéristiques sociodémographiques identiques, les habiletés d’autorégulation participent en moyenne de 25% de l’explication des différences interindividuelles des performances scolaires en français et en mathématiques comparativement à une moyenne de plus de 55% pour les performances académiques évaluées au même moment. Les habiletés d’autorégulation participent en moyenne de 35% de l’explication des différences interindividuelles des parcours scolaires comparativement à une moyenne proche de 50 % pour les performances académiques évaluées au même moment. Cet écart de 30 points (55% vs. 25%) dans un cas et de 15 points (50% vs. 35%) dans l’autre suggère que les habiletés d’autorégulation contribuent deux fois plus à l’explication des parcours scolaires qu’à celle des performances scolaires au cours de la scolarité. Le fait que l’évaluation des habiletés d’autorégulation contribue davantage à l’explication des parcours des élèves qu’à leurs performances scolaires indique que cette évaluation est probablement plus apte à discriminer les futurs élèves en difficulté qu’à prédire leur niveau académique.

C’est l’objectif de l’étude visant à interroger la pertinence et l’utilité du point de vue de la détection précoce du redoublement. Notre recherche s’est proposée de répondre à cette question en analysant la valeur diagnostique d’une évaluation des habiletés d’autorégulation et en la comparant à celle d’une évaluation des performances académiques des élèves.

Au niveau le plus général, il apparaît d’une part que comparativement aux non redoublants les futurs élèves redoublants présentent des performances scolaires plus faibles et de moins bonnes évaluations comportementales, confirmant ainsi les résultats de la littérature (Gadeyne, et al., 2008; Reynolds & Bezruczko, 1993; Willson & Hughes, 2009). La précocité du redoublement étant d’autant plus importante que les scores à ces évaluations sont faibles. D’autre part, nos résultats montrent que l’évaluation par les enseignants des habiletés d’autorégulation des élèves rend compte d’une valeur pronostique satisfaisante puisque l’indicateur relatif à l’aire sous la courbe présente des valeurs significatives de .88 et .82 dans la prédiction du redoublement en fin de CP et en fin de CE1. Par ailleurs, comparativement à une évaluation des performances académiques, la comparaison des aires sous la courbe montre que l’évaluation des habiletés d’autorégulation ne présente pas un niveau de discrimination significativement différent de celle des performances académiques dans sa capacité à détecter les futurs redoublants en fin de CP ou de CE1.

Ces résultats confirment que les prédictions réalisées à partir des questionnaires renseignés par les enseignants diffèrent relativement peu de celles effectuées à partir d’évaluations cognitives ou des performances des élèves (Quay & Steele, 1998) alors même que les performances académiques sont un puissant prédicteur des performances et trajectoires ultérieures des élèves (Guimard, et al., 2007; Willson & Hughes, 2009). Ce constat peut sembler trivial dans le cas de la détection des élèves redoublants en fin de CP. Le fait que le prédicteur et le critère soient dépendants contribue probablement à la bonne valeur pronostique de l’évaluation des habiletés d’autorégulation. Cependant, cette remarque est moins pertinente pour ce qui concerne la détection des futurs élèves redoublants de CE1 puisque, dans ce cas, les élèves sont plus rarement suivis par le même enseignant sur deux années.

Lorsqu’on fixe des valeurs seuils à l’évaluation des habiletés d’autorégulation pour en interroger la capacité à détecter des futurs élèves redoublants en fin de CE1, les valeurs d’indice de .80 ne peuvent être atteintes conjointement pour la sensibilité et la spécificité. Lorsqu’on privilégie la spécificité de l’outil au détriment de sa sensibilité, la valeur prédictive positive en est augmentée sans toutefois dépasser le seuil de .50 : moins de la moitié des élèves détectés comme à risque par l’outil seront l’objet d’un redoublement 2 ans plus tard. Ceci va dans le sens de travaux antérieurs qui montrent des indices comparables (Guimard & Florin, 2007).