En raison de la façon dont le PISA calcule les taux de réponse, le nombre d’écoles qui figurent dans l’ensemble de données est plus élevé que celui utilisé pour calculer le taux de participation (Westat, 2016b)2. Par conséquent, même si 85 écoles manitobaines ont participé, les analyses pour la province portent sur les données tirées de 88 écoles.
Habituellement, le PISA sélectionne de façon aléatoire 42 élèves dans chaque école (c’est ce qui s’appelle la taille du groupe cible ou TCS) pour participer à l’évaluation. Par ailleurs, puisque les écoles ont été échantillonnées en fonction de leur taille et que plusieurs variables de stratification sont incluses dans la conception de l’échantillonnage, un grand nombre de petites écoles manitobaines ont participé à l’évaluation. La Figure 1 montre le nombre d’élèves âgés de 15 ans qui fréquentent chaque école sélectionnée, ainsi que le nombre d’entre eux qui ont participé à l’évaluation.
En vertu des critères du PISA, une école est considérée très petite si son TCS compte 20 élèves ou moins (OCDE, 2017b). Même si sept écoles pourraient être considérées comme étant très petites, car elles regroupaient 20 élèves de 15 ans ou moins, 22 écoles ayant moins de 20 élèves participants ont pris part au PISA.
Figure 1 Nombre d’élèves de 15 ans qui fréquentent l’école et qui par�cipent à l’évalua�on du PISANombre d’élèves de 15 ans fréquentant l’école et nombre de ceux-ci qui ont pris part au PISA
Nombre d’élèves
Nombre d’écoles
Très pe�tes écoles
Nombre d’élèves de 15 ans dans l’école Nombre d’élèves de 15 ans qui par�cipent Moins de 20 élèves par�cipants 500
400
300
200
100
0
Lors du calcul de la moyenne du rendement par école, il faut savoir que l’erreur-type peut être affectée par plusieurs facteurs, y compris les variances intra-école et la taille des écoles. Dans l’évaluation du PISA 2015, huit écoles affichaient des erreurs-types supérieures de plus d’un cinquième (20 points) à l’écart-type du PISA (100 points), (Cohen, 1992).
Dans de tels cas, les résultats de rendement doivent être interprétés avec une extrême circonspection. Pour déterminer la validité et la fiabilité des résultats d’une école, il faut tenir compte à la fois de la taille de l’échantillon et de l’erreur-type. La Figure 2 présente l’erreur-type des écoles du Manitoba dans le domaine principal des sciences à l’évaluation du PISA 2015.
Figure 2 Erreur-type dans les scores en sciencesErreur-type des écoles en science
Erreur-type
Nombre d’écoles 40
35 30 25 20 15 10 5 0
0 10 20 30 40 50 60 70 80 90
Les résultats par école et par matière nous permettent de faire des constatations intéressantes. Dans ces figures, les écoles sont classées dans un ordre descendant selon leur moyenne et celles ayant moins de six élèves participants sont indiquées en rouge. Affichant des moyennes provinciales de 499, de 498 et de 489 en sciences, en lecture et en mathématiques respectivement (O’Grady et coll., 2016), les Figures 3 et 5 permettent de relever d’importants écarts entre les écoles.
En mathématiques, 16 écoles ont obtenu un score de 20 points supérieur à la moyenne provinciale de 489, alors que plus de 25 autres écoles ont eu un résultat de plus de 20 points inférieur (Figure 3). La Figure 4 offre une différente représentation des écarts observés dans les résultats en lecture et confirme le fait qu’il existe dans la province plus d’écoles à faible rendement qu’à rendement élevé. Ces résultats laissent penser qu’il serait peut-être plus utile de mettre
en œuvre des interventions à l’échelle du système scolaire plutôt qu’à celle des écoles individuelles pour améliorer les écoles à faible rendement.
Figure 3 PISA 2015 – Répartition des scores moyens en mathématiques par école
Remarque : Quelque 63 p. 100 des écoles ont un score moyen qui se situe entre 485 et 515.
Figure 4 PISA 2015 – Résultats des écoles en lecture
Nombre d’écoles
Rendement moyen
700 600 500 400 300 200 100 0
En sciences, malgré une moyenne provinciale de 499 points, près de 300 points séparent les écoles à faible rendement de celles à rendement élevé (Figure 5). C’est là une énorme différence, puisque l’écart de rendement entre le pays le plus performant (Singapour) et le pays le moins performant (République dominicaine) à l’évaluation du PISA 2015 est de 224 points (OCDE, 2016).
PISA 2015 – Répar��on des scores moyens en mathéma�ques par école
Rendement moyen
Nombre d’écoles
0 10 20 30 40 50 60 70 80 90 700
600 500 400 300 200 100 0
63 % des écoles ont un score moyen qui varie entre 485 et 515.
Figure 5 PISA 2015 – Résultats des écoles en sciences
Numéro d’iden�fica�on d’école
Score moyen
Moyenne provinciale
Bien au-dessus de la moyenne provinciale
Pas significativement différent de la moyenne provinciale En dessous de la moyenne provinciale
700
600
500
400
300
200
100
0
Une autre façon d’examiner les résultats des écoles est de prendre en compte la langue utilisée par le système scolaire.
Or, le Manitoba accuse des différences substantielles entre les systèmes scolaires de langue anglaise et ceux de langue française en ce qui concerne le rendement des élèves en sciences et en lecture (Tableau 1). La Figure 6 présente la moyenne des écoles selon la langue du système scolaire. Comme le confirment les données du Tableau 1, il y a plus d’écoles à faible rendement dans le programme de langue française que dans celui de langue anglaise.
Tableau 1 PISA 2015 – Résultats selon la langue du système scolaire
Science Lecture Mathématiques
Moyenne E.T Moyenne E.T Moyenne E.T
Anglais 501 5,0 501 5,3 489 4,5
Français 473 6,9 461 8,1 482 8,9
Figure 6 PISA 2015 – Résultats en sciences selon la langue du système scolaire
Numéro d’iden�fica�on d’école
Rendement moyen
700 600 500 400 300 200 100 0
Un autre point intéressant qui ressort de la Figure 6, c’est que dans 10 écoles du Manitoba, certains des élèves ont passé l’évaluation en anglais et d’autres, en français. Trois d’entre elles ont eu de faibles résultats qui variaient entre 436 et 446 points, tandis que trois autres ont obtenu de meilleurs résultats avec des moyennes variant entre 523 et 538 points. Il serait indiqué de réaliser des analyses supplémentaires sur ces écoles, car il n’est pas facile d’assurer le suivi au Manitoba de facteurs tels que la langue de l’évaluation ou du système scolaire.