Les items présentés aux élèves dans les évaluations à grande échelle doivent être vérifiés quant à leur qualité intrinsèque, de même qu’en matière d’applicabilité à la population cible. Les items élaborés par des spécialistes de contenu sont testés à cette étape du processus. La mise à l’essai des items s’effectue sur un plus grand nombre d’items que l’évaluation proprement dite, afin que seuls les meilleurs soient retenus pour évaluer le rendement des élèves de 8e année/2e secondaire.
Groupe de travail sur la sélection des items — Mise à l’essai
Le groupe de travail sur la sélection des items, composé de représentantes et représentants de quatre instances, s’est réuni pour examiner tous les items de sciences sur le plan du contenu, du vocabulaire et de la traduction et a vérifié la classification des items selon les sous-domaines et les compétences du test. Ce groupe a également examiné les items afin de mettre en
évidence tout problème concernant le niveau de vocabulaire ou les préjugés (relatifs au sexe, à la culture, à la géographie, etc.). Le groupe de travail a sélectionné des items pour la mise à l’essai sur le terrain qui couvraient bien les différents sous-domaines et compétences en sciences, avec différents niveaux de difficulté.
Cahiers d’évaluation
Trois cahiers d’évaluation ont été préparés pour la mise à l’essai. Chaque cahier était conforme aux spécifications figurant dans le Cadre d’évaluation en sciences du PPCE et contenait environ 40 items en sciences, ainsi que le questionnaire de l’élève. Les élèves avaient 90 minutes pour remplir le cahier et 30 minutes pour remplir le questionnaire. Les questionnaires du personnel enseignant et de l’école ont été préparés sous la forme de cahiers séparés.
Séance de correction des items
La séance de correction s’est déroulée sur quatre jours à Gatineau, du 10 au 13 juillet 2012.
Approximativement 2000 cahiers ont été corrigés, dont environ 1000 cahiers en français et 1000 cahiers en anglais. La séance comportait deux chefs de table, dont l’un pour la table francophone et l’autre pour la table anglophone, ainsi que 14 correctrices et correcteurs, dont la moitié se trouvait à la table francophone et l’autre moitié à la table anglophone.
Le processus de correction a employé des tests de fiabilité croisés, deux fois par jour, pour s’assurer que les correctrices et correcteurs évaluaient les items de la même façon et selon les codes attribués par les spécialistes. Le degré d’uniformité entre les correctrices et correcteurs et les spécialistes était généralement supérieur à 85 p. 100. Pour les quelques items où le test de fiabilité donnait des résultats moins uniformes, les correctrices et correcteurs ont réexaminé les documents de formation et procédé ensuite à une nouvelle correction des items.
Capture des données
Les élèves ont indiqué leurs réponses (pour les items à réponse choisie) sur un feuillet de réponses détachable et ont écrit leurs réponses (pour les items à réponse construite)
directement dans les cahiers d’évaluation du PPCE. Pour les items à réponse choisie, chaque réponse correcte recevait un point. Pour les items à réponse construite, qui pouvaient recevoir un plein crédit ou un crédit partiel, le score attribué se situait sur un barème de 0 à 2.
Lors de la séance de correction pour la mise à l’essai, les correctrices et correcteurs n’ont corrigé que les items à réponse construite en noircissant dans un feuillet de correction le cercle correspondant le mieux à la réponse de l’élève. Les correctrices et correcteurs avaient reçu chacun une liasse de 10 cahiers d’évaluation qui provenaient de différentes instances. Une fois la séance de correction terminée, tous les cahiers d’évaluation ont été envoyés à un cabinet de capture de données, où les données des items à réponse choisie et des questionnaires de l’élève, de l’école et du personnel enseignant et les codes des correctrices et correcteurs pour les items à réponse construite ont été capturés. Les données recueillies ont été fusionnées dans un fichier Excel pour créer une base de données.
Analyse des données
Les données de la mise à l’essai pour les items de sciences ont été analysées simultanément par un spécialiste de la psychométrie du CMEC et par un spécialiste externe. Ce processus parallèle avait pour but de garantir la validation des données. Les données ont été présentées au comité consultatif technique du PPCE, qui a examiné l’analyse, les bases de données, les fichiers et les règles suivies pour la capture des données (par exemple, pour la pondération des items).
Une seule base de données de mise à l’essai a été créée pour les items de l’évaluation et des questionnaires. En plus d’un score global de rendement, des scores pour chaque scénario, sous-domaine et compétence ont été produits.
L’analyse des données s’est effectuée selon la théorie classique. Le comité consultatif technique du PPCE a utilisé les données ainsi obtenues pour sélectionner, d’un point de vue statistique, les meilleurs items pour l’évaluation proprement dite et pour rejeter les items aberrants, c’est-à-dire ceux qui ne se comportaient pas comme les autres items du test. Pour analyser les items, des indices statistiques ont été utilisés, dont un indice de difficulté et un indice de
discrimination, afin de vérifier les qualités psychométriques de chaque item. L’indice de difficulté est déterminé à partir de la valeur p, p étant la proportion des individus qui ont bien répondu à un item par rapport au nombre total d’individus qui ont répondu à cet item. Les spécialistes ont également vérifié la discrimination des items, pour veiller à ce que chaque item distingue les élèves plus forts des élèves plus faibles. Le coefficient alpha de Cronbach a aussi été utilisé pour estimer la cohérence interne du test.
Les spécialistes en statistiques ont également procédé à d’autres analyses pertinentes, comme le calcul des moyennes pour chaque item et la préparation des distributions des fréquences pour le pourcentage d’élèves ayant sélectionné chaque réponse pour les items à réponse choisie ou ayant obtenu chaque code pour les items à réponse construite. Ils ont également analysé le pourcentage de données manquantes et effectué une analyse du fonctionnement différentiel des items (FDI) selon le sexe et la langue.
Groupe de travail sur la sélection des items — Évaluation proprement dite
Après la mise à l’essai des items, le groupe de travail sur la sélection des items, composé de représentantes et représentants de sept instances, s’est réuni pour examiner et sélectionner des scénarios et des items pour l’évaluation proprement dite. Tous les cahiers d’évaluation ont été fournis aux membres du groupe, de même que les résultats et les statistiques pour chaque item, afin qu’ils puissent vérifier la qualité, le degré de difficulté et l’équivalence du
fonctionnement des items dans les deux langues et pour les deux sexes. Ils ont aussi pris en compte les commentaires des correctrices et correcteurs qui avaient participé à la séance de correction des items de la mise à l’essai (à partir du questionnaire qui leur avait été donné à la fin de la séance de correction). Ce questionnaire contenait des remarques pertinentes sur l’instrument d’évaluation en général, de même que des commentaires sur chaque item concernant sa qualité.
Le groupe de travail a sélectionné les items pour les trois domaines : sciences, lecture et
mathématiques. Un très petit nombre d’items en sciences des évaluations précédentes du PPCE ont été retenus, mais sans l’intention de les utiliser comme items d’ancrage. Tous les items en lecture et en mathématiques étaient des items d’ancrage et étaient donc identiques à ceux utilisés lors de l’évaluation où ils faisaient partie du domaine principalement : lecture pour le PPCE de 2007 et mathématiques pour le PPCE de 2010. Comme il ne fallait qu’un petit sous-ensemble d’items, le groupe de travail a pris soin de bien représenter chaque sous-domaine et un éventail de niveaux de difficulté.
Le groupe de travail comprenait des spécialistes bilingues qui devaient comparer les versions françaises et anglaises des cahiers d’évaluation, afin de déterminer si les élèves réussissaient mieux pour un item dans une langue que dans l’autre et, le cas échéant, de discuter des raisons possibles de tels résultats.
Le groupe de travail a également examiné les réponses des questionnaires de l’élève, de l’école et du personnel enseignant au niveau du contenu et d’un point de vue statistique et
psychométrique. Il a choisi les items qui, selon lui, pouvaient fournir le plus de données pertinentes lors de l’évaluation proprement dite, comme l’établissement de liens entre les données contextuelles et le rendement des élèves.
Révision du cadre d’évaluation
La mise à l’essai des items a fourni des informations sur les items qui ont facilité la sélection des meilleurs items pour l’évaluation proprement dite. Le Cadre d’évaluation en sciences du PPCE a été par la suite réexaminé afin de s’assurer qu’il correspondait bien aux items de l’évaluation.
Très peu de changements ont été nécessaires.