Le traitement des données est un aspect important du projet, puisqu’il mène aux résultats de l’évaluation. Ce processus est d’autant plus complexe qu’il y a d’importantes étapes à suivre pour assurer la validité des résultats. Le CMEC a donc assemblé un comité consultatif technique
‒ groupe de spécialistes en mesure et évaluation, ainsi qu’en statistiques ‒ composé de
membres reconnus dans leurs domaines respectifs à travers le Canada et dotés d’une expertise de grande ampleur en matière d’évaluations à grande échelle en éducation.
Collecte des données
Les cahiers d’évaluation et les questionnaires ont été distribués lors de l’évaluation proprement dite. Au Canada, ce sont 32 604 élèves de 8e année/2e secondaire qui ont fait le test et répondu au questionnaire de l’élève. Au total, 1594 enseignantes et enseignants de sciences
responsables des élèves participants ont répondu au questionnaire du personnel enseignant et 1917 directrices et directeurs ont répondu au questionnaire de l’école. La collecte de données pour ces documents s’est déroulée sur une période de plusieurs semaines.
Saisie des données
Tout comme pour la mise à l’essai, lors de l’évaluation proprement dite, les élèves ont dû noircir des cercles sur une feuille de réponses pour les items à réponse choisie ou rédiger leurs réponses en quelques phrases dans le cahier d’évaluation pour les items à réponse construite.
Une fois qu’ils avaient terminé l’évaluation, ils disposaient de 30 minutes pour répondre aux questions du questionnaire de l’élève, à la fin du cahier d’évaluation.
À l’issue du déroulement de l’évaluation proprement dite, les instances ont toutes envoyé les cahiers d’évaluation, les feuilles de réponses et les questionnaires à Toronto pour la saisie des données. Le questionnaire de l’élève, le questionnaire du personnel enseignant et le
questionnaire de l’école contenaient des items à réponse choisie et n’avaient pas à être codifiés par des spécialistes. Ils ont donc été envoyés à une entreprise externe pour la saisie des
données. Les cahiers d’évaluation ont ensuite été expédiés à Moncton, au Nouveau-Brunswick, pour la séance de correction, lors de laquelle les correctrices et correcteurs ont corrigé tous les items à réponse construite dans plus de 32 000 cahiers. Les correctrices et correcteurs devaient attribuer un code à chaque item en noircissant les cercles appropriés sur une feuille de
correction.
Deux techniques ont été utilisées pour la saisie des données. Les données des feuilles avec cercles noircis ont été saisies à l’aide d’un scanneur. Pour les données des questionnaires, la technique utilisée a été la saisie manuelle.
Pour les données sur le rendement, les fichiers contenant des données illisibles ou les items avec de multiples réponses ont été analysés par un logiciel de reconnaissance optique des marques. Si, par exemple, les cercles d’une feuille de réponses donnée n’étaient pas suffisamment noircis, le programme indiquait qu’il s’agissait d’un fichier problématique.
L’agente responsable des données a vérifié ces fichiers électroniques un par un et a fait la saisie des données manuellement.
Contrôle de la qualité des données saisies
Pour les données des questionnaires, l’entreprise chargée de la saisie des données a
programmé des règles spécifiques pour chaque section et chaque réponse aux questions dans les trois questionnaires. Tous les 25 questionnaires, une vérification de contrôle de la qualité a été effectuée, lors de laquelle la superviseure ou le superviseur a vérifié les échantillons en saisissant à nouveau le questionnaire. Les différences, s’il y en avait, ont été signalées à
l’opératrice ou opérateur avant de procéder à une nouvelle saisie du questionnaire et à la saisie de nouveaux lots de questionnaires. Une fois que tous les lots de questionnaires ont été saisis et traités, des programmes ont validé le résultat produit en utilisant les règles établies avant la saisie des données.
Nettoyage des données
Lorsque les données ont été présentées par les instances, la première étape a été de vérifier la concordance entre la structure de la base de données et celle de la base de données du CMEC.
L’agente responsable des données a mis en évidence les variables supprimées, les variables ajoutées et les variables pour lesquelles les règles avaient été modifiées. Toutes les déviations ont été vérifiées et confirmées auprès des instances. Les fichiers de données ont ensuite été envoyés au centre de traitement des données du CMEC, pour faire l’objet de procédures de nettoyage et de recodification spécifiques.
Recodification générale
Après que le centre de données du CMEC a mené l’enquête sur toutes les déviations et introduit des corrections dans la base de données, les règles générales suivantes ont été appliquées aux incohérences non résolues dans la base de données du PPCE (il s’agissait généralement d’un très petit nombre de cas ou de variables par instance, tout au plus) :
Les incohérences non résolues concernant l’identification des élèves et des écoles ont conduit à la suppression de l’enregistrement dans la base de données.
Les enregistrements pour les élèves qui ne contenaient pas à la fois les données sur le rendement de l’élève et les données du questionnaire ont été supprimés.
Lorsqu’une variable pour un item avait été supprimée dans le questionnaire en raison d’une erreur de traduction, elle a été supprimée.
Les enregistrements doubles de données ont été repérés et seul un des enregistrements a été gardé, en se fondant sur des règles établies par le comité consultatif technique. Si, par exemple, deux fichiers portaient le même code d’identification, le fichier contenant moins d’informations a été supprimé.
Examen des données d’échantillonnage
La dernière étape de nettoyage des données pour les données d’échantillonnage et de suivi s’est fondée sur l’analyse des fichiers de suivi (formulaire de suivi des élèves, formulaire de suivi
des cahiers, etc.). Le CMEC a analysé les données d’échantillonnage et de suivi, les a vérifiées et, si nécessaire, a procédé à une recodification supplémentaire. Si, par exemple, une instance avait un nombre plus élevé d’élèves dans une langue que ce qu’exigeait le cadre
d’échantillonnage, alors les codes de langue pour les écoles ont été vérifiés et recodifiés selon les besoins.
Dernier examen des données et préparation de la base de données
Une fois que toutes les données avaient été saisies et examinées, les fichiers ont été compilés et fusionnés par un spécialiste externe. Les bases de données ainsi obtenues ont été envoyées au CMEC, avec certaines analyses préliminaires. Pour les questionnaires, les rapports
contenaient des statistiques descriptives sur chaque item du questionnaire. Pour les données sur le rendement des élèves, deux analyses ‒ une analyse classique et une analyse du
fonctionnement différentiel des items (FDI) ‒ ont été fournies. Ceci a permis de produire des informations sur les items du test qui semblaient avoir produit des résultats inacceptables et sur toutes les données ambiguës qui subsistaient dans les questionnaires. Avec ces
informations, on a corrigé la clé et procédé à une recodification supplémentaire des données ambiguës. Par exemple, si l’ambiguïté était liée à des erreurs d’impression ou de traduction, alors un code « sans objet » a été appliqué à l’item.
Le résultat de la recodification (exigée à la suite de l’analyse initiale des données sur le rendement des élèves et des données des questionnaires) a été introduit dans les fichiers de données. Les fichiers de données ont ensuite été pondérés en fonction de la taille des
populations décrite dans le cadre d’échantillonnage du PPCE.