Comme lors des évaluations précédentes, le PPCE de 2013 a recueilli des informations
contextuelles auprès des élèves, du personnel enseignant et des directions des écoles (à l’aide du questionnaire de l’école). L’analyse des données des questionnaires a compris les étapes suivantes :
1. analyse préliminaire ; 2. statistiques descriptives ;
3. analyse factorielle pour créer des variables calculées lorsque cela était approprié ; 4. analyse des items pour les échelles élaborées postulées et empiriques ;
5. analyse de comparaison des groupes ; 6. analyse corrélationnelle :
i. corrélation simple,
ii. modèles de régression linéaire multiple, iii. modèles de régression à niveaux multiples.
Ces analyses statistiques ont été faites pour chacun des trois questionnaires et ont été présentées pour chaque langue.
Analyse préliminaire
L’analyse préliminaire a suivi la même procédure que pour les items de l’évaluation. Elle a compris un filtrage des données et la recodification de certains items. Le traitement des données non valables et des valeurs manquantes, cependant, a été légèrement différent. Il fallait s’attendre à des réponses non valables (c.-à-d. les cas où l’individu donnait de multiples réponses à une seule et même question), des items omis et des items non atteints dans les données des questionnaires. Ces réponses ont toutes été traitées comme des valeurs
manquantes. Cependant, les données n’étaient pas censées contenir d’items non utilisés dans l’évaluation, car tous les élèves avaient eu à remplir le questionnaire contextuel au complet.
Filtrage des données
Des tableaux de fréquence ont été produits pour chaque item :
pour vérifier la présence d’anomalies dans les données (données aberrantes, clés incorrectes, etc.) ;
pour examiner (examen de premier niveau) la répartition des réponses (fréquence et pourcentage) ;
pour déterminer (et, au bout du compte, évaluer) le taux de données manquantes par item et par cahier.
Recodification des items
Le PPCE de 2013 comprenait à la fois des réponses valables et des réponses non valables. La réponse à une question était valable si l’élève n’avait choisi qu’une option pour la réponse, mais elle était considérée comme non valable si l’élève avait choisi plus d’une réponse. La tâche
décrite ici a consisté à recodifier les données brutes sur les réponses valables et non valables aux items des questionnaires de l’élève, du personnel enseignant et de l’école.
Les réponses non valables ont reçu le code 7 pour les distinguer des réponses valables et des réponses manquantes.
Données manquantes
Il y a eu trois types de données manquantes dans les questionnaires du PPCE de 2013 :
réponses manquantes parce que l’élève n’avait pas eu assez de temps pour remplir le questionnaire (item non atteint)26;
items omis, c’est-à-dire items sautés par l’élève volontairement ou non à des endroits quelconques dans le questionnaire;
données manquantes parce que les questionnaires des enseignantes et enseignants ou des élèves remplies sur papier sont retournés après la capture des données s’est terminée.27
Ces types de données manquantes ont reçu le code 9. Quand cela était possible, les données manquantes ont été saisies à l’aide du processus d’imputation multiple (IM). Les données manquantes présentent des problèmes significatifs dans la modélisation statistique, parce que le cas est typiquement supprimé s’il y a des données manquantes dans l’une quelconque des variables du modèle. Même si le nombre de cas manquants pour une variable donnée est faible, le nombre de cas manquants augmente de façon significative si les données manquantes sont éparpillées entre différents cas. L’utilisation d’une technique comme l’IM permet de minimiser le problème.
Statistiques descriptives
Les statistiques descriptives ont été produites par instance et par langue. Elles comprenaient des distributions de fréquence et des distributions en pourcentage pour tous les items utilisant des échelles discontinues ou de type Likert. Les statistiques descriptives incluaient également la moyenne, l’écart-type et les statistiques de forme (asymétrie).
Analyse factorielle
L’analyse factorielle a fait intervenir l’exécution d’une analyse factorielle exploratoire (AFE) du PPCE de 2013.
26 Il n’y avait pas de limite de temps pour le personnel enseignant et pour les directions des écoles, de sorte que les résultats n’étaient pas censés avoir des données manquantes.
27 Les données de 25 pour cent seulement des élèves et des enseignantes et enseignants du Nouveau-Brunswick sont capturées parce que les questionnaires remplis sur papier étaient retournés plusieurs mois après que la capture des données soit terminée. Seulement les données des questionnaires retournées en ligne par cette population sont incluses.
Analyse des items : analyse de la théorie classique des items
Une analyse statistique classique a permis l’évaluation de certaines propriétés de mesure des items des questionnaires contextuels du PPCE de 2013. Elle a été effectuée pour chaque
questionnaire et les résultats ont été présentés par instance et par langue. Elle s’est concentrée principalement sur les éléments suivants :
moyenne et écart-type ;
discrimination des items ;
pourcentage de personnes interrogées ayant une réponse manquante pour l’item ;
indice de cohérence interne pour chaque échelle dans chaque questionnaire.
Analyse de comparaison des groupes
L’analyse de comparaison des groupes a fait intervenir les éléments suivants :
comparer les moyennes de rendement ou certaines variables liées aux élèves (p. ex., l’attitude de l’élève vis-à-vis des sciences, la perception qu’il a de sa propre efficacité, son assurance) par rapport à une variable catégorique donnée (par exemple, le sexe,
l’emplacement de l’école — en milieu rural ou urbain) tirée d’un des questionnaires (questionnaire de l’élève, questionnaire du personnel enseignant ou questionnaire de l’école) ;
comparer le niveau de rendement par rapport à une variable catégorique donnée tirée d’un des questionnaires (questionnaire de l’élève, questionnaire du personnel enseignant ou questionnaire de l’école) ;
comparer la moyenne de rendement par rapport à un ensemble de variables
contextuelles catégoriques se rapportant à l’élève, au personnel enseignant ou à l’école ;
comparer les moyennes de rendement (autres variables des élèves, comme l’attitude de l’élève vis-à-vis des sciences, la perception qu’il a de sa propre efficacité, son assurance) par rapport à un ensemble de variables catégoriques se rapportant au personnel
enseignant ;
comparer les moyennes de rendement (autres variables des élèves, comme l’attitude de l’élève vis-à-vis des sciences, la perception qu’il a de sa propre efficacité, son assurance) par rapport à un ensemble de variables catégoriques se rapportant à l’école.
Analyse corrélationnelle
L’analyse corrélationnelle a fait intervenir les éléments suivants :
calculer des coefficients de corrélation simple ‒ aussi appelée corrélation bivariée ou corrélation d’ordre zéro ‒ entre le niveau de rendement des élèves et une variable calculée (tirée d’un questionnaire) ou une variable contextuelle donnée sur une échelle.
Comme les coefficients de corrélation étaient produits sous forme de matrices, ils
comprenaient également la corrélation entre les variables calculées et entre les variables calculées et les autres variables contextuelles ;
effectuer une analyse de régression linéaire multiple pour prédire le rendement en sciences à partir d’un ensemble de variables se rapportant aux élèves, notamment de variables catégoriques ;
effectuer une analyse de régression linéaire multiple pour prédire le rendement au niveau de la classe, c’est-à-dire le rendement moyen de la classe en sciences, ainsi que le
rendement en lecture et en mathématiques, à partir d’un ensemble de variables se rapportant au personnel enseignant ou à l’école, notamment de variables catégoriques ;
Effectuer une analyse de régression linéaire multiple pour prédire le rendement au niveau de l’école, c’est-à-dire le rendement moyen de l’école en sciences, ainsi que le rendement en lecture et en mathématiques, à partir d’un ensemble de variables se rapportant au personnel enseignant ou à l’école, notamment de variables catégoriques.
Pour l’ensemble du travail d’analyse corrélationnelle, on a supposé que la variable dépendante (le rendement de l’élève) était liée de façon linéaire aux variables explicatives. Cependant, les hypothèses de régression linéaire ont été vérifiées avant de procéder à l’analyse.