CHAPITRE III : DESCRIPTION ET RÉSULTATS DES ÉVALUATIONS
2. Construction et contenu des tests
Les tests PASEC actuels ont été mis au point par un groupe d’experts du CIEP, de l’Université de Liège et de l’INEADE94, depuis le début des années 90. Ils ont été conçus sur la base des curricula de quelques pays, dont le Cameroun, la Côte d’Ivoire et le Sénégal. Essentiellement fondés sur un critère de discrimination de façon à générer de la variabilité dans les scores des élèves, les tests visent à identifier les facteurs de performance des systèmes éducatifs diagnostiqués. De nombreux items ont été testés sur le terrain pour parvenir à un ensemble d’items devant composer le test final. Cela sous-tend qu’avec les réformes curriculaires initiées dans certains pays inscrits au programme PASEC, ces tests ne répondent pas de façon exhaustive aux critères d’évaluation requis par rapport à ces systèmes. En effet, les curricula ont largement évolué et se sont diversifiés entre pays, sans que cela soit pris en compte dans les analyses, comme source de variation du niveau des élèves ; néanmoins, les contenus d’apprentissage évalués s’accordent globalement aux exigences des niveaux d’études ciblées et aux capacités latentes des élèves retenus dans l’échantillonnage. La méthodologie n’ayant pas été conçue pour mesurer l’évolution dans le temps du niveau des élèves, la répétition des évaluations dans certains pays a néanmoins permis cette démarche, en prenant toutefois quelques précautions d’ordre scientifique. Tous les programmes internationaux d’évaluation ont dû à un moment faire face à cette situation. En tous les cas, afin de répondre autant que faire se peut à la diversité des contextes éducatifs dans lesquels ils sont administrés, le PASEC a mandaté l’Université de Liège pour la réalisation d’une analyse des curricula pour la région, ainsi qu’une réflexion sur la révision des tests PASEC et des procédures de calcul des scores. Ce travail devait déboucher sur des propositions d’amélioration de la méthodologie. Pour autant, il reste que sur le fond, du moins jusqu’à la dernière campagne d’évaluation95, les tests ont conservé leur structure initiale. Que ce soit en 2e ou en 5e année, deux séries de tests ont été conçus dans les disciplines du français et des mathématiques.
94 Cf : Synthèse des résultats PASEC VII et VIII (juin 2008).
95 Les tests PASEC sont en cours révision depuis 2009.
196
La structure des tests de français de 2e année comprend 9 exercices au pré-test et 10 exercices au post-test. En début d’année, quatre principaux domaines de connaissances et de compétences ont été évalués dans la discipline du français et six domaines en fin d’année. En mathématiques, neuf domaines de compétences ont été évalués en début d’année et douze en fin d’année. À ce niveau en effet, l’apprentissage de la lecture, de l’écriture et de la langue, la connaissance et la compréhension des nombres, de leur écriture chiffrée et le calcul sur de petites quantités constituent les objectifs prioritaires. C’est pourquoi dans ces domaines, les acquisitions font l’objet d’une attention particulière. En effet, elles conditionnent les apprentissages ultérieurs, quelle que soit l’activité conduite en classe.
Tableau.III.1: Structure des tests de 2e année primaire
Matière Domaines Pré-test Post-test
testés d’exercices Nombre Nombre d’items Domaines testés d’exercices Nombre Nombre d’items
Français 4 9 25 6 10 40
Mathématiques 9 15 18 12 13 39
Dans les classes de 5e année, les élèves ont passé 16 exercices en pré-test et 12 exercices au post-test de français. Pour la discipline des mathématiques, 15 exercices leur ont été présentés en début d’année et 13 exercices en fin d’année. Correspondant au cycle des approfondissements, ce niveau d’étude est la continuité des premières années de l’école primaire. La maîtrise de la langue française ainsi que celle des principaux éléments de mathématiques sont les objectifs prioritaires. À ce niveau d’études, la compréhension et l’expression en langue vivante font l’objet d’une attention particulière, parce qu’une bonne connaissance de la langue d’enseignement constitue un facteur essentiel de la réussite à l’école.
Tableau.III.2: Structure des tests de 5e année primaire
Matière Domaines Pré-test Post-test
testés d’exercices Nombre Nombre d’items Domaines testés d’exercices Nombre Nombre d’items
Français 5 16 40 5 12 42
Mathématiques 9 15 34 12 13 41
Rappelons que les résultats aux tests sont synthétisés sous la forme de scores, qui sont des indicateurs des réponses aux items, codifiés par 1 (un) si la réponse est correcte ou par 0 (zéro) si
la réponse n’est pas correcte. Le score représente donc le nombre de réponses correctes totalisé par l’élève à partir de l’ensemble des items composant le test.
Étant donné que le score doit ici présenter une mesure valable des performances de l’élève, il importe malgré la diversité des domaines de compétences scolaires évaluées que les items puissent mesurer le même niveau du savoir construit et en ce sens, ils doivent répondre aux critères d’homogénéité pour être valides. Mesurée au moyen du calcul de l’indice alpha de Cronbach, la cohérence interne des items permet de s’assurer de la validité du score comme indicateur de performance de l’élève à l’issue du test. En plus du critère de consistance inter- items, il faut rajouter la précision des mesures effectuées. En effet, celles-ci peuvent être affectées par des sources d’erreurs extrinsèques provenant généralement des facteurs associés aux conditions d’administration et de correction des tests.
Tableau.III.3: Indice Alpha de Cronbach des tests administrés aux élèves
Pays Matière Pré-test Post-test Pré-test Post-test Niveau 2e année Niveau 5e année Matière BÉNIN Français Maths ,93 ,88 ,94 ,95 ,85 ,88 ,88 ,87 Français Maths GABON Français Maths ,90 ,77 ,94 ,91 ,86 ,81 ,87 ,76 Français Maths MADAGASCAR Français Maths ,88 ,84 ,89 ,93 ,77 ,82 ,74 ,84 Français Maths
Le tableau ci-dessus contient des indices alpha de Cronbach qui sont proches de 1. Les valeurs des coefficients dépassent presque partout le seuil de 0,80. Ceci témoigne à tous points de vue d’une cohérence interne satisfaisante des tests administrés aux élèves. Toutefois, les indices n’ont pas été apurés des liens de dépendance implicites pouvant exister entre items d’un même exercice.
De fait, en matière d’évaluation des acquis scolaires, l’indépendance des items est un paramètre important. En effet, lorsqu’une situation d’évaluation comporte plusieurs items liés, il y a une forte probabilité de voir les élèves commettre les mêmes erreurs devant les mêmes sources de difficultés. Pour illustration, un élève qui n’a pas bien compris l’algorithme de base de conversion des mesures éprouvera autant de difficultés à convertir les capacités, les masses, les longueurs ou autres mesures, tout comme l’élève qui maîtrise les règles de production de phrases grammaticales, type sujet, verbe et complément, sera apte à le faire indépendamment du temps ou de la personne de conjugaison.