au Brésil ; les enquêtes PISA
IV.3. Les échelles de performance et les livrets de référence pour les mathématiques
Dans toutes les évaluations, tant en mathématiques qu’en langue portugaise effectuées par les tests ANEB et ANRESC (Prova Brasil), les élèves de toutes les séries/années sont évalués avec des questions à choix multiples. Pour chaque question sur quatre alternatives de réponse présentées, une seule est correcte. Durant le passage du test chaque élève doit écrire un «X» sur le formulaire de réponse en face de la réponse choisie.
L’INEP/MEC présente quelques exemples de questions posées dans l’ANRESC (Prova
Brasil). Elles sont disponibles sur le site : http://portal.inep.gov.br/web/saeb/exemplos- de-questoes2 .
Toutes les questions sont liées à des Livrets de Référence (voir Annexe A. II). Ces documents contiennent l’ensemble des compétences de chaque série pour chaque discipline qui peuvent être mesurées à travers les items (questions) du test Prova Brasil. Il convient de souligner que les Livrets de Référence ne doivent pas être confondus avec
164 les propositions curriculaires des réseaux ou des écoles, car ils ne couvrent pas
l’ensemble du programme scolaire (QEdu, 2015117).
Ces documents qui décrivent les lignes directrices pour l’élaboration des questions, réunissent le contenu à évaluer dans chaque discipline pour chaque série, donnant ainsi
de la transparence et de la légitimité au processus d’évaluation.
Les contenus associés aux compétences et aptitudes souhaitées pour chaque série/année et, pour chaque discipline, ont été subdivisés en parties plus petites, chacune spécifiant
ce que les items des tests devraient mesurer – ces unités sont appelées des descripteurs.
Ceux-ci servent de base pour la construction des items des tests, puisqu’ils traduisent une association entre les contenus curriculaires et les opérations mentales développées par les élèves. Les descripteurs précisent donc ce que chaque compétence implique et sont utilisés comme base pour la construction d’items de test provenant des différentes disciplines. (Brésil-Ch.-IV, 2015-I)
Chaque descripteur donne lieu à différents items et à partir des réponses obtenues, on peut mesurer ce que les élèves savent et sont capables de faire avec les connaissances acquises. Bien que les livrets de référence des deux tests ANEB et ANRESC soient très importants, ils ne couvrent pas la totalité du programme scolaire et ne doivent pas être confondus avec des stratégies, des orientations méthodologiques ou des mini- programmes (Brésil-Ch.-IV, 2015-I).
Les bases de l’INEP/MEC pour la sélection des compétences et des capacités sont les
Paramètres Curriculaires Nationaux (Parâmetros Curriculares Nacionais) approuvés
par la Base Nationale Commune Curriculaire (BNCC – Base Nacional Comum
Curricular) pour l’Enseignement Fondamental et le Lycée (Ensino Médio) des
différents programmes adoptés par les Secrétariats d’Éducation des États (Secretarias
Estaduais de Educação) et Secrétariats d’Éducation Municipaux (Secretarias Municipais de Educação) ainsi que les manuels utilisés par les enseignants des réseaux publics et privés.
Pour les mathématiques, le Livret de Référence est divisé en quatre blocs portant chacun sur un thème : Thème I - Espace et Figures, Thème II - Grandeurs et Mesures, Thème III - Nombres et Opérations/Algèbre et Fonctions, et Thème IV - Traitement de l’information. Il est spécifique à la 5ème et la 9ème année de l’Enseignement Fondamental et la 3ème année de lycée, (voir l’annexe A. II.), (Brésil-Ch.-IV, 2015-II).
Comme résultats, l’ANRESC/Prova Brasil fournit des moyennes de performance basées sur des évaluations de contenu dans les différentes disciplines, à chacune des écoles participantes. Ces moyennes de performances produisent des indices de
performance qui sont également utilisés pour le calcul de l’IDEB.
Selon l’Institut Brésilien de Géographie et de Statistiques (IBGE– Instituto Brasileiro
de Geografia e Estatística) (Brésil-Ch.-IV, 2015-II), les résultats sont produits à partir de l’évaluation des aptitudes et des compétences proposées dans les curriculums qui
117 Portail QEdu. Disponible sur le site : http://www.qedu.org.br/ajuda/conceitos/prova-brasil consulté le 8 janvier 2016.
165 sont développés par les élèves à un certain stade de l’éducation statutaire. Comme les curriculums sont très vastes, un élève ne peut pas satisfaire toutes les compétences
réunies dans un test unique. Un groupe d’élèves répond à divers tests. De cette façon,
les résultats ne reflètent pas le pourcentage de réponses correctes d’un seul élève
répondant à un test, mais celui d’un ensemble d’élèves, répondant aux compétences du
programme proposé, distribués sur plusieurs tests différents. C’est plutôt un résultat pour chaque unité prévue et non pour un élève individuel. Cette méthodologie permet de comparer les performances des réseaux et des écoles sur plusieurs années.
Selon IBGE (Brésil-Ch.-IV, 2015-II) :
« Les résultats d’ANRESC/Prova Brasil sont présentés sur une échelle de performance par discipline, composée de niveaux désignés par des chiffres. Dans l’échelle de la langue portugaise, il existe neuf niveaux de performance des élèves : 125, 150, 175, et ainsi de suite jusqu’au niveau 350. L’échelle des mathématiques est composée de douze niveaux allant de 125 à 425 points. Les échelles des deux zones varient de 25 en 25 points. La performance des élèves est également présentée sous forme numérique. »
Mais il est nécessaire qu’en plus de ces résultats purement numériques il y ait une interprétation pédagogique des résultats, qui décrive, à chaque niveau, le groupe de compétences que les élèves ont démontré avoir développées en répondant aux tests, donnant ainsi une signification pédagogique aux données (Brésil-Ch.-IV, 2015-I). Chaque niveau est composé des capacités qui y sont décrites, auxquelles on ajoute celles
contenues dans les niveaux précédents. Ainsi les niveaux finaux de l’échelle contiennent
les compétences les plus élevées retenues dans les livrets. Par l’emplacement numérique
de la performance sur une échelle, il est possible de savoir quelles sont les compétences que les élèves ont déjà construites, celles qu’ils sont en train de développer et celles qui doivent encore l’être.
En outre, la performance est présentée par un histogramme des pourcentages d’élèves
étant arrivés à chaque niveau de l’échelle, ce qui permet une meilleure visualisation de
la situation des différents groupes d’élèves, dans le contexte de la population et des sous-populations évaluées.
Pour chacun des deux tests (Prova Brasil et SAEB), les notes vont de 0 à 425, mais seules les notes supérieures à 125 sont prises en considération pour les élèves qui ne sont pas dans une situation particulière de retard.
Les élèves sont répartis en 4 niveaux sur une échelle de compétences : Insuffisant,
Basique, Compétent et Avancé. Pour la 5ème année de l’Enseignement Fondamental, les
élèves de niveau Compétent et Avancé sont ceux qui ont obtenu une performance égale ou supérieure à 200 points en portugais et 225 points en mathématiques. Pour la 9ème
année de l’Enseignement Fondamental, les élèves de niveau Compétent et Avancé sont
ceux qui ont obtenu une performance égale ou supérieure à 275 points en portugais et 300 points en mathématiques.
166
Les niveaux de l’échelle de performance en Mathématiques – SAEB – pour la 5ème et la
9ème année de l’Enseignement Fondamental et pour la 3ème année de lycée sont reportés
dans l’Annexe A. III. On peut également les consulter sur le site :
http://download.inep.gov.br/educacao_basica/prova_brasil_saeb/escala/2011/escala_des empenho_matematica_fundamental.pdf.