bilan des acquis des élèves, l’une à quinze ans, l’autre en fin de collège. La première,
PISA, évaluation internationale, apporte un regard extérieur sur notre système
par sa visée comparative du rendement des systèmes éducatifs de la trentaine de
pays participants. Sa présentation et son analyse détaillées permettent de mieux
comprendre les problèmes soulevés par les résultats français et d’avancer quelques
explications sur le comportement de nos élèves, par exemple leur plus grande
fréquence de non-réponses que dans les autres pays aux questions nécessitant de
construire une réponse écrite, leur grande dépendance aux situations connues…
PISA évalue les élèves à la fin de la scolarité obligatoire de la majorité des pays
participants ; cette définition assez inhabituelle de la population en classe d’âge
fait émerger une grande disparité des acquis entre des élèves qui sont scolarisés en
France au collège et au lycée. Nouvelle et encore en cours de traitement, la seconde
évaluation institutionnelle présentée dans cet article prend place en fin de collège.
Elle est utilisée afin d’éclairer les résultats de PISA. Le recouvrement partiel des
populations permet d’interroger les effets du redoublement sur les résultats. Le
regard croisé sur ces deux évaluations conduit à des recommandations s’appliquant
de l’école au collège : enseigner la compréhension, apprendre à la contrôler, savoir
argumenter ses réponses, renforcer le lien lecture-écriture…
INTRODUCTION
Le gouvernement français a eu, de longue date, la volonté politique de disposer d’informations statistiques sur son système éducatif, mais c’est en 1964 que le Ministère de l’éducation nationale a décidé de se doter d’un « service central des statistiques et de la conjoncture », chargé de recueillir des informations sur son fonctionnement et d’en effectuer l’analyse afin d’éclairer les décisions du ministre. Quarante ans après, la Direction de l’Évaluation et de la Prospective (DEP), grande direction ministérielle, témoigne de la volonté politique de disposer de dispositifs d’information statistique, d’évaluation et de prévision, pour piloter le système éducatif2.
1. Nous remercions Pierre Vrignaud, maître de conférences en psychologie du dévelop- pement, HDR, à Paris 10, pour sa lecture attentive et ses conseils.
2. Un panorama de ces quarante années écoulées peut être trouvé dans le rapport remis au Commissariat général du plan et à la DEP par R. Normand et al. (2004).
31.indb 113
REPÈRES N° 31/2005 M. RÉMOND
114
Cette direction, qui s’est considérablement développée, centralise mainte- nant les grandes opérations d’évaluation concernant les élèves.
Les évaluations de Bilan des acquis scolaires ont été introduites au cours des années soixante-dix pour l’école élémentaire, puis progressivement étendues au collège. Destinées à nourrir la réflexion des politiques, elles ont une fonction d’évaluation du rendement du système éducatif et servent à le piloter de manière centralisée (Céard, Rémond et Varier, 2003)3. La loi de 1989 a instauré les évalua- tions diagnostiques, à caractère national, systématique et obligatoire, qui se déroulent chaque année en français et en mathématiques à l’entrée en CE2 et en 6e. À la différence des évaluations de Bilan, ces évaluations produisent des données spécifiques à chaque élève que les enseignants doivent exploiter pour adapter leur stratégie pédagogique. Depuis cette loi, l’évaluation des compé- tences des élèves s’inscrit dans deux perspectives qui remplissent soit la fonction diagnostique, soit la fonction bilan.
Depuis cinq ans, de grands programmes d’enquêtes internationales et de nouvelles évaluations françaises en fin d’école et en fin de collège ont été mis en œuvre. Souvent cité, le programme PISA (OCDE) en fait partie, mais il reste mal connu en France. Il s’applique à des élèves de quinze ans et à cet âge, une proportion importante d’entre eux demeure encore au collège. Nous disposons depuis peu des premiers résultats de l’évaluation de fin de collège (DEP) passée en 2003. Aussi nous avons choisi de mettre en perspective les apports de ces deux dispositifs à fonction bilan. Nous allons tout d’abord présenter la philosophie des programmes internationaux en nous limitant au champ de la « lecture », puis nous présenterons PISA, sa conception, ses résultats ; dans une seconde partie, nous reviendrons aux évaluations françaises.
Les grandes enquêtes internationales portant sur l’évaluation des élèves sont destinées à donner une appréciation de l’efficacité relative des politiques éduca- tives. L’International Association for the Evaluation of Educational Achievement (IEA, créée en 1964) a été à l’origine de la plupart d’entre elles, rejointe en 1994 par l’OCDE pour un programme concernant les adultes IALS (International Adult
Literacy Survey). Dans les faits, les enquêtes sont menées par des organismes
retenus à la suite d’un appel d’offres de l’IEA ou de l’OCDE, maitres d’ouvrage. Un rapport du Haut Conseil de l’évaluation de l’école fait le point sur les enquêtes internationales depuis quarante ans (Bottani & Vrignaud, 2005).
En 1971, l’IEA lance sa première enquête. Celle-ci porte sur six matières, dont la Compréhension de la lecture et la Littérature, évaluées dans des études distinctes (élèves de 10-11 ans et 14-15 ans, Thorndike, 1973).
En 1991, à l’initiative de l’IEA, se déroule l’enquête « Reading Literacy », réfé- rence incontournable (Elley, 1994). Cette enquête tient compte des avancées de la recherche et de la production de modèles cognitifs de la lecture. Ses items contri- buent à évaluer des processus beaucoup plus nombreux et plus variés qu’en 1971 où vitesse de lecture et vocabulaire étaient privilégiés. Ainsi, les élèves (neuf et quatorze ans) doivent retrouver une information présente dans le texte, croiser des informations, repérer l’idée principale, inférer, etc. Nouveauté aussi, trois types de
3. Ce rapport remis au Haut Conseil de l’évaluation de l’école est disponible sur simple demande à hcee@education.gouv.fr.
31.indb 114
Regards croisés sur les évaluations institutionnelles
115 supports de lecture sont utilisés : des textes « informatifs, narratifs ou des docu- ments ». Enfin, en termes d’exploitation statistique, les résultats sont analysés avec une méthode nouvelle (MRI, Modèles de réponse à l’item) et présentés sous forme d’échelles4 qui décrivent les niveaux de performances des élèves pour chaque type de support.
Actuellement, deux programmes cycliques d’évaluation de la « reading lite- racy » sont menés : l’un par l’OCDE depuis 2000, PISA (Programme for International
Student Assessment, âge moyen 15 ans), l’autre par l’IEA depuis 2001, PIRLS (Progress in International Reading Literacy Study, 4e année de scolarisation obli- gatoire)5.
Ces deux enquêtes reposent sur des processus d’élaboration similaires gouvernés par un cadre conceptuel de référence élaboré par un groupe d’ex- perts internationaux spécialistes du domaine. Les enquêtes précédentes étaient soumises à un certain empirisme alors que ce cadre de référence prévoit dans le détail la structuration du domaine à évaluer6, et commence par définir la « reading
literacy » telle que le programme devra la considérer.
1. LE PROGRAMME « PISA »
1.1. Organisation générale
Le Programme International de Suivi des Acquis des élèves, PISA, évalue les compétences des jeunes de 15 ans, dans trois domaines : la compréhension de l’écrit, la culture mathématique et la culture scientifique. À chaque cycle d’évalua- tion, un domaine principal fait l’objet d’une étude en profondeur : la compréhen- sion de l’écrit en 2000, la culture mathématique en 2003, la culture scientifique en 2006. Les deux autres domaines sont étudiés de manière plus superficielle avec un moindre nombre d’items.
La notion de « culture » (correspondant à « literacy ») a été introduite dans PISA car cette évaluation n’est pas fondée sur les programmes scolaires. Cependant PISA s’intéresse à la maitrise d’aspects qui en résultent, ainsi qu’à des connaissances et à des aptitudes qu’il semble important de posséder dans la vie d’adulte. Dans chaque domaine évalué, l’accent est placé sur la maitrise de processus, la compréhension de concepts et la capacité d’être efficace dans des situations variées.
PISA a été confié à un consortium international dirigé par ACER (Australian
Council for Educational Research) à l’issue d’une procédure d’appel d’offres
auquel la France avait répondu dans le cadre d’un Consortium européen. Son
4. Le lecteur trouvera un exemple d’échelles dans la Note évaluation, 04-10 octobre, inti- tulée La maîtrise du langage et de la langue française en fin d’école primaire. Il pourra aussi se référer à l’exploitation de l’enquête de 1991 dans Lafontaine (1996).
5. Ces dispositifs sont détaillés dans Céard et al. (2003) et dans des publications de la DEP qui, en France, a mis ces évaluations en œuvre. Les sites de l’OCDE et de l’IEA peuvent aussi être consultés : www.pisa.oecd.org et isc.bc.edu/pirls2001.html. 6. Ces cadres de références ou « frameworks » ont été publiés par l’IEA et l’OCDE, voir en
bibliographie.
31.indb 115
REPÈRES N° 31/2005 M. RÉMOND
116
influence n’a pas été négligeable dans la mesure où des aspects théoriques de son projet ont été intégrés dans PISA et qu’un expert français a été nommé pour participer au programme.