QUE VAUT NOTRE EVALUATION
DES CONNAISSANCES?
LES AVATARS D'UN QUESTIONNAIRE
DE PHYSIQUE
Marie-Louise ZIMMERMANN Ecole JeanPiaget, LOES,Université de Genève
Daniel BAIN CRPP / Cycle d'Orientation, Genève
MOTS CLES :
évaluation - élève - questionnaire - représentations - généralisabilité RESUME : Un questionnaire de physique construit avec autant de sérieux (l0 enseignant" de physique, des chercheurs, des psychologues ) pouvait-il encore poser quelques problèmes? C'est pourtant le cas!Ne surestime-t-on pas la fiabilité des questionnaires et des épreuves?
Une partie des erreurs est due au décalage entre les conceptions du maître et les conceptions de l'élève. Nous en présenterons des exemples et nous les discuterons. Nous esquisserons quelques conditions pour améliorer la validité d'un questionnaire. ABSTRACT : CouId a physics questionaire, prepared with extreme care (10 Physics teachers, researchers, psychologists) still raise certain questions? Such is the case!
Do we not overestimate the reliability of questionaires and tests?
Part of the errors stem from the lag and differences between teachers conceptions and students' conceptions.We shall present examples and discuss them.
We shaH also suggest certain conditions for increasing the validity of a questionaire. A. GIORDAN, JL MARTINAND, Actes JES X, 1988
1.
INTRODUCTIONCette étude est faite avant tout par l'enseignant sur ses propres questionnaires, ce qui évite certaines difficultés que l'on peut rencontrer lorsqu'une autre personne (chercheur ou enseignant) se permet de faire une étude concernant les problèmes liés
à
l'utilisation de questionnaire. Cependant la collaboration enseignant chercheur est nécessaire afin de permettre de dépasser le niveau simple de la critique des questionnaires.2. LE QUESTIONNAIRE
Il a été élaboré dans le cadre d'une thèse sur la chaleur [1] par un groupe de chercheurs du L.D.E.S (enseignants de physique, didacticiens, psychologues). Il est le fruit des observations réalisées
à
partir de deux questionnaires précédents. Les thèmes étudiés sont: la thermométrie (11 items), le changement d'état (8 items), la différence entre sensation de chaleur et température (7 items). Les questions posées ne sont pas classées dans un ordre logique. Les premières questions doivent être simples et attractives afin d'inciter l'élèveà
lire le questionnaire.Les objectifs du questionnaire sont: -évaluer le progrès des élèves
-mettre en évidence les obstacles rencontrés par eux
3. METHODOLOGIE
Ce questionnaire a été passé à 199 élèves de l'école Jean Piaget [2] avant tout enseignement (pré-test) et environ un mois après tout enseignement (post-test). La procédure de passage des tests était fixée: la durée du test était de 45 minutes, aucune réponse ne devait être donnée par le surveillant, mais les questions des élèves étaient notées.
Le dépouillement des tests a nécessité un cotation détaillée des réponses. Cette cotation avait pour but de nous permettre non seulement de répertorier les réponses justes, mais aussi de mettre en évidence les erreurs les plus courantes afin d'essayer de les ex pliq uer.
4. LES AVATARS DU QUESTIONNAIRE
Nous allons faire une analyse critique des erreurs. Elles sont cependant de diverses sortes dans cette analyse. Nous ne nous arrêterons pas sur la formulation des questions, ni sur la difficulté de la lecture de certains dessins, mais nous nous centrerons sur le décalage entre les conceptions des élèves et celles des enseignants.
Nous allons considérer plus spécialement laquestion1:
Dans les deux récipients ci-dessous, l'eau bout
Quelle température le thermomètreAva+ilindiquer?
----la température indiquée par A est supérieure à celle indiquée par B ----la température indiquée par A est la même que celle de B
----la température indiquée par A est inférieureàcelle indiquée par B
Expliquer pourquoi vous avez choisi cette réponse?
Les élèves s'attachent au fait que l'eau bout plus vite dans le récipientA.
Nous constatons que la physique naïve des élèves est une physiq ue de processus alors que la physique que tente d'imposer le professeur de physique est une physique des états et plus particulièrement une physique des états stables.
Nous pouvons aussi constater les implicites de certaines situations; ce ne sont des évidences que pour le maître!
question n'7
a-Vous suspendez sur votre balcon ombragé, par une froide journée d'hiver ,une veste de duvet et une veste de flanelle ,de même couleur, pour les aérer.
Vous placez un thermomètre dans la poche intérieure de chaque veste. Les valeurs indiquées par les thermomètres dix heures plus tard seront-elles égales? Pourquoi?
La réponse de certains élèves incluait le fait que si les vestes étaient pendues dehors c'est qu'elles étaient en train de sécher!
Nous avons noté des difficultés liées au décodage de l'image, qui est créée avec les conceptions du maître et décodée avec celles de l'élève.
Dans la première version de la question 1 (réalisée lors d'un premier questionnaire [3]) des bulles avaient été placées par le maître pour indiquer l'ébullition de l'eau: elles étaient décodées par certains élèves comme bulles de gaz carbonique.
Dans la question 4 [4] certains élèves ont estimé que "le beurre posé sur la table allait fondre"
question 4
Pour prendre la température du beurre. Laurent,Sylvie et Olivier ont mis dans une motte de beurre un thermomètre en le plaçant comme l'indique le dessin.
Les trois mottes de beurre sont placées les unes à côté des autres sur la même table depuis longtemps
première expérience
Laurent
Sylvie
Olivier
Est-ce qu'ils vont lire la même température? oui non (rayez ce qui est faux Expliquez votre réponse:
On peut aussi remarquer dans ce cas que le modèle du physicien a une propension
à
l'universel alors que la représentation de l'élève décrit une réalité locale dans le temps et dans l'espace.Un ballon de caoutchouc élastique gonflé d'air est exposé au soleil a -le volume du ballon va-t-il ... augmenter
... rester égal ... diminuer
Certains élèves estiment que le volume du ballon va diminuer, car leur expérience leur a prouvé que le ballon se dégonflait du fait de la porosité du caoutchouc.
Les lois obtenues par les élèves sont essentiellement variables et restent attachées
à
une situation bien précise. La prégnance du quotidien est très importante. Les élèves raisonnent par analogie avec des situations vécues.Le cadre de référence de l'élève est donc différent de celui du maître.
5.
L'EVALUATIONAprès ces quelques exemples on peut vraiment se demander que vaut notre évaluation?
Nous avons regardé d'autres travaux pour essayer de déterminer si nous trouvions également ces mêmes problèmes. Nous ne citerons pas ces travaux, mais nous pouvons affirmer que c'est un problème général. Nous aimerions attirer l'attention de l'évaluateur tout particulièrement sur le thème suivant: Qu'est-ce qu'on mesure? Avant tout il faudrait savoir quels sont les objectifs des questionnaires
Veut-on:
-orienter les élèves
?
) les critères de validité ) du questionnaire ne -faire le bilan des acquis? ) sont pas les mêmes
) dans ces différents cas, -identifier les difficultés en vue d'une remédiation ? ) comme le montre
) notamment la théorie de ) la généralisabilité -évaluer le progrès des élèves? ) (cf. infra)
Dans quel contexte sera passé ce questionnaire?
-épreuve réalisée par le maître dans sa classe? (cf. les implicites liés à l'enseignement donné)
-épreuve conunune à plusieurs classes? (il n'est plus possible de se fonder sur ces implicites)
Quelles précautions prendre quand on prépare un questionnaire ?
11 nous apparaît surtout important de préciser les objectifs du questionnaire (cf. supra) et d'adopter une stratégie de validation des questions (à retenir,
à
éliminer) qui en tienne compte. Afin d'éviter les erreurs d'interprétation des énoncés que nous avons signalées, il vaudrait mieux connaître préalablement les conceptions les plus fréquentes des élèves dans le domaine évalué. Il faudrait en outre veillerà
proposer un nombre suffisant de questions sur un sujet donné: les épreuves scolaires sont souvent trop courtes pour évaluer de façon fiable ce qu'elles prétendent mesurer.L'analyse des questions
Elle est différente d'une simple correction. Elle nécessite des critères précis de correction.
Elle pose le problème de l'origine de certaines réponses (justes et fausses); d'où l'intérêt d'ajouter la question pourquoi aux questions fermées (QCM, réponses courtes).
La
validité du questionnaireLe modèle de la généralisabilité [5] fournit un outil très intéressant pour juger de la fiabilité (fidélité, validité) d'un questionnaire, particulièrement dans les cas où le modèle psychométrique habituel n'est pas utilisable, par exemple quand il s'agit de juger de l'aptitude du questionnaire
à
évaluer des progrès. Dérivé de l'analyse de variance, ce modèle obligeà
donner un statut précisà
toutes les variables prises en compte: Phase de l'apprentissage (pré- et post-tests), Elèves, Thèmes (groupes de questions sur un même sujet) et Questions, par exemple, en les considérant comme des facettes de différenciation (ce que l'on cherche à évaluer: par ex.: les progrès d'une phaseà
l'autre) ou d'instrumentation (les "instruments" que l'on utilise dans ce but: par ex.1es questions et les thèmes qui les regroupent). Deux coefficients de généralisabilité (ou d'assurance) rh02
permettent d'apprécier la fiabilité du dispositif d'évaluation.Dans le cas de notre questionnaire sur la chaleur ils montraient que l'instrument était relativement fiable s'il s'agissait d'apprécier des progrès relatifs (rh02 (rel) = .88); en revanche, s'il s'agissait de situer les résultats par rapport
à
un score ou seuil déterminé (par ex. 14points sur 21), l'évaluation se révèle plus sujetteà
caution (rh02 (abs) = .66; intervalle de confiance: 10 pts - 18 pts).Le modèle comprend enfin une phase d'optimisation, permettant d'identifer les questions· à retenir ou à éliminer pour améliorer la fiabilité de l'instrument.
6. CONCLUSION
Cette étude nous a permis de mettre en lumière un certain nombre de difficultés liées aux questionnaires et aux épreuves. Elle met l'accent plus spécifiquement sur le décalage entre les conceptions du maître et celles de l'élève. Nous aimerions attirer l'attention de l'évaluateur sur la fiabilité des instruments de mesure utilisés. Mais cela implique naturellement que l'on s'intéresse
à
la façon dont l'élève apprend: la préoccupation psychopédagogique et didactique doit précèder et dominer les problèmes d'attribution de notes dans un but de sélection.[
11
M-L ZIMMERMANN: Thèse sur la chaleur en cours de rédaction.
2 Ecole Jean Piaget, école de culture généraleàGenève, recrutant des élèves de 15à 19 ans. 3 Questionnaire donnant lieu à un mémoire de 1Vl-L ZIMMERMANN: Etude des rerrésentations du concept de chaleur.Genève, LDES 1981.
[4 Question 4 : question extraite du document de A.i'IBERGHIEN: Les représentations des éleves de 6ème et leur évolution. Paris, INRP, 1983
[5J Théorie de la généralisabilité élaborée par J. Cardinet et Y. Tourneur;pour plus d'mformations se reporter au livre de J.CARDINET et Y.TOURNEUR: Assurer la mesure. Berne, Peter Lang, 1985.