Méthodes de recueil de données et analyses des représentations sociales sur l’évaluation

1. Le questionnaire

Dans l’objectif de faire apparaître des représentations sociales⁸⁷ des enseignants de physiques-chimie sur l’évaluation des élèves, nous avons recueilli des données à partir de questionnaires fermés.

En premier, il s’agit d’approcher, par description et objectivation, des éléments congruents correspondant aux connaissances sur l’évaluation pour ce groupe d’enseignants ciblés, éléments qui se seraient construits culturellement et seraient partagés socialement par le contexte professionnel. Deuxièmement, il s’agit de définir des profils de classes disjointes de ces connaissances en fonction du profil de l’enseignant, à savoir :

- le type d’établissement où exerce l’enseignant (lycée vs collège)

85 Avec le logiciel Excel 7

86 En rapport avec les contenus disciplinaires en jeu

87 Approche du noyau central et des prises de position en fonction des caractéristiques des enseignants.

114

- le nombre d’années d’expérience de l’enseignant ; enseignant expérimenté (plus de 15 ans) vs moyennement expérimenté (entre 5 et 15 ans).

Pour cela, nous avons construit une grille afin d’élaborer un questionnaire en rapport avec les objectifs sus-cités.

1.1 Construction du questionnaire

La construction de ce questionnaire a eu comme arrière-plan, l’interrogation suivante : est-ce que les enseignants ont tendanest-ce à perest-cevoir l’évaluation des élèves dans une logique de régulation et/ou dans une logique d’orientation et de quantification ? Nous nous sommes alors inspirée des directives sur les compétences professionnelles sur l’évaluation (2013) pour tenter d’approcher les connaissances sur l’évaluation des enseignants. La prise en compte des difficultés des élèves et l’évaluation à des fins de progressions des apprentissages sont spécifiées dans la mission des enseignants.

A partir de là, notre grille⁸⁸ s’est élaborée selon le déroulement suivant : - la variable relative à l’évaluation

- la dimension de la connaissance sur l’évaluation⁸⁹ - l’explicitation des indicateurs attendus

- la question permettant d’opérationnaliser l’indice attendu.

Après avoir construit cette grille, nous avons rendu les questions accessibles aux enseignants en traduisant par un vocabulaire usité dans leurs pratiques. Nous avons eu aussi pour objectif de reconstituer des situations qui les renvoyaient à ce qu’ils rencontrent au quotidien dans leur classe, en regard de leurs pratiques d’enseignement « global ». Des difficultés sont alors apparues, notamment pour approcher leurs connaissances sur l’évaluation dans une visée de régulation verbale. Il s’agissait de leur faire évoquer leurs pratiques d’évaluation verbale alors que nous savons par d’autres travaux qu’ils n’en ont pas conscience. Les enseignants ne connaissent pas forcément les notions d’évaluation formative, sommative, ni de régulation.

Lorsque les questions ont été élaborées, nous nous sommes alors interrogée sur leur ordre dans le questionnaire. L’organisation a été évolutive. A savoir, au début, elles renvoyaient à des situations plus proches de leur réflexivité quotidienne, puis elles s’éloignaient vers des

88 Voir grille de construction du questionnaire en annexe

89 Voir grille de construction du questionnaire en annexe

115

situations qu’ils n’avaient probablement pas explorées. Ainsi, ci-après, nous listons l’ordre des questions et les indices visés :

1. Repérer leur système de références dans leur activité d’évaluation

2. Approcher la connaissance sur l’adressage de l’évaluation : l’évaluation s’adresse à qui ? 3. Approcher la connaissance de l’évaluation sur les moments de passation et leurs formes (écrites vs orales)

4. Approcher la connaissance de l’évaluation par une approche théorique de la notion

5. Approcher la connaissance de l’évaluation par une approche plus interactionniste et ses conséquences. Nous avons volontairement remplacé le terme « évaluation » par le terme

« d’échange » afin que l’enseignant lors de la passation puisse se projeter dans sa situation quotidienne

6. Approcher la connaissance de l’évaluation sur l’objet évalué : résultat d’un processus d’apprentissage ou un processus d’apprentissage en cours ou un comportement.

La construction de ce questionnaire fermé avec proposition d’items est le résultat d’une réflexion de méthode d’approche des représentations sur l’évaluation. En effet, dans nos travaux de master 2, les questions ouvertes que nous avions proposées n’ont pas permis de cibler les indices que nous souhaitions concernant leurs pratiques lors des interactions verbales avec les élèves. Les enseignants n’ont pas toujours conscience de leurs pratiques d’évaluations verbales, l’évaluation écrite étant alors une perception importante. Par ce fait, aux dépens d’une expression libre qui aurait pu donner plus d’informations dans certains cas⁹⁰, nous avons souhaité déterminer nous même les indicateurs attendus à partir des séquences de phrases. En remplissant le questionnaire, l’enseignant s’exprime alors sur sa perception de la fréquence de telle ou telle pratique au regard de son expérience professionnelle « globale ». Quatre niveaux ont alors été élaborés : jamais, quelquefois, souvent, très souvent.

Enfin, le choix du questionnaire fermé relève aussi d’une adaptation à la situation d’enquête sur le terrain et notamment au problème de passation, nous l’évoquerons ci-après.

1.2 La passation

La passation du questionnaire a aussi été une des préoccupations principales dans ce travail de thèse. En effet, dès le début nous avons rencontré des difficultés à trouver des enseignants volontaires pour ce travail malgré notre connaissance du terrain. Les raisons sont multiples.

90 Et nous l’observerons dans l’analyse notamment pour la question 4 et le terme « apprécier ».

116

D’une part nous étions dans un moment d’organisation de la conférence sur l’évaluation et de la consultation des enseignants par le ministère de l’éducation nationale. Centrés sur une problématique de l’évaluation, sans note ou avec note, les enseignants semblaient trouver notre sujet de thèse plutôt éloigné des préoccupations actuelles qu’ils rencontraient dans leur établissement. D’autre part, nous prenions connaissance de la crainte des enseignants d’une implication leur étant trop chronophage et du souci de confidentialité.

Aussi face à cette situation, ce moment de passation semblait devoir être organisé dans les meilleures conditions pour inciter les enseignants à y participer. Pour cela nous avons établi quelques conditions :

- le temps de passation inférieur à 5 minutes - assurer la confidentialité

- ne pas utiliser de logiciel automatisé afin que chaque enseignant puisse s’adresser à nous en cas de nécessité

- assurer aux enseignants un retour de l’analyse du questionnaire

- assurer le volontariat des enseignants, ne pas les contacter directement par le biais de leurs chefs d’établissement ou des IA-IPR.

Malgré l’ensemble de ces précautions, nous n’avons pu recevoir que 47 questionnaires sur l’ensemble des enseignants de physique-chimie de la Haute-Garonne (enseignement général).

1.3 Conditions d’encodage et d’analyse des données

Les conditions d’encodage des questionnaires se sont faites avec Excel 7. Les variables actives correspondent aux réponses de chaque enseignant pour chaque item. En outre, une première analyse des données a montré la nécessité de réduire l’intervalle du nombre de variables actives. De ce fait, nous avons fait le choix de recoder les fréquences « quelquefois et jamais » en une seule fréquence « jamais » et « très souvent et souvent » en « souvent »⁹¹. Les variables illustratives sont : le type d’établissement où exerce l’enseignant (lycée vs collège), et son ancienneté (expérience longue ou expérience moyenne)⁹².

Nous avons ensuite utilisé le logiciel Iramuteq pour l’analyse des données par CHD (Classification Hiérarchique Descendante) et AFC (Analyse Factorielle de Correspondances).

Dans un premier temps, nous avons tenté, à partir des éléments constituant des items, de mettre en évidence des variables actives qui permettraient d’approcher des éléments de

91 Voir tableau d’encodage questionnaire dans l’annexe

92 Aucun enseignant de moins de cinq ans d’expérience n’a répondu au questionnaire

117

connaissance sur l’évaluation représentant le collectif d’enseignants, en fonction des variables illustratives. Dans un deuxième temps, nous avons tenté d’établir des profils de classes entre enseignants, c’est-à-dire d’approcher des prises de positions différentes en fonction de ces mêmes variables illustratives.

Enfin, nous nous sommes centrée sur une analyse qualitative des questionnaires de chaque enseignant observé. Notre objectif est de décrire leurs connaissances sur l’évaluation au regard d’une vision globale de leur pratique. Nous souhaitons mettre en évidence des connaissances communes et partagées avec le groupe d’enseignants de physique-chimie ainsi que d’éventuelles prises de position liées à leurs caractéristiques. Nous allons rechercher si leurs connaissances se rapprochent des profils de classe spécifiques.

A présent, nous allons aborder notre méthode pour approcher les connaissances et attitudes des deux enseignants observés au regard de la classe.

2. L’entretien situé semi-directif

2.1 Construction de la grille d’entretien

La construction de cet entretien peut être sur un premier point comparée au thème du questionnaire : est-ce que les enseignants ont tendance à percevoir l’évaluation des élèves dans une logique de régulation et/ou dans une logique d’orientation et de quantification ? Cependant, par cette méthode, nous souhaitons approcher de manière « plus fine » les connaissances et l’attitude des enseignants sur l’évaluation afin d’expliquer et comprendre l’organisation temporelle des patterns. Pour cela, nous avons demandé à l’enseignant de se référer au contexte de classe observé et de son vécu plus personnel avec les classes de même niveau. En cherchant à approcher, cette fois-ci, leurs attitudes, il s’agit aussi de mettre au jour des liens entre :

- évaluation et repérage puis prise en charge de difficultés d’élèves de moment de régulation verbale,

- évaluation et moments d’avancée didactique pour achever les objectifs pédagogiques et didactiques prévus pour la séance.

Les résultats de cet entretien permettront d’établir une cartographie des représentations de l’enseignant sur l’évaluation au regard de son propre vécu professionnel.

118

Pour construire l’entretien, nous avons élaboré une grille⁹³ décrivant la dimension générale étudiée (l’évaluation didactique) et les modalités relatives à cette dimension. Tout d’abord, nous tentons d’approcher les connaissances de l’enseignant sur la notion d’évaluation qui comprend aussi : la connaissance sur l’objet évalué et la connaissance sur la mise en œuvre de l’évaluation. Ensuite, nous nous centrons sur les connaissances et attitudes entre évaluation et avancée des apprentissages des élèves, entre évaluation et prise en compte des difficultés des élèves, puis entre évaluation et régulation des apprentissages. Enfin des indicateurs sont spécifiés pour approcher ces modalités, ils servent de moyens directifs pour la construction des questions.

Par ailleurs, de la même façon que pour le questionnaire, notre préoccupation fut de rendre compréhensibles ces questions par les enseignants. Pour cela, nous avons tenté de traduire des termes théoriques en termes « de la pratique », tout en nous assurant de toujours cibler les indicateurs attendus.

2.2 Les conditions de passation

Les entretiens semi-directifs ont été réalisés quelques mois après les séances filmés pour des raisons méthodologiques et de disponibilité des enseignants. En effet, nous souhaitions qu’ils participent d’abord au questionnaire dont les questions sont fermées et renvoient à une pratique globale, quels que soient les niveaux scolaires enseignés. Les enseignants n’ont pas suivi de formation pendant cet intervalle de temps.

En outre, les conditions de passation de l’entretien ont été sous forme de questions ouvertes avec des réponses libres. L’enseignant intervient sans limite temporelle, avec peu d’interventions du chercheur. La liberté d’expression est grande. Nous avons cependant apporté des relances informelles pour éventuellement aider l’enseignant face à des difficultés de compréhension ou d’expression.

La durée de passation a été d’environ une trentaine de minutes, quelques mois après les séances filmées. Il a été demandé à Michel et Alice de répondre en fonction des situations qu’ils ont connues avec la classe filmée mais parfois, plus généralement avec les classes de même niveau scolaire qu’ils ont connues durant les deux dernières années.

L’entretien a été enregistré permettant ainsi une retranscription stricte. Ce moyen technique autorise aussi le chercheur à se centrer sur l’écoute de l’enseignant pour intervenir lorsqu’il en montre le besoin.

93 Voir annexe grille entretien en annexe

119

Notre objectif fut de créer un climat de confiance afin que ce dernier ne se sente pas jugé et laisse libre cours à ses pensées. Comme nous l’avions décrit précédemment les moments de passations des entretiens sont en lien avec la mise en place de la concertation nationale sur l’évaluation en 2013. Aussi lors des entretiens informels antécédents à celui que nous avons analysé, les enseignants ont paru être imprégnés par différentes interventions de formation dans leurs établissements ou par les IA IPR.

2.3 L’analyse de l’entretien

Pour analyser les connaissances et attitudes des enseignants sur l’évaluation, nous nous sommes référée à l’analyse de contenu. C’est « un ensemble de techniques d’analyse des communications utilisant des procédures systématiques et objectives de description du contenu des messages » (Bardin, 1977, p. 42). Son but est l’inférence de connaissances relatives aux conditions de production (ou éventuellement de réception), à l’aide d’indicateurs (quantitatifs ou non) » (idem, p. 43).

Ces indicateurs seront des phrases, voire des groupes de mots qui correspondent aux dimensions que nous avons ciblées sur l’évaluation dans le paragraphe 2.1, ci-avant. C’est le discours produit par l’enseignant dans le processus de communication qui permet d’établir ces indicateurs des représentations. « Ce fait indique un double objectif de l’analyse de contenu : d’un côté, elle tente de dégager la signification de l’énoncé pour l’émetteur, c’est-à-dire sa subjectivité, de l’autre côté, elle cherche à établir la pertinence pour le récepteur, à savoir son objectivité (…) » (Négura, 2006).

Aussi, à partir de la grille de l’entretien, nous avons ventilé manuellement l’énoncé de l’enseignant suivant les indicateurs attendus dans la catégorie des dimensions recherchées.

Cette ventilation est une opération de catégorisation, c’est-à-dire « une classification d’éléments constitutifs d’un ensemble par différenciation puis regroupement par genre d’après des critères préalablement définis »⁹⁴ (Bardin, 1977, p. 150). Ainsi, nous avons repéré à partir de la transcription écrite de l’entretien des phrases, voire des groupes de mots qui contenaient des indicateurs. Dans le cas de la dimension de l’attitude et des préoccupations, nous repérions, soit des adjectifs qualificatifs, des adverbes quantificatif (par exemple, très, peu…), ainsi que la fréquence d’un mot ou d’un groupe de mots dans le texte (par exemple, pas le temps, programme…). Par la suite, ces dimensions sont interprétées. Il s’agit de prendre appui sur les éléments catégorisés afin de fonder une lecture objective du corpus étudié pour

94 Voir grille de construction de l’entretien en annexe

120

approcher les représentations de l’enseignant sur l’évaluation (Robert et Bouillaguet, 1997).

Toutefois, cette inférence peut être « imprégnée » par la subjectivité du chercheur. Ce dernier a déjà recueilli d’autres données sur les pratiques d’évaluation de l’enseignant et s’est entretenu de manière informelle avec l’enseignant à chaque rencontre pour l’enquête de terrain.