Le « pourquoi » conditionne le
« comment »
L’évaluation des enseignements peut répondre à différents objectifs : fournir un diagnostic à l’enseignant, améliorer la formation des étudiants, informer les enseignants, valoriser l’enseignement,
chercheurs (Bernard, 2011). Mais les politiques d’évaluation ne sont pas
tou -suivis, et les frontières entre évaluation de formations, évaluation des enseigne-ments et évaluation des enseignants d’une part et entre évaluation adminis-trative (contrôle) et évaluation forma-tive (accompagnement) d’autre part
s’avèrent souvent poreuses (ville & Coggi, 2009 ; Younès & Romain-ville, 2012 ; Younès et al., 2013).
observées : certains considèrent qu’une démarche de type institutionnelle ou ad-ministrative (sommative) n’est pas com-patible avec une approche formative et que les visées doivent être clairement distinguées et incarnées dans des
proto-visée sommative, en particulier quand il s’agit d’améliorer les enseignements ; à l’inverse une évaluation sommative peut conduire à des ajustements au niveau des pratiques individuelles d’enseigne-ment (Centra, 1993 ; Younès, 2009).
Pour autant, insister sur ce qui sépare a peu de chance de fédérer, il est pré-férable de mettre l’accent sur l’adhésion des acteurs, la pertinence des critères et la qualité du suivi pour encourager une dynamique positive (Romainville &
Coggi, 2009 ; Younès et al., 2013).
Miser sur les convergences ne veut pas dire privilégier un seul protocole.
Il semble établi qu’une évaluation for-mative à mi-trimestre, menée à l’initia-tive de l’enseignant sur l’un ou l’autre de ses cours ou sur une dimension donnée de son activité (utilisation des -trument simple, oral ou écrit, a toutes les chances de l’aider à améliorer son enseignement. Il peut s’appuyer sur l’aide des conseillers pédagogiques qui élaborent souvent leurs propres grilles d’analyse ou bien utiliser des
(CATs) (Ange-lo & Cross, 1993) pour bénéficier d’une rétroaction indicative rapide facilitant les ajustements. La démarche dans ce cas est résolument qualitative et oblige les tiers impliqués (conseillers pédago-giques) à une certaine confidentialité (Bernard, 2011).
Les évaluations systématiques des enseignements et des formations, quelle que soit leur fréquence, sont en revanche plutôt quantitatives et inter-viennent à la fin des cours ou des cycles
d’études. Elles donnent lieu à une diver-sité de configurations. Elles peuvent par
-naire contrôlé par l’administration cen-trale, permettant de collecter des don-nées consolidées à l’échelle de l’insti-tution dans le cadre d’une démarche d’auto-évaluation, est complété par des questions proposées directement par les composantes qui en font alors une
Elles peuvent aussi être séparées : l’évaluation des formations relève alors autorités centrales ; son but n’est pas d’améliorer l’enseignement, mais de disposer d’indicateurs tangibles pour faire évoluer son offre globale de for-mations et négocier la reconduite des habilitations ; la granularité recherchée n’est donc pas celle des enseignements et les données agrégées sont alors de nature très diverse. Une évaluation dis-tincte des enseignements (et des ensei-gnants) relève alors de la responsabi-lité de la composante et peut s’incar-ner dans des protocoles plus ou moins au niveau de l’université, selon que l’objectif est de détecter des problèmes
éventuels (« ») ou
bien d’analyser le bien-fondé de tel ou -tion des enseignements peut aussi être réalisée à l’initiative des enseignants, afin de leur fournir une rétroaction sur l’ensemble de leurs prestations (cours -sion des stages, encadrement des mé-moires, etc.) dans la perspective d’une demande de promotion. L’enseignant peut alors être invité à choisir ses ques-tions dans une banque d’énoncés ou sélectionner les questionnaires corres-à évaluer, si ces outils sont mis corres-à dispo-sition par l’établissement.
Une gestion équilibrée de l’effort à l’UJF
La charte Qualité des formations et des enseignements, déployée à l’université Joseph-Fourier depuis janvier 2012, s’appuie sur un dispositif à trois niveaux :
l’évaluation institutionnelle des formations est centralisée et pilotée par l’institution ; l’évaluation institutionnelle des enseignements est un étage intermédiaire pouvant différer d’une composante à l’autre ; il est pensé comme une évaluation indicative sys-tématique, volontairement légère, agissant comme un
« détecteur de fumée » ; l’analyse approfondie et confidentielle d’une situation d’enseignement est réalisée à la demande d’un enseignant ou d’une équipe enseignante ; elle est portée par les conseil-lers pédagogiques du service universitaire de pédagogie, ceux-ci étant soumis à une clause de confidentialité.
Ce choix est original et permet une meilleure gestion de l’effort, en réservant les moyens importants à deux situations pertinentes : lorsque l’équipe enseignante en exprime le souhait, et/ou lorsque les étudiants expriment une insatisfaction.
(Julien Douady, université Joseph-Fourier Grenoble 1, Grenoble, France).
est donné par Berthiaume et al. (2011) qui, à partir d’une grille composée de
qua-tre principes (
-) , montrent que le positionnement des sys-tèmes d’EEE peut être plus ou moins for-matif. Ainsi l’université de Lausanne se situe clairement dans une démarche de soutien au développement pédagogique.
Ces quatre principes, dérivés des travaux de Centra (1993), sont détaillés comme suit.
Avec la confidentialité, l’enseignant pilote son EEE et est dépositaire des données ; la responsabilité implique que l’enseignant décide quel enseignement faire évaluer et quand ; la démarche d’EEE s’adapte à l’enseignant (et non l’inverse) ; et la réflexivité induit que l’EEE formative est associée à du conseil, l’enseignant est accompagné.
minées (McGill au Québec et Louvain en Belgique), les visées institutionnelle, ad-ministrative et formative sont poursuivies simultanément. Dans l’une, la répartition semble équilibrée alors que dans l’autre la visée de contrôle prédomine (mais les enseignants peuvent demander l’appui du service de pédagogie universitaire à tout
des recherches conduites par les au-teurs…
Multiples dimensions et qualité psychométrique
L’idée de pouvoir miser sur quelques dimensions universelles de la qualité de l’enseignement, nous l’avons vu, doit être À cette étape d’élaboration des question-naires, plusieurs méthodes peuvent être employées : s’appuyer sur les théories d’apprentissage, enquêter auprès des étudiants ou confronter les points de vue des acteurs (étudiants, enseignants, ad-ministrateurs, conseillers pédagogiques) ; toutes sont assimilables à une démarche
tous, comme c’est le cas pour la recherche (nombre de publications dans des revues quoi qu’on en pense par ailleurs (Gingras, 2014), ne puisse être stabilisée, consti-tue clairement un frein à l’adhésion des enseignants et nourrit l’argumentaire des détracteurs de l’EEE (Romainville, 2010).
C’est sans doute une des raisons pour le début des années 1980 avec Cohen, Feldman et Marsh) se sont penchés sur les qualités psychométriques des ques-tionnaires, dans l’objectif de démontrer leur validité.
On distingue ainsi les promoteurs d’un instrument multidimensionnel com-plet, applicable dans toutes les
situa-tions
-sans d’une approche globale ou spé-, basée soit sur quelques critères
génériques soit sur une sélection de
cri-les années 1970 ont conduit à la construc-tion d’une matrice d’une vingtaine d’items regroupés en trois catégories (presen-tation, facili(presen-tation, regulation) proche de celle proposée quelques années après par Marsh et dont la notoriété perdure encore aujourd’hui. Implémentée dans un instrument standardisé mondialement connu, le SEEQ (Students’ evaluation of educational quality instrument), la matrice de Marsh repose sur neuf dimensions dé-clinées en 33 items (Marsh, 2007) . Parmi les instruments multidimensionnels largement répandus dans les pays
anglo-IDEA (Instructional development and effective assessment), initié par Hoyt aussi dans les années 1970 et aujourd’hui administré par l’associa-tion IDEA Educal’associa-tion. Le quesl’associa-tionnaire, dans sa version longue, comporte trois entrées (l’enseignant, les progrès réalisés présentent la particularité de donner une (connaissances factuelles, résolution de équipe, etc.).
S’ils reconnaissent que la qualité de l’en-seignement peut être multidimensionnelle,
-tidimensionnalité est rétive à la mesure et qu’un questionnaire unique, aussi multidi-mensionnel soit-il, ne peut rendre compte de la diversité des types d’enseignement : conçu le plus souvent en référence à un modèle transmissif de l’enseignement, le questionnaire s’avère peu adapté pour
-D’autres arguments sont également avan-cés : Abrami et d’Apollonia montrent que les évaluations des étudiants, concentrées sur des dimensions génériques telles que donner un cours, faciliter les interactions et évaluer les apprentissages, sont
suf-Les 9 dimensions du SEEQ : (1) valeur de l’apprentissage/
des études ; (2) enthousiasme de l’enseignant ; (3) organisation et clarté ; (4) interaction avec le groupe ; (5) rapport individuel avec l’enseignant ; (6) étendue de la matière présentée ; (7) examens et notation ; (8) devoirs et lectures ; (9) capacité globale à enseigner.
générale et que la complexité des instruments constitue de surcroît un frein
pour améliorer l’offre de formation que pour appuyer les transitions profession-nelles des enseignants (Abrami et al., 2007).
Gibbs (2010) propose pour sa part une alternative intéressante, basée sur quatre types de critère qui réintroduisent la biographie de l’enseignant et la per-ception que les étudiants ont, non pas seulement de l’activité de l’enseignant, mais aussi de leur propre activité : taille du groupe classe, niveau d’effort et
qualité et quantité du feedback reçu par les étudiants sur leur travail. Il observe que les variables les plus pertinentes -pleur des apprentissages actifs et colla-boratifs et la quantité et qualité des inte-ractions entre enseignant et étudiants.
Pour revenir à la typologie des « 3P » (Gibbs, 2010), on voit bien que ce sont moins les dimensions relatives à
l’éta -tissages qui cristallisent les débats psy-chométriques, que celles qui relèvent précisément du processus d’enseigne-ment-apprentissage et de la relation entre l’enseignant et les étudiants, et qui sont susceptibles de générer des effets de brouillage entre évaluation des enseignements et évaluation des ensei-gnants.
et al. (2007), dans la mise en évidence de la qualité des en-seignements, attestent également d’une frontière ténue entre évaluation des enseignements et des enseignants.
Ils démontrent que, malgré leur variabi-lité, les instruments sont généralement construits à partir d’une catégorisation de l’enseignant comme instructeur et comme personne, en lien avec son rôle de régulateur ; une quatrième dimension générique, relativement indépendante des trois autres, concerne l’expertise disciplinaire.
Toute la difficulté à cette étape de construction des questionnaires consiste à trouver un niveau de stan-dardisation qui soit capable de rendre
-raison. Les termes du débat entre instru-ment multidimensionnel versus instru-ment générique ou spécifique semblent conduire à privilégier des instruments complexes dans une perspective for-mative et à opter pour des évaluations globales quand la finalité est liée à des et al., 2007).
Contextes et validité d’usage
Pour sortir des débats interminables sur la validité « interne » des questionnaires, certains chercheurs proposent de consi-dérer la validité de l’instrument à l’aune des effets produits par l’EEE sur l’ensei-gnement et l’apprentissage. Ce serait alors la capacité du dispositif d’éva-luation à entraîner des changements (attendus ou inattendus) à différents confèrerait à l’EEE sa validité d’usage.
D’autres types de preuves peuvent en effet être mobilisées, largement issues
évaluations de l’enseignant, note de pairs ou les administrateurs ou par des
la fidélité ou la cohérence (plus forte quand le nombre d’évaluateurs
aug -pact sur le développement profession-nel et les pratiques enseignantes). Les auteurs signalent que cette nouvelle conception de la validité, fondée sur un questionnement centré sur l’utilité réelle de l’EEE, est d’ores et déjà actée dans les Standards for educational and psy-chological testing de l’AERA, l’APA & le NCME (1999), qui font référence en ma-tière de psychométrie (Detroz & Blais, 2012 ; Younès et al., 2013) .
Ces normes ont été élaborées conjointement par trois associations : American Educational Research Association (AERA), American Psychological Association (APA) et National Council on Measurement in Education (NCME) ; la première version remonte à 1966, la version courante est datée de 1999, une nouvelle version est annoncée pour 2014.
Institutionnalisation et démarche participative
La qualité du questionnaire ne fait pas tout… Ce sont les conditions d’implé-mentation de l’ensemble du dispositif qui sont cruciales et en particulier son institutionnalisation. Si l’EEE n’est pas intégrée dans la politique de l’éta-blissement (au moyen d’une charte
), elle court en effet le risque d’être interprétée comme large-ment marquée par les points de vue des personnes en charge du dossier et son potentiel mobilisateur en sera amoindri.
D’autres recommandations sont émises dans la littérature. Nous transcrivons ici -mainville (voir notamment Ro-mainville
& Coggi, 2009 ; Younès & Romainville, 2012) :
faire en sorte que les enseignants ne doivent pas être dépossédés, mais au contraire impliqués dans toute la démarche : définition des objectifs, procédures, critères et modalités de circulation de l’information, usages et publicités des résultats ;
prévoir un questionnaire avec une partie commune, permettant d’ob-tenir des résultats consolidés à l’échelle de l’établissement, et avec -ments concernés ;
conduisant à faire de l’évaluation pour l’évaluation et à ce que la fré-quence d’administration et la lon-gueur des questionnaires soient rai-sonnables ;
épargner dans un premier temps les innovations pédagogiques pour évi-ter de stigmatiser ce qui pourrait re-lever de maladresses ou de simples tâtonnements ;
privilégier une diversité de méthodes d’évaluation (quantitative/qualita-tive ; pendant/à la fin des cours ; outils synthétiques/analyses plus approfondies...) pour croiser les ré-sultats ;
prêter attention à l’information faite les procédures que sur les effets (quelles améliorations à l’issue des
travailler la cohérence entre l’EEE et d’autres modalités d’évaluation, dans la perspective d’une démarche qualité plus globale visant les forma-tions, voire l’institution ;
ne pas négliger l’accompagnement -tentif à la manière de communiquer des résultats négatifs…
-iste pas. Les évolutions récentes de l’EEE invitent à sortir des approches normatives voire mécanistes qui ont longtemps prédominé, pour privilégier des modèles plus participatifs, inscrits dans une temporalité variable selon -gogique ». Pour Younès et al. (2013), il s’agit de développer une culture de l’EEE en tant que dispositif concerté et négocié et d’engager tous les acteurs -tive, y compris les étudiants, dans le cadre d’une éducation à la citoyenneté académique. L’approche se doit d’être
« écologique », dans le sens où le milieu dans lequel l’enseignement se tient doit être pris en compte car il influence le sens que les acteurs accordent à l’acte d’enseigner et d’apprendre.
Pour autant, ces démarches participa-tives ne sont pas garanties par le simple fait de réunir des acteurs autour d’une table, et le débat peut être largement pollué par des questions de détail. Le leadership doit être ferme, basé sur une -lendrier, pour acter les décisions au fur et à mesure. Les avancées, pour res-pecter une certaine linéarité, requièrent chez le porteur de projet une habileté à gérer des cercles concentriques, avec des allers-retours constants entre le col-lectif et l’intersubjectif (Detroz, 2014).
De la crédibilité du processus dépend la crédibilité du jugement, c’est-à-dire la manière dont il est reçu par les ensei-gnants (Hurteau, 2013).
La pérennité du dispositif passe par une inscription de l’EEE dans une
planifica
-Voir par exemple la Charte de l’évalua-tion formative des enseignements et des formations par les étu-diant-e-s validée par le CEVU de l’université Lyon 1.
top down contrôlées par l’administration et des démarches bottom up à l’initia-tive des enseignants. En aval, les liens entre évaluation et décision doivent être résistances, ni trop faibles pour éviter la démobilisation des acteurs, voire la ba-nalisation bureaucratique. Idéalement les résultats des évaluations doivent permettre une plus grande responsabili-sation des enseignants et des étudiants et encourager le perfectionnement des pratiques des uns et des autres, dans un climat privilégié de transparence (Romainville, 2010).