La bienveillance à l’épreuve de l’évaluation par les pairs à l’université

Conference Presentation

Reference

La bienveillance à l'épreuve de l'évaluation par les pairs à l'université

GIRARDET, Céline, MOTTIER LOPEZ, Lucie

GIRARDET, Céline, MOTTIER LOPEZ, Lucie. La bienveillance à l'épreuve de l'évaluation par les pairs à l'université. In: Congrès de la Société suisse pour la recherche en éducation (SSRE), Bienne, 31 août - 2 septembre, 2020

Available at:

http://archive-ouverte.unige.ch/unige:152979

La bienveillance à l’épreuve de l’évaluation par les pairs à

l’université

Céline Girardet & Lucie Mottier Lopez Université de Genève

Congrès 2020 en ligne de la Société suisse pour la recherche en éducation (SSRE) - 01.09.2020

➢La bienveillance est définie comme une disposition positive à l’égard d’autrui et un souci de l’autre et de son

émancipation (Jellab, 2018).

➢Toute activité d’évaluation formative devrait être par

essence bienveillante, dans le sens où elle vise à amener l’ apprenant·e à progresser dans un « souci exigent » de la personne et de ses apprentissages.

➢Une institution de formation bienveillante à l’égard des apprenant·es est et doit d’abord être une institution de

l’exigence. Cette exigence a trait aux apprentissages dont on doit s’assurer qu’ils sont bien réels et durables (Jellab, 2018)

Introduction

Introduction

La bienveillance, une compétence sociale et professionnelle de nature foncièrement subjective et intersubjective

Le ressenti de bienveillance participe du bien-être des apprenant·es et est fondamentalement subjectif (il dépend du vécu personnel) et intersubjectif (il émerge de l’interaction entre les subjectivités de plusieurs personnes)

Au sein des institutions de formation, le ressenti de bienveillance ne peut être séparé du rapport au savoir et du rapport à l’évaluation. En effet, le ressenti de bienveillance reste dépendant du sentiment de compétence de l’apprenant·e sur un objet donné, et du regard de l’enseignant·e (ou de toute personne portant un jugement évaluatif) sur ses travaux.

« L’évaluation des élèves et ses modalités façonnent le bien-être et plus spécifiquement le sentiment de justice – soit le sentiment d’être plus ou moins bien évalué à travers son implication, manière de reconnaître son mérite, une reconnaissance à laquelle les élèves sont très attachés » (Jellab, 2018, p. 33)

Recevoir un feedback… une activité forte en émotions…

Recevoir un feedback est un exercice particulièrement difficile qui procure de l’anxiété. Lorsque l’apprenant·e est confronté·e à un feedback qui ne correspond pas à son propre jugement sur sa production, des émotions négatives fortes peuvent survenir. Dans certains cas, l’interaction entre l’apprenant·e et l’évènement évaluatif est si négatif qu’il peut avoir un impact émotionnel pouvant durer plusieurs années, pouvant affecter les choix de carrière, et inhiber l’apprentissage.

(Falchikov & Boud, 2007)

Dans ce cas de figures, des réactions « inadaptées » d’étudiant·es peuvent survenir :

(a) l’étudiant·e fait un déni de l’existence du feedback ;

(b) l’étudiant·e rejette le feedback en le qualifiant d’inadéquat ou de non fiable ; (c) l’étudiant·e évalue le feedback comme non pertinent à son travail ;

(d) l’étudiant·e refuse de voir le lien entre sa propre évaluation de son travail et le feedback externe ; (e) l’étudiant·e réinterprète le feedback pour l’aligner à son propre jugement de sa production ;

(f) l’étudiant·e s’empare du feedback de manière superficielle pour réviser sa production en surface.

Ces stratégies ont pour fonction la protection de l’apprenant·e face à l’expérimentation d’émotions

Introduction

Recevoir un feedback… une activité forte en émotions…

Recevoir un feedback est un exercice particulièrement difficile qui procure de l’anxiété. Lorsque l’apprenant·e est confronté·e à un feedback qui ne correspond pas à son propre jugement sur sa production, des émotions négatives fortes peuvent survenir. Dans certains cas, l’interaction entre l’apprenant·e et l’évènement évaluatif est si négatif qu’il peut avoir un impact émotionnel pouvant durer plusieurs années, pouvant affecter les choix de carrière, et inhiber l’apprentissage.

(Falchikov & Boud, 2007)

Dans ce cas de figures, des réactions « inadaptées » d’étudiant·es peuvent survenir :

(a) l’étudiant·e fait un déni de l’existence du feedback ;

(b) l’étudiant·e rejette le feedback en le qualifiant d’inadéquat ou de non fiable ; (c) l’étudiant·e évalue le feedback comme non pertinent à son travail ;

(d) l’étudiant·e refuse de voir le lien entre sa propre évaluation de son travail et le feedback externe ; (e) l’étudiant·e réinterprète le feedback pour l’aligner à son propre jugement de sa production ;

(f) l’étudiant·e s’empare du feedback de manière superficielle pour réviser sa production en surface.

Ces stratégies ont pour fonction la protection de l’apprenant·e face à l’expérimentation d’émotions négatives.

(Chinn & Brewer, 1993)

Introduction

Au vu du fort impact qu’un feedback

peut avoir sur le bien-être d’un·e

apprenant·e, il est essentiel de former

les étudiant·es en sciences de

l’éducation (qui seront continuellement

amené·es à formuler des feedbacks à

leurs élèves) à la production de

feedbacks formatifs et bienveillants.

Les activités de feedbacks entre pairs à l’université permettent d’entrainer des compétences communicationnelles, parmi lesquelles figurent la bienveillance

Une étude précédente sur le dispositif d’un de nos cours universitaire (Évaluation et régulation des apprentissages, A2018) a montré que dans le cas d’activités de feedbacks entre pairs structurées et guidées (apports de l’enseignante sur la formulation de feedbacks formatifs et bienveillants, consignes claires, travail selon des critères d’évaluation précis) :

Produire un feedback permettrait :

- D’entrainer des compétences dans la formulation de commentaires appréciatifs clairs, précis, formatifs et bienveillants

- D’entrainer l’empathie en devant se mettre à la place des étudiant·es qui recevront le feedback Recevoir un feedback permettrait :

- De se rendre compte de la difficulté à produire un feedback bienveillant

- De se rendre compte de l’impact du choix des mots sur les émotions lors de la réception d’un feedback

Notre étude a également montré que recevoir un feedback perçu comme bienveillant peut apporter des sentiments de satisfaction, de valorisation, de sécurité face à sa production, et de motivation.

Introduction

Questionnements

1. Quels sont les liens entre la perception de la bienveillance d’un feedback et la perception de son utilité, le sentiment de justice, les émotions ressenties ?

2. Quelle cohérence entre les perceptions de la bienveillance d’un même feedback par différentes personnes ?

3. Au regard de sa subjectivité, à partir de quels critères évaluer la

bienveillance ?

Une recherche située dans un environnement d’apprentissage

Cours BS sc. de l’éducation

«Évaluation et régulation des apprentissages dans les

systèmes d’enseignement»

Automne 2019 64 étudiant·es

Évaluation continue pour apprendre

Le dispositif

3- Perceptions et

évaluations des feedbacks des pairs

A distance

Individuellement

2- Feedback sur production initiale A distance

Individuellement

1- Production complexe initiale En présentiel En groupes de 4

4- Évaluation collaborative sous forme de modérations sociales

A distance

En groupes de 4 recomposés, 2 fois / étudiant·e

5- Régulation de la production initiale En présentiel En groupes de 4

7- Réflexion critique finale Hors cours

Individuellement

3

2

4

1

5 6

7

6- Qualification conceptuelle et

réflexive des régulations expérimentées En présentiel

En groupes de 4

Le dispositif

2

4

5 6

7

16 groupes de 4

Travail sur un cas de production écrite en français (6p – élèves de 10 ans en moyenne).

Consignes

A) Critères d’évaluation formative

Formuler trois critères d’évaluation formative

B) Commentaire formatif et régulation immédiate

Pour un des critères, rédiger un commentaire formatif adressé à l’élève C) Régulations différées

Pour les deux autres critères, décrire une régulation différée (différentes l’une de l’autre en terme de modalités et de démarches d’autoévaluation au sens large).

Travail sur des démarches d’évaluation formative - en groupe - en classe

Le dispositif

4

1

5 6

7

Consignes

Chacun des commentaires doit :

• être spécifique

• suggérer des pistes d’amélioration

• être bienveillant

Le feedback doit également être pertinent, c’est-à-dire :

• porter sur les critères d’évaluation définis

• être correct par rapport aux contenus rédigés, y compris au plan théorique.

Chaque étudiant·e a réalisé un feedback sur la production initiale d’un groupe autre que le sien

Feedbacks par les pairs - individuel - hors classe

2

Le dispositif

2

4

1

5 6

7

Chaque étudiant·e a dû remplir 8 questionnaires

- Sur chaque feedback reçu sur leur propre TP1 (4 feedbacks)

- Sur chaque feedback d’un pair sur le TP1 du groupe pour lequel l’étudiant·e a également rédigé un feedback (3 feedbacks)

- Sur leur propre feedback produit sur le TP1 de pairs (1 feedback) Les feedbacks étaient anonymes : Les étudiant·es ne savaient

pas qui avait produit les feedbacks qu’illes évaluaient au moyen du questionnaire.

Le contenu des questionnaires sera abordé plus loin dans la présentation

Évaluation des feedbacks (questionnaire) - individuel - hors classe

Le dispositif

2

1

5 6

7

32 forums de discussions, par groupes de 4 étudiant·es

(2 auteur·rices d’un TP1 et 2 rétroacteur·rices du TP1)

Chaque étudiant·e participe à 2 forums:

- 1 sur le TP1 de son groupe

- 1 sur le TP1 du groupe pour lequel il a rédigé un feedback

4 fils de discussion dans chaque forum:

A) Sur les critères d'évaluation formative

B) Sur le commentaire formatif et la régulation immédiate C) Sur les régulations différées

D) Sur la bienveillance des feedbacks

Consignes pour le forum D

• Dégagez ce qui pour vous était bienveillant.

• Dégagez ce qui pour vous n'était pas bienveillant.

• Formulez au moins deux recommandations que vous adresseriez pour que les feedbacks d'une façon générale soient bienveillants et formatifs.

Mettez-vous d'accord sur ces recommandations.

Forums de discussion sur les feedbacks - en groupe - hors classe

4

Le dispositif

2

4

1

6

7

Retour dans les groupes de 4 initiaux

Réguler la production initiale (1), afin

• de l’améliorer,

• et/ou de la compléter,

• surtout de donner à voir une progression de la réflexion depuis cette production initiale.

Ajustements du TP1 au regard des feedbacks et forums - en groupe - en classe

5

Le dispositif

2

4

1

5

7

Dans les groupes de 4 initiaux

Question 1

Qu’est-ce qui selon vous a représenté une régulation rétroactive ? Pourquoi ? Donnez un exemple précis et concret. Mettez-vous d’accord sur un exemple (vécu ou non par toutes et tous du groupe).

Question 2

Qu’est-ce qui selon vous a représenté une régulation proactive ? Pourquoi ? Donnez un exemple précis et concret. Mettez-vous d’accord sur un exemple (vécu ou non par toutes et tous du groupe).

Qualification conceptuelle sur les mouvements de la régulation - en groupe - en classe

6

Le dispositif

2

4

1

5 6

Réflexion critique individuelle

Question 1

Apports principaux de l’évaluation continue du cours.

Question 2

Limites / difficultés principales de l’évaluation continue du cours.

Question 3

Perceptions de l’évaluation continue dans une perspective de « sustainable assessment » : Double visée: (1) soutenir les progressions d’apprentissage des étudiant·es pour le cours concerné, (2) mais également à les projeter vers des compétences évaluatives / de régulation à plus long terme (possiblement utiles pour la suite des études et pour la vie professionnelle, voire personnelle et

sociale).

Réflexion critique sur le dispositif vécu - individuel - en classe

7

Méthode : données

3- Perceptions et évaluations des feedbacks des pairs

441 questionnaires en ligne (les autoévaluations n’ont pas été prises en compte)

2- Feedback sur production initiale

64 feedbacks

1- Production complexe initiale

16 productions initiales

4- Évaluation collaborative sous forme de modérations sociales

30 forums de discussion (uniquement le fil D sur la bienveillance)

5- Régulation de la production initiale

7- Réflexion critique finale 64 textes réflexifs

2

1

5 6

7

6- Qualification conceptuelle et réflexive des régulations

expérimentées

16 travaux conceptuels

3 4

1. Quels sont les liens entre la perception de la

bienveillance d’un feedback et la perception de

son utilité, le sentiment de justice, les émotions

ressenties ?

19

Méthode

Pièce 3: 441 questionnaires en ligne (échelles de Likert à 5 points)

Facteurs Exemples d’items

Fairness* Je considère ce feedback comme juste Je considère ce feedback comme justifié Usefulness* Je trouve que ce feedback est utile Ce feedback me permet de m’améliorer Acceptance* J’accepte ce feedback Je suis d’accord avec ce feedback

Willingness* Ce feedback me donne envie d’améliorer ma production

Ce feedback me donne envie d’être d’investir des efforts pour améliorer ma production

Affects* En lisant ce feedback, je me suis senti·e :

Offensé·e ; Satisfait·e ; Enervé·e ; Confiant·e ; Frustré·e ; En situation de réussite Bienveillance Je trouve que ce feedback est bienveillant

*Traduit de Strijbos, J. W., Narciss, S., & Dünnebier, K. (2010). Peer feedback content and sender’s competence level in academic writing revision tasks: Are they critical for feedback perceptions and efficiency? Learning and Instruction, 20(4), 291-303.

Analyses

Corrélations bivariées entre les réponses au questionnaire

Bienveillance Fairness Usefulness Acceptance Willingness Positive affects

Bienveillance 1

Fairness .201^** 1

Usefulness .171^** .811^** 1

Acceptance .140^** .726^** .664^* 1

Willingness .166^** .687^** .719^** .616^** 1

Positive affects .127^** .576^** .466^** .580^** .569^** 1

Corrélations bivariées (N = 441)

Résultats

21

Résultats

Plus le feedback est perçu comme bienveillant :

• plus il est perçu comme juste (.201**)

• plus il est perçu comme utile (.171**)

• plus il est perçu comme acceptable (.140**)

• plus il produit des sentiments positifs (.127**)

• plus il est lié à une volonté d’améliorer son travail (.166**)

2. Quelle cohérence entre les perceptions de la bienveillance d’un même feedback par

différentes personnes ?

23

Méthode

Pièce 3: 512 questionnaires en ligne avec une question ouverte sur la perception

de la bienveillance du feedback

Analyses

➢ Analyse de correspondance entre l’évaluation de la bienveillance de chaque feedback par les enseignantes et la perception de bienveillance des 8 étudiant·es ayant rempli le questionnaire pour chaque feedback.

• Dans un même document (1 par feedback), les 8 appréciations quantitatives de la bienveillance du feedback, les 8 commentaires qualitatifs, et l’évaluation de la bienveillance du feedback ont été réunis.

• Visuellement, les enseignantes a apprécié la cohérence entre les perceptions

des étudiant·es et la nôtre.

25

Résultats

L’analyse visuelle a montré certaines incohérences dans les perceptions de la bienveillance d’un même feedback, entre:

• Les 8 étudiant·es

• Les étudiant·es et les enseignantes

Ces incohérences, pas systématiques mais assez nombreuses pour les relever, montrent le caractère subjectif et intersubjectif du ressenti de bienveillance.

→ Il semblerait que les étudiant·es ne se basent pas tous et toutes sur les

mêmes indicateurs pour déterminer s’ils ont perçu un feedback comme

bienveillant ou non.

3. Au regard de sa subjectivité, à partir de

quels critères évaluer la bienveillance ?

27

Méthode

• Faire discuter les étudiant·es sur leurs perceptions de la bienveillance d’un feedback et leur faire dégager des pistes pour rédiger un feedback bienveillant.

• Les pistes qui reviennent plus systématiquement pourront servir de

base à l’établissement de critères d’évaluation de la bienveillance.

Analyses

A l’aide du logiciel Nvivo, fréquences et catégorisation des pistes

dégagées dans les forums

Résultats

17 17 11

10 8 5

3 3 2

Formulation

Utiliser des marques de félicitations / encouragement / valorisation

Utiliser des verbes doux (ex: "penser", "sembler", "trouver") / Adopter une posture de doute (ex: "selon moi" "Il me semble" "ce n'est que mon point de vue" "peut-être")

Utiliser le conditionnel Eviter les injonctions / ne pas imposer mais proposer / ne pas employer l'impératif Choisir minutieusement son vocabulaire / formulation

Utiliser la 2^ème personne S’exprimer en "je" au lieu de "vous", "votre travail"…

Limiter l'emploi des négations et de mots connotés négativement / utiliser des tournures positives (ex: dire "points à améliorer" au lieu de "points négatifs")

Éviter les verbe devoir et falloir (même au conditionnel) "tu aurais du" ou "il aurait fallu"

Résultats

27 6

3 1

2 1

Commentaires positifs / négatifs / neutres

Éviter de trop répéter la même erreur ou même piste Sélectionner les critiques (trop de critiques découragent) Balance entre le positif et le négatif (nombre) Commencer par le positif ou en tout cas le mettre en avant

Faire des commentaires neutres Éviter les commentaires neutres

Contradiction: il faut que le feedback soit neutre vs il ne faut pas que le feedback soit neutre: les conversations montrent que le mot "neutre" n'a pas le même sens dans les deux cas. Dans le 1er cas on peut inférer "neutre de jugement", et dans l'autre les étudiant·es parlent plutôt de "neutre" au niveau du ton.

Résultats

4 3

2

Structure du texte

Prendre soin de la structure du feedback (paragraphes, mettre en couleurs, etc) Écrire des phrases simples et courtes / clarté Faire un commentaire général de synthèse à la fin

Résultats

10 9 7 6

Pistes d’amélioration

Proposer des pistes d'amélioration concrètes / exemplifiées Proposer des pistes d'amélioration sans donner la réponse /laisser une place à

l'amélioration de la production Proposer des pistes d'amélioration sous forme de questions Donner les ressources nécessaires (ex: renvoi au cours spécifique, point

théorique, PER)

Résultats

17 3

1

Etre spécifique / concret / précis

Expliquer / exemplifier / justifier / argumenter les erreurs relevées Se référer à la production / être aligné à la production

Se référer aux critères

Résultats

13 4

2

Posture

Montrer son implication /volonté d'aider les pairs/se mettre à la place de/ montrer qu'on croit à la réussite Montrer une ouverture à la discussion Ne pas se positionner comme un expert / se placer au dessus

Résultats

1 1

Faire des hypotheses interprétatives

Faire des hypothèses sur le travail du groupe (intentions, temps)

Éviter les hypothèses sur la manière dont le groupe a travaillé (manque de temps) ou sur les intentions du groupe

Contradiction sur le fait de faire des hypothèses interprétatives sur la manière de travailler, les conditions de travail, les intentions :

- Dans le 1er cas, le ou la rétroacteur·rice avait visé juste, hypothèse vérifiée. Cela a été très bien perçu.

- Dans le 2^e cas, le ou la rétroacteur·rice n'avait pas visé juste. La personne pensait que les étudiant·es avaient manqué de temps dans le TP1, ce qui en réalité n'avait pas été le cas (selon les étudiant·es participant au forum). Dans ce 2ème cas le commentaire a été heurtant pour les personnes qui l'ont reçu.

Résultats

Comment formuler des feedbacks bienveillants selon les étudiant·es ? Pistes les plus mentionnées dans les 30 forums

• Commencer par le positif ou en tout cas le mettre en avant (N = 27)

• Éviter les injonctions / Ne pas imposer mais proposer / ne pas employer l’impératif (N = 17)

• Utiliser le conditionnel (N = 17)

• Expliquer / exemplifier / justifier / argumenter les erreurs relevées (N = 17)

• Montrer son implication / sa volonté d’aider les pairs / se mettre à la place des pairs / montrer qu’on croit à la réussite (N = 13)

• Utiliser des verbes doux (penser, sembler, trouver) / Adopter une posture de doute (selon moi, il me semble que, ce n’est que mon point de vue, peut-être) (N = 11)

• Proposer des pistes d’amélioration sous forme de questions (N = 10)

37

Des pistes spécifiques à la rédaction de feedbacks ?

Le feedback oral: la bienveillance passe aussi par le ton de la voix

 A priori, les pistes dégagées pour véhiculer de la bienveillance

dans les feedbacks écrits devraient aussi s’appliquer aux feedbacks oraux

 Cependant, il serait intéressant de réaliser une étude similaire

dans le cas d’une évaluation de la bienveillance de feedback oraux.

Discussion

→ Au vu des interactions significatives entre la perception de la bienveillance et l’utilité perçue des feedbacks, le sentiment de justice, la volonté à continuer le travail et les ressentis positifs, il est important de travailler la compétence à formuler des commentaires bienveillants.

→ Malgré la subjectivité observée dans les ressentis de bienveillance produits par les feedbacks, certaines pistes reviennent de manière assez récurrente pour proposer des critères d’évaluation, ou du moins des recommandations pour produire un feedback bienveillant.

Conclusion

Merci pour votre écoute

[email protected] [email protected] [email protected] [email protected] [email protected] [email protected]

Chinn, C. A., & Brewer, W. F. (1993). The role of anormalous data in knowledge acquisition: A theoretical framework and implications for science instruction. Review of Educational Research, 63, 1-49.

Falchikov, N., & Boud, D. (2007). Assessment and emotion. In D. Boud & N. Falchikov (Eds.). (pp. 144-155).

Routledge. Rethinking assessment in higher education: Learning for the longer term

Girardet, C. (2020, prépublication). Lorsque les étudiant·es produisent et reçoivent des feedbacks entre pairs à l’université : étude des perceptions d’un dispositif d’évaluation continue facilité par le numérique. La Revue LEeE, 2. https://revue.leee.online/index.php/info/article/view/65

Jellab, A. (2018). La bienveillance, un nouveau care en éducation ? Plaidoyer critique et constructif pour une notion pédagoquement vive. In A. Jellab & C. Marsollier (Eds.), Bienveillance et bien-être à l'école : pour une école humaine et exigeante (pp. 19-56). Berger-Levrault.

Mottier Lopez, L. & Girardet, C. (sous presse). L’évaluation pour mieux soutenir les apprentissages : un exemple dans l’enseignement supérieur. In B. Albero & J. Thievenaz (Eds.). Traité de méthodologie de la recherche en Sciences de l’éducation et de formation: Enquêter dans les métiers de l’humain.

Strijbos, J. W., Narciss, S., & Dünnebier, K. (2010). Peer feedback content and sender’s competence level in academic writing revision tasks: Are they critical for feedback perceptions and efficiency? Learning and Instruction, 20(4), 291-303.

Références