Proceedings Chapter
Reference
Expérience d'un dispositif collaboratif d'évaluation formative et certificative en formation universitaire à la recherche collaborative
MOTTIER LOPEZ, Lucie, GIRARDET, Céline
MOTTIER LOPEZ, Lucie, GIRARDET, Céline. Expérience d'un dispositif collaboratif d'évaluation formative et certificative en formation universitaire à la recherche collaborative. In: Gremion, C., Sylvestre, E., & Younès, N.
Actes du 31ème colloque de l'ADMEE-Europe. 2019. p.
358-365
Available at:
http://archive-ouverte.unige.ch/unige:129464
Disclaimer: layout of this document may differ from the published version.
1 / 1
Communication 157.6 : Expérience d’un dispositif collaboratif d’évaluation formative et certificative en formation universitaire à la recherche collaborative
Mottier Lopez Lucie, [email protected], Université de Genève, Suisse Girardet Céline, [email protected], Université de Genève, Suisse
Souvent, dans le contexte de l’enseignement universitaire, l’apprentissage des étudiant·e·s apparait piloté par les exigences de l’évaluation certificative (Romainville, 2006). Pour l’enseignant·e, un enjeu est de concevoir des modalités d’évaluation certificative qui encouragent des apprentissages « en profondeur » par le moyen, notamment, de situations d’évaluation « authentique » (Wiggins, 1998). L’évaluation certificative est intentionnellement conçue pour offrir d’abord des opportunités d’apprentissage pour les étudiant·e·s. Elle est explicitement articulée à des évaluations formatives pour réguler l’enseignement et pour soutenir l’autorégulation des étudiant·e·s (Allal, 2013). Elle est élaborée par rapport à des
« situations sociales et culturelles, significatives d’un domaine disciplinaire ou d’un contexte professionnel et socioculturel donné » (Mottier Lopez, 2017, p. 59). Dans l’étude que nous présentons ici, les pratiques sociales de référence sont les pratiques de la recherche collaborative en sciences de l’éducation dans le cadre d’un cours universitaire de formation à la recherche scientifique. Le cours s’adresse à un public provenant de différentes maîtrises universitaires. Le cours est semestriel. Notre analyse concerne le dispositif de l’année académique 2017-2018. 38 étudiant·e·s étaient inscrit·e·s. Les chercheuses sont les enseignantes du cours. La présentation des résultats s’organise en deux parties générales.
Partie 1 : description du dispositif d’évaluation
Dans la perspective d’un « contrôle continu » tout au long du semestre, notre dispositif est composé de différentes « pièces » articulées entre elles visant une évaluation authentique que nous associons aux travaux récents sur l’Assessment for learning qui englobe toutes les formes d’évaluation (e.g., Wiliam, 2011), y compris sommative et certificative, dès lors qu’elles sont susceptibles de soutenir les progressions d’apprentissage des étudiant·e·s. La figure 1 présente les différentes « pièces » du dispositif d’évaluation dans différents espaces de formation.
Figure 1. Déroulement et composantes de l’évaluation certificative expérimentée.
Comment ces différentes pièces du dispositif d’évaluation ont-elles été conçues pour créer un lien avec les pratiques sociales de référence de la recherche collaborative ?
Notre description s’intéresse ainsi :
- aux structures collaboratives conçues pour inciter les étudiant·e·s à co-construire des savoirs sur les approches de recherche collaborative hors du cours et pendant le cours ; - à un espace numérique d’échanges et de médiation hors de la présence de l’enseignante
principale du cours (avec des rôles déterminés pour les étudiant·e·s de différents groupes, par rapport à des textes et thématiques définies) ;
- à des présentations orales croisées pendant le cours entre différents groupes d’étudiant·e·s, avec la responsabilité du feedback dévolu à d’autres étudiant·e·s ; - aux apports différenciés de l’enseignante à des questions ciblées par les étudiant·e·s ; - à la production d’un écrit conceptuel individuel présentant l’élaboration d’un dispositif de
recherche collaborative.
Quelques résultats
Les cadres théoriques servant à l’objectivation critique du dispositif d’évaluation sont de deux ordres principalement :
1. Les caractéristiques d’une évaluation authentique, déplaçant une conception classique de l’évaluation certificative vers une évaluation « soutien d’apprentissage » ou assessment for learning (AfL) : temporalité longue et rétroactions fréquentes (feedbacks), intégration de régulations interactives entre pairs, avec les enseignantes, avec du matériel interactif, ancrage dans des significations propres à une pratique sociale et professionnelle de référence (cadre théorique suivant).
2. Les principes théoriques et méthodologiques d’une approche collaborative de recherche (RC) (Bednarz, 2013 ; Desgagné, 1997 ; Mottier Lopez, 2018). Notamment, ce sont les processus de co-situation (négociation et construction de sens entre les partenaires), de co-opération (investigation formelle et questionnement pratique), de
co-production (présentation de résultats et formes adaptées de communication). Nous avons toutefois conscience des phénomènes de transposition des principes fondant la pratique sociale de référence au contexte spécifique du cours universitaire, avec ses enjeux de certification propres et, notamment, de relation asymétrique entre les enseignantes et les étudiant·e·s par rapport à des objets de savoir institués.
Tableau 1
Analyse du dispositif d’évaluation certificative à des fins d’assessment for learning
Une prochaine écriture permettra de discuter les différents constats résumés dans ce tableau, notamment pour dégager les processus dynamiques existants entre les différentes situations associées à une modélisation particulière de l’évaluation (assessment for learning, conçue comme une « valuation multiréférentialisée », Mottier Lopez & Dechamboux, 2019, prépublication).
Partie 2 : Perceptions des étudiant·e·s après la certification finale
Notre étude a consisté à également soumettre aux étudiant·e·s du cours un questionnaire en ligne anonyme. Elaboré par les enseignantes au regard de leurs questionnements, il interrogeait plusieurs thématiques au travers des différentes pièces du dispositif : modalités
de préparation, déroulement des expériences réalisées, satisfaction vis-à-vis de ces expériences, perception des échanges, et appropriation des contenus. Quelles sont les perceptions des étudiant·e·s des pièces du dispositif expérimenté par rapport à leur appropriation des savoirs en jeu ?
Participants et instruments
18 étudiant·e·s ont renseigné le questionnaire. Pour chaque item, les participant·e·s devaient indiquer un degré d’accord sur une échelle visuelle analogique allant de 0 (pas du tout d'accord) à 100 (tout à fait d'accord). Les analyses réalisées sont des statistiques descriptives, et des analyses de variance (ANOVA)62 servant à comparer les moyennes entre des groupes d’étudiant·e·s lorsque cela était jugé pertinent. Nous présentons ici des différences de moyennes entre les étudiant·e·s ayant réalisé l’exercice du feedback aux pairs avant leur présentation orale (N=9) et celles et ceux ayant réalisé le feedback alors qu’elles et ils avaient déjà effectué la présentation orale (N=9).
Quelques résultats
Le tableau 2 rapporte les statistiques descriptives des variables concernant la perception des étudiant·e·s de l’appropriation des contenus des textes par les différentes pièces du dispositif.
Tableau 2
Statistiques descriptives
Les analyses descriptives donnent à voir une perception globalement positive du dispositif.
Rappelons que le dispositif a été conçu comme un tout, et que ces perceptions sont mutuellement dépendantes. Les étudiant·e·s ont rapporté une appropriation des contenus approfondie grâce à toutes les pièces à l’exception de la session virtuelle, qui est également la pièce du dispositif ayant suscité la plus grande hétérogénéité de réponses.
Perceptions de la session virtuelle. Nous avons souhaité étudier les perceptions de la session virtuelle plus en détail, afin d’apporter des éléments d’interprétation de cette perception d’appropriation des contenus plus en surface. Nous avons également testé si l’hétérogénéité de ces perceptions avait un lien avec les différents rôles attribués aux étudiant·e·s lors de la session virtuelle (soit la présentation d’un texte au regard d’un axe de questionnement, soit l’identification de similarités et de différences entre les textes des deux groupes). La figure 2 montre, pour ces deux groupes, les moyennes des réponses relatives à
62 Il a été montré que la distribution des réponses pour des échelles visuelles analogiques ne diffère pas de celle obtenue avec d’autres types d’échelles (Couper et al., 2006). De plus, les ANOVAs sont des tests valides pour analyser des différences inter- groupes pour des mesures à l’aide d’échelles visuelles analogiques (Dexter & Chestnut, 1995).
leurs perceptions de la session virtuelle et au lien entre la session virtuelle et la présentation orale. L’analyse de variance ne relève aucune différence significative entre les deux groupes.
Figure 2. Perceptions des étudiant·e·s de la session virtuelle et des liens avec la présentation orale.
Un premier constat est que dans la session virtuelle, les étudiant·e·s rapportent majoritairement avoir redit ce qu’elles et ils avaient préparé en amont de la session. Cet élément explique en partie la perception limitée d’appropriation de contenus associé à cette pièce. En effet, nous pouvons imaginer que le côté « restitution » d’un travail rédigé en amont n’a laissé que peu de place à des régulations et rétroactions interactives entre pairs lors de la session, limitant ainsi la construction de contenus nouveaux. De façon cohérente, les étudiant·e·s rapportent une utilité perçue moyenne de la session virtuelle pour préparer leur présentation orale, qu’elles et ils disent d’ailleurs avoir retravaillé après la session virtuelle. Au vu de ces résultats, il est utile d’aller voir comment les étudiant·e·s se sont préparé·e·s à la session virtuelle. Pour rappel, les consignes étaient de lire individuellement son propre texte uniquement, selon deux axes de questionnement, puis d’anticiper une intervention pour la session virtuelle selon ces deux axes sur son propre texte (toujours au regard d’un thème prédéfini). Le tableau 3 montre les modalités de préparation à la session virtuelle rapportées par les étudiant·e·s dans le questionnaire. Les nombres en gras signalent la modalité de préparation qui était attendue par les enseignantes.
Tableau 3
Modalités de préparation des étudiant·e·s à la session virtuelle
La lecture de ces résultats nous permet de penser que l’élaboration de contenus nouveaux et les effets d’interdépendance positive entre les étudiant·e·s attendus par les enseignantes pendant la session virtuelle se sont déroulés en amont de celle-ci, dans le travail de
88.00
57.33
70.67
79.78 76.22
51.22 57.00
83.89
0 10 20 30 40 50 60 70 80 90 100
Dans la session virtuelle, j'ai redit ce que j'avais
préparé avant
La session virtuelle m'a été utile pour préparer la
présentation orale
Je pense que j'aurais pu faire la même présentation orale sans
la session virtuelle
Après la session virtuelle, j'ai encore travaillé mon
intervention pour la présentation orale Je devais présenter mon texte par rapport à un axe (N=9)
Je devais dégager les similarités/différences entre les textes (N=9)
préparation de la session virtuelle, souvent réalisé en groupe. Ce travail en amont n’avait pas été anticipé par les enseignantes comme « pièce » du dispositif à part entière ; il semble pourtant avoir joué un rôle important. Nous postulons que ce travail en amont a été accentué par la perception des étudiant·e·s des enjeux certificatifs de la session virtuelle qui se déroulait en présence de l’assistante du cours.
Perceptions du feedback aux pairs. Une des originalités du dispositif proposé était l’expérimentation par les étudiant·e·s d’une phase de rétroaction/feedback aux pairs sur leur présentation orale, alimentant un temps d’échanges dans le collectif de la classe. Comme mis en évidence dans le tableau 2, la perception de l’appropriation des contenus au travers de ce temps d’échange collectif a suscité une forte hétérogénéité de réponses. Afin d’appréhender les perceptions des étudiant·e·s du feedback aux pairs, nous avons comparé les moyennes de deux groupes d’étudiant·e·s : (a) les étudiant·e·s responsables du feedback avaient déjà fait leur présentation orale ; (b) elles et ils n’avaient pas encore fait leur présentation orale. La figure 3 présente les moyennes des réponses des étudiant·e·s aux items relatifs à la perception du feedback (FB) pour les deux groupes mentionnés ci-dessus.
Figure 3. Perceptions du feedback du point de vue des rétroacteur·rice·s.
Les ANOVA montrent un effet significatif de l’ordre entre feedback et présentation orale sur l’appréciation de l’exercice du feedback [F(1, 14) = 5.32, p <.05] et sur la perception de l’appropriation des contenus par cette pièce du dispositif [F(1, 14) = 9.05, p <.01]. Les étudiant·e·s qui ont effectué le feedback en ayant au préalable expérimenté la présentation orale ont apprécié l’exercice de feedback davantage que leurs pairs qui ont effectué le feedback avant de faire leur propre présentation. De plus, les étudiant·e·s ayant fait la présentation orale avant le feedback rapportent une plus haute perception de l’utilité du feedback pour s’approprier les contenus des textes.
Brève conclusion
Par rapport aux angles de discussion du symposium, notre texte débat des articulations des fonctions formative et certificative au sein d’un dispositif d’évaluation visant un « soutien continu » à l’apprentissage des étudiant·e·s (assessment for learning, Wiliam, 2011) dans une formation universitaire. Nous avons insisté sur la conceptualisation qui a fondé l’ingénierie de formation et d’évaluation, prenant appui sur quelques principes qui caractérisent la pratique
58.14 62.00 62.00
82.56 87.56
76.33
0 10 20 30 40 50 60 70 80 90 100
J'ai apprécié pouvoir poser des questions et transmettre
mon fb
Le fait de transmettre un fb m'a permis de m'approprier les
contenus
J'ai apprécié pouvoir discuter les textes des PO au même
titre que l'enseignante FB avant PO (N=7) FB après PO (N=9)
professionnelle de référence, ici la recherche collaborative. Une discussion doit cependant encore être menée sur les limites de cette conceptualisation, notamment pour pointer les transformations des situations et processus en raison des contraintes propres au contexte de la formation certifiée.
L’analyse des perceptions des étudiant·e·s a permis d’esquisser quelques éléments interprétatifs des effets perçus du dispositif d’évaluation sur l’appropriation des contenus du cours. La perception des enjeux certificatifs du dispositif peut amener les étudiant·e·s à un fort engagement dans le travail demandé qui mène à une perception d’appropriation en profondeur des contenus. Cependant, cette perception des enjeux certificatifs peut également amener les étudiant·e·s à surinvestir la préparation d’une pièce (dans notre cas, la session virtuelle) du dispositif. Les effets escomptés de cette pièce du dispositif sur l’appropriation des contenus se sont vus déplacés en amont de la pièce, dans le travail de préparation qui s’est improvisé au sein de chaque groupe. Nous avons également constaté un effet d’ordre entre les pièces du dispositif. Ces différents constats, parmi d’autres présentés ultérieurement (Girardet, Mottier Lopez & Gomez, 2019, accepté), ont amené les enseignant·e·s du cours à ajuster le dispositif d’évaluation pour la cohorte d’étudiant·e·s suivante.
Mots-clés
Evaluation authentique, formation à la recherche, recherche collaborative, perception des étudiant·e·s
Références bibliographiques
Allal, L. (2013). Évaluation : un point entre enseignement et apprentissage à l’université. In M.
Romainville, R. Goasdoué & M. Vantourout (Eds.), Évaluation et enseignement supérieur (pp.
21-40). Bruxelles : De Boeck.
Bednarz, N. (Ed.) (2013). Recherche collaborative et pratique enseignante : regarder ensemble autrement. Paris : L’Harmattan.
Bélair, L. M. (1999). L’évaluation dans l’école, nouvelles pratiques. Paris : ESF.
Couper, M. P., Tourangeau, R., Conrad, F. G., & Singer, E. (2006). Evaluating the Effectiveness of Visual Analog Scales: A Web Experiment, Social Science Computer Review, 24(2), 227-245.
Desgagné, S. (1997). Le concept de recherche collaborative : l’idée d’un rapprochement entre chercheurs universitaires et praticiens enseignants, Revue des sciences de l'éducation, 23(2), 371-393.
Dexter, F., & Chestnut, D.H. (1995). Analysis of statistical tests to compare visual analog scale measurements among groups, Anesthesiology, 82(4), 896-902.
Girardet, C., Mottier Lopez, L., & Gomez, A. (2019, August, accepted). Student perception of learning through a pedagogical scenario in a university class in education. Poster to be presented at the 18th Biennal Conference of the European Association for Research on Learning and Instruction, Aachen, Germany, August 12-16.
Mottier Lopez, L. (2017). L’étude d’un dispositif d’évaluation formative et certificative visant à soutenir l’autorégulation des apprentissages des étudiants en contexte universitaire. In S. C. Cartier &
L. Mottier Lopez (Eds.), Soutien à l'apprentissage autorégulé en contexte scolaire : perspectives francophones (pp. 55-83). Québec : Presses Universitaires du Québec.
Mottier Lopez, L. (2018). Une approche de recherche collaborative sur les pratiques enseignantes.
Partir d’une compréhension conjointement construite pour appréhender le développement professionnel des participants. In D. Broussal, K. Bonnaud, J.-F. Marcel & P. Sahuc (Eds.), Recherche(s) et changement(s), dialogues et relations (pp. 131-151). Toulouse: Éditions Cépaduès.
Mottier Lopez, L. & Dechamboux, L. (2019, prépublication). Essai de modélisation d’une évaluation
« de » et « pour » la recherche collaborative : l’exemple de deux recherches sur des pratiques d’enseignement et d’apprentissage. La Revue LEeE, 1.
Romainville, M. (2006). Quand la coutume tient lieu de compétence : les pratiques d’évaluation des acquis à l’université. In N. Rege Colet & M. Romainville (Eds.), La pratique enseignante en mutation à l’université (pp. 19-40). Bruxelles : De Boeck.
Wiggins, G. P. (1998). Educative assessment: Designing assessments to inform and improve student performance [Kindle DX version]. Retrieved from Amazon.com.
Wiliam, D. (2011). Embedded formative assessment. Bloomington, IN : Solution Tree Press.
