Chapitre 5: Formation à la standardisation et au calibrage
5.5. Formation avec des performances orales et écrites
Il se peut que des échantillons de performances et/ou de tâches d’examens représentatifs ne soient pas encore disponibles dans la langue concernée. Dans ce cas, nous recommandons de travailler avec les échantillons de la langue que le groupe a en commun – à condition que les groupes aient un niveau minimum B2/C1 de compétence dans cette langue. Dans ce cas, il faut indiquer dans la documentation qu’il s’agit d’une formation indirecte.
La première étape de la démarche est l’analyse et l’évaluation de performances orales représentatives du CECR. Elle est suivie (si cela convient) par des performances écrites représentatives. La plupart des échantillons oraux ont un format identique qui comprend, pour chaque candidat, une phase de production orale (un monologue suivi au cours duquel un candidat explique quelque chose à un autre candidat qui lui pose des questions) suivie d’une phase d’interaction (au cours de laquelle les deux candidats discutent d’un sujet de façon spontanée).
Pour l’évaluation de la performance écrite, il est important d’examiner des échantillons à la fois d’interaction écrite (par exemple des notes, des lettres) et de production écrite (par exemple des descriptions, des histoires, des critiques) d’un candidat. Cela est plus particulièrement important pour les niveaux élémentaires.
Il est important de noter que dans les échantillons représentatifs, c’est la compétence du candidat dans son ensemble, à partir de la performance dans sa totalité, que l’on évalue et non pas les performances séparées (monologue/interaction). Dans la documentation, on trouve des raisons argumentées justifiant tel ou tel niveau d’un candidat, avec des
performance orale; tableau B4 pour la performance écrite). Cela signifie que les tâches d’évaluation ont pour but de générer des échantillons représentatifs et complémentaires de la capacité du candidat à s’exprimer oralement dans la langue. Sur la base de toutes les preuves à disposition, l’expert utilise les descripteurs génériques basés sur les critères (CECR, tableau 3/tableau C2) pour juger de la compétence du candidat dans la mesure où elle peut être déduite d’un échantillonnage immanquablement limité et incomplet. Le résultat – la compétence apparaissant à travers la performance – est ce qu’on appelle habituellement en français la compétence.
5.5.1. La performance orale
Il est essentiel, pour ce stage, que les participants utilisent une grille d’évaluation comportant les descripteurs du CECR.
Ce stage est organisé en trois étapes:
Phase 1: Illustration. Les coordinateurs commencent le stage par deux ou trois performances orales représentatives pour exemplifier les niveaux. Ils projettent l’échantillon et invitent les participants à commenter la performance avec leurs voisins. Au moment opportun, les coordinateurs reconstituent le grand groupe et lui font expliciter pourquoi cette performance illustre le niveau décrit sur la grille du tableau 3 du CECR (tableau C2) et non un niveau inférieur ou supérieur.
Phase 2: Pratique. Dans cette seconde phase, le rôle des coordinateurs est d’aider les stagiaires à voir s’ils ont encore tendance à être trop sévères ou trop indulgents. Si le vote s’est fait par bulletin, les coordinateurs utiliseront une fiche de synthèse sur transparent (par exemple la fiche B3) ou un graphique pour enregistrer les évaluations. Tout au long de cette étape, les coordinateurs doivent faire visualiser aux participants leur comportement en tant que groupe et animer la discussion comme indiqué plus haut, sans embarrasser les individus.
Si l’on n’a pas utilisé le vote anonyme, une technique efficace consiste à écouter les discussions des groupes et, lorsque tout le monde est regroupé, à faire donner
«la réponse» par les groupes avec lesquels on a la meilleure chance qu’elle soit correcte.
Phase 3: Evaluation individuelle. Les stagiaires évaluent individuellement le reste des performances, rendent leurs bulletins d’évaluation et discutent ensuite sur ce que représentent les niveaux du CECR auxquels ces performances ont été affectées. On recommande vivement de continuer à analyser les performances par blocs de trois. De la sorte, on focalisera mieux la discussion sur la standardisation – plutôt que d’entrer dans une discussion sur les mérites de certaines performances. Le dernier bloc de trois devrait faire l’objet d’un accord presque général.
Le stage se terminera lorsqu’on aura atteint ce niveau d’accord dans le groupe et que les coordinateurs (et les participants) seront satisfaits du degré de consensus atteint pour l’évaluation d’échantillons standards de performances orales.
5.5.2 La performance écrite
On recommande une démarche semblable à celle qui a été préconisée pour la performance orale.
Phase 1: Illustration. Le stage commence par deux ou trois performances écrites standards que les coordinateurs utilisent pour exemplifier les niveaux.
Pour chaque échantillon, à un moment donné, les coordinateurs reconstituent le grand groupe et lui font expliciter comment cette performance illustre le niveau décrit sur la grille du tableau C4 et pourquoi elle n’est pas du niveau inférieur ou supérieur.
Phase 2: Pratique. Dans cette seconde phase – où l’on utilisera de nouveau trois échantillons – le rôle des coordinateurs est d’aider les stagiaires à voir s’ils ont encore tendance à être trop sévères ou trop indulgents. Si le vote s’est fait par bulletin, les coordinateurs utiliseront une fiche de synthèse (par exemple la fiche C3) pour rapporter les évaluations sur transparent.
Tout au long de cette phase, les coordinateurs doivent faire visualiser aux participants leur comportement en tant que groupe et animer la discussion comme indiqué plus haut, sans embarrasser les personnes. Si l’on n’a pas utilisé le vote anonyme, une technique efficace consiste à écouter les discussions des groupes et, lorsque tout le monde est regroupé, à faire donner «la réponse» par les groupes avec lesquels on a la meilleure chance qu’elle soit correcte.
Phase 3: Evaluation individuelle. Les stagiaires évaluent individuellement le reste des performances et discutent ensuite des niveaux du CECR auxquels ces performances ont été affectées.
On recommande très vivement de continuer à analyser les performances par blocs de trois. De la sorte, on focalisera mieux la discussion sur la standardisation – plutôt que d’entrer dans une discussion sur les mérites de certaines performances. Le dernier bloc de trois devrait faire l’objet d’un accord. Cela signifie que la grande majorité des participants devraient être d’accord sur le niveau avec une dispersion inférieure à un niveau et demi.
Le stage se terminera lorsqu’on aura atteint ce niveau d’accord dans le groupe.