Les effets parasites de la fiabilité

Lors de l’étape du jugement, nous avons vu que les enjeux de l’objectivité, de la subjectivité et de la fidélité sont particulièrement présents. Quant à cette dernière, il existe des facteurs par rapport auxquels il faut être prudent, car ils risquent de nuire à la fiabilité de l’évaluation. De fait, il s’agit des effets parasites qui peuvent entrer en jeu, surtout lors d’évaluations subjectives quand l’enseignant doit mesurer lui-même la qualité de la performance et porter un jugement. Bien que ces facteurs ne puissent pas être entièrement éliminés, il est possible de diminuer leur présence en en étant conscients et, de ce fait, de préserver la fidélité de l’examen. En m’appuyant sur les travaux de Taligante (2005), voici les différents effets parasites de la fiabilité :

 L’effet de contraste. Il s’agit de comparer des copies de qualité différente. Si l’on corrige une bonne copie juste avant une copie moyenne, cette dernière risque d’être évaluée plus sévèrement. Le contraire est également possible. Dans le but de réduire cet effet, il s’agit de rester fidèle aux critères et au niveau ciblé.

 L’effet d’ordre. Les recherches dans ce domaine montrent qu’en évaluant un nombre important de copies, l’enseignant a tendance à être plus sévère lorsqu’il note la dernière copie.

 L’effet de stéréotypie. Si l’enseignant connaît un certain apprenant et l’a déjà évalué plusieurs fois, il peut avoir du mal à lui donner une note différente que celles données auparavant. Sommairement, nous avons tendance à établir une image des compétences d’une personne donnée, et cette image nous empêche d’évaluer de manière objective.

 L’effet halo. Dans une situation d’examen, un apprenant se comportant bien, de manière polie et respectueuse, a tendance à être mieux évalué que celui qui se comporte moins bien ou qui montre sa lassitude ou son manque de confiance. Autrement dit, l’effet halo laisse les facteurs non liés à la performance de l’apprenant influencer son évaluation.

 L’effet choc (négatif ou positif). Lorsque nous évaluons la production d’un étudiant, et que nous voyons se produire à plusieurs reprises la même faute, nous sommes enclins à noter plus

sévèrement (choc négatif). À contrario, si nous constatons la bonne utilisation d’un élément linguistique parmi des erreurs, il est facile de se laisser séduire et de donner une bonne note (choc positif) grâce au bon usage de l’élément en question.

 L’effet « goutte d’eau » ou de débordement. Si l’évaluateur tolère la même faute produite à plusieurs reprises dans une production, la production de cette même faute une dernière fois à la fin de la production risque de « faire déborder la vase ». Ainsi l’enseignant finit-il par accorder une note basse.

 L’écart type. Chaque enseignant a une idée de ce qui est une bonne et une mauvaise note, et généralement les notes qu’il accorde s’inscrivent dans un certain espace. Par exemple, si l’on note uniquement entre 8 et 12, l’écart type est de 4 points. De même, certains enseignants ne donnent jamais une évaluation parfaite (20/20), alors que d’autres estiment qu’il est possible de donner cette note.

 L’effet de favoritisme. L’évaluateur peut avoir un élève « préféré », c’est-à-dire que cette personne possède une bonne image aux yeux de l’enseignant. Celui-ci a du mal donc à donner une mauvaise note à cet apprenant même quand c’est mérité.

 L’effet de contamination. Si l’enseignant sait qu’un apprenant donné à un bon dossier scolaire (il possède des diplômes, il a fait des études en lien avec le sujet de l’examen), l’évaluation peut être influencée de manière positive.

 L’effet de fatigue. Ce facteur est en lien avec la tâche évaluative elle-même, et l’effet qu’elle produit sur l’enseignant lorsqu’il doit corriger un nombre important de productions. La fatigue que suscite cette procédure nuit à la capacité de l’enseignant d’évaluer de manière fiable. De plus, il a été montré que l’on évalue mieux le matin, dans un endroit calme et propice au travail. Cela peut par ailleurs provoquer d’autres conséquences négatives, telles que l’effet de débordement, de contraste ou d’ordre.

 L’effet d’évaluation externe. Dans le but de préserver son image de bon enseignant vis-à-vis de l’institution ou des parents, l’évaluateur ne donne pas de très mauvaises notes.

 L’effet pygmalion. Il est question ici de stéréotypes ou d’images que l’enseignant possède des étudiants ayant certaines caractéristiques (origine ou milieu social, par exemple), et l’effet de ces représentations sur la réussite, ou non, de ceux-ci. La psychologie sociale démontre que si l’élève s’aperçoit que l’évaluateur possède un préjugé par rapport à sa capacité, il finira par confirmer cette image.

En examinant ces effets parasites de la fiabilité, nous remarquons deux choses importantes. Premièrement, il s’agit de facteurs présents lors des évaluations de la production orale ou écrite,

c’est-à-dire de la performance. Deuxièmement, ils s’appliquent à des examens dont la correction s’effectue par des humains et non par des machines. Nous pouvons ainsi faire le lien entre ces effets, la fiabilité, la subjectivité et l’objectivité. De fait, c’est dans le cadre d’une évaluation subjective que ces facteurs peuvent avoir un impact sur le jugement, étant donné que l’évaluateur est chargé de se prononcer sur la qualité de la production. S’il s’agit d’un test standardisé et autocorrectif, par exemple, ces effets n’entrent presque pas en jeu. La conclusion que nous pouvons en tirer est que la fiabilité est donc menacée surtout lors d’évaluations subjectives, et c’est avec ce type de situation qu’il faut être prudent quant aux effets parasites de la fiabilité.