La comparabilité : le cas spécifique du format de présentation

Le correcteur humain attribue-t-il des notes équivalentes quand il a devant lui une copie imprimée, manuscrite ou même tout simplement présentée à l’écran ? Cette question a été au centre de certains travaux qui se sont penchés sur le cas spécifique du format de présentation (Wolfe et al., 1993; Powers et al., 1994; Russell et Tao, 2004, Godin, 2009 )

Wolfe et al. (1993) ont mené deux expériences auprès de 157 élèves de 10e année pour comparer les évaluations de productions écrites en modalité manuscrite et informatisée. La deuxième expérience avait spécifiquement pour but de voir si les correcteurs notent de façon différente une copie manuscrite et une copie informatisée. Chacune des 157 copies dont la moitié avait été rédigée en modalité manuscrite et l’autre en modalité informatisée a été soumise à deux correcteurs. Avant la correction, les copies manuscrites ont été saisies et imprimées en variant la police et la qualité de l’impression de l’ensemble des copies pour éviter de les différencier. De même, les copies rédigées à l’ordinateur ont été transcrites manuellement en variant les écritures pour éviter qu’elles soient reconnues. Chaque production écrite était donc disponible dans son format original et dans le format inverse. Après la correction et la notation, l’examen des résultats montrent que les copies originales, qu'elles soient rédigées à l’ordinateur ou qu'elles soient manuscrites, reçoivent des notes plus élevées que les copies retranscrites. En outre, les résultats montrent que les copies rédigées avec l’ordinateur reçoivent des notes plus élevées que les copies manuscrites.

On peut se demander si l’expérience telle que conduite par Wolfe et al. (1993) n’a pas été entachée de quelques biais susceptibles d’influencer le jugement du correcteur au détriment des copies non originales reproduites. L’hypothèse de biais est possible dans la mesure où les auteurs affirment que dans les copies reproduites textuellement dans le format inverse, l’on pouvait relever en moyenne deux mots mal orthographiés par rapport à l’original. En outre, dans le cas de la reproduction en manuscrit, l’écriture mal soignée peut avoir également introduit un biais difficile à contrôler. De ce fait, il faudrait prendre avec réserve les résultats de l’expérience de Wolfe et al. (1993) qui ont conclu que leurs résultats sont en contradiction

avec ceux de Powers et al. (1994)8, lesquels ont trouvé dans leur étude que les copies manuscrites recevaient des notes plus élevées, qu’elles soient originales ou retranscrites. Pour mesurer l’effet du format de présentation, Powers et al. ont tout simplement mené des expériences sur des copies de productions écrites de 500 étudiants de 1re, 2e ou 3e année d’université. Ceux-ci ont rédigé chacun une copie manuscrite et une copie informatisée respectivement à un test manuscrit et un autre en modalité de production informatisée. À partir des résultats, la paire de copies de chacun des seize étudiants représentatifs du groupe dans l’épreuve manuscrite et celles de chacun de seize autres représentatifs dans l’épreuve informatisée ont été choisies pour la suite de l’étude. Les 64 copies ainsi concernées ont été doublées dans le format de présentation inverse pour être corrigées par la suite selon les deux formats. Les correcteurs ne pouvaient donc pas différencier une copie originalement manuscrite ou originalement saisie. L’examen des résultats montre que, pour les mêmes réponses, les copies manuscrites ont reçu de la part des correcteurs des notes plus élevées que celles produites avec le traitement de texte. Pour expliquer cette variation, les chercheurs ont émis plusieurs hypothèses :

1) Les réponses produites manuellement apparaissent plus longues et de ce fait se présentent comme le résultat d’un plus grand effort;

2) Les correcteurs s’attendent à un produit final entièrement édité et raffiné avec le traitement de texte et, par conséquent, ils ont des attentes plus élevées pour les textes réalisés par ce biais;

3) Le texte écrit à la main fait que le correcteur se sent plus proche de celui qui écrit, ce qui permet d’identifier étroitement la voix individuelle de l’auteur comme un aspect important du texte écrit;

4) Les correcteurs donnent aux réponses produites manuellement le bénéfice du doute quand ils rencontrent des copies mal soignées ou difficiles à lire.

Pour vérifier la première hypothèse, Powers et al. (1994) ont mené une expérience complémentaire dans laquelle les textes produits à l’ordinateur étaient doublement espacés pour apparaître plus longs. En outre, de nouveaux correcteurs ont été retenus et ont été formés

8 _{Il convient de noter que Wolfe et al. (1993) disposaient déjà de la première version du travail de Powers et al.} (1994) – puisqu’ils les citent.

à appliquer les mêmes critères aux copies manuscrites et aux copies produites avec le traitement de texte. Les résultats ont montré que l’effet du format de présentation a diminué sans pour autant disparaître.

L’étude menée par Russell et Tao (2004) intervient comme une suite et une réponse à Powers et al. (1994) au sujet de l’effet du format de présentation sur la note attribuée. En effet, dans le cadre d’une plus large étude qui examine l’effet de la modalité de l’épreuve d’écriture du Massachusetts Comprehensive Assessment System sur les résultats, Russell et Tao (2004) ont prélevé dans le corpus de 240 productions écrites de Russell et Plati (2000) un échantillon aléatoire de 60 copies de la huitième année et de la dixième année respectivement et l’ensemble des 52 copies de la quatrième année. Dans la première expérience – celle qui nous intéresse ici – ils ont saisi toutes les 172 productions manuscrites retenues. Ils ont pris le soin de relire à plusieurs reprises la version imprimée afin que les mots et les phrases soient orthographiés exactement comme dans la copie originale manuscrite. Au bout du compte, chaque copie était disponible en trois formats : manuscrit, imprimé (espace simple), imprimé (espace double). Même si le groupe cible était différent, ils sont parvenus à la même conclusion que Powers et al. (1994), à savoir que les notes reçues par les copies manuscrites sont meilleures que celles des copies informatisées. Cependant, à l’inverse de l’hypothèse émise par Powers et al. (1994), Russell et Tao (2004) n’ont pas trouvé que l’espacement pour allonger le texte réduisait l’effet de la présentation.

Godin (2009) s’est intéressée à la correction des productions écrites en français au niveau du secondaire 2 au Québec. Ainsi, un échantillon de 30 productions écrites corrigées en modalité papier-manuscrit ont été choisies en fonction de leurs qualités respectives « bon », « moyen » et « mauvais », et ont été corrigées une deuxième fois par quatre correcteurs après avoir été saisies et imprimées. Une des révélations les plus pertinentes de cette recherche exploratoire est que les correcteurs, suivant les deux variables modalités de correction papier-manuscrit et papier-imprimé, ne détectent pas des erreurs de même type. L’analyse des observations a révélé des différences au niveau de l’identification des erreurs de syntaxe et de ponctuation : les erreurs de ponctuation sont plus souvent détectées en modalité de correction papier- imprimé tandis que celles de syntaxe le sont plus souvent en modalité de correction papier- manuscrit. Toutefois une des limites d’ailleurs mentionnée par l’auteur réside dans le fait que

plusieurs éléments pouvaient affecter les conditions dans lesquelles la correction a été effectuée, ainsi que la répartition des productions écrites entre les correcteurs. Par conséquent, les variations révélées par les résultats de l’auteur peuvent certes être liées à un effet de la modalité de correction (modalité de correction papier-imprimé ou modalité de correction papier-manuscrit) mais elles peuvent également être liées plutôt aux correcteurs.

Les travaux recensés, dans leur quasi-totalité, ont porté sur l’évaluation des productions écrites en anglais aux États-Unis. On se pose alors des questions sur l’évaluation des productions écrites dans une autre langue telle que le français. De plus, comme on le constate à travers cette revue de la littérature, les résultats divergent quelques fois et la problématique de la comparabilité entre les deux modalités d’évaluation reste posée. Il apparaît donc évident que, pour mieux affiner les pratiques d’apprentissage et d’évaluation, il est très utile de disposer de connaissances scientifiques plus approfondies sur la modalité informatisée dans l’évaluation des productions écrites par rapport à la modalité traditionnelle papier-crayon.

La présente recherche porte sur le cas spécifique de l’épreuve d’écriture en cinquième secondaire au Québec et elle pose des questions précises qui découlent des interrogations et des préoccupations ci-dessus explicitées.