Plusieurs approches pour évaluer la production écrite

Dans le cadre d’une évaluation, une production écrite est une réponse de l’élève à une tâche qui exige de lui l’élaboration d’une réponse personnelle sous la forme d’un texte écrit en faisant appel à sa propre capacité à organiser et défendre ses idées, à argumenter, à avoir un esprit critique, à faire preuve de créativité, etc.

16 _{Hamps-Lyons fait une distinction entre holistic writing assessment et holistic scoring qui désigne l’approche} holistique dans l’attribution des scores.

Le caractère de la tâche assignée à l’élève est donc déterminant. En nous référant à Greeno (1978) cité par Tognotti (1997) cette tâche devrait revêtir les caractéristiques suivantes :

• son but n'est pas déterminé d'entrée, il est posé au départ en termes généraux et doit se préciser au fur et à mesure que le travail avance ;

• de multiples solutions sont possibles pour répondre aux objectifs fixés ; • de nombreuses connaissances doivent être mobilisées et coordonnées.

Certaines de ces caractéristiques rejoignent celles que Hamps-Lyons (1992) énumère au sujet de ce qu’elle appelle l’«évaluation holistique» de l’écrit. En effet, pour cette auteure, même si les pratiques d’évaluation holistique de l’écrit varient d’une institution à une autre et d’un niveau d’enseignement à un autre, elles auraient cinq caractéristiques communes :

1. Chaque candidat doit produire au moins un texte continu de cent mots ou plus et éventuellement plusieurs textes plus ou moins longs ;

2. Même si des d’instructions sont données à l’élève, celui-ci a une grande latitude pour élaborer sa réponse, autrement dit plusieurs solutions sont possibles ;

3. Chaque production écrite est corrigée par au moins un correcteur humain et plus souvent, au moins deux qui ont été entraînés pour l’attribution des scores dans ce contexte ;

4. Les jugements des correcteurs sont liés à un standard commun comme un échantillon de textes écrits, une description de la performance attendue à certains niveaux ou encore une ou plusieurs échelles d’appréciation ;

5. La réponse du correcteur est exprimée en un ou plusieurs chiffres, en addition éventuellement aux commentaires écrits ou verbaux.

L’évaluation des productions écrites a été au centre d’une abondante recherche dont l’analyse permet de distinguer quatre approches : holistique, analytique, objective et holistique modifiée.

2.2.2.1. L’approche holistique

La méthode holistique s’est développée notamment à partir des années 1970. Son avènement pourrait en partie se justifier par la quête d’une méthode adaptée à l’évaluation des grands groupes. Elle se caractérise par le fait qu’elle ne s’encombre pas d’analyser et de quantifier les forces et les faiblesses d’une production écrite, mais plutôt de donner une note à partir de la

première impression sur la qualité globale de l’essai après la première lecture (voir entre autres, Hogan et Mishler, 1980; Breland et Gaynor, 1979, Anderson, 1984, Fitsgerald et Teasley, 1986). On devine aisément que cette approche permet un gain de temps, ce qui est un avantage dans les tests administrés à de grands groupes. Toutefois, une telle approche peut être critiquée dans certains contextes : dans les évaluations à but formatif, elle ne permet pas de rétroaction à l’élève et, dans les évaluations à enjeux critiques, elle ne permet pas de justifier facilement la décision. L’évaluation holistique est appropriée à un contexte d’évaluation où il n’est pas nécessaire de rétroagir ou de justifier la note. Et elle se révèle efficace si les correcteurs sont formés et ont bien intégré les éléments qui distinguent une bonne performance d’une performance médiocre. On peut prévenir les comportements erratiques des correcteurs (par exemple en recourant à la double correction avec l’alternative d’un troisième juge en cas de désaccord inter-correcteurs). Si la méthode holistique, quoique controversée, demeure fréquemment utilisée dans l’évaluation des productions écrites (Baldwin, 2004), c’est sans doute pour toutes ces raisons.

2.2.2.2. L’approche analytique

L’approche analytique regroupe les méthodes qui, à la fois, impliquent un jugement global mais, contrairement à ce qui se passe dans l’approche holistique, cette appréciation globale porte sur différents aspects du texte : l’organisation, le style, la syntaxe, le vocabulaire, l’originalité, etc. La note finale est alors déterminée par les cotes attribuées à ces différentes dimensions de la production écrite (Beach, 1979, Prater, 1984 Marsh et Ireland, 1987, etc.). Cette méthode balise le jugement du correcteur mais ne garantit ni la fidélité, ni la validité. En outre, des études (Marsh et Ireland, 1987; Quellmalz et al.,1982) ont montré qu’il pourrait y avoir un biais, à savoir que dans la pratique, les différents éléments d’une grille analytique ont de fortes corrélations entre eux : selon cette hypothèse, un mauvais score dans un aspect prédirait alors l’attribution d’un mauvais score dans les autres aspects, à l’exception de l’orthographe et de la ponctuation. La grille d’évaluation de type analytique est celle adoptée par le ministère de l’Éducation du Québec (MEQ) pour l’épreuve unique d’écriture de français en cinquième année du secondaire à partir de 2002. Suite logique du programme de 1995 qui répond aux caractéristiques d’une approche par compétences, cette grille du MEQ, telle que décrite dans le document de présentation (MEQ, 2002), définit cinq niveaux de compétences

(A, B, C, D et E) et deux composantes : « Produire un texte argumentatif cohérent » et « Produire un texte conforme au code linguistique ». Cependant, il est plus juste de dire que la grille du MEQ est hybride, car elle renferme également les éléments d’une approche objective.

2.2.2.3. L’approche objective

L’approche objective consiste à évaluer la qualité de la production écrite à partir de caractéristiques directement observables et quantifiables : nombre d’erreurs grammaticales et orthographiques et / ou des indices de surface en comptant le nombre de mots, de phrases, de verbes différents, etc. (Grobe, 1981; Moss, Cole et Khampalikit, 1982; Sharples, 1985; Martin, 1989; etc.). Cette approche se fonde sur le fait que certaines des dimensions de la compétence à écrire qui se manifestent dans la production peuvent faire l’objet d’une quantification. Dans l’approche objective, on prétend remplacer l’appréciation que porte le correcteur sur le texte par une mesure qui permet de calculer un score. Cependant, certains aspects tels que l’originalité et la pertinence des idées, pourtant déterminants dans l’évaluation d’un texte, sont malheureusement plus ou moins occultés. De plus, les correcteurs peuvent omettre certaines occurrences et, dans le cas du nombre d’erreurs, ils n’interprètent pas toujours la norme linguistique de la même manière. En outre, des contraintes d’ordre pratique sont reconnues à cette méthode : selon la longueur des textes et selon l’importance du nombre de caractéristiques à évaluer, le temps exigé pour la correction est relativement long.

2.2.2.4. L’approche holistique modifiée

On peut aujourd’hui distinguer une quatrième approche si nous nous référons à celle que Baldwing (2004) nomme « approche holistique modifiée » (modified holistic scoring) et qui, selon l’auteur, est la plus courante aujourd’hui pour évaluer les productions écrites dans le contexte des tests standardisés aux États-Unis. Tout comme dans l’approche holistique classique, le correcteur lit l’essai assez rapidement et attribue une note unique sur la base de l’évaluation de la qualité globale. Cependant, à la différence de l’approche classique, la note globale est donnée sur la base d’une appréciation fondée sur des critères bien définis. En effet, l’approche holistique modifiée combine, d’une part, une notation se référant à une interprétation normative (voir comment chaque réponse individuelle est écrite

comparativement aux autres) avec, d’autre part, une notation référant à une interprétation critériée (comparer les réponses selon des critères spécifiques définis). Une grille de correction présente les descripteurs à chaque point de l’échelle de correction que définissent différents niveaux de critères. Le lecteur apprécie la qualité d’une réponse en la comparant à ces critères. En réalité, cette approche renferme les principes et les critères d’une grille analytique.

Cependant, il y a de multiples instruments d’évaluation qui peuvent être regroupés en trois catégories selon une taxonomie redevable à Schriver (1989).