Paulus (1999)

Paulus (1999) a cherché à mesurer les impacts des feedbacks de pairs et de l’enseignant sur les révisions effectuées par les étudiants et sur la qualité de leurs textes.

Participants :

Les participants étaient 11 étudiants internationaux dont 9 venaient d’Asie. Leur enseignant était Paulus, 1999.

Des groupes de 2 étudiants ont été formés par l’enseignant qui a voulu regrouper les étudiants qui avaient bien travaillé ensemble, qui avaient les mêmes niveaux d’anglais et qui avaient différentes L1.

Etayage :

Avant la collecte des données, les étudiants ont fait deux séances de révision collaborative sur les deux premiers essais, chaque fois avec différents pairs. Des techniques appropriées pour donner des feedbacks ont été démontrées au début du trimestre et ont fait l’objet de discussions à chaque séance de révision collaborative.

Selon Paulus (1999), ses étudiants ont pris la révision collaborative au sérieux et étaient capables de procéder à l’activité de manière acceptable (Paulus, 1999 : 272). Une grille de révision (peer review form) a été fournie aux étudiants (Paulus, 1999 : 288, appendix Peer review form). La grille comprenait huit questions, toutes portaient sur la pertinence et le développement des idées dans l’essai et dans l’ordre suivant : commentaires positifs, identification de la thèse de l’essai et analyse des arguments soutenant la thèse.

Les étudiants ont été invités à indiquer les endroits à améliorer dans l’essai et à proposer des corrections spécifiques.

Cycle d’écriture :

Le cycle d’écriture mis en place par Paulus (1999) propose une combinaison entre les feedbacks de pairs et les feedbacks de l’enseignant. Des remarques écrites sur le texte du pair ont été faites à la maison à l’aide de la grille de révision collaborative, suivies par des interactions orales en classe.

Méthode de recueil des données :

Les élèves ont dit à haute voix leurs opérations de révision pour écrire la deuxième et la troisième versions de l’essai.

Données : les trois premières versions du troisième texte du cours (rédigées aux semaines 7-8).

Traitement des données :

Paulus (1999) a fait ses analyses sur trois aspects : les types des révisions, les sources de révision et la qualité du texte produit par les étudiants.

En termes de types de révisions, Paulus (1999) a utilisé la taxonomie des révisions adaptée de Faigley & Witte, 1981. Une distinction a été faite entre les changements qui n’affectent pas le sens du texte (surface changes) et les changements qui affectent le sens du texte (meaning changes).

Figure 2.1 : Taxonomie des opérations de révision de Faigley & Witte (1981)

Les changements de surface sont divisés en deux catégories : changements formels (orthographe, majuscule, temps verbal, nombre, abréviation, ponctuation…) et changements qui sauvegardent le sens (paraphraser des concepts existants pour les expliciter sans affecter le sens. Les informations peuvent être récupérées par déduction).

Les changements de sens sont divisés également en deux catégories : changements au niveau microstructure et changements au niveau macrostructure. Les changements au niveau microstructure sont des petits changements sémantiques qui n’affectent pas l’essence ou la direction de tout le texte. Par contre, les changements au niveau macrostructure concernent des changements importants qui affectent l’ensemble du texte.

Comme sources des révisions, chaque révision a été codée dans une des trois sources de révisions : pair, enseignant et auteur. La première version et la troisième version du troisième essai ont été notées pour mesurer les impacts des feedbacks sur la qualité du texte. Notons l’absence de la classe de contrôle.

La grille d’évaluation des textes allait de 1 à 10 pour chacun des critères suivants : organisation, développement des idées, cohérence/cohésion, structures syntaxiques, vocabulaire et orthographe. La note du texte est la moyenne de ces six catégories.

Cinq correcteurs³ ont aidé Paulus à corriger les textes. Chaque version de texte a été notée par deux correcteurs. La note de chaque version était la moyenne des deux correcteurs.

Résultats :

- Les types de révision :

De la première version à la deuxième version (révision avec feedbacks de pairs), les 11 étudiants ont fait 347 révisions de toutes les sources (pairs + rédacteurs), dont 67,4%

ont été identifiées comme des changements de surface, et 32,6% identifiées comme des changements de sens.

Les changements formels représentaient 27,1% des révisions et les changements conservant le sens représentaient 40,3% des révisions. Les changements au niveau microstructure occupaient 17,3% des révisions et les changements au niveau macrostructure 15,3%.

Donc, les révisions de surface ont été plus nombreuses que les révisions de sens. Le type de révision le plus important était les changements qui préservent le sens du texte (meaning-preserving changes) ou autrement dit, reformulations de concepts.

- Les sources de révision :

Les feedbacks de pairs représentaient 32,3% des révisions apportées à la deuxième version de texte. Les feedbacks de pairs étaient deux fois moins importants que les auto-feedbacks en termes de sources de révisions.

Parmi les 112 révisions dues aux feedbacks de pairs, les deux tiers (71 révisions soit 63%) ont changé le sens du texte (meaning changes) et un tiers (41 révisions) la surface du texte. Donc, les feedbacks des pairs, une fois incorporés dans les révisions, affectent plus le sens du texte que la surface.

- Les révisions et la qualité du texte :

Les données ont été traitées par le « Pearson product-moment correlation coefficient ».

Aucune corrélation significative n’a été trouvée entre l’amélioration du texte et le nombre des révisions effectuées. Une corrélation positive mais non significative a été observée entre l’amélioration et le pourcentage des changements au niveau

3 Le recours à moins de correcteurs aurait augmenté la fiabilité des corrections.

macrostructure. Aucune corrélation significative n’a été observée entre l’amélioration du texte et le pourcentage des changements de sens ; ou entre l’amélioration du texte et le pourcentage des changements de surface.

Discussion :

En termes de types de révision, les résultats de Paulus (1999) confirment ceux de Tagong (1999), de Hall (1990), de Gaskill (1986) selon lesquels les étudiants en L2 faisaient plus de changements de surface que de changements de sens (cf. figure 2.1 taxonomie des opérations de révision de Faigley & Witte, 1981) quand ils révisaient leurs textes. Alors que Belcher (1989) a trouvé le contraire avec ses étudiants en L2.

Cependant, à l’instar de Lam’s (1991), Paulus (1999) a affirmé que ses étudiants étaient capables de faire des révisions à la fois sur la surface et sur le sens du texte.

Par ailleurs, Paulus (1999) a constaté un taux d’intégration des feedbacks de pairs dans les révisions assez élevé (32%) comparé à 5% observé dans l’étude de Connor et Asenavage (1994). 63% de ces 32% étaient des changements de sens, ce qui montre que les rédacteurs prenaient au sérieux les feedbacks de pairs et qu’ils les ont réutilisés pour les révisions de sens (Paulus, 1999 : 281).

Paulus (1999) a trouvé des variations individuelles en termes de nombre de révisions effectuées par les étudiants (de 4 changements à 63 changements entre la première et la deuxième versions de texte) et de taux d’intégration de feedbacks (de 22% à 86%).

Paulus (1999) n’a pas trouvé de relation entre le nombre de révisions effectuées et l’amélioration du texte.

Enfin, Paulus (1999) confirme l’efficacité des feedbacks de pairs : “… writing instructors can integrate peer feedback into the writing classroom with confidence that this feedback can be effective and can be used by many students in their revisions”. “Les enseignants de production écrite peuvent introduire la révision collaborative en cours de production écrite en étant sûrs que les rétroactions de pairs peuvent être efficaces et réutilisables par beaucoup d’étudiants dans leurs révisions » (Paulus, 1999 : 283).