Au niveau de la collecte des données

La collecte de données a été un long processus allant du contact avec le MELS à l’expérimentation sur le terrain et à la transmission des données pour leur traitement. Les premiers contacts avec le MELS ont eu lieu en 2007 et les dernières expérimentations sur le terrain ont eu lieu en avril 2010. L’implication personnelle de notre directeur de recherche Michel Laurier a heureusement permis de relever les défis de la collecte de données pour nous permettre d’obtenir des données authentiques recueillies directement sur le terrain.

Sans vouloir étaler toutes les difficultés prévisibles et imprévisibles autant dans la préparation que dans l’expérimentation d’une telle collecte, nous nous limitons à quelques-unes.

La première difficulté réside dans l’accès aux écoles parce que celles-ci ont leurs propres contraintes et leurs objectifs à atteindre – alors que dans le même temps, la recherche a besoin de données authentiques pour accroitre sa validité et sa fiabilité. Ainsi, il a fallu du temps, plusieurs échanges de correspondances et des déplacements pour solliciter et obtenir heureusement la collaboration des écoles. À titre illustratif, la première école à être contactée et qui s’est montrée très enthousiaste a finalement renoncé pour des contraintes de temps dans le planning de ses activités académiques.

Une fois l’accord des écoles obtenu, il fallait discuter des modalités de conduite de l’expérience et plus précisément de l’administration des tests d’écriture selon les deux modalités, voir ce qui était acceptable par chacune des deux écoles et négocier une harmonisation des conditions de passation. Nous avons alors dû adapter nos choix méthodologiques aux réalités du terrain. Compte tenu de cette adaptation de la collecte aux conditions acceptables dans les deux écoles, nous n’avons pas la prétention d’avoir isolé de façon imperfectible chacune des variables à l’étude pour ce qui concerne le volet quantitatif.

Une autre difficulté réside dans l’après expérimentation : la phase de récupération des données (copies corrigées). Par exemple, il a fallu reprendre l’expérience dans l’école de Québec parce que quelque chose n’a pas marché dans la chaîne de transmission après la première expérimentation en 2009. De même, dans toutes les deux écoles, quand bien même tous les

élèves ont participé à l’expérience, un nombre non négligeable parmi eux n’ont pas remis leurs copies pour les besoins de notre recherche. Il y a peut-être eu des désistements, mais la procédure de récupération des copies pourrait être en cause là aussi. L’enseignement à tirer à ce niveau est qu’il ne faut prendre pour acquis les données une fois l’expérience terminée dans ce type de recherche. Il faut mettre en place une procédure sans faille d’assemblage et de transmission des données avec les enseignants qui peuvent, à leur niveau, ne pas anticiper des problèmes de récupération des copies. Par exemple, il pourrait être possible d’insister pour que l’enseignant fasse un duplicata de la copie corrigée de l’élève avant de la lui remettre pour les besoins de rétroaction. Il pourrait être possible également de récupérer les productions immédiatement à la fin de la séance de cours consacrée à la rétroaction, dès que l’élève a fini de regarder sa copie. L’idée n’est pas d’obliger l’élève à participer à la recherche, ce qui pourrait violer un principe d’éthique. Il s’agit d’éviter les difficultés de la récupération de la copie de l’élève une fois que celui l’emporte à la maison à une période où l’année tire vers sa fin alors qu’il ne reviendra pas la rentrée suivante dans la même école.

Mais, comme le dit Einstein, « au centre de la difficulté se trouve l’opportunité». Autrement dit, nous avons essayé autant que possible de transformer ces obstacles en avantages. Premier exemple : l’ambition de départ était de faire une comparaison des deux modalités d’évaluation à partir des données de tests antérieurs de l’épreuve unique d’écriture en français administrée par le MELS. Face à la difficulté d’accès à ces données, nous avons dû prendre l’option de faire une collecte directement dans les écoles. Cela s’est révélé plutôt être une opportunité car le recours à la collecte de données sur le terrain nous a permis de diversifier nos sources d’observations pour collecter nos données autant sur le processus de rédaction que sur le processus de correction. Deuxième exemple : la prévision au départ était de désactiver l’accès aux ressources d’aide informatique (correcteur orthographique et grammatical, et autres correcticiels). Cette condition de passation n’a pas été acceptée à l’école PROTIC de Québec et nous avons dû nous y adapter. Et du même coup, puisque l’autre établissement, l’école de la Ruche, était partant pour la désactivation des logiciels d’aide, cela nous a permis de prendre en compte une variable intéressante, l’accès ou non aux ressources d’aide informatiques. Ainsi, pour résumer, le dispositif expérimental de départ a été remanié pour nous permettre de nous

adapter aux réalités du terrain, mais le moins que l’on puisse dire est que certaines contraintes ont été transformées en opportunités.

Nous mentionnons pour finir qu’en ce qui concerne la correction des copies, le dispositif mis en place ne permet pas de s’assurer de façon irréprochable de l’accord inter-juges et de la fidélité intra- juge. Les résultats de nos analyses sur l’équivalence des scores attribués par les correcteurs sont à considérer en tenant compte de cette limite qui peut avoir eu un effet. Néanmoins, nous pouvons affirmer que les dispositions prises constituent des garde-fous pertinents et peuvent avoir un effet positif. En effet, des dispositions ont été prises pour que les enseignants appliquent la même grille de correction, celle du MELS (Annexe 3) qu’ils connaissent parfaitement.