Études sur le washback des tests de langues différentes à l’anglais LE ou LS

Les recherches faites au sujet du washback des examens aux enjeux critiques ou faibles enjeux de langues différentes de l’anglais sont peu nombreuses. Dans cet esprit, nous présenterons trois études faites aux États-Unis (Fournier-Kowaleski, 2005), à Sainte- Lucie dans les Caraïbes (Lewis, 2006) et en Nouvelle-Zélande (East, 2015). Ces études sont de rares exemples de recherches sur le washback faites en langues étrangères autres que l’anglais, qui prennent en considération des aspects tels que les comportements et les perceptions des enseignants quant à l’influence des tests sur leurs pratiques d’enseignement. Il a été possible également d’apercevoir, à différents degrés, l’impact des tests sur les méthodes d’enseignement dans les études de Fournier-Kowaleski et de Lewis.

L’étude faite par Fournier-Kowaleski (2005) aux États-Unis a décrit et examiné

l’effet du washback des tests aux faibles enjeux7 _{sur les comportements des enseignants et,}

dans une moindre mesure, sur ceux des étudiants universitaires de niveau intermédiaire en espagnol. L’espagnol 1048 _{est un cours de langue étrangère au niveau intermédiaire qui,} selon la chercheuse, met fortement l’accent sur la lecture et l’écriture par l’utilisation de textes littéraires authentiques, tout en développant l’intégralité des compétences langagières

7_{Selon Fournier-Kowaleski, les tests administrés dans le cours espagnol 104 étaient considérés comme des tests aux}

faibles enjeux, car leurs résultats ne sont pas utilisés pour prendre des décisions cruciales sur l’avenir des étudiants.

8_{Titre du cours donné au niveau intermédiaire d’espagnol au département de langues espagnole et portugaise à l’université}

des étudiants. En espagnol 104, il y a trois tests standardisés pour l’évaluation de trois chapitres du manuel utilisé en classe, et un examen final. L'examen final, bien que cumulatif, se concentre principalement sur le dernier chapitre étudié en classe.

Les techniques de collecte de données utilisées dans cette étude étaient à la fois des observations en classe, des entrevues aux enseignants, ainsi que des questionnaires destinés aux enseignants et aux étudiants. Les observations en classe, les entrevues et les questionnaires aux enseignants ont fourni des détails reliés à la description de l’effet du washback et ses caractéristiques. La fiabilité des observations en classe a été constatée grâce aux observations enregistrées par un chercheur indépendant, donnant 100% de concordance au moment de les comparer. Les questionnaires destinés aux étudiants ont permis de recueillir des informations sur les comportements potentiels des étudiants ayant expérimenté l’effet du washback des tests d’espagnol et sur les perceptions des étudiants quant aux comportements de leurs enseignants par rapport aux tests et aux pratiques pédagogiques. Ces questionnaires étaient administrés après chaque test; ils avaient pour but de vérifier si les étudiants semblaient changer leurs habitudes d’étude suite à une évolution des pratiques pédagogiques des enseignants.

Les résultats de la recherche réalisée par Fournier-Kowaleski ont décrit l’effet du washback des tests aux faibles enjeux sur les comportements des enseignants pendant la première session du cours d’espagnol 104 (automne 2004), puis lors de la session suivante dans laquelle le cours a été donné pour la deuxième fois (hiver 2005). Ces résultats ont démontré que les méthodes d’enseignement avaient subi des modifications au cours de la deuxième session suite à une connaissance accrue des tests. Des facteurs tels que l’expérience d’enseignement préalable et les perceptions des enseignants ont également exercé une influence sur la modification des comportements de ces enseignants. La chercheuse a aussi examiné des facteurs secondaires comme les habitudes d’étude des étudiants, les perceptions de ces derniers sur le comportement de leurs enseignants et l’effet des tests administrés dans le cours d’espagnol 104. Les habitudes d’étude et les comportements en classe des étudiants semblaient avoir changé pour mieux correspondre aux nouveaux comportements présentés par leurs enseignants.

La chercheuse a souligné que, pendant la session d’automne 2004, quelques enseignants n’avaient pas suivi de près le calendrier du cours9 _{et par conséquent, le contenu} de leurs cours semblait légèrement différent de celui donné par d’autres enseignants. Cependant, lors de la session d’hiver 2005, tous les enseignants semblaient avoir suivi le calendrier plus attentivement, et les cours observées reflétaient de façon plus fidèle le contenu de ce calendrier. Ces modifications ont montré l’influence des tests sur les comportements et les pratiques d’enseignement des enseignants malgré le statut du test comme un test aux faibles enjeux. Fournier-Kowaleski affirmait que l’effet du washback était évident dans l’utilisation des activités similaires à celles employées dans les tests. La chercheuse indiquait aussi que, même si chaque activité variait en fonction de l’enseignant, la différence était palpable entre les comportements et les méthodes d’enseignement observés pendant la session d’automne et celle d’hiver. Les résultats obtenus dans cette étude, quant à la variabilité dans les modifications apportées après l’introduction d’un test par chaque enseignant, confirmaient une fois de plus les conclusions tirées de l’article synthèse de Spratt (2005). Par ailleurs, les résultats de l’étude de Fournier-Kowaleski étaient similaires à ceux fournis par les recherches de Turner (2006) et Shih (2009) sur l’influence des perceptions des enseignants lors des examens. Fournier-Kowaleski, tout comme dans la recherche faite par Shih (2009), concluait que certains enseignants préconisaient non seulement de préparer leurs élèves au test, mais également de développer leurs compétences langagières de façon intégrale. Cependant, une analyse des pratiques d’enseignement employées pendant la session d’hiver 2005 indiquait, tout comme dans la recherche de Turner (2006), qu’une meilleure connaissance du test pouvait influencer et modifier les méthodes d’enseignement, ce qui devrait encourager les enseignants à intégrer les techniques d’évaluation propres au test dans leurs cours d’espagnol 104.

De façon similaire, Lewis (2006) a mené une recherche à Sainte-Lucie, une île anglophone située dans les Caraïbes. Sa recherche visait à étudier l’influence du test aux enjeux critiques, Caribbean Examinations Council Secondary Education Certificate (CSEC) French exam sur l’enseignement dans les écoles secondaires de cette île. Le test du français du CXC (Nom réduit donné à l’examen CSEC) est encore de nos jours un examen

9_{Le calendrier présentant le contenu de chaque session, ainsi que les devoirs et les dates des tests est publié avant le début}

standardisé qui s’administre à la fin de la cinquième année du secondaire et qui est une des conditions d’admission au lycée et à l’université, pour les élèves qui souhaitent poursuivre leurs études en français. Cette recherche avait pour but de déterminer l’influence de l’examen sur le contenu enseigné et le matériel utilisé en classe ainsi que de déterminer l’impact du test sur les pratiques d’enseignement employées par les enseignants.

Les données de cette étude ont été recueillies à l’aide de l’analyse des documents tels que l’ancien et le nouveau programme scolaire, des documents du CXC expliquant la raison des modifications apportées aux tests10, et finalement des tests de classe (des anciens et nouveaux tests). Par ailleurs, les rapports sur la performance des élèves dans chaque partie de tous les volets du test ont aussi été analysés. Lewis a aussi réalisé des entrevues auprès des enseignants et des autorités représentant le ministère et le CXC. De la même façon, la chercheuse a eu recours à des observations en classe, trois fois pendant le trimestre, ainsi qu’à l’administration des questionnaires aux élèves et aux enseignants. Chaque méthode de collecte de données fournissait des informations précises qui complétaient les renseignements apportés par les différents instruments employés. Ainsi, entre autres, la chercheuse a réussi à recueillir des informations permettant l’analyse du contenu et des tâches langagières les plus utilisées dans cet examen, des renseignements sur les perceptions et les pratiques pédagogiques utilisées par les enseignants, et sur le possible influence de l’examen sur les techniques pédagogiques employées en classe.

Lewis dans une des conclusions tirées de son étude a souligné l’influence évidente du test sur le contenu et le matériel choisi pour ces cours. À ce sujet, la chercheuse concevait cette influence comme étant positive, car l’examen encourageait les enseignants à enseigner divers sujets pendant les cours; sujets qui devraient être évalués lors du test. De la même façon, une autre des conclusions de cette recherche révélait de quelle façon l’examen exerçait une influence plus prépondérante sur les choix du matériel supplémentaire que sur le choix des manuels de cours. D’après une analyse approfondie faite par la chercheuse, les manuels de cours contenaient des activités peu identiques aux techniques d’évaluation propres au test, alors que le matériel supplémentaire sélectionné par les enseignants montrait un rapport plus direct avec les techniques d’évaluation du test. Selon les

observations faites par la chercheuse, les enseignants avaient tendance à choisir du matériel supplémentaire pour des activités identiques à celles du test.

Comme mentionné ci-dessus, Lewis signalait l’influence positive du test sur le matériel employé par les enseignants, poussant ces derniers à choisir, entre autres, des textes et des tâches pédagogiques qui préparaient mieux les élèves à l’examen. Cependant, la chercheuse soulignait également l’utilisation du matériel non authentique par les enseignants; fait que Lewis considérait comme ayant de l’influence négative.

Pareillement, la chercheuse exposait le côté positif et négatif de l’impact du test sur les méthodes d’enseignement employées par les enseignants. Dans le but de rendre possible cette analyse, Lewis a examiné les perceptions des participants à sa recherche par rapport à l’influence de l’examen sur les pratiques et les activités utilisées en classe. La chercheuse a également étudié les comportements des sujets grâce aux observations en classe. D’après les entrevues et questionnaires, la chercheuse a conclu que les enseignants et autorités représentant le ministère et le CXC croyaient qu’il existait une indéniable influence du test sur l’enseignement du français. Pourtant, cette influence était plus présente lors du choix d’activités et de tâches identiques à celles du test (Vogler 2006), que lors de l’approche pédagogique et les pratiques d’enseignement utilisées après l’introduction des changements faits au test, conclusion confirmée par les observations en classe. D’après les questionnaires, les entrevues et les observations en classe, Lewis a conclu que l’effet du washback était très fort sur les activités et les tâches pédagogiques et que ce même effet était très faible ou inexistant sur les méthodes d’enseignement (Chen, 2002). De la même façon, le test exerçait une influence positive motivant les enseignants à pratiquer les quatre habiletés11, mettant l’accent sur l’habileté écrite. Cette habileté était la plus présente dans l’examen et à la fois la plus difficile à acquérir en apprenant une langue seconde ou étrangère (Myles, 2002). Néanmoins, le test était également perçu comme limitatif à l’utilisation d’autres activités langagières absentes de l’examen. Parallèlement, ce test poussait les enseignants à utiliser plusieurs tâches langagières qui manquaient d’authenticité.

11_{La chercheuse a mentionné que l’ensemble de volets du test évaluait la compréhension orale, les tâches d’écriture, la}

De manière semblable, la recherche faite par East (2015) cherchait à examiner l’impact d’un nouveau test aux enjeux critiques administré dans les écoles secondaires en Nouvelle-Zélande sur les perceptions des enseignants. Ce nouvel examen, appelé « interact », visait à mesurer la compétence orale des apprenants à travers l’enregistrement des conversations improvisées entre pairs tout au long de l’année scolaire, c’est à dire, une série de discussions authentiques et sans préparation préalable, menées entre pairs. Ce nouveau test a été conçu dans le but de remplacer un test précédent, appelé « converse », lequel évaluait une seule conversation d’une heure entre l’enseignant et l’élève. Le but principal du test interact est de modifier l'évaluation des compétences orales qui était effectivement devenue des échanges unilatéraux prévisibles et préparés en avance. Le nouvel examen cherche à promouvoir des discussions qui permettront d’évaluer la capacité d'interagir de façon spontanée, le sens de la négociation et la compétence réelle à communiquer des élèves.

East a décidé de recueillir les données de sa recherche à l’aide des entrevues auprès des enseignants et d’un questionnaire (à l’intention des enseignants et des élèves), lequel a été conçu grâce à la théorie de « test usefulness » proposé par Bachman and Palmer (1996). (Figure 3.1)

Usefulness = Realiability + Construct validity+

Authenticity + Interactiveness + Impact + Practicality

Figure 3.1 Théorie de “test usefulness” de Bachman and Palmer (1996, p. 18)

De façon générale, les résultats de la recherche de East ont suggéré que le test interact était perçu comme étant beaucoup plus utile que converse, sauf pour les mesures d’ordre pratique. Les enseignants percevaient les techniques d’évaluation du nouvel examen comme étant significativement plus valides et des représentations plus authentiques de la compétence orale des élèves. Selon les enseignants, la nouvelle manière d’évaluation motivait les enseignants à promouvoir la communication dans des situations authentiques et encourageait l’utilisation de la langue cible en classe, tout comme dans la recherche de Turner (2006). Le nouveau test avait aussi un impact plus positif du côté de l’apprenant, car il y avait une diminution de l’anxiété chez les élèves et une augmentation de la

participation et la créativité dans les discussions en classe. Cependant, les enseignants ont affirmé que le test interact était considérablement moins pratique à administrer que l’ancien examen à cause de l’augmentation de leur charge de travail. Les enseignants devaient préparer les élèves pour les interactions évaluées pendant l’année scolaire, donner une note et ensuite les corriger. D’après les enseignants, la classe était donc devenue un environnement où tous les participants semblaient toujours travailler sur la préparation d’une évaluation.

Les études examinées dans cette section ont exposé non seulement la diversité des contextes et des sujets de recherche de washback, mais aussi la variété des méthodes utilisées pour explorer l'existence du washback, prouvant que le washback est un phénomène complexe et multidimensionnel. Les recherches présentées ci-dessus ont déployé un large éventail de méthodes de recherche quantitatives et qualitatives. Les méthodes utilisées sont essentiellement de deux ordres: des entrevues et des questionnaires adressés aux participants. Cependant, la plupart des études ont eu recours à d’autres instruments tels que l’observation en classe et l'analyse de documents.

3.3 Synthèse

Le phénomène du washback est au cœur de la relation complexe entre les examens, l'enseignement et l'apprentissage. Il illustre également l'impact et la puissance des tests, surtout ceux aux enjeux critiques, sur l'enseignement et l'apprentissage dans des contextes éducatifs. Les tests à différents degrés d’importance exercent une influence, tout particulièrement, sur plusieurs aspects de l’enseignement tels que le contenu de cours, les activités d’enseignement, la méthodologie des enseignants, l’apprentissage des apprenants, et les perceptions des apprenants et des enseignants. Les études présentées lors de cette revue des écrits ont examiné ces aspects dans le but de déterminer le washback des examens aux enjeux critiques ainsi que de ceux aux faibles enjeux mesurant différentes langues dans divers contextes. Comme mentionné auparavant, la plupart de ces recherches se sont centrées sur l’analyse des examens aux enjeux critiques sur l’enseignement de l’anglais comme langue étrangère ou langue seconde au niveau secondaire ou supérieur. Toutefois, il existe quelques études, pas très nombreuses, qui cherchent à déterminer

l’influence de différents types de tests (aux enjeux critiques ou aux faibles enjeux) sur d’autres langues différentes à l’anglais.

D’une part, les recherches présentées dans ce chapitre nous ont permis de saisir à quel point il est nécessaire de bien distinguer les aspects de l’enseignement qui peuvent être affectés par un test aux enjeux critiques ou aux faibles enjeux. D’autre part, même si ces recherches ont été menées dans des contextes très différents, toutes nous fournissent des informations significatives sur l’impact des examens sur l’environnement éducatif. D’ailleurs, elles soulignent que le type et la quantité de washback qui influencent les pratiques d’enseignement semblent varier considérablement selon le contexte et l’enseignant, ce dernier semblant être la principale influence à ses propres méthodes d’enseignement. Autrement dit, c’est l’enseignant qui décide, entre autres, la quantité de modifications apportées après l’introduction d’un examen et le niveau de ressemblance entre les techniques d’évaluation propres au test et celles utilisées lors de ses cours.

Dans le même ordre d’idées, grâce aux résultats de ces recherches présentées lors de cette recension des écrits, nous avons été en mesure de comprendre que le test n’est pas le seul à affecter l’enseignement. Il existe plusieurs aspects reliés à l’environnement éducatif, tels que des éléments associés au contexte ou aux participants, qui peuvent avoir une énorme influence sur les variations faites par les enseignants.

Cette recension des écrits nous a également permis de nous renseigner sur l’énorme importance de déterminer avec précision les différents aspects de l’enseignement pouvant être affectés par un examen aux enjeux critiques. De plus, les conclusions des articles synthèses mentionnés telles que celui d’Alderson et Banerjee (2001) et Spratt (2005) nous ont montré, une fois de plus, que les méthodes d’enseignement peuvent être influencées non seulement par le washback d’un test aux enjeux critiques, mais aussi par une grande quantité de facteurs externes qui doivent être identifiés par nous, les chercheurs. Notre étude va prendre en compte des aspects déjà cités dans les recherches ci-dessus afin de produire des conclusions plus fiables et générales.

La plupart de ces recherches étudient le phénomène du washback d’une seule langue au niveau secondaire ou universitaire. Notre recherche vise à examiner l’effet du washback

d’un seul test sur des pratiques d’enseignement et des perceptions des participants pendant un programme de langues au niveau collégial, contexte scolaire qui n’a pas encore été retenu pour des recherches au sujet du phénomène du washback. Le test central de notre étude utilise des techniques communes d’évaluation qui mesurent la compétence langagière des individus qui passent un test simultanément dans trois ou quatre langues.

Il est important de souligner que les études présentées lors de cette revue des écrits ont examiné le phénomène du washback de différents examens (aux enjeux critiques et aux faibles enjeux) à l’aide de moyens variés d’analyse de données tels que l’observation en classe, les entrevues, les questionnaires et l’analyse des tests ou d’autres documents. L’utilisation de ces diverses méthodes de cueillette d’information permet d’obtenir des résultats plus fiables et valides. L’observation détaillée de chaque recherche nous a aussi donné la possibilité d’établir plusieurs points très importants dont il faut tenir compte lors de notre recherche. Des aspects tels que l’utilisation de nombreux moyens d’analyse de données, l’analyse approfondie des tests aux enjeux critiques et la délimitation de l’étude de washback appliquée à un aspect d’enseignement. D’ailleurs, nous allons observer non seulement des séances du cours « activité d’intégration » données par des enseignants de langue, mais aussi d’autres cours de langue donnés par ceux-ci. De plus, cette recherche mettra en évidence le rôle de l’enseignant comme un des éléments cruciaux qui affecte le degré du washback qu’un test peut avoir. À cet effet, nous étudierons les perceptions des enseignants par rapport à l’examen, afin de déterminer leur importance dans la possible modification des pratiques pédagogiques introduite par les enseignants.

Le chapitre suivant abordera de façon approfondie la méthodologie propre à notre étude en commençant par la conception de la recherche. Ensuite, il présentera les participants, les instruments et les procédures qualitatives et quantitatives de la collecte de données, tout comme les processus d’analyse de données adoptées pour notre étude.