L’impact des techniques d’évaluation d’un test aux enjeux
critiques sur l’enseignement des langues : le cas de l’examen
final de fin du programme d’Arts et Lettres au Cégep
Mémoire
Liliana Garcia
Maîtrise en linguistique – Didactique des langues
Maître ès arts (M.A.)
Québec, Canada
L’impact des techniques d’évaluation d’un test aux enjeux
critiques sur l’enseignement des langues : le cas de l’examen
final de fin du programme d’Arts et Lettres au Cégep
Mémoire
Liliana Garcia
Sous la direction de :
Résumé
Cette étude explore l'impact d'un examen final collégial aux enjeux critiques sur les pratiques d'enseignement et les perceptions des participants appartenant au programme d’Arts et lettres au Québec. Le test analysé lors de cette recherche mesure simultanément les compétences des étudiants en trois ou quatre langues (anglais, français, allemand et espagnol) en utilisant des techniques d'évaluation communes. L'étude a été menée dans un cégep anglophone et un francophone de la Ville de Québec. Des données ont été recueillies auprès de 67 étudiants et de sept enseignants en ayant recours à la méthode mixte séquentielle exploratoire comme modèle de recherche. D’ailleurs, nous avons utilisée plusieurs instruments de collecte (des entrevues avec les enseignants, des observations en classe, des analyses de documents et des questionnaires pour les enseignants et les étudiants) afin de collecter toutes les données de cette étude. Les résultats des analyses quantitatives (analyse multivariée, ANOVA) et qualitatives des données montrent que les tâches du test exercent une influence évidente sur le choix des activités menées en classe par les enseignants. Alors que le contenu (les connaissances littéraires ou générales) et le format (individuel ou collectif) des tâches de l’examen sont influencés par les cours du programme. Les conclusions indiquent une relation bidirectionnelle, la plupart du temps positive, entre les tâches de ce test aux enjeux critiques et le contenu des cours du programme. Les résultats montrent en outre que cette relation bidirectionnelle repose en partie sur la compréhension profonde que les enseignants ont des compétences promues par les cours des différents programmes, ainsi que sur leur connaissance des techniques d'évaluation qui mesurent le mieux ces compétences. L'implication de ces résultats pour les étudiants et le système éducatif est discutée.
Abstract
This study explores the impact of a high-stakes college exit test on the teaching practices and perceptions of the stakeholders in the program of Arts and Humanities in Quebec. The test under investigation simultaneously measures test takers’ abilities in three or four languages (English, French, German and Spanish) using common evaluation techniques. The study was conducted in two major Anglophone and Francophone colleges in Quebec City. Adopting an exploratory sequential mixed-methods research design, data was gathered from 67 test takers and seven teachers using multiple instruments (teacher interviews, classroom observations, document analysis and teacher and student questionnaires). The results of the quantitative (multivariate analysis, ANOVA) and qualitative analysis of data show that the test tasks clearly influence the choice of classroom activities done by teachers; while the content (literary or general knowledge) and the format (individual or group) of the test tasks are influenced by the program courses. The findings point to a bidirectional and, for the most part, positive relationship between the high-stakes test tasks and the content of the program courses. The findings further show that this bidirectional relationship is driven in part by the teachers’ deep understanding of the competences promoted by the different program courses, as well as their familiarity with the evaluation techniques that best measure such competences. The implication of these results for the test takers and the educational system is discussed.
Table des matières
Résumé ... iii
Abstract ... iv
Table des matières ... v
Liste de tableaux ... vii
Liste des figures ... ix
Remerciements ... x
INTRODUCTION ... 1
CHAPITRE 1 PROBLÉMATIQUE ... 6
1.1 Problématique ... 6
1.2 Contexte global de l’étude : Système scolaire québécois ... 8
1.3 Contexte spécifique de l’étude : Le programme d’Arts et lettres ... 11
1.4 Objectifs et questions de recherche ... 16
CHAPITRE 2 CADRE CONCEPTUEL ... 18
2.1 Le concept du washback : Définition, nature et modèles... 18
2.2 Modèles du washback ... 21
2.3 Méthodes d’enseignement ou pratiques d’enseignement ... 31
2.4 Tests aux enjeux critiques ... 32
2.5 Synthèse ... 33
CHAPITRE 3 RECENSION DES ÉCRITS ... 35
3.1 Études sur le washback des tests d’ALE ou d’ALS ... 35
3.2 Études sur le washback des tests de langues différentes à l’anglais LE ou LS .... 48
3.3 Synthèse ... 54
CHAPITRE 4 MÉTHODOLOGIE ... 57
4.1 Conception de la recherche ... 57
4.2 L’étude ... 58
4.2.1 Participants ... 58
4.2.2 Les instruments de collecte de données ... 61
4.2.3 Procédure de collecte de données ... 64
4.2.4 Procédure d’analyse de données ... 67
CHAPITRE 5 PRÉSENTATION DES RÉSULTATS ET DISCUSSION ... 69
5.1 Volet qualitatif : Entrevues aux enseignants ... 69
5.2 Volet qualitatif : Observations en classe ... 86
5.3 Volet quantitatif : Questionnaires adressés aux enseignants et aux étudiants ... 100
CONCLUSIONS ET IMPLICATIONS ... 132 Liste de références ... 145 ANNEXES ... 154 ANNEXE A ... 155 ANNEXE B ... 156 ANNEXE C ... 156 ANNEXE D ... 160 ANNEXE E ... 161 ANNEXE F ... 163 ANNEXE G ... 165 ANNEXE H ... 167 ANNEXE I ... 171 ANNEXE J ... 175 ANNEXE K ... 179 ANNEXE L ... 183
Liste de tableaux
Tableau 1.1 : Résumé des techniques d’évaluation de l’examen « AI» au cégep ... 13
Tableau 1.2 : Tâches de l’examen «AI » ... 14
Tableau 1.3 Analyse des tâches de l’examen AI (cégep anglophone) ... 14
Tableau 1.4 Analyse des tâches de l’examen AI (cégep francophone) ... 15
Tableau 4.1 Récapitulatif des Renseignements de Base des Enseignants ... 59
Tableau 4.2 Récapitulatif des Renseignements de Base des Étudiants ... 60
Tableau 4.3 Calendrier des observations en classe... 66
Tableau 5.1 Relation enseignants-examen AI ... 70
Tableau 5.2 Données classifiées par question de recherche ... 71
Tableau 5.3 Distribution de la note finale (cégep anglophone) ... 72
Tableau 5.4 Calendrier d’activités du cours AI (cégep anglophone) ... 73
Tableau 5.5 Grilles d’évaluation de l’examen AI (cégep anglophone) ... 73
Tableau 5.6 Calendrier d’activités du cours AI (cégep francophone) ... 74
Tableau 5.7 Grille d’évaluation en anglais du cours AI (cégep francophone) ... 75
Tableau 5.8 Grille d’évaluation de la production finale (cégep francophone) ... 75
Tableau 5.9 Résumé évaluation finale de toutes les langues (cégep francophone) ... 76
Tableau 5.10 Calendrier des observations en classe (cégeps anglophone et francophone) . 87 Tableau 5.11 Observation en classe du cours AI... 88
Tableau 5.12 Observation en classe (cours de langue et de littérature) ... 92
Tableau 5.13 Influence de l’examen AI sur les cours de langue et de littérature observés .. 97
Tableau 5.14 Récapitulatif des Renseignements de Base des Enseignants ... 101
Tableau 5.15 Récapitulatif des Renseignements de Base des Étudiants ... 102
Tableau 5.16 Pratiques d’enseignement les plus utilisées par les enseignants dans le cours AI ... 103
Tableau 5.17 Pratiques d’enseignement les plus utilisées dans les cours observés ... 106
Tableau 5.18 Différence entre les étudiants des deux cégeps francophone et anglophone par rapport à leur perception des méthodes de leurs enseignants ... 107
Tableau 5.19 Différence entre les étudiants des deux cégeps francophone et anglophone par rapport à leur perception des méthodes de leurs enseignants ... 107
Tableau 5.20 Perceptions des étudiants sur les pratiques d’enseignement les plus utilisées par leurs enseignants (par cégep)... 108 Tableau 5.21 Perceptions des étudiants sur les pratiques d’enseignement les plus utilisées par leurs enseignants : Effets inter-sujets ... 109 Tableau 5.22 Comparaison des perceptions des étudiants et les enseignants sur les pratiques d’enseignement les plus couramment utilisées en classe ... 110 Tableau 5.23 Comparaison des perceptions des étudiants et les enseignants sur les pratiques d’enseignement les plus couramment utilisées en classe : Effets inter-sujets ... 111 Tableau 5.24 Analyse des perceptions des étudiants et des enseignants sur les pratiques d’enseignement les plus couramment utilisées en classe. ... 111 Tableau 5.25 Utilisation des pratiques d’enseignement en classe selon les observations en classe, les enseignants et les étudiants ... 112 Tableau 5.26 Perceptions des enseignants à propos de l’examen aux enjeux critiques ... 116 Tableau 5.27 Perceptions des étudiants à propos de l’examen aux enjeux critiques ... 119 Tableau 5.28 Perceptions des étudiants à propos de l’examen aux enjeux critiques (par cégep)... 121 Tableau 5.29 Perceptions des étudiants de deux cégeps à propos de l’examen AI ... 122 Tableau 5.30 Perceptions des enseignants et des étudiants par rapport à l’examen AI ... 124 Tableau 5.31 Facteurs qui influencent le plus la pratique pédagogique de nos enseignants. ... 127 Tableau 5.32 Décisions reliées à la disposition des leçons ... 129 Tableau 5.33 Organisation de l’enseignement dans chaque cégep. ... 129
Liste des figures
Figure 1.1 : Le système scolaire au Québec (Gouvernement du Québec, 2015) ... 9
Figure 2.1 Adapté de Hughes (1993, p.2) par Cheng et al. (2004) ... 22
Figure 2.2 Adapté d’Alderson et Wall (1993, p. 120) par Hungerland (2004) ... 23
Figure 2.3 Modèle de Washback de Bailey (1996, p. 264) ... 25
Figure 2.4 Adapté de Green (2003) par Green (2006, p. 340) ... 26
Figure 2.5 Modèle de Washback de Saif (2006, p. 5) ... 27
Figure 2.6 Modèle de washback de Shih(2007, p. 157) ... 29
Remerciements
Je tiens à remercier de tout mon cœur toutes les personnes qui ont aidé à l’accomplissement de ce mémoire. Votre collaboration, vos connaissances et soutien, ainsi que votre encouragement ont rendu possible la réalisation de ce projet.
Tout d'abord, je souhaite exprimer ma sincère gratitude à ma directrice de recherche la Professeure Shahrzad Saif. Son orientation m'a gardé sur la bonne voie et m’a donné des forces dans les moments de fatigue et faiblesse. Je tiens également à la remercier pour son dévouement désintéressé et les contributions généreuses de temps et d'efforts, sans cela ce mémoire ne serait jamais réalisé.
J’aimerais aussi remercier les professeurs Susan Parks et Susie Beaulieu d’avoir accepté d’évaluer mon travail à titre de membres du jury. Vos commentaires et suggestions ont toujours été judicieux.
Je voudrais saisir cette occasion pour exprimer ma profonde gratitude et reconnaissance à toutes ces personnes - étudiants, enseignants et directeurs départementaux - qui ont contribué à ce projet de recherche en remplissant des questionnaires, et en prenant part à des entrevues et observations en classe. Sans leur aide, l’exécution de ce projet de recherche n’aurait pas été possible.
Merci aussi à ma famille en Colombie pour son soutien à distance.
Merci à toi Dany et à ma petite Andrea. Dany, je te remercie pour tout le temps que tu as consacré à m’aider et les encouragements sans fin. Andreita, sans toi, je n’aurais pas eu la motivation d’entreprendre ce mémoire.
INTRODUCTION
Selon Agrawal (2004, p. 361), l'évaluation est « universally accepted as an integral part of teaching and learning. It is one of the basic components of any curriculum and plays a pivotal role in determining what learners learn ».
De nos jours, l’évaluation occupe une place très importante dans tous les programmes de formation du système d’éducation du Québec (Gouvernement du Québec, 2003, p. 14). L’évaluation des connaissances permet aux enseignants et aux apprenants de mesurer, entre autres, le niveau de maîtrise des connaissances acquises lors d’un programme ou d’un cours en particulier. Cette évaluation peut se situer avant le début de la formation (diagnostique), cherchant à observer les compétences et à prédire les réussites ainsi que les difficultés éventuelles des apprenants. De la même façon, l’évaluation est susceptible de se dérouler de façon progressive, ayant lieu tout au long du programme ou du cours (formative). Ce type d’évaluation, intégrée de façon entière à la formation donnée, vise, parmi d’autres objectifs, à informer l’apprenant sur ce qu’il sait faire et sur ce qui lui reste à apprendre. Finalement, l’évaluation est dite sommative lorsqu’elle se produit en fin d’apprentissage. Elle permet, par exemple, d’estimer les connaissances acquises par l’apprenant et de le situer par rapport à un groupe ou à un patron déterminé (Huhta, 2007 ; Poehner et Lantolf, 2005).
De plus, l’évaluation est un outil essentiel afin d’obtenir des informations sur la nature de la formation. L’évaluation permet aux enseignants d’avoir des renseignements sur l’efficacité de leurs méthodes d’enseignement, en leur donnant la possibilité de modifier leurs planifications de leçons dans un avenir proche ou de mieux organiser la suite des enseignements (Gouvernement du Québec, 2003, p. 33). Cette valeur envers l’évaluation n’était cependant pas accordée il y a quelques décennies : « Au Québec, avant 1980, l'évaluation n'était pas un élément important du programme d’études. Elle n'était généralement pas considérée comme faisant partie intégrante de l'enseignement et sa place était mince, et souvent inexistante… » (Gouvernement du Québec, 2007, p. 92). C’est grâce à la politique ministérielle d’évaluation pédagogique de 1981 que l’évaluation devient un aspect essentiel du processus d’apprentissage. Elle devient présente dans le parcours
éducatif de tout élève du système scolaire québécois sous la forme d’évaluation diagnostique, formative ou sommative.
Néanmoins, aux fins de cette étude, nous allons examiner une modalité de
l’évaluation sommative : les examens aux enjeux critiques1 dans le programme pré
universitaire d’Arts et lettres offert dans les collèges d'enseignement général et professionnel (CÉGEP) au Québec. D’après Solórzano (2008), les examens aux enjeux critiques sont utilisés dans la prise de décisions cruciales telles que celles qui visent à déterminer le degré de connaissances d’un étudiant et l’obtention de son diplôme, ainsi que celles visant à décider de son passage à un niveau supérieur. Le système scolaire québécois administre ce type d’examens à différents moments dans le parcours d’apprentissage de tout élève ou étudiant(e). Le premier examen aux enjeux critiques est soumis à la fin des études secondaires.
At the end of high school in Quebec, provincial exams are administered in all mandatory subjects, which include ESL. Theses exams are prepared by teachers and consultants under the MEQ coordination. They are worth 50% of the final mark or grade for students, so students must pass in order to obtain their high school diploma. Under these circumstances these exams are considered high-stakes tests in Quebec (Turner, 2006, p.60).
Ainsi, les élèves de la quatrième et de la cinquième année de l’école secondaire doivent réussir des examens aux enjeux critiques afin de recevoir leur diplôme d’études secondaires (DES). Les mathématiques, les sciences physiques, l’histoire et l’éducation à la citoyenneté, et la connaissance du monde contemporain, ainsi que le français et l’anglais langue maternelle ou seconde sont les cours évalués lors de ces examens. (Gouvernement du Québec, 2013, chap.4).
De la même manière, l’obtention d’un diplôme d’études collégiales (DEC) est conditionnée à la réussite d'une épreuve synthèse de programme de formation, ainsi qu’à un examen uniforme de français ou d’anglais langue d’enseignement. Ces examens aux enjeux critiques à la fin des études collégiales cherchent à mesurer l’intégration des compétences et des savoirs, de même que l’accomplissement des objectifs et des standards du programme de formation. Pour leur part, les étudiants appartenant au programme pré
universitaire d’Arts de Lettres au Cégep doivent réussir une épreuve synthèse ou épreuve unique intitulée « Activité d’Intégration » (AI), c’est à dire, le cours suivi à la dernière session du programme d’Arts et Lettres. Les activités qui se déroulent dans ce cours permettent d’évaluer les apprentissages acquis dans plusieurs langues tout au long du programme. Les résultats obtenus lors de cet examen déterminent l’obtention du DEC ou la reprise de cette épreuve synthèse.
Les décisions cruciales prises à la suite du produit découlant de ces examens aux enjeux critiques démontrent la forte influence de ces examens sur tous les aspects reliés à l’apprentissage, à l’enseignement, au contenu du cours et à la méthodologie, de façon positive ou négative (Alderson et Wall, 1993). Le concept de washback a été utilisé à plusieurs reprises par de nombreux chercheurs et dans différents contextes. Hughes (1989)
a avancé une simple définition de ce phénomène de « backwash2 » en disant qu’il était « the
effect of testing on teaching and learning (p.1) ». Plus tard, Alderson et Wall (1993), après avoir constaté que les examens pouvaient avoir des effets négatifs ou positifs, ont décrit le washback comme étant « the extent to which the introduction and the use of a test influences language teachers and learners to do things that they would not otherwise do (p.117) ».
À ce jour, grâce aux études faites à ce sujet, les définitions de washback sont très nombreuses et certaines d’entre elles sont plus complexes que d’autres. Nous nous attarderons à la notion de washback d’une manière plus détaillée dans le Chapitre 2 destiné au cadre conceptuel. Il est aussi nécessaire de souligner que dans notre étude, le terme « impact » est utilisé dans son sens général, ne faisant pas de distinction entre les termes ‘impact’ et ‘washback’.
C’est justement en voulant établir la notion du washback et son degré d’influence sur les éléments associés à l’environnement éducatif qu’Alderson et Wall (1993) ont exposés quinze hypothèses. Ils ont avancé ces hypothèses sur le washback, basées sur la revue des écrits publiée jusqu’alors, concernant l’évaluation et sur leur expérience en interagissant avec les enseignants à propos de l’évaluation. De cette façon, ils sont venus
exposer que le washback était un phénomène beaucoup plus complexe que celui abordé jusqu'à ce moment par les différentes recherches. Plus particulièrement, une de leurs hypothèses propose l’idée que les examens aux enjeux critiques auront plus de washback que tous les autres examens en raison des décisions cruciales prises sur la base des résultats de ces épreuves. Cette hypothèse est une des raisons qui motive la réalisation de notre recherche.
Ce mémoire comporte six chapitres. Le premier chapitre présentera la problématique de la recherche. Il décrira de façon générale le phénomène du washback et expliquera la pertinence de notre recherche tenant compte, de manière brève, des travaux faits jusqu’à présent. Ensuite, nous exposerons le contexte de l’étude en nous attardant principalement au programme d’Arts et lettres et l’épreuve synthèse AI qui est le cœur de cette recherche. Nous conclurons ce premier chapitre consacré à la problématique par la présentation de nos objectifs et de nos questions de recherche.
Le deuxième chapitre examinera le concept du washback et son évolution dans les dernières décennies. Ce chapitre présentera aussi la nature et les modèles du washback existants. Pareillement, nous présenterons les définitions de méthodes d’enseignement et de tests aux enjeux critiques proposées par la littérature, ainsi que la définition retenue pour cette recherche.
Le troisième chapitre sera dédié à la recension des écrits. Ce chapitre exposera les études menées sur le washback dans les contextes de Langue étrangère (LE) et Langue seconde (LS) ainsi que sur les examens aux enjeux critiques et aux faibles enjeux dans plusieurs langues et à différents moments du parcours d’éducation de tout apprenant.
Le quatrième chapitre sera consacré à la méthodologie de cette recherche. Premièrement, nous ferons la présentation de la conception de la recherche, ensuite les sujets participants à notre étude et finalement nous expliquerons les techniques de collecte d’information utilisées pour l’analyse et l’interprétation des données.
Le cinquième chapitre dévoilera les résultats de la recherche. Ils concerneront l’éventuelle influence du test sur les méthodes d’enseignement, les perceptions des
enseignants relatives au test aux enjeux critiques et les possibles modifications apportées aux cours par les enseignants. Ce chapitre procèdera également à l’interprétation et à la discussion des principaux résultats de notre étude.
Le dernier chapitre destiné à la conclusion de ce mémoire fournira une synthèse des résultats avant de cerner les limites de notre recherche. En plus, nous présenterons les implications pédagogiques de nos résultats et finalement des suggestions pour de futures recherches.
CHAPITRE 1 PROBLÉMATIQUE
Ce premier chapitre sera consacré à la présentation de la problématique motivant notre étude. Nous débuterons par une brève exposition des éléments qui ont incité les chercheurs à baser leurs travaux sur le washback lors des trois dernières décennies et également, notre motivation personnelle à entreprendre cette étude. Ensuite, nous décrirons le contexte dans lequel se déroule notre recherche et plus particulièrement le programme d’Arts et lettres et l’épreuve synthèse ou épreuve unique « Activité d’Intégration ». Enfin, nous ferons la présentation des objectifs et des questions de recherches de notre étude.
1.1 Problématique
En ce qui a trait à la linguistique appliquée et plus particulièrement dans le domaine de l’enseignement et de l’évaluation des langues, plusieurs études (Alderson et Hamp-Lyons, 1996; Cheng, 1997; Saif, 2006, 2012; Wall et Alderson, 1993) ont été menées afin de déterminer l’influence des examens sur l’enseignement et l’apprentissage de différentes langues. La plupart de ces études ont nommé washback ou backwash (Hughes, 1989) cette influence des tests sur ce qui se passe dans la salle de classe. Par contre, certains chercheurs ont utilisé d’autres termes pour désigner cette influence. Popham (1987, p. 680) affirme qu’un enseignement dirigé par l’examen « Measurement-driven instruction » se produit lorsqu’un test aux enjeux critiques influence le programme d'enseignement qui prépare les élèves pour le test. De la même façon, Madaus (1988) désigne comme alignement du programme « curricular alignment » la relation entre l’évaluation et le programme d’enseignement (Madaus, 1998, cité par Hamp-Lyons, 1997, p. 295). Fredericksen et Collins (1989) exposent également qu’une validité systémique « systemic validity » implique l’intégration de tests dans le système éducatif et la nécessité de démontrer que l’introduction d’un nouveau test peut améliorer l’apprentissage. De plus, Messick (1996) appelle la validité liée aux conséquences d'un test « consequential validity » aux changements dans le système éducatif ayant lieu à cause de la rétroaction obtenue à partir du nouveau test.
L’impact (washback) des examens sur l’environnement éducatif reçoit de plus en plus d’attention dans la littérature récente (Green 2006, 2013; Saif, 2006; Vogler, 2006).
Certaines de ces études exposent des conclusions variées concernant l'influence d’examens sur les différents aspects de l'enseignement. La plupart des recherches soulignent le rôle des enseignants et leurs pratiques d’enseignement utilisées en classe (Cheng, 2004; Fournier-Kowaleski, 2005; Shih, 2009; Turner, 2006, 2009), bien que des études afin de mettre en évidence l’influence des examens sur les apprenants ont commencé à apparaitre (Green, 2006; Saif, 2012; Shih, 2007; Solórzano, 2008; Xie & Andrews, 2013).
Selon Cheng (2005), quelques examens peuvent avoir des conséquences plus importantes pour certains domaines de l'enseignement et de l'apprentissage que d'autres. Elle définit comme « washback intensity » la mesure dans laquelle les participants adaptent leur comportement afin de répondre aux exigences d'un examen. Cependant, il a été affirmé que le washback est un phénomène complexe et multidimensionnel (Alderson et Wall, 1993; Chen, 2002; Choi, 2008), et il ne doit pas être seulement considéré comme un effet automatique ou direct des examens (Bailey 1999; Spratt, 2005). La recherche montre également que les examens aux enjeux critiques peuvent influencer dès le départ les perceptions et les attitudes des participants (Cheng, 2005), et par conséquent, ils peuvent être capables de changer le comportement des enseignants en classe et modifier le contenu de l’enseignement (Shohamy, Donitsa-Schmidt, et Ferman, 1996; Saif, 2006).
Jusqu’à présent, si la recherche menée au sujet de l’influence des tests aux enjeux critiques sur l’enseignement des différents programmes de langues a été surtout centrée sur une seule langue: l’anglais (Cheng, 1997; Turner, 2006; Vogler, 2006, entre autres), il n’en demeure pas moins que plusieurs chercheurs ont effectué des études par rapport à l’influence des tests aux enjeux critiques sur l’enseignement d’autres langues, certains domaines de l’enseignement et de l’apprentissage, ou sur des méthodes d’enseignement. (Barletta et May, 2006; Munoz et Alvarez, 2010; Vogler, 2006).
Cependant, il n’existe pas encore de recherches ayant été réalisées afin d’observer l’influence des techniques d’évaluation d’un seul test sur des méthodes d’enseignement et les perceptions des enseignants pendant un programme de langues : un test qui utilise des techniques communes d’évaluation. Ce dernier mesure la compétence langagière et littéraire des individus s’adonnant au test dans trois ou quatre langues évaluées de façon simultanée. Par ailleurs, la plupart des études réalisées au sujet du washback l’ont été dans
le contexte scolaire du primaire, du secondaire ou de l’université (Shih, 2010; Turner, 2009; Upadhyay, 2009). L’éducation collégiale québécoise n’a pas été retenue comme milieu de recherche.
La présente recherche sera centrée sur l’observation et l’analyse de l’influence des techniques d’évaluation utilisées lors de l’examen intitulé « activité d’intégration ». Cet examen est administré à la fin du programme d’Arts et lettres dans certains cégeps de la ville de Québec. Cette épreuve synthèse a pour but d’examiner toutes les langues apprises ou améliorées par les étudiants dans le cadre de ce programme (l’anglais, le français, l’espagnol et l’allemand). De façon générale, tous les apprenants doivent choisir des éléments culturels et/ou artistiques associés aux communautés ou pays de langues anglaise, française, espagnole et allemande. En tenant compte de ces aspects, les étudiants d’Arts et lettres rédigent des textes et font des présentations orales en différentes langues, dans le but de satisfaire les exigences de leur établissement scolaire et par conséquent du Ministère de l’Éducation, de l’Enseignement Supérieure et de la Recherche (MÉESR).
1.2 Contexte global de l’étude : Système scolaire québécois
Au Québec, le système scolaire se compose de quatre niveaux d’enseignement. (Figure 1.1).
Figure 1.1 : Le système scolaire au Québec (Gouvernement du Québec, 2015)
L’enseignement primaire dure six ans. Cet enseignement comprend, de plus, l’éducation préscolaire de deux années d’enseignement facultatif offertes aux enfants âgés de moins de six ans. Par la suite, on trouve le niveau d’enseignement secondaire qui s’étend sur cinq ans. Celui-ci mène au diplôme d’études secondaires (DES) qui permet d’accéder aux études supérieures. L’enseignement secondaire se divise en deux cycles. Le premier cycle, soit les deux premières années, se concentre sur une formation de base qui permet
aux élèves de cimenter la formation reçue durant les six années du primaire. Par la suite, les élèves désirant s’insérer dès cet instant sur le marché du travail ont la possibilité de s’inscrire dans un programme de deux ans qui les autorise à exercer un métier semi-spécialisé dès la fin de leur deuxième année du secondaire. Le deuxième cycle de l’école secondaire offre plusieurs cours à option en plus de la formation générale. Ces cours donnent la possibilité aux élèves, entre autres, d’envisager diverses alternatives avant de choisir de continuer leurs études au niveau collégial ou d’opter pour une formation professionnelle. L’enjeu pour les élèves du deuxième cycle de l’école secondaire est grand. Ils doivent réussir des examens appelés « épreuves uniques » en quatrième et cinquième années. Ces épreuves mesurent leurs connaissances en mathématiques, sciences physiques, ainsi qu’en français et en anglais langue maternelle ou seconde. De plus, ces épreuves sont une condition d’admission à l’enseignement collégial (Gouvernement du Québec, 2013, chap. 4).
L’enseignement supérieur débute après l’école secondaire par le collège, première étape dans le processus d’apprentissage de chaque individu qui s’engage dans cette voie. Les collèges ou cégeps offrent des programmes de formation pré universitaire et de formation technique. Ces programmes d’études sont validés par l’obtention DEC. D'ailleurs, un DEC est nécessaire pour l’accès aux études universitaires pour un étudiant québécois (Gouvernement du Québec, 2015). Les cégeps offrent deux types de programmes de formation. Les programmes pré universitaires durent deux ans. Ils cherchent, entre autres, à préparer les étudiants à l´éducation universitaire. Les programmes d’études techniques, qui peuvent s’étendre sur trois ans, conduisent les détenteurs d’un DEC à des emplois de techniciens ou de technologues. Cette formation technique peut aussi, sous certaines conditions, donner l’accès à l’université. (Cégep de Rivière-du-Loup,n.d.).
Tous les programmes offerts au cégep comprennent une formation générale et une formation spécifique. La formation générale est constituée de cours communs aux deux types de programmes tels que des cours de langue seconde, de philosophie et d’éducation physique. La formation spécifique se compose des cours caractéristiques du programme d’apprentissage sélectionné. (Cégep de Rivière-du-Loup,n.d.). L’étudiant intéressé à continuer ses études au niveau collégial a une multitude de possibilités de programmes
s’offrant à lui. Parmi les programmes pré universitaires se trouvent, entre autres, arts et lettres, histoire et civilisation, sciences de la nature, musique, sciences humaines, et danse. Par rapport aux programmes d’études techniques, ils se regroupent en cinq secteurs de l’activité économique : les techniques biologiques, physiques, humaines, administratives et artistiques (Gouvernement du Québec, 2009). Par ailleurs, il est possible d’accéder à d’autres programmes de formation comme horticulture, tourisme et les arts du cirque. Ces programmes sont donnés dans des établissements d’enseignement spécialisés (Gouvernement du Québec, n.d.).
Finalement, la formation universitaire comporte trois cycles ayant des durées variées. Le premier cycle comprend des programmes de certificat, de diplôme ou de baccalauréat qui varient d’un à quatre ans. Le deuxième et le troisième cycle sont des formations d’une, de deux ou de quatre années, qui mènent, dans la plupart des cas à l’obtention d’un certificat ou d’un diplôme, d’une maîtrise et d’un doctorat (Université Laval, 2015).
L’enseignement primaire et secondaire est gratuit au Québec. Il garantit ainsi l’accès à l’enseignement aux enfants issus de divers milieux socio-économiques. Il faut aussi prendre en compte les divers examens aux enjeux critiques qui conditionnent l’obtention d’un diplôme et par conséquent l’accès à un stade supérieur d’éducation.
1.3 Contexte spécifique de l’étude : Le programme d’Arts et lettres
« Le programme pré universitaire d’Arts et lettres au collégial a pour objectif de donner à l’étudiant ou à l’étudiante une formation équilibrée, intégrant les composantes de base d’une formation artistique et littéraire, et les rendant aptes à poursuivre des études universitaires dans les domaines des arts et des lettres, à l’exception de la musique et de la danse » (Gouvernement du Québec, 2010, p.3). Ce programme dure quatre sessions (deux années). L’étudiant y apprend ou améliore la langue d’enseignement et communique dans une langue autre que la langue d’enseignement. Les langues introduites dans le cadre de ce programme sont le français, l’espagnol, l’italien, l’allemand, le russe, l’hébreu, le yiddish, le chinois et l’arabe, ainsi que les langues autochtones et les langues anciennes. La plupart des cégeps choisissent trois ou quatre langues afin de les approfondir au cours des deux
années de formation. Certains établissements collégiaux offrent d’autres cours de langues au niveau débutant dans le but d’élargir les connaissances linguistiques des étudiants
(Gouvernement du Québec, 201019).
L’épreuve synthèse ou épreuve unique : « Activité d’intégration »
Dans la dernière session de ce programme, les étudiants doivent suivre un cours intitulé AI « activité d’intégration » (épreuve synthèse ou unique de ce programme). Ce cours est offert par tous les cégeps de la ville de Québec proposant le programme d’Arts et lettres. Ce cours a pour objectifs principaux de préparer les étudiants aux activités d’évaluation et d’évaluer les compétences linguistiques et les connaissances littéraires des étudiants dans les trois ou quatre langues apprises ou améliorées au cours de ces deux années. Le cours AI permet aux étudiants d’avoir accès au matériel et aux ressources nécessaires afin de bien se préparer pour les différentes activités qui sont évaluées tout au long de la session. Il est aussi important de souligner que toutes les activités propres au cours AI font partie de tâches de l’examen aux enjeux critiques. Tout au long de ce cours, les étudiants doivent effectuer plusieurs activités académiques qui sont évaluées tant au niveau oral qu’au niveau écrit. Les étudiants sont priés de choisir des éléments culturels et artistiques d’une communauté linguistique en particulier. La communauté choisie est reliée aux langues étudiées pendant le programme de formation (Cégep Beauce-Apalaches, 2013, p.7). Plus spécifiquement, chaque groupe d’étudiants doit suivre un calendrier d’activités, lequel est établi au début de la session par le titulaire de ce cours. Dans les premières semaines, les groupes choisissent le sujet à traiter et déterminent les fonctions de chaque membre à l’intérieur du groupe. Les groupes sont tenus de remettre leur version écrite de la recherche, faite sur le sujet choisi, vers la cinquième ou sixième semaine. De façon générale, après la remise du document de recherche, chaque groupe travaille à la préparation du texte qui accompagnera leurs présentations orales. Le travail des dernières semaines consiste aussi à faire des répétitions de leurs représentations tout en pratiquant la prononciation et l’intonation. Durant ce dernier temps, les groupes configurent aussi la scène, perfectionnent les costumes et adaptent les accessoires requis (communication personnelle avec l’enseignant d’anglais du cégep francophone, février 2014).
Il existe de légères différences entre les activités académiques composant les deux examens aux enjeux critiques ciblés pour cette étude. Tout d’abord, les étudiants au cégep anglophone travaillent individuellement, tandis que leurs homologues du cégep francophone forment des équipes de 4 ou 5 personnes. Ensuite, le cégep anglophone organise des rencontres hebdomadaires avec les différents enseignants de langue à certains moments de la session. Ces rencontres sont mises en place à chaque début de session et tous les étudiants travaillent avec les enseignants de langue et de littérature afin de discuter ou améliorer, entre autres, les sujets choisis pour la recherche, leurs textes analytiques ou dans le but de clarifier des doutes. De son côté, le cégep francophone établit des rencontres avec le titulaire du cours (l’enseignant d’anglais) et le moniteur d’anglais. Les autres enseignants sont consultés au besoin par chaque groupe d’étudiants. Par ailleurs, ce dernier cégep stipule que les présentations orales seront faites dans les trois langues évaluées, et tous les travaux et les écrits produits durant le cours seront consignés dans un journal et un portfolio. En plus, à la fin de la session, les étudiants doivent répondre aux deux examens écrits (en anglais et en français) portant sur la création et le processus de création développés tout au long de la session. Pareillement, le cégep anglophone évalue l’anglais et le français à l’écrit, tandis que l’espagnol et l’allemand sont mesurés à l’oral (communication personnelle avec l’enseignant d’anglais du cégep anglophone, février 2014). Le tableau ci-dessous résume les techniques d’évaluation propres à l’examen « Activité d’Intégration » au cégep anglophone et francophone.
Tableau 1.1 : Résumé des techniques d’évaluation de l’examen « AI» au cégep
Anglais Français Espagnol Allemand Cégep Anglophone Écrit
Oral
Cégep Francophone Écrit
Oral
Le tableau 1.2 résume les tâches de cet examen tenant compte des différences trouvées entre les tests administrés aux deux cégeps visés pour cette étude.
Tableau 1.2 : Tâches de l’examen «AI »
Les tableaux 1.3 et 1.4 présentent les caractéristiques des tâches de l’examen « Activité d’Intégration » utilisant le modèle de « Task Characteristics » proposé par Bachman et Palmer (2010).
Tableau 1.3 Analyse des tâches de l’examen AI (cégep anglophone)
Caractéristiques spécifiques au test (INPUT) Tâches 1) texte analytique en anglais
(trois ouvres d’art)
2) texte analytique en français (une œuvre d’art ou un artiste)
3) prés. orale (espagnol et allemand) sur trois œuvres d’art
Format de la présentation
Document avec les instructions détaillées et des exemples pertinents. Directives orales additionnelles lors de réunions en groupe
Pareil à la tâche 1 Pareil à la tâche 1
Caractéristiques spécifiques des réponses attendues (OUTPUT) Format de la
performance
Texte de 1500 mots écrit en anglais incluant différents types d’exemples d’arts tels que poèmes ou chansons. Le texte doit contenir
principalement du vocabulaire littéraire, des structures grammaticales avancées, des mots de liaison appropriés et des expressions transitoires.
Texte de 500 mots écrit en français incluant différents types d’exemples d’arts tels que poèmes ou chansons. Le texte doit contenir
principalement du vocabulaire littéraire, des structures grammaticales avancées, des mots de liaison appropriés et des expressions transitoires.
Présentation orale dans les deux langues pendant environ dix minutes, incluant, entre autres, des exemples pertinents, explications de photos, poèmes ou sculptures. La production orale comprend principalement du vocabulaire littéraire, des structures grammaticales avancées, des mots de liaison appropriés, des expressions de transition et de la phonologie complète.
La relation entre le contenu des tâches TLU et les réponses attendues Réactivité (réciproque,
non réciproque, adaptée)
Non réciproque
(Pas de rétroaction ou des réponses immédiates de la part des évaluateurs)
Pareil à la tâche 1 Pareil à la tâche 1
Cégep Anglophone Cégep Francophone
Écrit Oral Écrit Oral
1) Rédiger un texte analytique en anglais de trois œuvres d’art (1500 mots) 2) Rédiger un texte analytique en français d’une œuvre d’art ou d’un artiste (500 mots) 3) Faire une présentation orale en espagnol et en allemand sur trois œuvres d’art 4) Faire un travail de recherche et monter un portfolio sur la création, le processus de création et la recherche faite 5) Rédiger la création écrite (scénario) qui sera présentée devant le public 6) Répondre au test écrit en anglais portant sur la création et le processus de création 7) Faire un résumé en français sur la création et le processus de création 8) Rencontrer (en équipe ou individuellement) l’enseignant, de façon hebdomadaire afin de discuter sur le processus de création 9) Faire une présentation orale devant le public sur la création faite
Portée de la relation Vaste
(Les étudiants ont besoin de traiter un grand nombre d’input oral et écrit donné par l’enseignant afin de développer la tâche
Pareil à la tâche 1 Pareil à la tâche 1
Proximité de la relation
Directe
(La réalisation de la tâche dépend directement de l’information donnée dans l’input
Pareil à la tâche 1 Pareil à la tâche 1
Tableau 1.4 Analyse des tâches de l’examen AI (cégep francophone)
Caractéristiques spécifiques au test (INPUT)
Tâches 4) travail de recherche et portfolio 5) création écrite (scénario) 6) test écrit en anglais 7) résumé en français 8) rencontre (en équipe ou individuelle ment) avec l’enseignant 9) prés. orale devant le public sur la création faite Format de la présentation Document avec les instructions détaillées. Directives orales additionnelles lors de réunions en groupe.
Pareil à la tâche 4 Pareil à la
tâche 4 Pareil à la tâche 4 Pareil à la tâche 4 Pareil à la tâche 4
Caractéristiques spécifiques des réponses attendues (OUTPUT)
Format de la performance Recherche faite en équipes. Le portfolio contient des informations regroupées dans un cartable et reparties en 5 sections distinctes.3 Texte d’environ 3500 mots écrit dans les trois langues utilisées lors de la présentation orale. Le texte doit contenir
principalement des
structures
grammaticales qui
reflètent le niveau de langue des étudiants, des mots de liaison
appropriés et des expressions transitoires. Réponses à 2 questions sur le travail créatif (texte de 500-600 mots)4 Texte d’environ 1200 mots. Le texte doit contenir principalement des structures grammaticales avancées, des mots de liaison appropriés et des expressions transitoires. Rencontres avec le secrétaire de chaque équipe ou l’équipe au complet pendant environ 15 minutes chaque fois Présentation orale dans les trois langues entre 30 et 35 minutes, incluant costumes, maquillages, meubles, etc.
3 Section 1 : journal rédigé en anglais avec les informations suivantes : la genèse du projet, commentaires et critiques, les
connaissances intégrées, une analyse des modifications apportées au concept initial, les réflexions pertinentes au processus de création.
Section 2 : Un compte rendu de chaque réunion. Section 3 : Le travail de recherche.
Section 4 : Scénario dans les langues étudiées (anglais, espagnol et allemand) Section 5 : Médiagraphie et des commentaires.
4 Exemple de questions : 1. Étiez-vous content de faire ce travail ? Pour quoi ?
La relation entre le contenu des tâches TLU et les réponses attendues Réactivité (réciproque, non réciproque, adaptée) Réciproque (rétroaction de la part de l’enseignant à chaque réunion avec les secrétaires ou toute l’équipe) Réciproque (commentaires donnés par les
enseignants de langue à la semaine 8) Pareil à la tâche 1 Pareil à la tâche 1 Pareil à la tâche 4 Pareil à la tâche 1 Portée de la relation Pareil à la tâche 1
Pareil à la tâche 1 Pareil à la
tâche 1 Pareil à la tâche 1 Pareil à la tâche 1 Pareil à la tâche 1 Proximité de la relation Pareil à la tâche 1
Pareil à la tâche 1 Pareil à la
tâche 1 Pareil à la tâche 1 Pareil à la tâche 1 Pareil à la tâche 1
La réussite de l’ensemble de ces tâches est une condition pour l’obtention du DEC. Les caractéristiques propres à l’ensemble de ces tâches déterminent le cours « activité d’intégration » comme un examen aux enjeux critiques. Popham (2002) a noté qu’un examen aux enjeux critiques est, pour certains, un test qui, selon le rendement d’un élève, est associé à des décisions importantes au sujet de cet étudiant. Des exemples de telles décisions peuvent être l’attribution d’un diplôme d’études secondaires, le passage à un niveau supérieur ou l’exigence de mesures correctives comme des cours d’été pour des élèves à faible rendement scolaire.
Cette définition avancée par Popham s’applique entièrement à l’épreuve synthèse « Activité d’intégration » du programme d’Arts et lettres aux cégeps de la ville de Québec. Les étudiants qui ne parviennent pas à obtenir une note de passage à cet examen doivent se réinscrire à la prochaine session offrant ce cours. Par conséquent, l’obtention de leur diplôme d’études collégiales est reportée.
1.4 Objectifs et questions de recherche
Le présent projet de recherche se situe dans le domaine de la linguistique appliquée et touche plus particulièrement l'enseignement et l'évaluation des langues. Nous cherchons à exposer le lien existant entre les pratiques d’enseignement employées par les enseignants dans leurs cours et les techniques d’évaluation propres à un examen aux enjeux critiques. D'ailleurs, nous cherchons à mettre en évidence le possible influence qu’un examen aux enjeux critiques peut avoir sur tout ce qui se passe dans la salle de classe tel que les perceptions des apprenants, des enseignants et les méthodes d’enseignement utilisées par
ces derniers. De la même façon, nous visons à examiner la façon dont les connaissances des enseignants de l’examen en général peuvent apporter certains avantages ou désavantages au moment de la conception de leurs pratiques d’enseignement. De plus, cette recherche vise à analyser les perceptions des enseignants et les possibles modifications apportées à la planification de leurs cours lors de l’introduction d’un examen aux enjeux critiques.
De cette façon, les questions posées dans le cadre de cette recherche sont :
1. Quelle est l’influence de diverses techniques d’évaluation utilisées dans l’examen « activité d’intégration », un examen aux enjeux critiques, sur les méthodes d’enseignement employées par les enseignants tout au long du programme d’Arts et lettres au cégep ?
2. Quelles sont les perceptions des enseignants et des étudiants concernant l’examen « activité d’intégration » et quel est le rôle de ces perceptions dans d’éventuelles modifications des pratiques d’enseignement et la planification des cours faites par ces enseignants ? Est-ce qu’il y a une différence entre les perceptions des étudiants et des enseignants ?
3. Quelles sont les possibles modifications apportées à la planification des cours par les enseignants après l’introduction de l’examen « Activité d’Intégration » ?
CHAPITRE 2 CADRE CONCEPTUEL
Ce deuxième chapitre sera destiné à la présentation du cadre conceptuel de notre étude. D’abord, nous examinerons le concept du washback et les différentes expressions utilisées par les chercheurs grâce aux études faites depuis les années 80. Ensuite, nous analyserons la nature du washback et les modèles conceptuels présentés par la littérature jusqu’à présent. Après, nous préciserons la définition du washback retenue pour cette étude. Finalement, nous nous concentrerons sur deux autres termes clés dans notre étude : les méthodes d’enseignement et le test aux enjeux critiques. À cet égard, nous ferons un bilan de quelques explications données par les chercheurs et après cela, nous exposerons les définitions choisies pour notre recherche.
2.1 Le concept du washback : Définition, nature et modèles
Définition du washback
Le washback est une notion qui a été largement utilisée dans les recherches portant sur l’impact des tests sur tout ce qui se passe dans la salle de classe. Bailey (1996) a avancé une définition générale de ce phénomène en nommant le washback comme l’influence des tests sur l’enseignement et l'apprentissage. Cependant, d'autres chercheurs, dans des études faites auparavant, ont précisé l’importance du washback lié aux examens aux enjeux critiques et la façon dont le washback influençait particulièrement les enseignants et les étudiants de langue. À cet égard, Buck (1988) a précisé qu’il existait une tendance naturelle, à la fois pour les enseignants et pour les étudiants, à adapter leurs activités en classe aux exigences du test, en particulier lorsque le test avait une importance capitale pour l'avenir des étudiants. De la même façon, Alderson et Wall (1993) ont défini le washback comme étant la mesure dans laquelle l'introduction et l'utilisation d'un test influençaient des enseignants et des apprenants de langues à faire des choses qu'ils n'auraient pas fait autrement. De manière semblable, Hughes (1989, 2003) a nommé « backwash » la partie de l'impact qu'un test pouvait avoir sur les apprenants et les enseignants, sur les systèmes éducatifs et la société en général. D’autres définitions ont souligné le possible impact positif ou négatif des tests sur l’enseignement et l’apprentissage. Selon Turner (2001), le phénomène de washback en enseignement des langues secondes se référait généralement à l'influence d'un test ou d'autres procédures
d'évaluation sur l'enseignement et l'apprentissage, étant cet effet positif ou négatif. Pareillement, Green (2006) a affirmé que les examens, en particulier ceux associés à des décisions importantes, avaient un impact majeur sur les systèmes éducatifs et les sociétés dans lesquels ils étaient mis en place. Et cet impact d’un test sur l’enseignement et l’apprentissage pouvait avoir des effets positifs attendus ou inattendus et peut-être des effets négatifs.
En ce qui concerne la terminologie utilisée pour référer à ce phénomène, plusieurs expressions associées à l’influence de tests sur l’enseignement et l’apprentissage ont été employées par différents chercheurs. La notion des tests guidant l’enseignement et par conséquent l’apprentissage à cause de l’importance des résultats de ces tests sur l’avenir des étudiants a été souvent signalée comme « Enseignement dirigé par l’examen » (Popham, 1987). Cette idée de modifier les programmes d’enseignement en fonction des résultats des examens afin d’améliorer la qualité de l’éducation faisait référence à « Alignement du programme » (Andrews, 1994; Linn, 1983; Madaus, 1988). Selon Fredericksen et Collins (1989), l’intégration des changements au système éducatif par le biais d’un nouvel examen ou un examen modifié dans le but d’améliorer l’enseignement et de favoriser le développement des habiletés cognitives mesurables par ces examens était connue comme « validité systémique ». L'examen créé ou modifié, par conséquent, devient une partie d'un processus dynamique dans lequel des modifications dans le système éducatif se produisent en fonction de la rétroaction suscitée par l’examen, ce qui a été appelé « la validité liée aux conséquences d'un test » (Messick, 1996).
De la même façon, il est nécessaire de souligner que certains chercheurs ont fait une différenciation entre les termes « impact » et « washback ». D’un côté, Bachman et Palmer (1996) décrivent l’impact d’un test comme les effets que les examens auraient sur les individus (enseignants et étudiants) ou sur les systèmes d’éducation et de la société en général. Hamp-Lyons (1997) voit le washback comme une dimension de l’impact, décrivant les effets des tests sur le contexte éducatif. McNamara (2000) affirme également que les tests peuvent aussi avoir des effets au-delà de la salle de classe, appelant comme l’impact, cet effet plus large des examens sur la communauté dans son ensemble, y compris l’école. En conclusion, l’impact d’un test fait référence aux effets des examens sur les macro-niveaux de l’éducation et de la société. Et le washback est associé aux effets des
tests sur les micro-niveaux de l’enseignement et de l’apprentissage des langues (c’est-à-dire, sur tout ce qui se passe à l’intérieur de la salle de classe).
Nature du washback
Le concept du washback a été aussi associé tant à l’influence positive que négative des tests sur l’enseignement et l’apprentissage. Taylor (2005) affirme que « Negative washback is said to occur when a test’s content or format is based on a narrow definition of language ability and so constrains the teaching/learning context (p. 154) ». Plusieurs chercheurs entre les années 50 et 80 soulignent cet impact négatif des examens sur l’environnement éducatif. Par exemple, Vernon (1956) affirme que les enseignants ont tendance à ignorer des sujets et des exercices qui ne contribuent pas directement à passer l’examen et que les enseignants préparent d’une manière excessive les étudiants aux examens. De la même façon, Wiseman (1961) déclare que les cours destinés à préparer les étudiants pour les examens ne font pas de bon usage du temps, car les étudiants, participant à ces cours, pratiquent des techniques d’examen connexes au lieu de s’engager à des activités d’apprentissage des langues. D’ailleurs, Davies (1968) souligne que les instruments d’évaluation sont devenus des instruments d’enseignement, ainsi que l’enseignement et l’apprentissage sont dirigés vers la passation des examens ; fait qui rend l’expérience éducative limitée et ennuyeuse. Les recherches empiriques plus récentes viennent appuyer cette perception négative du washback. Shohamy et al. (1996) affirment qu’un des résultats néfastes du washback de leur étude est une atmosphère de forte anxiété et de peur aux résultats de tests chez les enseignants et les étudiants. Selon Choi (2008), la plupart des participants à sa recherche améliorent leurs techniques de passation d’examen plutôt qu’une véritable maîtrise de la langue.
Néanmoins, d’autres chercheurs aperçoivent le washback d’une façon plus positive. Taylor (2005) définit l’influence positive des examens comme étant « [...] the result when a testing procedure encourages ‘good’ teaching practice (p. 154) ». Bailey (1996) et Andrews, Fullilove et Wong (2002) suggèrent que le washback peut affecter de manière bénéfique l’environnement éducatif si les examens sont utilisés en tant que des activités d’enseignement et d’apprentissage. Hughes (2003, p. 18) affirme que « a helpful washback effect » peut être obtenu à la suite d’une évaluation directe « direct testing ». Selon Hughes
une évaluation est considérée comme directe quand elle demande au candidat d’accomplir exactement la compétence que le test cherche à évaluer.
Cependant, Alderson et Wall (1993), lors d’une discussion détaillée du concept, émettent l’hypothèse que non seulement les examens « efficaces ou bons » ont un effet bénéfique sur le processus d'enseignement et d'apprentissage, mais aussi les « mauvais » examens peuvent également être bénéfiques si ces examens motivent les élèves et les enseignants à « faire de bonnes choses qu'ils ne feraient pas autrement » (p. 117). Cela s’atteint en motivant les élèves à faire leurs devoirs, à prendre plus au sérieux la matière à évaluer, à accorder plus d'attention à la leçon, tout en encourageant aussi les enseignants à préparer les cours de manière plus approfondie.
Parallèlement, d’autres chercheurs avancent qu'il est difficile de déterminer si les effets des tests sont positifs ou négatifs. Par exemple, Messick (1996) souligne que « a poor test may be associated with positive effects and a good test with negative effects because of the other things that are done or not done in the education system (p.242) ». De leur côté. Brown et Hudson (1998) affirment que lorsque la procédure d'évaluation correspond aux buts et objectifs du cours, un effet positif se produit. En revanche, si cette procédure d'évaluation ne reflète pas les objectifs du programme, il est susceptible de se générer un washback négatif.
Modèles du washback
La littérature existante sur l’étude du phénomène du washback nous apporte un nombre limité des modèles et théories illustrant le lien entre les tests et tous les aspects reliés à l’environnement scolaire susceptibles d’être affectés par les tests. Dans le but d’examiner le washback d’une façon plus approfondie, il est important de tourner notre attention vers les mécanismes suscitant ce washback. Les six modèles de washback discutés ci-dessous ont fait évoluer la recherche effectuée durant les 25 dernières années, nous donnant une image plus claire de la nature du washback.
Hughes (1993), dans son document inédit cité dans Bailey (1996) et Cheng, Watanabe et Curtis (2004) suggère un modèle traditionnel de washback (Figure 2.1) où il
fait une distinction entre les participants, le processus et les produits dans l’enseignement et l’apprentissage, pouvant tous être affectés par le test.
The Trichotomy of Backwash Model
(a) Participants- students, classroom teachers, administrators, materials developers and publishers, whose perceptions and attitudes toward their work may be affected by a test.
(b) Processes- any actions taken by the participants which contribute to the process of learning.
(c) Products- what is learned (e.g. facts, skills, etc) and the quality of the learning (e.g. fluency).
Figure 2.1 Adapté de Hughes (1993, p.2) par Cheng et al. (2004)
Hughes explique que les participants regroupent les étudiants, enseignants, administrateurs, concepteurs de matériel scolaire et éditeurs. Hughes souligne aussi que la nature d’un test pourrait avoir un effet sur les perceptions et les attitudes des participants face à leur travail. Il suggère que ces perceptions et attitudes peuvent alors avoir une influence sur ce que les participants font, c’est-à-dire le processus qu’il décrit comme les mesures prises par les participants. Ces mesures consistent à augmenter, entre autres, la pratique des sujets reliés aux tests, ce qui pourrait avoir une incidence sur les résultats d’apprentissage. Ces résultats (c’est-à-dire ce qu’ils ont appris et la qualité d’apprentissage) sont dénommés par Hughes comme étant le produit.
Burrows (2004) critique le fait que ce modèle laisse supposer que l’effet du washback d’un examen sera toujours homogène, car le washback dépend de la qualité de l’examen plutôt que de la performance des participants. De la même façon, Burrows affirme que le modèle de Hughes, au début, n’était pas appuyé sur des preuves objectives telles que l’observation en classe, mais sur des arguments anecdotiques provenant des enseignants. Bailey (1996) a également souligné que le modèle de Hughes ne tenait pas compte du fait que les processus de tous les apprenants ne conduisent pas nécessairement à l’apprentissage.
De leur côté, Alderson et Wall (1993), basés sur les résultats de leur propre étude du washback au Sri Lanka et sur leur expérience au sujet de l’évaluation, proposent quinze hypothèses centrées sur les « micro-niveaux » de l’enseignement et l’apprentissage pouvant être influencés par un test (Figure 2.2). Le terme « micro-niveaux » est originalement
proposé par Hamp-Lyons (1997) pour référer à tout ce qui se passe à l’intérieur de la salle de classe. Ces hypothèses exposent comment un test peut avoir une influence sur l’apprentissage et l’enseignement en termes de ce qu’il faut apprendre et enseigner, comment apprendre et enseigner, le rythme et la séquence d’enseignement et d’apprentissage, la qualité et la quantité d’enseignement et d’apprentissage, ainsi que sur les attitudes, le contenu et la méthodologie de l’enseignement et l’apprentissage. Ce modèle de washback a également abordé la possible variabilité des effets du washback selon les individus et le type de test (un test aux enjeux critiques ou aux faibles enjeux) ainsi que l’éventuel impact d’un test sur les perceptions des individus, le matériel et le contenu.
Figure 2.2 Adapté d’Alderson et Wall (1993, p. 120) par Hungerland (2004)
Alderson et Wall (1993) ont recommandé d’envisager ce domaine du washback comme un programme complexe de recherche à long terme. Ils voulaient aussi mettre fin aux affirmations et idées préconçues naïves sur le washback en menant une recherche empirique et solide sur tous ses aspects. La délimitation de l’étude de washback à un aspect de l’enseignement comme le contenu des cours, les pratiques d’enseignement ou les perceptions des enseignants permet d’analyser les effets du washback de façon approfondie et de présenter des résultats plus fiables concernant ce contexte en particulier.
Selon Hungerland (2004), ces hypothèses sont unidirectionnelles et sont axées sur le test comme une force centrale qui affecte les enseignants, les apprenants et leurs comportements respectifs. En outre, ces mêmes hypothèses n’exposent pas la possible
interaction entre les différents participants et le processus impliqués dans la procédure d’évaluation. Un reproche de plus fait à ce modèle par Andrews et al. (2002) est le fait qu’il n’énonce pas clairement l’éventuel rôle des croyances des individus dans le processus de washback, bien qu’il mentionne un possible impact d’un test sur les attitudes des individus. Basée sur la distinction tripartite de Hughes (1993) et la liste des hypothèses d’Alderson et Wall (1993), Bailey (1996) propose un nouveau modèle de washback (Figure 2.3). Dans ce modèle, Bailey distingue les enseignants des étudiants (participants) et de l’enseignement de l’apprentissage (processus). Elle a également séparé le contenu d’enseignement (c’est-à-dire le matériel et le programme d’enseignement) de la méthodologie d’enseignement. Bailey introduit un aspect nouveau dans son modèle. Elle intègre le rôle que les chercheurs jouent dans le processus de washback d’un test. Bailey a également divisé l’impact des tests en deux dimensions : « washback aux apprenants » et « washback au programme ». Le premier se réfère à l’impact direct du test sur les apprenants et les candidats aux examens; et le deuxième est associé à l’impact sur les enseignants, administrateurs, concepteurs de matériel scolaire et éditeurs.
Figure 2.3 Modèle de Washback de Bailey (1996, p. 264)
Selon Pan (2008), une lacune dans ce modèle est le fait de ne pas aborder les facteurs qui contribuent au phénomène du washback. Autrement dit, ce modèle présente de façon intelligible à quoi ressemble le washback et qui est affecté par ce phénomène, sans étudier plus profondément ce qui est à l’origine du washback. Pan signale également que le modèle de Bailey fait référence à l’impact des examens sur l’enseignement et l’apprentissage, sans tenir compte des aspects du washback qui pourraient avoir un impact sur la société en général. D’ailleurs, Saif (1999) critique aussi l’absence de l’analyse des besoins pratiques des apprenants, lesquels s'avèrent nécessaires dans le développement des tâches d’un examen.
Green (2003) a également proposé un modèle du washback qui intègre, autant les caractéristiques reliées à la conception d’un test, que les particularités des candidats au test (Figure 2.4). Ce modèle est utilisé pour prédire le comportement dans les cours de préparation de la production écrite de l’examen IELTS (International English Language Testing System). Dans ce modèle, la direction, la variabilité et l’intensité du washback sont
aussi intégrées. Les problèmes de conception d’un test tels que la complexité du contenu sont plus étroitement identifiés avec la direction de washback. La variabilité du washback concerne les différences entre les participants dans la façon dont ils sont affectés par un test. L'intensité de washback à la suite de l'interaction avec la variabilité de washback, est principalement déterminée par la perception des candidats au test sur l'importance et la difficulté d’un examen. C’est-à-dire, le washback sera plus intense et il aura des effets plus puissants sur l’enseignement et l’apprentissage, si les candidats au test considèrent l’examen comme étant assez exigeant et les résultats assez importants. Peut-être parce que les résultats de ce test sont associés aux décisions cruciales comme l’entrée à l’université.
Le modèle de Green illustre non seulement la direction de washback par rapport à la conception des tests et l'intensité de washback quant à l'importance et la difficulté d’un examen, mais aussi il tient compte de la possible influence des particularités des participants sur le processus global du washback d’un examen.
D’après Pan (2008), étant donné que le modèle de Green se concentre uniquement sur la production écrite des candidats à l’examen IELTS, il serait plus bénéfique si des recherches plus approfondies pouvaient être menées afin d’explorer des résultats d'apprentissage sur les autres compétences telles que la compréhension et la production orales, ainsi que la lecture.
Une caractéristique commune aux quatre modèles du washback présentés ci-dessus est le fait qu’ils sont basés sur des tests déjà existants. Saif (2006) conçoit un modèle du washback (Figure 2.5) qui a pour origine un test développé aux fins de son étude.
Figure 2.5 Modèle de Washback de Saif (2006, p. 5)
Le nouvel élément du modèle proposé par Saif est de prendre en considération des facteurs différents au test comme point de départ du processus du washback. Ces facteurs sont, entre autres, les besoins et les objectifs de l’environnement éducatif, la motivation des étudiants, ainsi que le processus de développement du test. Saif explique également que le
