Une littératie en évaluation ?

Hypothétiquement, il existerait donc des connaissances à posséder pour être un évaluateur compétent, cohérent, et donc capable de poursuivre des finalités liées à sa mission et prenant en compte son contexte. C’est en tous cas le postulat que défendent de nombreux chercheurs.

Par exemple, Popham (2009) met en évidence une question clé que la formation à l’AL doit traiter : « What kinds of assessments do teachers most need to understand ? » (p. 5). Il montre que cette capacité à comprendre ce qui se joue en évaluation ne peut se réaliser sans une forme d’expertise qui repose sur l’acquisition de connaissances mises à l’épreuve de la pratique.

Volante et Fazio (2007) vont dans le même sens. Pour eux, l’« assessment literate teacher » (p.

752) est capable de reconnaître et d’utiliser différentes formes d’évaluation (diagnostique, formative, sommative), considérées comme des stratégies d’enseignement.

Le but des démarches de formation inscrites dans la perspective de l’assessment literacy est donc de fournir aux enseignants des connaissances en évaluation pouvant être mises en œuvre dans la pratique afin de développer des compétences (Lukin, Bandalos, Eckhout & Mickelson, 2004). Si cette finalité est largement partagée par les sources consultées, l’épistémologie dans laquelle s’inscrivent les différentes conceptualisations de l’assessment literacy, en revanche, divergent.

2.2.1 Un premier lot de définitions de l’assessment literacy

Avant d’entrer dans les finesses conceptuelles de l’AL, il nous semble important de montrer en quoi certaines de ses définitions en traduisent des orientations épistémologiques et conceptuelles contrastées. Notons toutefois d’emblée que, paradoxalement, la définition générale de l’AL fait relativement consensus. Nous ne sommes pas ici confrontés, comme le dit Popham (2011), à une marée de définitions divergentes.

Cette définition première de l’AL, qui a inspiré bon nombre de chercheurs, est celle de Stiggins (1995, 2002) : « the capacity to know the difference between sound and unsound assessment » (p. 240). Elle rejoint les enjeux que la perspective théorique met en évidence : la possibilité, pour tout enseignant, de discriminer une évaluation soutenant l’apprentissage d’une autre plus arbitraire, moins cohérente. Plusieurs chercheurs s’ancrent clairement dans cette première acception (e. g., Mertler, 2004, 2009 ; Popham, 2004 ; Volante & Fazio, 2007). Pour Mertler (2004), citant Paterno (2001), elle est « the possession of knowledge about the basic principles of sound assessment practice, insluding terminology, the development and use of assessment methodologies and techniques, familiarity with standards of qualitiy in assessment…and familiarity with alternatives to traditional measurements of learning » (p. 50-51). Pour Gotch et French (2014), reprenant Popham (2011), elle constitue « an individual’s understandings of the fundamental assessment concepts and procedures deemed likely to influence educational decisions » (p. 14). Pour ce dernier enfin, l’AL s’apparente à « someone’s knowledge about educational tests and their roles » (p. 267). Ces définitions, de notre point de vue, valorisent l’acquisition de connaissances, mais thématisent peu leur exploitation dans des situations pratiques, même si certaines d’entre elles évoquent l’importance pour l’enseignant de prendre des bonnes décisions. Mais sur quoi ces décisions se basent-elles ? Quelle articulation existe-t-il entre la maîtrise des connaissances et leur exploitation dans la pratique pour une évaluation au service des apprentissages des élèves ? Comment observer l’acquisition des connaissances et le développement des compétences chez les enseignants ?

Autant de questions qui nous font penser que ces premières définitions sont incomplètes. En effet, nous faisons ici l’hypothèse qu’elles considèrent l’AL comme une perspective théorique relativement prescriptive, qui désignerait les connaissances et compétences que tout enseignant devrait posséder pour être un « bon » évaluateur. Pour le savoir, il suffirait donc de pré et post-tester ses connaissances et compétences avant et après une formation ad hoc pour mesurer ses progrès, et ainsi montrer qu’il devient assessment literate. C’est ce que propose notamment Mertler (2009)⁶⁴.

2.2.2 Une première épistémologie de l’assessment literacy plutôt statique

La plupart des chercheurs dont nous parlons ici considèrent que les connaissances et compétences en évaluation se réfèrent à des standards à atteindre et peuvent se mesurer. Nous faisons l’hypothèse que leur définition de l’AL s’en ressent, se réduisant à des listes de connaissances et compétences, et faisant notamment fi des dimensions contextuelles de l’évaluation ainsi que des aspects dynamiques de l’apprentissage en jeu lorsqu’un enseignant s’approprie des connaissances et tente de les mettre en pratique.

Il semble donc réducteur de considérer que l’AL ne se construit qu’en validant l’acquisition de connaissances ou la preuve de compétences une fois pour toutes, en référence à des standards universels. Tout d’abord, car maîtriser des connaissances ne signifie pas de facto être apte à les transférer dans la pratique (Xu & Brown, 2016). Ensuite, parce que les compétences évaluatives peuvent varier d’un contexte à l’autre, en fonction des prescriptions, des cultures, des systèmes scolaires, des équipes d’enseignants, des élèves, des disciplines, des établissements ou encore des curricula. Enfin, car le développement de compétences en évaluation demande du temps, de multiples occasions de se confronter aux expériences de la pratique et d’éprouver les connaissances à la réalité des contextes (McMillan, 2003). En effet, les enseignants ont leur propre manière de comprendre et de questionner leurs pratiques. Ce sont leurs interrogations et problèmes qui vont conditionner leur manière de les penser, voire de les infléchir (Brookhart, 2002). Il est dès lors délicat d’uniformiser ces processus d’appropriation.

Pourtant, Mertler (2009), dans un texte fréquemment cité, explicite une démarche de formation à l’AL menée auprès d’enseignants du primaire de différents établissements. Il montre les bénéfices de mesurer (measure) les connaissances et compétences des participants à l’aide de

64 L’auteur propose par exemple un questionnaire en ligne pour que tout enseignant intéressé puisse mesurer son degré de développement en AL : http://pareonline.net/htm/v8n22/cali.htm.

questionnaires avant et après la formation relativement aux standards. L’outil qu’il utilise et qu’il a créé à ces fins est l’Assessment Literacy Inventory (Mertler & Campbell, 2005), un répertoire de huit tâches (tasks) d’évaluation emblématiques que tout enseignant devrait être capable de réaliser. Il montre qu’après deux semaines de formation, tous les enseignants ont augmenté notoirement leurs scores sur chaque tâche. Il infère de ces résultats un développement de compétences et une meilleure connaissance générale des phénomènes évaluatifs chez les enseignants. Mais que signifie mesurer une compétence évaluative ? Que dit une telle démarche par questionnaire de la conception de la compétence, voire de son évaluation ? À quelles conditions pourrait-on entrevoir le développement de compétences évaluatives comme un processus complexe, inhérent aux individus et à leur questionnement saisi dans des contextes chaque fois spécifiques ?

2.2.3 Une seconde épistémologie de l’assessment literacy plus dynamique

D’autres chercheurs inscrivent l’AL dans une épistémologie différente, référée aux acteurs et à leurs problématiques, aux contextes, aux dimensions sociales et éthiques de leurs pratiques évaluatives. Ainsi, Willis, Adie et Klenowski (2013) considèrent l’AL comme un enjeu fondamental de la profession enseignante qu’il faut urgemment mettre en débat afin de mieux l’expliciter. Pour elles, la perspective théorique doit être repensée pour dépasser le seul statut d’outil de mesure. Pour cela, une nouvelle problématisation de l’AL, construite avec les enseignants pour en dégager une compréhension commune, est à envisager. Cette problématisation articule ce que la recherche a mis en évidence en termes de connaissances et compétences clés en évaluation avec les questions émergeant des pratiques⁶⁵ (Xu & Brown, 2016). C’est ce qui les amène à définir l’AL comme « a dynamic context dependent social pratice that involves teachers articulating and negociating classroom and cultural knowledges with one another and with learners, in the initiation, developpement and practice of assessment to achieve the learning goals of students » (p. 242). La dimension dynamique de l’AL se retrouve ici à plusieurs niveaux :

- Les pratiques évaluatives au sens large du terme s’inscrivent et s’appréhendent dans des contextes sociaux ;

65 Ou « questions vives de la pratique », comme nous le proposons dans notre conclusion de manuscrit.

- Les connaissances disciplinaires à évaluer sont situées culturellement et font l’objet de négociations permanentes de manière à ce que les élèves aient les moyens d’atteindre les objectifs d’apprentissage visés ;

- L’évaluation est intégrée aux processus d’enseignement et d’apprentissage, toujours contextualisés.

Le contexte évaluatif est dès lors décrit ici par les auteures comme complexe, puisqu’il est constitué de plusieurs dimensions interdépendantes (layered). Dans ce sens, la formation à l’AL valorise les débats entre pairs au travers de confrontations de pratiques évaluatives articulant création et analyse d’épreuves⁶⁶, afin de « give participants the opportunity to read and critically problematise and recontextualise norms of assessment communities and understand assessment demands » (Willis et al., 2013, p. 252)⁶⁷. Dans leur conceptualisation, Willis et ses collègues insistent sur le fait que l’AL doit, in fine, servir les apprentissages des élèves. C’est selon nous une dimension contextuelle supplémentaire qui montre combien leur orientation épistémologique est différente des chercheurs considérant la perspective théorique comme relativement statique.

D’autres apports significatifs sur cette conceptualisation de l’AL émergent chez Edwards (2017). Dans une recherche menée auprès d’enseignants et d’étudiants du secondaire en sciences, elle tente de montrer les dynamiques en jeu dans le développement de leur AL en évaluation sommative. Pour cela, elle se réfère à des critères qu’elle nomme Summative Assessment Literacy Rubric (SALRubric) permettant de suivre ce développement, et non de le mesurer. Il est intéressant de noter que leur conceptualisation suit le même mouvement que celui opéré par Willis et ses collègues, à savoir une articulation entre les connaissances issues de la recherche sur les compétences évaluatives et les questions du terrain⁶⁸. Ainsi, ses critères ont fait l’objet de reformulations, d’affinements, afin de donner à voir les connaissances et compétences clés à développer chez les enseignants dans le temps. Cette démarche explicite selon nous plus précisément certaines caractéristiques de l’AL saisies au cœur d’une telle épistémologie :

66 Ce postulat épouse parfaitement les caractéristiques de notre dispositif de recherche-formation, ce qui représente à nos yeux un gage de validité.

67 Nous retrouvons ici les caractéristiques de la modération sociale qui désigne « des pratiques collectives de confrontation de « jugements humains » sur des travaux d’élèves » (Mottier Lopez, Tessaro, Dechamboux &

Morales Villabona, 2012, p. 4).

68 Relevons également que cette conception est pleinement cohérente avec les postulats de la recherche collaborative au sens des chercheurs que nous convoquons dans notre partie méthodologique.

- Les connaissances en jeu dans l’AL dépendent du contexte des enseignants dans lequel elles sont potentiellement mises en œuvre sous forme de compétences ;

- La compréhension et la pratique de l’AL sont influencées par les prescriptions formulées par les décideurs, les lois, l’histoire de l’évaluation au sein des systèmes concernés et les habitudes des pratiques au sein des équipes ;

- En conséquence, les listes de compétences évaluatives deviennent plus pertinentes lorsqu’elles sont lues au travers des contextes dans lesquels l’évaluation est mise en œuvre (Allal, 2009 ; Braxmeyer et al., 2005 ; Jorro, 2016 ; Mottier Lopez, 2015 ; Shepard, 2000 ; Spillane & Miele, 2007).

La question de départ à laquelle l’AL tente de répondre change donc, et pourrait se formuler ainsi : « à quels niveaux de leurs pratiques évaluatives les enseignants rendent-ils compte de tensions, de manques, de problèmes et quelles connaissances et/ou compétences leur permettrait potentiellement de les résoudre ? ». Ce renversement n’est pas anodin. Il met au centre de la conceptualisation de l’AL la nécessité de prendre en compte les compromis (compromises) que les enseignants font en permanence quand ils évaluent, et qui sont de nature profondément dynamique également (Carless, 2011) puisqu’ils traduisent des processus de décision perpétuellement influencés par le contexte. Dans ce sens, Xu et Brown (2016) parlent plutôt de teacher assessment literacy in practice (TALiP), une perspective théorique d’AL faisant l’objet de négociation contextualisées entre les questions des enseignants et leur conception de l’évaluation, les éléments contextuels dans lesquels ils évoluent et les attentes en termes de connaissances et compétences en évaluation à développer. Comme le disent ces derniers chercheurs :

Obviously TALiP is neither a static concept nor an idealized body of knowledge and skills. Rather, it is a dynamic, complex entity combining teachers’ assessment knowledge, their conceptions of assessment, and their responses to the external contexts embedded with actual constraints and affordances in the environment. TALiP reflects the true realities concerning how teacher AL is enacted in the classroom.

The advancement of one’s TALiP is not straightforward; it needs to be driven by principles of teacher learning. (Xu & Brown, 2016, p. 23)

Dans cette perspective, l’enseignant n’est plus « literate » ou « illiterate ». Le développement de l’AL suit ici des étapes non linéaires, parfois imprévisibles, complexes, à multiples dimensions (culturelles, sociales, cognitives, éthiques, environnementales). Développer des connaissances et des compétences dans une telle épistémologie se réalise dans un continuum,

en acceptant que différents niveaux de maîtrise se côtoient chez l’enseignant, que des acquis puissent participer au développement de plusieurs compétences, ou encore que des lacunes persistent et ainsi provoquent des ruptures. Nous faisons par ailleurs l’hypothèses que ce développement est également dépendant de la manière avec laquelle la formation à l’AL est dispensée, tant dans sa forme (durée, ingénierie) que dans son fond (inductive, déductive, abductive, avec ou sans modèle théorique).

Ainsi, Xu et Brown (2016) proposent une nouvelle définition de l’AL inscrite dans leur modèle.

Pour eux, la TALiP consiste en trois niveaux de maîtrise :

- Une maîtrise des connaissances de base en évaluation, qui incluent les principes fondamentaux du « quoi », du « pourquoi » et du « comment », sans lesquels les enseignants ne peuvent pas penser leurs pratiques évaluatives plus profondément ; - En référence à ces connaissances, une compréhension approfondie de ce que devrait

être concrètement une démarche évaluative, tenant compte des processus d’enseignement et d’apprentissage, et articulant connaissances théoriques et questions de la pratique ;

- Une capacité à traduire les prescriptions en évaluation de manière à les adapter à la classe.

Ces trois niveaux - qui selon nous articulent de manière intéressante pour notre problématique de recherche la question des connaissances, de leur mobilisation sous forme de compétences et de leur inscription dans un contexte - traduisent une « capacité d’évaluation »⁶⁹ de l’enseignant (Volante & Fazio, 2007) en construction permanente. L’enseignant évaluateur compétent est donc ici un professionnel en réflexion constante sur ses pratiques, qui se forme avec ses pairs, des formateurs et/ou des chercheurs, engagé dans des discussions sur l’évaluation et des projets en rapport, en recherche de ressources pour améliorer ses pratiques et mieux comprendre son rôle d’évaluateur. Toute recherche, comme la nôtre, visant à investiguer le développement de l’AL peut entrer par l’un ou l’autre des niveaux du TALiP. C’est la raison pour laquelle il est important maintenant d’approfondir la question des connaissances et des compétences en jeu au sein de cette perspective théorique.

69 Ce terme est la traduction littérale d’assessment literacy que les auteurs utilisent dans leur texte. Nous parlerons quant à nous de compétences évaluatives sommatives.

2.3 De quelles connaissances parle-t-on dans une perspective théorique d’assessment