L’analyse des données : une nécessaire triangulation

Nous avons déjà évoqué la triangulation comme processus analytique clé de notre méthodologie de recherche. La définition du concept de triangulation en recherche qualitative est attribuée aux travaux de Denzin (1978) et plus récemment à ceux de Silverman (2009). Ce dernier auteur souligne l’impossibilité d’obtenir des informations complètes et exhaustives sur un objet ou un phénomène étudié lorsque ces dernières émanent d’une seule source. Dans ce sens, trianguler revient à « utiliser de manière combinée différentes techniques de récolte ou d’analyse de données » (Berger, Crescentini, Galeandro & Crohas, 2010, p. 2), ou à combiner les données issues de plusieurs instruments, compensant ainsi les biais propres à chacun (Savoie-Zajc, 2009). Ce constat souligne la nécessité d’utiliser divers instruments, d’exploiter différentes données pour tenter de saisir des dimensions variées de l’objet investigué dans toute sa complexité : « two or more qualitative methods may be used sequentially or simultaneously, provided the analysis is kept separate and the methods are not muddled » (Denzin, 1978, p. 66).

Le but de la triangulation, au sens de ce chercheur, est d’arriver à identifier la valeur la plus valide des données analysées.

Dans ses travaux fondateurs de 1978, Denzin met en évidence trois types de triangulation : l’exploitation de sources de données variées pour le temps, l’espace et les personnes ; le recours à des chercheurs différents ; l’utilisation simultanée de méthodes d’analyse variées. Il différencie donc la triangulation des sources d’information, la triangulation des participants et la triangulation de méthodes¹²³. Adopter la triangulation est donc un choix méthodologique stratégique, ayant pour objectif de contrôler les biais éventuels d’interprétation dans une recherche de validité : « using only one research strategy – for example, only observation, or worse, only one kind of observation – introduces bias into the data record » (Graue & Walsh, 1998, p. 102). Dans ce sens, la triangulation conduit vers la validité (justesse et stabilité) des analyses effectuées (Baribeau & Royer, 2012), et devient intimement liée à la scientificité de la démarche méthodologique. Elle vise à conférer aux démarches qualitatives également de la rigueur, de l’ampleur et de la profondeur à la recherche (Denzin & Lincoln, 1998)

6.1 Une stratégie de recherche particulière

La triangulation est avant tout une stratégie inductive de recherche (Flick, 1998), dans le sens où elle privilégie et valorise le fait de partir d’un phénomène particulier observé sur le terrain pour le décrire et le comprendre. Elle se donne comme finalité d’élaborer un savoir pertinent sur le phénomène, à partir des différentes opérations de croisement des données considérées comme porteuses de sens. La triangulation peut dès lors être assimilée à une procédure de va-et-vient problématisé et dynamique entre opérations de recueil, d’analyse et de conceptualisation. Nous retrouvons ici les caractéristiques de l’analyse des données au travers des catégories conceptualisantes explicitées plus haut, et le rapport de cohérence que cette analyse entretient avec nos données qualitatives : les écrits, les entretiens, les échanges lors des actions de formation ou encore les évaluations sommatives réalisées par les enseignants ainsi que leurs discussions. Ici, le fil rouge méthodologique des processus de triangulation mis en œuvre est constitué par un aller-retour constant entre le « terrain » et l’« analyse », basé sur le principe de réinjection, prenant lui-même la forme de questionnements, d’hypothèses et

123 Nous préférerons ce terme à celui de « triangulation méthodologique », qui fait notamment référence aux

« méthodologies mixtes » ou « mixed-methods research » chez les anglo-saxons, qui apparient stratégiquement des données qualitatives et quantitatives de façon cohérente afin d’enrichir les résultats de la recherche, ce qui n’est pas notre cas.

d’observations, de manière à réaliser de nouvelles opérations empiriques visant à construire une théorie validée à propos du phénomène étudié.

6.2 Une triangulation de méthodes

Nous nous inscrivons pleinement ici dans une triangulation de méthodes, dans la mesure où nous croisons différentes méthodes de recueil de données. En effet, nos analyses ont été réalisées en croisant quatre types de donnée, éclairant chacune le même objet et visant à expliciter des phénomènes récurrents. Chaque source de données, dans cette perspective analytique, apporte des informations nouvelles permettant d’augmenter les possibilités de triangulations porteuses de sens (Lincoln & Guba, 1985), et ainsi participer à la validité de la démarche.

6.3 Des perspectives de triangulation poursuivant des buts différents

Mottier Lopez et Allal (2010), fortes de diverses expériences en recherche exploitant des processus de triangulations variés, montrent que la littérature met en avant deux perspectives de triangulation : une perspective de validation, et une perspective d’élargissement de la compréhension des phénomènes étudiés.

6.3.1 Réduire les biais associés à chaque méthode

Au sujet de la première, et en convoquant de multiples travaux faisant référence, elles précisent que :

La première perspective a un but de validation, considérant qu’elle « augmente à la fois la validité et la fiabilité des données d’évaluation » (Patton, 1990, p. 245). Elle permet de réduire les biais associés à chaque méthode d’étude. Miles et Huberman (1994) parlent, dans cette même visée, de « réduction de l’incertitude », une interprétation étant validée par un faisceau d’indications concordantes. Cette perspective de validation et de vérification est qualifiée de triangulation « restreinte » par Van der Maren (1999) et de « triangulation normative » par Cohen et Manion (1994) qui insistent quant à eux sur le fait de tester la concordance entre indicateurs. (p. 240).

Cette perspective participe à renforcer la validité des résultats produits. Il aurait dans notre cas été très risqué de n’exploiter qu’une source de données, l’objet de notre recherche étant très complexe. Nous avons donc utilisé cette triangulation dans une perspective de validation des résultats, mais pas exclusivement. À notre sens, cette perspective, bien que tout à fait cohérente

avec la recherche qualitative et notre dispositif, comporte un risque : s’éloigner de la complexité de la pratique des acteurs, ici, évaluative, et ainsi perdre des informations importantes participant à mieux comprendre les phénomènes étudiés. Nous avons donc été amené à adopter dans cette recherche une perspective de triangulation « mixte »¹²⁴, s’appuyant également sur une recherche de compréhension des phénomènes. Les deux perspectives sont complémentaires. La première n’empêche pas une « recherche de compréhension » des phénomènes. Elle s’y inscrit aussi, mais dans le but de valider des résultats d’analyses en compréhension. La deuxième est utilisée pour approfondir cette compréhension.

6.3.2 Comprendre en profondeur

Il nous a semblé également pertinent d’adopter, de manière conjuguée à la perspective de validation, une triangulation à perspective compréhensive. Cette triangulation, comme le formulent les chercheuses, vise « un élargissement de la compréhension des phénomènes étudiés » (Mottier Lopez & Allal, 2010, p. 240). À nouveau, en se référant à de multiples sources, elles montrent que :

Lorsque les démarches d’une triangulation ne sont pas concordantes, Patton (1990) propose que le chercheur tente de comprendre pourquoi et sous quelles circonstances les différences se produisent. Miles et Huberman (1994) suggèrent de rechercher et de réunir des informations divergentes qui peuvent amener le chercheur à élaborer des explications plus complexes ou à adopter des nouvelles pistes de réflexion sur la signification de ses données. Van der Maren (2006) parle ici de triangulation « élargie », en tant que stratégie d’«exploration » qui a pour but d’enrichir les informations à disposition par la recherche de sources de nature différente ; il s’agit d’augmenter la « pertinence » des interprétations par « la prise en compte de la complexité du terrain et des perspectives complémentaires qui peuvent s’y exprimer » (p.

72). Quant à Cohen et Manion (1994), ils définissent une triangulation dite « interprétative » qui confronte et met en relation des visions différentes d’un phénomène multidimentionnel (p. 240).

Parce que nos données nous ont rapidement permis d’être confronté à des logiques d’acteurs décrites comme non linéaires et porteuses de tensions, et parce que notre dispositif se voulait au départ être au service d’une évolution possible des pratiques, une double triangulation s’est avérée nécessaire. En effet, il nous est apparu fondamental d’élargir chacune des perspectives de départ, en cherchant conjointement à valider nos résultats et à en étendre la portée compréhensive.

124 A ne pas confondre avec la méthodologie mixte que nous avons évoquée précédemment.

6.4 Une première phase d’analyse à approfondir

Un des critères de validité de notre méthodologie réside, selon nous, dans le fait que notre situation de recherche induit, plus ou moins explicitement, de nous référer à un modèle théorique ayant un rapport étroit avec notre objet d’étude. Les pratiques évaluatives, dans un sens large, ont été étudiées au travers de nombreux dispositifs de recherche à l’aune de l’alignement curriculaire¹²⁵. Une littérature conséquente existe sur le sujet¹²⁶. Malgré le fait que certains espaces de recherche sur cet objet soient encore peu explorés, nous disposons donc déjà de référents valides pour penser les phénomènes évaluatifs. Comme nous avons essayé de le montrer, ces constats infléchissent l’orientation méthodologique de l’analyse de nos données, mais ne prédisent en rien ce qu’elles vont dévoiler : le travail de catégorisation reste original et spécifique à notre problématique et au contexte de la recherche, l’articulation induction/déduction répond à des questions de recherche précises, et le travail de théorisation ne s’appuie pas sur la seule transposition de concepts.

Cela dit, nous avons jugé que le travail d’analyse ne pouvait s’arrêter à une explicitation de phénomènes, même complexes et pertinents, caractérisant des fonctionnements individuels et transversaux. Nous avons par ailleurs constaté que notre démarche d’analyse à l’aide des catégories conceptualisantes, si elle était porteuse pour nos deux premières questions de recherche, s’avérait incomplète pour la troisième qui investigue les pratiques de notation des enseignants. Il nous est donc apparu nécessaire, pour traiter de ces dernières, de construire un outil d’analyse pour observer le développement de ces compétences. Pour cela, nous nous sommes inspiré de la perspective théorique de l’assessment literacy.

6.5 Une seconde phase d’analyse interprétative et dynamique

Les dimensions conceptuelles de l’assessment literacy sont développées dans la partie 4. Nous ne les reprenons pas ici. Toutefois, il nous semble important de préciser comment nous avons construit notre outil d’analyse, de manière à mettre en évidence ce qui relève pour nous d’une validité méthodologique.

Notre question de recherche B investigue les processus de développement des compétences à évaluer des enseignants, la C l’évolution des pratiques de notation. De manière à décrire ces

125 Pour les références de ces travaux, se référer à la partie 3 traitant du cadre conceptuel.

126 Voir la revue de littérature en partie 2.

processus de manière dynamique, il nous a semblé pertinent de montrer dans quelles mesures les catégories conceptualisantes éclairaient les différentes dimensions des compétences en évolution. Pour cela, nous avons croisé nos cinq catégories avec les six compétences à évaluer élaborées au regard des apports de la recherche, des questions des praticiens et de leur contexte, dans une démarche elle aussi inscrite dans une perspective inductive/déductive.

Pour rappel, les six compétences sont :

A. Analyser le plan d’études du point de vue des objectifs et des objets de savoir disciplinaires qui y circulent à des fins d’évaluation sommative en mettant en relation de manière cohérente les différents niveaux de formalisation des objectifs, et en analysant les objets de savoir pour en déterminer les caractéristiques essentielles à des fins d’évaluation sommative.

B. Elaborer des tâches évaluatives complexes en rapport avec les objectifs des plans d’études qui donnent des preuves d’apprentissages maîtrisés ou en voie de réalisation, en privilégiant des tâches qui donnent à voir des unités d’apprentissage significatives (approche qualitative).

C. Adopter des systèmes de pondération permettant de mettre en évidence le poids donné à l’apprentissage référé aux objectifs et aux objets de savoir en privilégiant, tant que possible, une pondération critériée, notamment pour permettre un feeedback aux élèves à visée de régulation.

D. Construire des notes de manière à ce qu’elles rendent compte des acquis et lacunes des apprentissages des élèves en élaborant ses propres échelles et barèmes en référence au système de pondération, à la complexité des tâches et aux objectifs évalués.

E. Penser ses pratiques évaluatives sommatives en terme de validité et de cohérence d’alignement curriculaire élargi en les référant aux processus d’enseignement et d’apprentissage, et en analysant leurs cohérence à l’aune d’éléments taxonomiques.

F. Justifier ses choix en matière de pratiques évaluatives sommatives au regard de son contexte institutionnel cantonal, local (établissement) et de la culture des équipes dans lesquelles elles s’inscrivent, en les adaptant aux prescriptions institutionnelles, tout en étant attentif à ce qu’elles soutiennent les apprentissages des élèves.

Le tableau qui rend compte de ce croisement prend cette forme :

Tableau 4 : La grille d’analyse croisant les cinq catégories conceptualisantes et les six compétences

Le signe (Ö) dénote un rapport étroit entre la catégorie et les connaissances et les ressources induites dans la compétence en question. En cela, nous avons un indicateur décrivant à quel niveau une appropriation est en cours. La dimension dynamique du développement des compétences est par ailleurs visible au niveau des multiples catégories qui sont en jeu dans une compétence, mais aussi dans les liens qui peuvent être faits entre les catégories comme autant d’indicateurs de développement. Le signe (X) montre l’absence de rapport entre la catégorie et les dimensions de la compétence.

Le rapport entre développement de compétences et développement professionnel est ici potentiellement perceptible. N’étant pas directement lié à notre objet de recherche, mais entretenant des rapports étroits avec notre méthodologie ainsi qu’avec notre perspective théorique de l’assessment literacy, nous débattrons de son statut dans notre travail lors de notre discussion finale.