Voyons comment est assurée la qualité de cette recherche. Deux types de critères nous guident. Tout d’abord nous avons décidé de prendre en compte les critères essentiels de toute recherche scientifique, la pertinence, la validité et la fiabilité tels que proposés par De Ketele et Maroy (2006) et envisagés dans une perspective de recherche en éducation. Nous avons opté également pour certains critères plus spécifiques tels que l’acceptation interne, la complétude et la préoccupation éthique proposés par Savoie-Zajc (dans Mucchielli, 2004). Nous allons tenter de préciser ce que ces critères signifient dans notre recherche, les choix opérés et les difficultés rencontrées.
La première difficulté a été d’identifier et de choisir les critères de qualité adaptés à notre recherche dans le foisonnement des écrits existants. La deuxième difficulté est liée à la démarche a posteriori que nous avons prise quand à la clarification de ces critères. Nous avons en effet démarré cette étude en exploitant notre connaissance implicite des critères de qualité des recherches qualitatives, que nous avions eu l’occasion de mettre en œuvre dans des travaux antérieurs. C’est en cours de travail que nous avons commencé à les expliciter dans la perspective de la communication de la recherche.
1.4.1 LA PERTINENCE
Le critère de pertinence est interrogé en se demandant si on ne s’est pas trompé dans les décisions prises au cours de la recherche : le choix de l’objet d’étude, le cadre conceptuel, la méthodologie et la communication de la recherche (De Ketele et Maroy, 2006).
En ce qui concerne l’objet d’étude, tant sa pertinence sociale (pour les acteurs du terrain) que scientifique nous semblent rencontrées. Au démarrage de cette recherche, les études réalisées sur les dispositifs hybrides étaient peu fréquentes. Ces dispositifs sont en effet assez récents. Au moment de publier cette recherche, la situation a bien changé comme nous le mettons en évidence dans la partie consacrée à la définition de ces dispositifs. Ces dispositifs hybrides génèrent de nouvelles formes d’apprentissage et d’interactions sociales.
Il est donc pertinent de mieux les comprendre pour mieux les prendre en compte dans la conception de ces dispositifs, la pertinence scientifique est donc rencontrée. De plus, cette recherche vise à produire des connaissances utiles pour les acteurs de terrain et plus particulièrement les concepteurs de dispositifs de formation voire les décideurs, ce qui en assure la pertinence sociale.
La pertinence du cadre conceptuel tel que produit au terme de la recherche est assurée à la fois par le fait que nous nous appuyons sur des cadres existants et décrits dans la Partie 2, que nous décrivons la manière dont nous avons développé ce cadre, dans un double processus inductif/déductif. La clarté et la cohérence du cadre ne seront effectivement évaluées que lors de son exploitation par d’autres chercheurs intéressés par l’étude du même phénomène. La pertinence du cadre descriptif des dispositifs hybrides est davantage assurée par le fait de sa construction en collaboration avec Bernadette Charlier et Daniel Peraya (voir chapitre 4).
En ce qui concerne la pertinence des choix méthodologiques, ceux-ci découlent de l’objet d’étude, de la position épistémologique prise et du cadre conceptuel. Nous avons décrit cette articulation tout au long de cette première partie. Par ailleurs, le recueil de données auprès des apprenants est réalisé à l’aide d’entretiens. Les questions choisies pour ces entretiens sont issues en partie du guide utilisé dans l’étude de Charlier (1998) qui constitue un des fondements de notre cadre conceptuel. Elles ont été adaptées et discutées avec Bernadette Charlier en fonction des variables retenues tout au long du processus de prise de données.
Enfin, la pertinence de la communication même de cette recherche est particulièrement délicate pour nous. Nous souhaitons en effet qu’elle puisse être tant sociale que scientifique. Articuler ces deux dimensions n’est pas simple. Il s’agit en effet que la recherche puisse s’adresser et être pertinente pour les acteurs du terrain étudié (pertinence sociale) et pour les chercheurs du domaine (pertinence scientifique). Il s’agit, comme nous l’avons spécifié au début de cette partie, du cœur de notre démarche en technologie de l’éducation. Le défi est donc de proposer un écrit d’un niveau suffisant de profondeur scientifique tout en étant lisible pour des publics différents. Nous avons opté pour deux options. La première est de guider les lecteurs potentiels à l’entrée de cet écrit pour leur indiquer ce qui serait le plus pertinent pour eux : des synthèses sont également prévues tout au long de l’écrit pour en permettre un survol aisé. Une deuxième option sera de produire des écrits ou communications spécifiquement destinés aux publics que nous visons.
1.4.2 LA VALIDITÉ
La validité de la recherche peut être interrogée en se demandant si les actes posés correspondent à ce qui est déclaré (De Ketele et Maroy, 2006). Ce critère est étudié en fonction de l’option méthodologique prise dans cette recherche et peut s’adresser également aux différentes phases de la recherche.
En ce qui concerne la validité du dispositif de prise de données, Van der Maren (p.106) fait état des limites de la rétrospection dans le cadre des entretiens. Le passé est transformé de différentes manières. Tout d’abord on a tendance à se souvenir davantage des événements émotionnellement chargés, et dans ces souvenirs, des émotions elles-mêmes plus que des traces cognitives. La première partie de cette affirmation ne constitue pas une limite en ce qui concerne notre recherche étant donné que nous cherchons à faire émerger des situations qui font sens pour l’apprenant et que nous considérons les émotions comme faisant pleinement partie de l’expérience d’apprentissage. La deuxième partie de l’affirmation est plus problématique : la reconstruction du passé sera-t-il suffisamment riche tant cognitivement qu’émotionnellement ? Une autre limite est liée au fait qu’on reconstruit le passé en fonction du présent, de la représentation qu’on en a ici et maintenant. Dans notre recherche, étant donné que nous nous intéressons à ce qui fait sens pour l’apprenant, cela ne pose pas de problème. Ce qu’il nous livre est sa représentation, mobilisant les connaissances construites au cours des expériences antérieures, indication de la manière dont il aborde les situations de formation à ce moment-là de son parcours. Ainsi, ce qui nous intéresse est bien le sens donné dans le présent à des événements vécus, qu’ils aient ou pas été vécus de cette manière précédemment.
La validité interne concerne la cohérence interne des résultats de la recherche et suppose d’une part qu’ils soient « authentiques » et « plausibles » par rapport au terrain d’étude et
d’autre part, qu’ils soient liés à une théorie (ici émergente). La première condition relève de ce qu’on appelle également la validité de signifiance ou l’acceptation interne qui est la concordance entre le sens que nous attribuons aux données et sa plausibilité telle que perçue par les participants à l’étude (Savoie-Zajc, dans Mucchielli, 2004, p.1). Assurer cette acceptation commence dès le démarrage de la recherche. L’objectif a été présenté aux apprenants et une participation volontaire à la recherche a été proposée. Les participants ont eu l’occasion de se retirer en cours de route. L’interprétation des données recueillies sur les dispositifs a été réalisée auprès des formateurs. La validation de l’interprétation des données d’entretien a été réalisée auprès des huit apprenants de l’étude, près de cinq ans après la dernière prise de données. Leur réaction sur la vraisemblance des interprétations a été récoltée. Trois questions leur ont été posées : est-elle fidèle à ton souvenir, est-ce que quelque chose t'as surpris, que retiens-tu aujourd'hui de cette expérience? Tous les étudiants ont considéré que l’analyse était fidèle à leur souvenir. Une seule étudiante a discuté l’interprétation d’une expérience signifiante. Une autre étudiante, même si elle considère l’analyse fidèle à son souvenir, a dit ne pas avoir bien compris tous les concepts abordés, n’étant pas dans le domaine des sciences de l’éducation. Certains ont été surpris par certains résultats, qui les ont amenés à se poser de nouvelles questions sur leur parcours d’apprentissage.
Pour questionner la validité des interprétations, le critère de complétude (Savoie-Zajc, dans Mucchielli, 2004, p.23) nous semble également intéressant à interroger et est lié à l’acceptation interne. Il s’agit de l’équilibre entre la prise en compte d’un minimum de concepts et une interprétation la plus riche et la plus complète des données. Ainsi, le sens produit doit être suffisamment complet pour être acceptable et plausible, socialement et scientifiquement. Nous l’aurons au moins vérifié socialement, auprès des étudiants participant à l’étude.
La validité des conclusions et des hypothèses nous semble renforcée par le fait de choisir une analyse monographique de plusieurs cas dans des dispositifs contrastés, comme nous le présentons dans la Partie 3 (méthode de recherche).
La validité externe concerne la généralisabilité des résultats et est considérée en fonction du caractère exploratoire de cette recherche et de l’approche monographique. Elle est à envisager au niveau des praticiens-chercheurs et des concepteurs de dispositifs hybrides.
En ce qui concerne les praticiens-chercheurs, la validité externe ou la transférabilité des résultats porte sur le cadre conceptuel et la méthodologie. Cela suppose de nommer de manière rigoureuse les phénomènes étudiés et la façon dont ils le sont pour qu’ils puissent être utilisés sans ambigüité par d’autres chercheurs. Cette transférabilité sera jugée par nos collègues chercheurs qui souhaiteront les exploiter. En ce qui concerne les concepteurs de dispositifs de formation hybride, ils ont la possibilité d’établir des liens entre leur propre expérience et les cas décrits (généralisabilité naturaliste) dans la mesure où les contextes de formation sont précisés et comparés (Stake, 1988) .
1.4.3 LA FIABILITÉ
La fiabilité réfère au caractère indépendant de la recherche par rapport au chercheur qui l’a menée. Il s’agit d’une recherche impliquée comme nous l’avons précisé dans le point 1.1.
Impliquée du fait même que nous sommes à la fois praticienne dans le domaine étudié.
Nous avons pris quelques précautions pour préserver l’objectif de production d’une
connaissance scientifique (Kohn, 1984; 1986). La première a été de laisser une trace de cette implication, de la nommer et de la définir. Nous ne nous en cachons pas et avons décidé d’en tirer parti aux différents moments de la recherche, de « laisser une place tant au sensible qu’à l’intellectuel » (p.826). Une autre précaution a été de prendre de la distance par rapport à notre rôle dans la pratique observée, le temps de la prise de données (suspension de notre rôle d’assistante dans la formation DESS STAF), et également d’analyser un dispositif dans lequel nous n’étions pas impliquée (DES-TEF). Ceci avait pour but également d’éviter un discours des étudiants orienté par une représentation de l’assistant
« évaluateur ».
Pour assurer une fiabilité de la conceptualisation, les concepts utilisés sont le plus précisément définis et illustrés. Les relations entre les concepts sont schématisées. Les synonymes sont évités. La grille d’observation des variables retenues est explicite et illustrée.
La fiabilité du recueil et du traitement des données a été partiellement vérifiée à l’occasion de quelques séances de travail avec Bernadette Charlier qui a porté un regard sur le codage des données.
La fiabilité des conclusions est assurée par le fait que nous les mettons en perspective avec notre position épistémologique et éthique, définie dans cette première partie. Par ailleurs, le fait d’avoir eu un temps entre le moment de la prise des données et leur analyse a permis aussi de mettre à distance certaines émotions liées à l’implication, aussi bien pour le chercheur que pour les étudiants quand ils ont été amenés à se prononcer sur le degré de vraisemblance de l’analyse de leur discours. En effet, une étudiante estime qu’elle n’aurait pas eu le recul nécessaire au terme de la formation pour lire cette analyse.
1.4.4 LA DIMENSION ÉTHIQUE
La dimension éthique concerne notamment l’attitude du chercheur et les mesures prises par rapport aux participants de la recherche visant à assurer leur respect et leur bien-être au cours du processus de recherche. Même si leur développement n’a pas été pris en compte et ne faisait pas partie des objectifs de la recherche, des éléments du discours des apprenants mettent en évidence que le questionnement a favorisé une meilleure compréhension de leur expérience d’apprentissage, aussi bien au cours même des entretiens que lors de la validation des analyses. La moitié d’entre eux ont estimé en outre que cette analyse leur offrait un éclairage intéressant sur leur parcours d’apprentissage, voire leur donnait des pistes pour leur pratique. Deux étudiants se sont dits particulièrement émus à la lecture de l’analyse. Tous ont souhaité avoir accès à la recherche complète pour pouvoir prendre connaissance des analyses des autres étudiants.
Les démarches de recherche ont respecté les principes de volontariat lors du recrutement ainsi que de l’anonymat et de la confidentialité dans le traitement et la diffusion des résultats : lors de la validation, il a également été demandé aux étudiants de se prononcer sur le caractère suffisamment anonyme de l’analyse.