Afin de garantir la validité des résultats, il importe de prendre en considération les différents critères propres à la recherche qualitative, tant sur le plan de la qualité du devis que sur la démarche analytique. À cet effet, la littérature recense des critères d’ordre méthodologique et d’ordre relationnel (Lincoln et Guba, 1985; Savoie-Zajc, 2018). Cette section propose une discussion à l’égard de ces critères afin d’assurer la qualité de la démarche de recherche.
3.4.1 Critères méthodologiques
Inspirés des critères de rigueur utilisés en recherche quantitative, les critères méthodologiques en recherche qualitative font référence à la crédibilité, la transférabilité, la fiabilité ainsi qu’à la confirmation (Lincoln et Guba, 1985; Savoie- Zajc, 2018).
Le critère de crédibilité cherche à assurer la plausibilité du sens et de l’interprétation attribués au phénomène à l’étude (Savoie-Zajc, 2018). L’opérationnalisation de ce critère peut notamment être garantie par le recours à différentes techniques de triangulation ou par une présence prolongée du chercheur sur le terrain d’étude (Savoie-Zajc, 2018). Dans le cadre de la présente démarche, une première stratégie réalisée afin d’assurer la crédibilité des résultats est celle de la vérification de l’interprétation des données par la chercheuse auprès des participants. La vérification externe des catégories émergentes lors de l’analyse des données par un autre chercheur constitue une seconde stratégie utilisée s’inscrivant également dans cette
lignée. Ces deux stratégies de triangulation ont été plus amplement décrites à la section précédente.
Le critère de transférabilité fait quant à lui référence à la possibilité de transfert des résultats dans un contexte similaire à celui étudié (Lincoln et Guba, 1985; Savoie- Zajc, 2018). Pour assurer la transférabilité des résultats, il importe de fournir des descriptions riches et détaillées du contexte observé afin que les lecteurs de l’étude puissent établir les parallèles propres à leur situation et ainsi évaluer la possibilité de réaliser ce transfert. Le recours à un journal de bord tout au long de la démarche permet également de documenter l’évolution du contexte étudié (Savoie-Zajc, 2018). En lien avec la présente démarche, une grande importance est accordée à la contextualisation et à la description du contexte où cheminent les parties prenantes et où est étudié le phénomène de la crédibilisation. Les questions adressées lors des entretiens ont permis de bien cerner toute la situation évaluative vécue par les parties prenantes, de façon à contextualiser la conceptualisation de la crédibilité qui a émergé, d’autant plus que les facteurs contextuels ont été volontairement explorés dans le cadre de l’étude. Une discussion à cet effet est également proposée au cinquième chapitre de cette thèse.
Le critère de fiabilité concerne la cohérence de la recherche, plus spécifiquement la concordance entre la question de recherche initiale, les considérations méthodologiques et la vraisemblance de l’interprétation des données (Savoie-Zajc, 2018). Essentiellement, ce critère vise à juger de la clarté du fil conducteur de la recherche et peut se concrétiser par la tenue d’un journal de bord et par la triangulation du chercheur (Savoie-Zajc, 2018). Ces deux moyens sont présents dans la démarche actuelle. Le journal de bord rédigé par la chercheuse a permis de documenter l’évolution du projet de recherche, intention d’autant plus importante dans le cadre de cette étude qui prévoit une itération entre les phases de collecte et
d’analyse de données afin de conserver un ancrage empirique. La chercheuse a pu alors y conserver ses observations à l’égard des décisions prises relativement au déroulement de ces phases. Par ailleurs, de par les discussions avec son comité de recherche, la chercheuse a réalisé une triangulation du chercheur, favorisant une certaine distanciation face à son projet et imposant la nécessité de réfléchir à la pertinence et à l’adéquation des choix méthodologiques réalisés (Savoie-Zajc, 2018).
Finalement, le critère de confirmation est en lien avec le processus d’objectivation encouru tout au long de la recherche et renvoie de façon plus spécifique aux données et à leur traitement (Savoie-Zajc, 2018). Ce critère est considéré sous l’angle de la justification des instruments de collecte de données, de l’application adéquate et claire de la démarche analytique ainsi que la vérification externe (Savoie-Zajc, 2018). En ce sens, le guide d’entretien a été conçu pour laisser une place considérable à l’émergence des données. De plus, pour s’assurer de sa qualité, il a été préalablement testé et validé. Par ailleurs, le processus de traitement et d’analyse des données préconisé dans cette démarche a été observé de façon rigoureuse, que ce soit au niveau de la transcription fidèle en verbatim ou sur le plan de la vérification externe avec un autre chercheur et auprès des participants relativement à la catégorisation des données et à l’interprétation des données collectées.
3.4.2 Critères relationnels
Alors que les critères méthodologiques discutés plus tôt constituent le pendant interprétatif des critères traditionnels de scientificité appliqués à la recherche quantitative, un ensemble de critères relationnels apparait essentiel afin de considérer la dynamique interactive qui caractérise la recherche qualitative (Savoie-Zajc, 2018).
Ces critères font référence à l’équilibre ainsi qu’à l’authenticité sur les plans ontologique, éducatif, catalytique et tactique (Savoie-Zajc, 2018).
Le critère de l’équilibre cherche à assurer une représentativité des différents groupes et de leurs perspectives, sans avantager un groupe en particulier plutôt qu’un autre (Savoie-Zajc, 2018). L’engagement prolongé du chercheur et certaines techniques de triangulation sont des moyens employés pour atteindre cet équilibre. Dans le cadre de la démarche actuelle, la recherche de cet équilibre est demeurée un souci constant. En effet, puisque le phénomène de la crédibilisation est observé sous l’œil des parties prenantes, la chercheuse entretenait la volonté d’explorer les perceptions des parties prenantes en prenant en considération qu’elles peuvent varier selon le positionnement au sein du programme et au sein de la démarche d’évaluation. La chercheuse aspirait à réaliser une collecte de données représentative de l’ensemble des points de vue entretenus par les parties prenantes. Malgré cette bonne volonté, certaines limites méthodologiques rencontrées interviennent dans cette quête de représentation des différents positionnements. Dans le respect de ce critère, le cinquième chapitre portant sur la discussion apporte quelques nuances à établir dans l’interprétation des résultats.
Les critères d’authenticité sont pour leur part en lien avec la pertinence et les effets de la recherche, laquelle se veut une opportunité d’apprentissage pour le chercheur et pour les participants (Savoie-Zajc, 2018). La recherche doit favoriser chez les participants une amélioration et un élargissement de leurs perspectives quant à l’objet étudié (authenticité ontologique), une vision plus élargie de cet objet d’étude où ils peuvent y situer leurs propres points de vue et les comparer à ceux des autres (authenticité éducative) ainsi qu’une motivation d’agir (authenticité catalytique), se traduisant par une opérationnalisation concrète (authenticité tactique) (Savoie-Zajc, 2018). Le respect de ces critères peut être vérifié notamment par le recueil de
témoignages de participants attestant des apprentissages réalisés et de la pertinence de la recherche à leurs yeux (Savoie-Zajc, 2018). À cet effet, la chercheuse s’est engagée à fournir un rapport synthétisé faisant état des résultats de la recherche à l’ensemble des participants. Ce rapport emprunte un format qui facilite la compréhension de tous et qui permet aux acteurs concernés d’entamer une réflexion relativement à la crédibilité en évaluation de programmes et à leur contribution au processus évaluatif. Cette réflexion peut ensuite se traduire en actions plus concrètes pour favoriser le déroulement d’étapes évaluatives à venir, voire le déroulement de démarches évaluatives autres et futures. En fin d’entretiens, plusieurs participants ont par ailleurs mentionné avoir apprécié prendre part à l’étude en partageant leur expérience, ce qui leur a accordé un temps de réflexion bénéfique pour leur pratique professionnelle.