Critères de qualité de la recherche : la validité

La validité renvoie à plusieurs sens dont la valorisation, la correspondance, la robustesse et la généralisation (Brinberg & McGrath, 1985). La question de validité de la recherche fait référence aux notions autant esthétiques qu’épistémiques (Porter, 2007). La posture du relativisme épistémique et de la rationalité de jugement de l’approche réaliste (Koenig, 2009) conduit à la considération d’un vaste éventail de critères de qualité y compris l’éthique et l’accessibilité. Ces critères sont la transparence, l’exactitude, la finalité, l’utilité, la droiture (éthique et légalité), l’accessibilité et la spécificité (Pawson, Boaz, Grayson, Long, & Barnes, 2003, p. 40). Diverses précautions observées dans le cadre de cette recherche, prenant en compte les méthodes et approches utilisées, nous ont permis de préserver les standards de qualité qui permettent de fonder nos conclusions sur des bases solides. Ces précautions permettent aussi d’orienter tout chercheur qui voudrait suivre notre

démarche. Les divers critères se rapportent autant au devis de la recherche, à la méthodologie, à la collecte, la saisie, au nettoyage des données, à leur analyse et à l’interprétation que nous en avons faite. Du fait de l’utilisation d’approches multiples, autant les critères de qualité des recherches quantitatives que des recherches qualitatives seront abordés. Nous indiquerons distinctement les démarches d’application de ces critères au niveau qualitatif et au niveau quantitatif. Les perspectives spécifiques à l’étude de cas et à l’évaluation basée sur la théorie seront aussi documentées.

Hosmer et Lemeshow notaient que même les modélisations statistiques complexes nécessitent le sens commun (Hosmer & Lemeshow, 2000, p. 91). Comme nous pouvons déduire des propos de ces statisticiens, l’activité scientifique se nourrit de rigueur méthodologique mais aussi de subjectivités diverses. Les influences des subjectivités se manifestent même avant les travaux de conceptualisation (Raphael & Bryant, 2002), l’adhésion à une théorie particulière peut être basée plus sur les valeurs que sur des évidences objectives. Cependant, il importe de trouver une gestion rigoureuse de ces subjectivités. Cette recherche a tenu à réduire l’influence des subjectivités à la limite des seuils permis et à la hauteur de la tolérance et du relativisme du choix paradigmatique, à savoir le réalisme critique.

7.4.8.1. Validité par rapport à l’approche de l’évaluation basée sur la

théorie

Les valeurs fondamentales d’une évaluation sont selon Chen (1990b) 1) la prise en compte des intérêts pluralistes (responsiveness), 2) l’objectivité qui exclut l’influence des préférences propres du chercheur sur les résultats et suggère que ses résultats puissent êtres reproduits en utilisant les mêmes méthodes et techniques, 3) la capacité à inspirer la

confiance et l’assurance dans l’utilisation des résultats (Trustworthiness) et 4) la

généralisabilité. La crédibilité scientifique doit être balancée avec la crédibilité du point de vue des parties-prenantes (Chen, 2005). L’auteur propose alors la crédibilité des parties- prenantes et la validité viable (Chen, 2010). En effet, Chen considère que la validité qui sied à des domaines comme la promotion de la santé et le renforcement social est celle par laquelle le point de vue et les préoccupations des parties-prenantes sont pris en compte. Une recherche qui n’aurait pas pu atteindre ce type de conformité ne serait pas viable et les

résultats ne seront pas utilisés. Cette recherche a pris en compte cet aspect de la validité dès l’étape de l’évaluabilité.

7.4.8.2. Validité de contenu et de construit

L’élaboration des outils de collecte a visé à prendre en compte leur capacité à rapporter les manifestations de l’objet de l’étude, à savoir une intervention sur la

vaccination. Aussi les personnes impliquées dans cette intervention, notamment les agents de santé et les médecins, ont été sollicitées pour garantir la conformité des outils aux activités de vaccination en général et particulièrement de l’intervention en cours.

Pour ce qui concerne la validité du construit, Yin (2003) propose différentes approches dont l’utilisation de multiples sources d’évidence, l’utilisation de concepts opérationnels objectivables, l’établissement de chaînes d’évidence, la certification du rapport de l’étude par des informateurs-clés. Les concepts qui sont utilisés au-delà de ce cas précis de recherche ont été adaptés aux formulations existantes ou opérationnalisés après une discussion. Il s’agit par exemple de la couverture vaccinale complète, du contexte, de la fidélité et des concepts de dose. Les élaborations et conceptualisations ont été faites à partir de travaux antécédents et les démarches d’opérationnalisation peuvent être retracées.

Plusieurs sources notamment les agents des services de santé, les médecins et les autres parties-prenantes de l’intervention ont contribué à la définition des termes et à l’identification des indicateurs les plus importants en fonction des perspectives d’utilisation des résultats. Les convergences et les divergences de point de vue ont permis de faire ressortir respectivement les tendances centrales et les particularités contextuelles et positionnelles. Une approche de triangulation de ces différentes méthodes et sources de données a été privilégiée. La notion de triangulation à laquelle cette démarche renvoie doit être vue comme l’utilisation de différentes sources et méthodes à partir d’un même référent paradigmatique (Levy, 1997), ici le réalisme critique.

La crainte de ne pouvoir être en mesure de rencontrer tous les participants de notre recherche pour présenter les résultats de ces travaux a conduit le chercheur à adopter diverses stratégies pour recueillir les réactions des participants sur les rapports. Lors des groupes de discussion dirigés, des rapports succincts des entretiens ont été faits et les contenus partagés avec les participants qui avaient la possibilité de préciser certaines idées.

Les résultats des travaux relatifs à l’esquisse de la théorie et le premier modèle logique ont été présentés en présence de certains des principaux informateurs qui y ont apporté des modifications. Le rapport d’ensemble de la recherche sur l’intervention a été présenté à un panel de participants et de décideurs et ceux-ci ont apporté leurs contributions et leurs critiques.

Pour les données quantitatives, la validité du construit théorique initial a été testée à l’aide d’analyse corrélationnelle. De cette analyse nous avons conclu que le vecteur de la chaîne hiérarchique d’exposition n’avait pas connu une implantation suffisante. Sur quatre variables testées seule la transmission de programme de vaccination et la réception de ces programmes par les marraines a démontré une corrélation relativement intéressante (r= 0.68, p< 0.05). Le vecteur de la chaîne causale de production des effets donnait plus de satisfaction ; plus de 5 corrélations testées donnaient des coefficients acceptables.

7.4.8.3. Validité interne

La validité interne qui ne s’applique ici qu’à l’étude de cas explicative (la

composante explicative pour cette recherche) permet d’établir qu’une condition est liée à une autre (Yin, 2003). La procédure de validation de certaines conclusions par la

correspondance thématique (pattern matching) a été faite. La correspondance thématique met en relation les construits théoriques et les manifestations effectives observées (Trochim & Cook, 1992). Notre démarche a consisté à utiliser conjointement des données

quantitatives et qualitatives pour mettre en évidence les correspondances entre les

construits conceptuels et les éléments de leur révélation par les données. L’hypothèse de la maximisation des effets est analysée en utilisant cette approche.

Une autre démarche d’amélioration de la validité interne est l’utilisation du modèle logique. Les relations entre les différentes parties du modèle logique de l’intervention indiquent l’existence de conformité entre cette représentation conceptuelle et la réalité. Même si toutes les relations postulées n’ont pas montré de corrélation fortes et/ou significatives, il demeure que l’agencement des éléments du construit représente les relations au niveau du terrain. L’analyse du modèle logique a permis non seulement de clarifier l’exploration des différentes unités d’analyse mais aussi de faire ressortir les

relations d’imbrication et les interactions existantes. Cette analyse a permis d’orienter la collecte de données vers des sources non retenues initialement comme les ATs.

Il faut noter que les démarches de la correspondance thématique et le modèle logique vont de pair. En effet, certains mécanismes implicites existant entre différentes parties du modèle logique sont vérifiés en ce qui concerne leur réalité par la méthode de la correspondance thématique.

7.4.8.4. Validité externe

Notre recherche se situe dans une perspective qui vise à améliorer la compréhension à partir d’un cas et à approfondir la théorie et les théories se rapportant à l’intervention (Ayerbe & Missonier, 2007). C’est donc la généralisation théorique et analytique qui est plus visée que la généralisabilité statistique (Yin, 2003). La généralisabilité analytique de cette recherche est améliorée par le cheminement théorique et conceptuel utilisé. Celui-ci permet d’aboutir à des formulations d’hypothèses (théories) opérantes et éclairantes sur la démarche et les mécanismes d’amélioration de la couverture vaccinale de cette

intervention. Tout d’abord, sans pour autant confondre le cas et ses caractéristiques, nous estimons que le travail de documentation de l’intervention et de ses composantes est d’une complétude permettant de prétendre à une représentativité conséquente. La représentativité est renforcée par le fait d’avoir pris, sur la base des suppositions théoriques initiales, l’ensemble de la zone de l’intervention comme notre cas d’étude.

La généralisabilité même théorique doit aussi intégrer l’historicité (Chen, 1990b) qui oriente le décideur dans la planification future et l’extrapolation prospective. Notre description du cadre contextuel de la recherche et nos résultats permettent de satisfaire cette approche de la validité externe.

Même si la généralisation statistique n’est pas la première finalité de cette

recherche, il est cependant important de noter que les questions de couverture vaccinale se rapportent toujours à une population. La couverture indirecte (notamment celle des enfants non vaccinés protégés par la masse/barrière aux infections que constituent les enfants vaccinés) est fonction du taux de couverture vaccinale d’ensemble atteint. Les taux de couverture vaccinale peuvent être rapportés aux populations d’enfants de la même tranche d’âge des bases de données utilisées.

Enfin, cette recherche aurait une forte validité externe si elle débouchait sur une esquisse de théorisation applicable à des contextes similaires pour la réimplantation de la stratégie d’amélioration de la couverture vaccinale.