Étape 4 : Les résultats et les mécanismes d’atteinte des résultats

œuvre et les résultats atteints. « L’évaluation du processus poursuit donc un objectif essentiellement analytique en mettant en relation les variations contextuelles et les effets observés après l’introduction de l’intervention » notent Champagne et Denis (1992, p. 148). L’analyse de la mise en œuvre des interventions montre que les contextes locaux influencent le degré d’implantation des composantes de l’intervention. Potvin et al. (2001) désignent cette variation sous le terme de « responsiveness ». Cet aspect de l’évaluation se préoccupe de la standardisation de la mise en œuvre de l’intervention. Ces variations contribuent, pour Champagne et Denis (1992), à la diversification des types d’analyse

d’implantation. L’influence des différentes composantes sur l’effet de l’intervention dans une perspective orientée par la théorie de l’intervention, passe par la médiation des résultats intermédiaires. Dans notre cas, les différents niveaux de mise en œuvre de l’intervention dans les centres de santé, les villages et les ménages influencent respectivement la performance de services de santé, la participation communautaire et la connaissance des ménages et leur participation aux activités relatives à la vaccination. Ces résultats influencent à leur tour le niveau de la couverture vaccinale d’ensemble.

De même la participation et la mobilisation communautaire influence en retour l’engagement de chacun des différents acteurs de l’intervention. Cette étape de la recherche fera intervenir les variables intermédiaires à savoir les variables médiatrices. Celles-ci constituent les étapes intermédiaires entre les activités de l’intervention et l’amélioration de la couverture vaccinale qui en est l’objectif final. Cette partie servira aussi de cadre

d’analyse d’une dialectique souvent ignorée dans la recherche qui est celle de l’influence réciproque entre le niveau de mise en œuvre et le résultat. Dans cette perspective, nous postulons que le niveau de mise en œuvre influence le résultat des interventions et que les résultats influencent aussi le niveau de mise en œuvre. Cette analyse se fera à travers l’analyse de l’effet d’ensemble.

5.5.4.1. Concepts clés

Résultats (outcome) : Le résultat est l’accomplissement ou le produit de

l’intervention. Il inclut aussi les éléments inattendus et non-intentionnels parfois négatifs qui se produisent comme suite directe ou indirect du traitement (Chen & Rossi, 1983). Dans le cas de cette recherche le résultat principal qui servira à juger du succès ou de l’échec de l’intervention est le taux de couverture vaccinale complète. Les issues inattendues seront abordées dans l'analyse de cette intervention.

Le niveau de connaissance : la connaissance est aussi plus utilisée que définie.

Plutôt que la connaissance en elle-même, ce sont les conceptualisations qui lui sont rattachées qui font l’objet de définition. Par exemple, le niveau de connaissance est utilisé pour définir la littératie de santé (Nutbeam, 2000). La connaissance a été opérationnalisée en diverses variables relatives aux activités d’information et de sensibilisation sur la vaccination. Il s’agit des éléments suivants : la connaissance des maladies cibles de la

vaccination, la connaissance du programme de vaccination, la connaissance de l’objectif de la vaccination, la connaissance du message clé de l’image du calendrier vaccinal, la

connaissance du message clé de la boîte à images.

L’image du calendrier vaccinal est un pictogramme illustrant des enfants à différents âges (des lunes indiquaient les mois) et les types de vaccins et le nombre de contacts qu’ils devaient recevoir. Les parents enquêtés devaient être à mesure de dire à quoi servait l’outil et reconnaître que pour être complètement vacciné l’enfant devait recevoir tous les vaccins au nombre de contacts indiqués. La boîte à images est un ensemble d’images représentant des enfants avec divers signes et symptômes des maladies cibles de la vaccination. Elle a été confectionnée et utilisée par les différents acteurs lors des séances de sensibilisation. Les parents enquêtés devaient être à mesure de dire à quoi servait l’outil et savoir qu’un enfant pas complètement vacciné était exposé à une des maladies de la boîte selon le vaccin non obtenu.

Le niveau de connaissance a été estimé en utilisant les différents éléments de la connaissance. Les questions se rapportant au niveau de connaissance étaient : Connaît au moins 2 maladies cibles de la vaccination (NON= 0 ; OUI= 1) ; connaît le programme de vaccination (NON= 0 ; OUI= 1) ; connaît l’objectif de la vaccination (NON= 0 ; OUI= 1) ; connaît le message clé du calendrier vaccinal en image (NON= 0 ; OUI= 1) ; connaît le message clé de la boîte à image (NON= 0 ; OUI= 1). L’échelle de connaissance va de 0 (ne connaît aucun des éléments) à 5 (connaît tous les éléments).

Le mécanisme : le mécanisme est un concept important pour l’évaluation basée sur

la théorie et plus spécifiquement pour l’évaluation réaliste. Pour l’évaluation basée sur la théorie de Chen (1990b), le mécanisme est abordé à travers le concept de mécanisme intermédiaire. Celui-ci se rapporte au processus causal qui lie l’application du traitement au résultat de l’intervention. Il implique qu’il n’y a pas de relation directe entre le traitement et le résultat. Un mécanisme sous-jacent est supposé être à l’œuvre dans le processus de production des effets. Pawson et Tilley (1997) font de cet aspect sous-jacent la dimension importante du processus de fonctionnement des programmes. Le mécanisme sous-jacent permet de rendre compte d’une caractéristique importante de la réalité. Il s’agit de son caractère stratifié qui implique que les aspects visibles sont soutenus par des structures

inférieures. Le mécanisme explicatif sur lequel porte les analyses de l’évaluation réaliste se rapporte à ces forces latentes. Dans le cadre de cette recherche, une analyse des

mécanismes est faite en investiguant les forces motivationnelles mais aussi coercitives qui soutiennent les actions des acteurs. Notre conception du mécanisme s'inspire de celles de Harré (1979) et de Pawson et Tilley (1997). Une analyse approfondie des données qualitatives est faite pour documenter cette composante de la recherche. Les mécanismes sous-jacents abordés sont le gain d’opportunité et les pouvoirs de coercition.

Opportunité : La documentation du concept de mécanisme indique que cette notion

renvoie aux passifs et actifs permettant la manifestation des résultats (Pawson & Tilley, 1997). Ce faisant les actifs se présentent comme des opportunités compris dans le sens de conditions ou de données favorables à l’avènement d’une issue. La participation à la vaccination est susceptible d’être influencée par divers coûts et avantages ou motivations liés aux besoins des ménages (Banerjee, Duflo, Glennerster, & Kothari, 2010). Cette situation est due au fait que le temps pris pour la participation à vaccination représente un coût du fait des autres activités qui doivent être abandonnées (Streefland et al., 1999a). La valeur de ces renoncements du fait d’un choix est souvent désignée sous le nom de coût d’opportunité. Dans la continuité des éléments présentés ici nous situons l’opportunité dans la perspective des actifs à savoir ces conditions qui permettent d’aboutir à des issues

favorables.

Explications rivales : Les explications rivales servent à explorer les facteurs qui au-

delà de l’intervention pourraient expliquer les manifestations attendues de l’intervention Yin (2003). L’exploration et l’analyse de ces facteurs sont importantes pour l’attribution des sources de variation de la variable principale d’intérêt. Ces facteurs sont définis dans le cadre de Chen et Rossi (1983) comme facteurs ou variables exogènes au traitement.

Comme l'indiquent ces auteurs, le résultat d'un programme est rarement attribuable au programme seul. Ces variables peuvent être corrélées au traitement comme elles peuvent être complètement indépendantes du traitement.

Dans le cadre conceptuel, chaque flèche est une hypothèse; la flèche (allant des résultats intermédiaires au niveau de mise en œuvre) indique des relations qui seront analysées pour l’influence holistique. L’évaluabilité orientera le choix des variables dans l’évaluation de la mise en oeuvre. Le niveau de mise en œuvre influence l’atteinte des résultats intermédiaires qui influencent la couverture vaccinale. L’ensemble se déroule sous l’influence du contexte avant et pendant l’intervention. Les composantes suivantes de l’évaluation du processus seront considérées :

Niveau de mise en œuvre :

Au niveau des services de santé : Activités planifiées (1; 2; 3; 4; …n), Composante de l’évaluation du processus : Contexte, Ressources, Fidélité, Dose administrée, Dose reçue

Au niveau des relais communautaires : Activités planifiées (1; 2; 3; 4; …n)

Composante de l’évaluation du processus : Contexte, Ressources, Fidélité, Dose administrée, Dose reçue, recrutement, atteinte. Au niveau des ménages

Activités planifiées (1 ; 2; 3; 4; …n) Amélioration du - Niveau de performance des services de santé périphériques - Niveau de la participation communautaire - Niveau de connaissance des ménages sur les activités de la vaccination Niveau de mise en

œuvre - Les services de santé : Former, superviser, motiver, exécuter les activités de la vaccination - Les communautés : Formations, motivation relais communautaires, exécution des activités communautaires - Les ménages

Sensibiliser, enregistrer les enfants, chercher les perdus de vue A m élior at ion d e l a co uv ert ure va cci na le CONTEXTE - Identification des objectifs de l’intervention - Analyse des concernés de l’intervention - Identification des documents clés - Élaboration du modèle logique et de la théorie de l’intervention

- Accord sur les

indicateurs de l’évaluation Ide nt ific ation de s var iab les U tilis atio n po te ntie lle

EVALUABILITÉ MISE EN OEUVRE RESULTATS