Evaluation du processus

Dans les programmes de promotion de la santé, en particulier lorsqu’ils sont conduits dans le cadre d’essais d’intervention, il apparaît nécessaire de réaliser une évaluation du processus afin d’apprécier la faisabilité et l’opérationnalité des interventions et également de pouvoir déterminer une dose d’intervention réellement reçue par les adolescents pour évaluer le niveau de mise en œuvre des stratégies permettant ainsi d’interpréter les résultats observés avec l’analyse en ITT de PRALIMAP.

 Détermination de la dose d’intervention

Un groupe de travail, constitué des auteurs de l’article, a été créé pour évaluer la mise en œuvre des activités dans le cadre de l’essai PRALIMAP. Il regroupe des spécialistes en santé publique, prévention et promotion de la santé, et évaluation en santé.

Ce groupe a tout d’abord réalisé une analyse de la littérature pour identifier les différentes méthodes utilisées pour évaluer le processus dans les programmes de promotion de la santé [86,110-114]. Cette analyse a montré que ces programmes sont généralement mis en œuvre au sein de grappes homogènes d’intervention (GHI), pendant le plus souvent plusieurs périodes d’intervention définies. La GHI est constituée d’une structure de base (classes, écoles, hôpitaux, quartiers,…) dans laquelle une intervention donnée (éducation, dépistage,…) –ou absence d’intervention- est prévue par le programme. Pour chaque GHI et chaque période d’intervention, l’évaluation du processus porte habituellement sur deux domaines incontournables: la réalisation de l’intervention et la participation des acteurs à cette intervention. Pour chacun de ces deux domaines, il est ensuite possible de mesurer la quantité et la qualité (de réalisation et de participation). Trois catégories d’acteurs sont généralement identifiées dans les programmes de promotion de la santé : les superviseurs, les

relayeurs et les personnes cibles. Les superviseurs construisent l’intervention et supervisent sa mise en œuvre. Les relayeurs mettent en œuvre l’intervention sur le terrain et les personnes cibles en bénéficient.

Le croisement des deux domaines (réalisation, participation) avec les deux déclinaisons (quantité, qualité) permet d’identifier quatre niveaux à évaluer, auprès de trois catégories d’acteurs (superviseurs, relayeurs, personnes cibles), soit au final 12 niveaux d’évaluation (Figure 15). En pratique, seuls huit de ces 12 niveaux sont considérés dans l’évaluation du processus car les personnes cibles ne réalisent pas d’activités et les superviseurs n’y participent pas.

Figure 15 : Les niveaux d’évaluation dans un programme de promotion de la santé

A partir de ces différents éléments identifiés dans la littérature, le groupe de travail a construit une démarche permettant de calculer une dose d’intervention dans tout programme de promotion de la santé, qu’il a ensuite appliqué à PRALIMAP. Cette démarche comporte les étapes suivantes : identification des GHI, identification des périodes d’intervention, identification des acteurs, construction des indicateurs, recueil des données, analyse des données et valorisation des indicateurs, attribution de notes, et calcul des doses d’intervention.

Identification des grappes homogènes d’intervention (GHI). Les GHI doivent être précisément

possibles entre les structures (par exemple écoles, hôpitaux, villes, quartiers….) et les interventions définies (par exemple éducation, soins, prévention…) dans le programme (exemple Tableau 6).

Tableau 6 : Exemple de Groupes Homogènes d’Intervention (GHI) dans un programme de promotion de la santé

Structure 1

Structure 2

Structure 3

Intervention 1

Oui

Oui

Non

Intervention 2

Oui

Non

Oui

Intervention 3

Oui

Non

Oui

GHI

3 GHI

3 GHI

3 GHI

En pratique, au sein de chaque GHI, les intervenants ont des pratiques particulières susceptibles d’introduire une variabilité qui peut porter sur la mise en œuvre des activités prévues par le programme et/ou la réalisation d’activités non prévues. On distingue ensuite les GHI-Actif (GHI-A), qui bénéficient d’une intervention, et les GHI-Contrôle (GHI-C), qui ne bénéficient de cette intervention. La dose d’intervention calculée pour une GHI est attribuée à chaque personne cible y appartenant.

Identification de la temporalité. Lorsqu’un programme est mis en œuvre sur une longue durée, il est

important de découper cette durée en plusieurs périodes pour prendre en compte les phénomènes de lassitude ou d’apprentissage. Dans le cas par exemple d’un programme planifié sur deux ans, les interventions réalisées et la participation des acteurs peuvent différer d’une année à l’autre.

Identification des acteurs. Les superviseurs s’assurent de la réalisation effective des activités prévues

par le programme. Selon les cas, ils peuvent également mettre en œuvre eux-mêmes ces activités ou charger d’autres personnes de les réaliser (les relayeurs) en les formant et les informant. Dans un programme donné, il est nécessaire d’identifier si les superviseurs interviennent dans la mise en œuvre des activités. Si tel est le cas, il faut construire des indicateurs de réalisation et de participation les concernant. Dans le cas contraire, ces indicateurs n’ont pas lieu d’être.

Les relayeurs sont tout d’abord destinataires de formations/informations (receveurs) réalisées par les superviseurs, puis mettent en œuvre l’intervention (fournisseurs) auprès des personnes cibles. La construction d’indicateurs les concernant est particulièrement importante car ils sont souvent à l’origine des écarts dans la mise en œuvre des activités par rapport à ce qui était prévu.

Les personnes cibles bénéficient de l’intervention et font l’objet des mesures des résultats.

Construction des indicateurs. Deux types d’indicateurs doivent être construits : des indicateurs

portant sur les activités prévues par le programme (indicateurs spécifiques) et des indicateurs portant sur des activités non prévues (indicateurs généraux) mais qui relèvent de la même thématique. Ces dernières activités peuvent, selon le cas, majorer ou minorer les effets des activités prévues par le programme (potentialisation ou antagonisme).

Les indicateurs généraux portent, pour chaque GHI et chaque période d’intervention, sur les huit niveaux d’évaluation précédemment définis.

Les indicateurs spécifiques sont construits uniquement pour les GHI-Actif, et portent sur chaque période et chacun des huit niveaux. Ces indicateurs sont ensuite valorisés à partir des données recueillies auprès des différents acteurs (cf. recueil des données).

Par exemple, dans le cadre d’un programme de promotion de la santé mentale, 10 jeux de rôle, animés par trois professeurs (relayeurs) et un épidémiologiste (superviseur), étaient prévus pour une classe de 30 adolescents (personnes cibles). Les indicateurs spécifiques suivants ont été conçus :

o Indicateur 1 = nombre de jeux de rôle réalisés/10, pour mesurer la quantité de réalisation de l’activité par les relayeurs et les superviseurs,

o Indicateur 2 = conformité du contenu des jeux de rôle par rapport à ce qui était prévu

o Indicateur 3 = satisfaction des adolescents concernant les jeux de rôle, pour mesurer la qualité de réalisation de l’activité,

o Indicateur 4 = nombre de professeurs ayant participé aux 10 jeux de rôle/3 et Indicateur 5 = nombre d’adolescents ayant participé aux 10 jeux de rôle/30, pour mesurer la quantité de participation des relayeurs et des personnes cibles,

o Indicateur 6 = degré d’investissement des adolescents (professeurs) lors des jeux de rôle, pour mesurer la qualité de participation des personnes cibles (relayeurs).

Comme le montre cet exemple, les indicateurs construits peuvent être quantitatifs (ex : indicateur 1) ou qualitatifs (ex : indicateurs 2 et 3).

Recueil de données. Les données recueillies sont issues des bilans d’activités du programme et

d’investigations spécifiques auprès des différents acteurs. Les bilans d’activités, complétés régulièrement par les relayeurs et/ou superviseurs, permettent de mesurer la quantité de réalisation et de participation aux activités.

L’investigation spécifique vient compléter les données issues des bilans d’activité et peut être quantitative (par auto-questionnaire) et/ou qualitative (par entretien semi-directif collectif ou individuel [115,116]). Elle est réalisée auprès des différents acteurs, au sein de chaque GHI et pour chaque période d’intervention. Elle mesure le point de vue et le ressenti des acteurs, et apporte des informations supplémentaires par rapport aux bilans d’activités, en particulier sur la qualité de réalisation des activités et de participation.

Le recueil de données peut être réalisé à différents moments : avant la mise en œuvre du programme pour avoir une connaissance du contexte initial, pendant la mise en œuvre des activités pour comparer ce qui est réalisé par rapport à ce qui était prévu, et à la fin du programme pour mesurer le ressenti général et la satisfaction des différents acteurs.

Analyse des données et valorisation des indicateurs (au sens de donner une valeur). L’analyse des

données recueillies permet de renseigner / valoriser les différents indicateurs précédemment construits. Afin de faciliter le travail d’expertise de l’étape suivante, les indicateurs valorisés sont ordonnés au sein de fiches. Pour chaque GHI, une à deux fiches sont élaborées, l’une regroupant les indicateurs spécifiques (si GHI-Actif) et l’autre les indicateurs généraux (pour tous les GHI). Au sein de chaque fiche, les indicateurs sont présentés par domaine et déclinaison (quantité et qualité de réalisation, quantité et qualité de participation) et par acteur, pour chacune des périodes d’intervention (Annexe 2.13 : modèle de fiche).

Attribution de notes. Pour chaque GHI et chaque fiche (indicateurs généraux, indicateurs

spécifiques), une note (de 0 à 20 par exemple) est attribuée pour chaque combinaison entre domaine et déclinaison (quatre notes) et à chaque période à partir des résultats des indicateurs. Devant la difficulté d’établir des règles d’attribution automatique de notes à partir des indicateurs

(notamment pour les indicateurs qualitatifs), les techniques d’expertise collective ont toute leur place. Les experts sont issus de différentes disciplines (spécialistes de la thématique, de l’évaluation, professionnels de terrain,…) et un certain nombre d’entre eux ne doivent pas être impliqués dans le programme à évaluer. Ils sont réunis en un même lieu pour la séance de notation dirigée par un animateur qui modère les débats mais ne doit pas exprimer son point de vue. Pour chaque GHI, l’animateur commence par présenter, sans la nommer, la structure (par exemple, s’il s’agit d’hôpitaux : type d’établissements, nombre de lits, taux d’occupation, type d’activités, …) pour pouvoir apprécier l’environnement du programme. Il peut également être amené à donner des explications sur les fiches et les indicateurs. Ensuite, chaque expert attribue individuellement, pour chaque fiche, les différentes notes précédemment définies sur un support de notation informatique ou papier. Pour chaque note à attribuer, la moyenne, l’écart type et l’étendue des notes données par les experts sont calculés. Si l’écart-type et/ou l’étendue dépasse un seuil prédéterminé, une discussion est engagée entre les experts pour expliquer les écarts et rechercher un éventuel consensus. Cette discussion peut aboutir à une modification de leur note initiale par certains voire tous les experts, sans pour autant qu’un consensus soit exigé. A la fin de la séance de notation, quatre notes générales et quatre notes spécifiques (si GHI-Actif) sont obtenues pour chaque GHI et chaque période d’intervention : une note ‘quantité de réalisation’ (RQt), une note ‘qualité de réalisation’ (RQl), une note ‘quantité de participation’ (PQt), et une note ‘qualité de participation’ (PQl). En fonction du nombre de GHI, un ou plusieurs groupes d’experts peuvent être constitués. Ces groupes ne doivent être ni trop petits (<5) afin de refléter une diversité de points de vue ni trop grands afin de faciliter les échanges entre experts (>7). Lorsque plusieurs groupes sont constitués, une même fiche correspondant à un GHI fictif peut être soumise à notation par les différents groupes afin d’identifier puis de tenir compte d’une éventuelle variabilité intergroupe. A la fin de la séance de notation, une présentation générale des résultats est réalisée en présence de tous les experts. Elle peut être l’occasion de débattre sur les difficultés rencontrées, la pertinence des indicateurs et la variabilité intergroupe.

Calcul des doses d’intervention. Pour chaque GHI-Actif et chaque période, deux doses d’intervention

sont calculées à partir des huit notes précédemment attribuées : une dose spécifique pour les activités prévues par le programme et une dose générale pour les activités non prévues. Pour les GHI-Contrôle, seule une dose générale est calculée à partir des quatre notes générales. Dans la mesure où les combinaisons domaine - déclinaison ne sont pas indépendantes - la participation est conditionnée par la réalisation et la qualité par la quantité -, un système de pondération est adopté.

La note ‘quantité de réalisation’ est pondérée par la moyenne des trois autres dans la formule suivante :