HAL Id: tel-01909385
https://hal.univ-lorraine.fr/tel-01909385
Submitted on 2 Apr 2019
HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci-entific research documents, whether they are pub-lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.
L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.
Un dispositif de formalisation de processus assistée par
ordinateur pour l’évaluation de programme de
promotion de la santé : application à PRALIMAP et
PRALIMAP-INÉS, essais de prévention du surpoids
Karine Legrand
To cite this version:
Karine Legrand. Un dispositif de formalisation de processus assistée par ordinateur pour l’évaluation de programme de promotion de la santé : application à PRALIMAP et PRALIMAP-INÉS, essais de prévention du surpoids. Santé publique et épidémiologie. Université de Lorraine, 2017. Français. �NNT : 2017LORR0327�. �tel-01909385�
AVERTISSEMENT
Ce document est le fruit d'un long travail approuvé par le jury de
soutenance et mis à disposition de l'ensemble de la
communauté universitaire élargie.
Il est soumis à la propriété intellectuelle de l'auteur. Ceci
implique une obligation de citation et de référencement lors de
l’utilisation de ce document.
D'autre part, toute contrefaçon, plagiat, reproduction illicite
encourt une poursuite pénale.
Contact : ddoc-theses-contact@univ-lorraine.fr
LIENS
Code de la Propriété Intellectuelle. articles L 122. 4
Code de la Propriété Intellectuelle. articles L 335.2- L 335.10
http://www.cfcopies.com/V2/leg/leg_droi.php
ÉCOLE DOCTORALE BioSE (Biologie - Santé - Environnement)
Thèse
P se t e et soute ue pu li ue e t pou l’o te tio du tit e de
DOCTEUR DE L’UNIVERSITÉ DE LORRAINE
Mention : « Sciences de la Vie et de la Santé »
par Karine Legrand
le 13 décembre 2017
Un dispositif de formalisation de processus assistée par ordinateur pour
l’ valuatio de p og a
e de promotion de la santé : application à
PRALIMAP et PRALIMAP-INÉS, essais de prévention du surpoids
Rapporteurs :
Monsieur Patrice FRANÇOIS, PU-PH, CHU de Grenoble, La Tronche
Monsieur Pierre LOMBRAIL, PU-PH, Université de Paris 13, Sorbonne Paris Cité, EA
3412, Paris
Examinateurs :
Madame Valentina ANDREEVA, MCF, Université Paris 13, Equipe de Recherche en
Epidémiologie Nutritionnelle, Bobigny
Monsieur Serge BRIANÇON, PU-PH, Université de Lorraine, EA 4360, Nancy.
Directeur de thèse
Monsieur François FEILLET, PU-PH, CHRU Brabois Enfants, Vandoeuvre les Nancy
Madame Elisabeth MONNET, PU-PH, Université de Franche Comté, Besançon
EA 4360 APEMAC « Maladies chroniques, santé perçue et processus d'adaptation. Approches épidémiologiques et psychologiques » Faculté de Médecine, Université de Lorraine, 9 avenue de la
Remerciements
Ce t a ail est l’a outisse e t d’échanges, de collaborations et d’u t a ail d’ uipe. Je souhaiterais dédier cette thèse à tous ceux qui ont contribué à ces travaux ou ui ’o t e ou ag e pe da t es quatre années de thèse. Avant tout, je souhaiterais exprimer mes profonds remerciements à mon directeur de thèse Monsieur le Professeur Serge BRIANÇON, je vous suis extrêmement
e o aissa te d’a oi a ept de di ige e t a ail. La o fia e ue ous ’a ez t oig e tout au long de ces années, votre capacité à résister à mes phrases foudroyantes et vos conseils avisés ’o t été indispensables.
Je tiens tout particulièrement à remercier les membres de mon jury pour avoir accepté de consacrer du te ps à l’ aluatio de e t a ail. Je suis très reconnaissante à Monsieur le Professeur Patrice FRANÇOIS et à Monsieur le Professeur Pierre LOMBRAIL d’a oi a ept le ôle de appo teu . Mes e e ie e ts s’ad esse t gale e t à Mada e le Docteur Valentina ANDREEVA, à Monsieur le Professeur François FEILLET et à Madame le Professeur Elisabeth MONNET qui ont a ept d’e a i e ce travail.
Je souhaite également remercier les membres de mon comité de thèse, Monsieur le Professeur François CHAROY et Monsieur le Professeur Patrice FRANÇOIS pour leurs disponibilités, leurs avis éclairés et indépendants qui ont permis de mener à bien ce travail.
Monsieur le Professeur Francis Guillemin, merci de ’a oi a ueillie au sei de ot e La o atoi e. Merci à Jean-François COLLIN et Fabienne EMPEREUR, j’ai eau oup app is à vos côtés.
A toutes les personnes qui ont permis la réussite du programme PRALIMAP-INÉS : Les adolescents et leurs parents pour leur participation
Les 250 acteurs que je tie s à e e ie , sa s ous le p ojet ’au ait pas t u e telle ussite : Les professionnels des 35 établissements scolaires sa s ui ie de tout ela ’au ait t possible
Les membres du comité de coordination pour la richesse des réunions : Émilie BONSERGENT ; Philip BÖHME ; Rozenn DE LAVENNE, Marion LAURENT ; Edith LECOMTE ; Laurent MULLER ; Abdou Y OMOROU ; Céline POURCHER ; Marie-Hélène QUINET ; Laura SAEZ ; Elisabeth SPITZ ; Brigitte TOUSSAINT avec une mention spéciale pour Cécile GAILLIARD et Johanne LANGLOIS sans qui ce projet
’au ait pas t aussi pétillant et réussi.
Les professionnels du CIC 1433 Épidémiologie Clinique du CHRU de Nancy, actuels et passés, ui o t œu à es ôt s à la ise e œu e du p ojet pour la création de la base de données et l’a al se des do es (Julie AKKOYUN-FARINEZ, Camille ALLEYRAT, Isabelle CLERC – URMES, Ziyad MESSIKH, Hélène ROUSSEAU, Marc SOUDANT, Jean Marc VIRION) ; le recueil des données (Benjamin BETHUNE, Catherine CAMPAGNAC, Gaëlle DALMOLIN, Christelle DUJON, Jonathan EPSTEIN, Valérie ESCBACH, Nicole FISCHER, Sandrine GERSET, Johanne GUICHARD AMOYEL, Najet JUDAS, Nicole KOEBEL, Clotilde LATARCHE, Samia MAHMOUDI, Philippe MELCHIOR, Isabelle PETITGENET, Nathalie
Je remercie chaleureusement Hamy TRAORE, Julien RICAUD et Maël BEUGET de TELECOM Nancy pour le développement de la maquette.
Tous es e e ie e ts à l’ uipe de la Mutualit F a çaise Pu de Dô e : Céline BUTTEZ, Loïc LAMY, Vincent PORCEL et Frédéric RAYNAUD pou ’a oi fait d ou i l’outil PREV@LISS.
Un grand merci à mes parents, ma famille et mes amis pour leur soutien inconditionnel.
Enfin, je remercie David qui a su me soutenir, e suppo te , ’e ou age … pendant toute la durée de ma thèse et plus particulièrement durant les derniers mois. Sans oublier nos deux petits soleils, Eva et Bastien, qui illuminent notre quotidien, merci pour votre patience.
Ces e e ie e ts e peu e t s'a he e , sa s u e pe s e sp iale pou es oll gues ui ’o t aidée et soutenue dans la dernière ligne droite : Christelle et Nicole milles merci pour votre travail estival et votre écoute ; Camille merci pour ton professionnalisme et ta réactivité pour les analyses ; Laetitia merci pour ta bienveillance et ta relecture ; Nelly e i pou la tape de i e l’ paule ; et enfin merci à tous mes collègues pour votre écoute, vos encouragements et les bons moments passés en votre compagnie.
Sommaire
DÉFINITIONS DES MOTS CLÉS ... 7
ABRÉVIATIONS ... 8
INTRODUCTION ... 9
PARTIE . L’ÉVALUATION DE PROCESSUS DES INTERVENTIONS EN SANTÉ : CONTEXTUALISATION, ENJEUX ET PERSPECTIVES... 10
1. CONTEXTUALISATION ... 10
1.1LES INTERVENTIONS COMPLEXES EN SANTÉ ... 10
1.1.1. La prévention ... 10
1.1.2 La promotion de la santé ... 11
. . . L’ du atio pou la sa t ... 11
. . Les st at gies d’i te ve tio : politiques, plans, programmes et actions de santé ... 12
1.1.5 La recherche interventionnelle ... 13
1.2L’ÉVALUATION DES INTERVENTIONS COMPLEXES ... 14
. . Qu’est- e ue l’ valuatio ? ... 14
. . Quelles so t les o jets de l’ valuatio ? ... 15
. LES ENJEUX DE L’ÉVALUATION DE PROCESSUS ... 18
2.1LES FONCTIONS CLÉS DE L'ÉVALUATION DE PROCESSUS DES INTERVENTIONS COMPLEXES ... 18
2.1.1 Le contexte ... 19
. . Les a is es de l’effet ... 19
. . La ise e œuv e ... 19
2.2LES COMPOSANTES POUR L’ÉVALUATION DE LA MISE EN ŒUVRE : UNE TERMINOLOGIE EN BALANCE ... 20
2.3LES PRATIQUES ET OUTILS EXISTANTS POUR L’ÉVALUATION DE LA MISE EN ŒUVREDES INTERVENTIONS COMPLEXES ... 22
2.3.1 Les nouveaux concepts/cadres/recommandations : ... 22
2.3.2 Les cadres de référence utilisés : le cadre du Medical Research Council, LA référence ?... 30
. . L’ valuatio de la ise e œuv e uel ues e seig e e ts ho s des ad es de f e e. ... 45
2.3.4 Bilan des outils et pratiques existantes ... 46
2.4QUELS OUTILS POUR L’ÉVALUATION DE LA MISE EN ŒUVREDES INTERVENTIONS COMPLEXESPOUR LES ACTEURS DE TERRAIN ? ... 47
3. LES PERSPECTIVES... 48
3.1LES PISTES D’AMÉLIORATION... 48
3.2LES MANQUES ... 49
3.3LES OBJECTIFS DE LA THÈSE ... 51
PARTIE 2. PRATIQUES ET BESOINS DES ACTEURS DE PROMOTION DE LA SANTÉ ... 52
1. PRÉALABLE ... 52
ARTICLE (SOUMIS):PRACTICES AND NEEDS OF HEALTH PROMOTION PROFESSIONALS WHEN EVALUATING THEIR ACTIONS AND PROGRAMMES. ... 53
2. SYNTHÈSE ET PERSPECTIVE ... 72
2.1LES PRINCIPAUX RÉSULTATS : ... 72
PARTIE 3. DÉVELOPPEMENT DE L’OUTIL ... 74
1. PRÉALABLE ... 74
2. DU CAHIER DES CHARGES À L’OUTIL ... 74
2.1DU CAHIER DES CHARGES À LA MAQUETTE ... 74
2.1.1 Le choix technologique ... 74
2.1.2. La rédaction du cahier des charges ... 74
2.1.3 La maquette ... 79
2.2DE LA MAQUETTE À L’OUTIL ... 81
PARTIE 4. APPLICATION AU PROGRAMME PRALIMAP-INÉS ... 83
1. PRÉALABLE ... 83
PUBLICATION:REDUCING SOCIAL INEQUALITIES IN ACCESS TO OVERWEIGHT AND OBESITY CARE MANAGEMENT FOR ADOLESCENTS: THE PRALIMAP-INÈS TRIAL PROTOCOL AND INCLUSION DATA ANALYSIS. ... 83
2. PRALIMAP- INÉS, UNE RECHERCHE INTERVENTIONNELLE, UNE INTERVENTION COMPLEXE ... 103
2.1FONCTIONS CLÉS DES INTERVENTIONS ... 105
2.1.1Acquisition et/ou au maintien de compétences visant à mieux appréhender les aspects nutritionnels . 105 2.1.2Prise en compte dans les pratiques professionnelles des particularités individuelles des adolescents d favo is s et de l’isole e t des p ofessio els ... 107
. . D passe les uestio s de ait ise de l’i fo atio ite ... 108
. . A s à l’i fo atio pou les adoles e ts ... 109
2.1.5 Pallier les difficultés financières ... 109
2.1.6 Construction et maintien de la motivation ... 110
2.1.7 Maitrise et autonomie dans les sensations / émotions, gestion des contraintes ... 111
. .8 Dista es so io ultu elles e t e les p ofessio els et l’adoles e t ... 112
2.2LA PLANIFICATION ET LE SUIVI DE LA MISE EN ŒUVRE À L’AIDE DE L’OUTIL ... 113
3. MÉTHODES : ... 114
3.1EVALUATION DE L’EFFICACITÉ DU PROGRAMME PRALIMAP-INES ... 114
3.2EVALUATION DE PROCESSUS DU PROGRAMME PRALIMAP-INES ... 114
3.2.1 Le suivi de la ise e œuv e à l’aide de l’outil ... 115
3.2.2 Les techniques utilisées... 115
3.2.3 Analyse des données ... 117
4. RÉSULTATS... 121
4.1LA SÉANCE DE REPÉRAGE ... 121
4.2EFFICACITÉ DU PROGRAMME ... 121
4.3FACTEURS POTENTIELS INFLUENÇANT LA VENUE AU SUIVI (T1 ET T2) ... 129
4.4PROCESSUS ... 131
. . Les appo ts de l’outil PREV@LISS da s l’ valuatio de la ise e œuv e ... 131
. . L’a epta ilit et la faisa ilit des fo tio s l s ... 138
. . Mise e œuv e d’u e ouvelle fo tio l : Favo ise l’a s au soi s des adoles e ts oi s favo is e situatio d’o sit ... 145
PUBLICATION (SOUMIS):IMPLEMENTATION AND EVALUATION OF A CARE MANAGEMENT PROPORTIONATE TO ADOLESCENTS SUFFERING FROM OBESITY: PRALIMAP-INÈS TRIAL ... 146
. . La dose d’i te ve tio ... 165
4.4.5 Le regard des acteurs ... 184
PARTIE 5. PERSPECTIVES ... 193
. L’ÉVALUATION DES INTERVENTIONS ... 193
1.1L’OUTIL PREV@LISS UN SUPPORT POUR LES ACTEURS ET LES CHERCHEURS ... 193
1.2LA POURSUITE DE L’EXPLOITATION DES DONNÉES DE PRALIMAP-INÉS... 193
1.3LA DOSE D’INTERVENTION APPLIQUÉE À D’AUTRES PROGRAMMES ... 193
2. LES INTERVENTIONS EN PROMOTION DE LA SANTÉ ET EN SANTÉ PUBLIQUE ... 194
2.1LA COLLABORATION ENTRE LES ACTEURS DES DIFFÉRENTS NIVEAUX DU PARCOURS DE SOINS ET LA NÉCESSITÉ D’INTÉGRER DES PROFESSIONNELS RELAIS. ... 194
2.2VERS UNE AMÉLIORATION DE LA PRISE EN CHARGE DE L’OBÉSITÉ ?... 194
2.3LE PNNS2017-2021 DANS L’OBJECTIF DES RÉUDUIRES LES INÉGALITÉS SCOIALES DE SANTÉ EN NUTRTION ... 195
2.4LA PRISE EN CHARGE DU SURPOIDS ET DE L’OBÉSITÉ TOUT AU LONG DU PARCOURS SCOLAIRE ... 195
3. EN RECHERCHE INTERVENTIONNELLE ... 196
3.1LES EFFETS DE L’INTERVENTION PERDURENT-ILS À MOYEN ET LONG TERME ? ... 196
3.2FAUT-IL PROPOSER DES INTERVENTIONS ADAPTÉES AU GENRE ?... 196
CONCLUSION ... 197 BIBLIOGRAPHIE ... 198 TABLEAUX ... 219 FIGURES ... 220 PUBLICATIONS ET COMMUNICATIONS ... 221 ANNEXES ... 224
Définitions des mots clés
Adaptation / Adaptations : modifications apportées au programme original pendant la mise en
œu e.
Adhérence au programme / Adherence : mesure à quel poi t les l e ts is e œu e du
programme correspondent à l'intervention prévue dans le protocole.
Contexte / Context : facteurs extérieurs à l'intervention qui peuvent influencer sa ise e œu e, ou
son impact.
Evaluation des processus / Process evaluation : étude qui vise à comprendre le fonctionnement
d'u e i te e tio , e e a i a t la ise e œu e, les a is es d'i pa t et les fa teu s contextuels. L'évaluation des processus est complémentaire à l'évaluation des résultats.
Exposition ou dose / Dose : quantité de programme qui a été fournie
Fidélité / Fidelity : mesure dans laquelle une intervention est exécutée comme prévu initialement
Fonction clé / Key function : processus qui vise à produire un changement afin de modifier une
situation jugée problématique.
Intervention complexe / Complex Intervention : Les interventions sont dites complexes en raison du
nombre de leurs composantes et de leurs interactions, des groupes ou niveaux organisationnels ciblés, de la variabilité des résultats, de la difficulté des comportements à adopter par les bénéficiaires et les acteurs.
Mise e œuvre / Implementation : explore comment l'intervention a été délivrée (ex: formation et
essou es e uises pou assu e la totalit de l’i te e tio et u’est-ce qui a été délivré (quantité et ualit de l’i te e tio ?
Mé a is es de l’effet / Mechanisms of impact : reliant les actions aux résultats ; explication de la
chaîne de causalité.
Portée / Reach : taux de participation et de représentativité des participants au programme. Qualité de l’i terve tio délivrée / Quality of delivery : se réfère aux processus et aux idéaux de
contenu dans une intervention.
Réceptivité des participants / Participant responsiveness : mesure la participation à l'intervention et
la façon dont ils perçoivent cette participation. Cette partie inclut la perception par les participants de toutes les composantes de l'intervention et la prise en compte de leurs opinions.
Spécificité du programme / Program differentiation : les éléments / caractéristiques qui sont
p op es à l’i te e tio afi de disti gue les l e ts ui so t p opos s sp ifi ue e t pa le p og a e et eu ue el e d’u p og a e plus g aliste et ui fi ale e t peut e i compléter ou contredire les résultats attendus par le programme.
Transférabilité / Transferability : esu e da s la uelle le sultat d’u e i te e tio da s u
Abréviations
AP Activité Physique
ARS Agence Régionale de Santé
AVRS Association Vosgienne des Réseaux de Santé
CESC Comité d'Éducation à la Santé et à la Citoyenneté
CFIR Consolidated Framework For Implementation Research
CPAM Caisse P i ai e d’Assu a e Maladie
CPO Contexte, Processus, Résultats
CSO Centre Spécialisé de l'Obésité
ECR Essai Contrôlé Randomisé
EM Entretien Motivationnel
EN Éducation Nationale
ET Écart Type
FAS Family Affluence Scale
GHI Groupe Homogène d'Intervention
HCSP Haut Conseil de la Santé Publique
IMC Indice de Masse Corporel
IOTF International Obesity Task Force
IREPS Instance Régionale d'Éducation et de Promotion de la Santé
ISS Inégalités Sociales de Santé
MRC Medical Research Council
NPT Normalization Process Theory
OMS Organisation Mondiale de la Santé
PNNS Programme National Nutrition Santé
PRALIMAP Promotion de l'ALIMentation et de l'Activité Physique
PRALIMAP-INÉS PRo otio de l’ALIMe tatio et de l’A ti it Ph si ue – INÉgalités de Santé
RCP Réunion de Concertation Pluridisciplinaire
RE-AIM Reach Effectiveness Adoption Implementation Maintenance
SFSP Société Française de Santé Publique
Introduction
L’ aluatio des interventions en promotion de la santé est une démarche incontournable visant à p odui e des o aissa es su leu effi a it et su les fa teu s à o sid e lo s de l’i pla tatio d’i te e tio s. Elle constitue un véritable challenge de par la complexité de ces interventions, le o e d’a teu s impliqués ou e o e l’i flue e des o te tes su site (Saunders et al., 2005). Or l’ aluatio de l’effi a it des programmes est fréquemment conduite sans tenir compte de cette variabilité (Dusenbury et al., 2003). Une même intervention peut pourtant être réalisée et reçue de façon différente e fo tio des o te tes, e ui essite d’ alue so p o essus pour mieux en interpréter les résultats (Oakley et al., 2006).
De nombreux auteurs préconisent de conserver u deg de fle i ilit da s la ise e œu e des interventions (Datta and Petticrew, 2013) et invitent les évaluateurs à utiliser des approches à la fois quantitatives et qualitatives pour mieux explorer les modalités et le contexte de ise e œu e - par exemple pour comprendre les obstacles à la participation (Craig et al., 2008). Le Medical Research Cou il MRC a p opos u ad e pou l’ aluatio de p o essus (Moore et al., 2015) avec des recommandatio s pou l’ aluatio de la ise e œu e. Les responsables de projet en promotion de la santé sont confrontés à des difficultés pour évaluer leur projet, l’u e des premières étapes est de proposer une démarche structurée dès le début de la ise e œu e de l'intervention pour fa ilite l’évaluation. L'amélioration de l'évaluation est également un enjeu majeur pour les chercheurs, les financeurs et les décideurs qui recherchent les interventions de santé publique les plus efficaces et les plus adaptées pour promouvoir la santé, prévenir les maladies et réduire les inégalités en matière de santé. Ainsi nous avons centré os t a au su l’ aluatio de la ise e œu e des i te e tio s de p o otio s de la sa t .
Ces travaux sont présentés en cinq parties :
La première partie est o sa à l’a al se de la p o l ati ue afi de ett e e ide e l’ olutio des o epts et de la pla e de l’ aluatio de p o essus da s les i te e tio s o ple es et les enjeux et défis des chercheurs et acteurs dans cette évaluation ;
Dans une seconde partie nous décrivo s, autou d’u a ti le sou is, les p ati ues des p ofessio els pou l’ aluatio des a tio s et p og a es de p o otio de la sa t et leu s esoi s ua t à l’utilisatio d’u outil i fo ati ue pe etta t le sui i et l’ aluatio de leu p ojet ;
Dans la troisième partie, les tapes du d eloppe e t de l’outil i fo ati ue visant à structurer et fa ilite la ise e œu e de l’ aluatio des p og a es de p o otio de la sa t sont décrites ; La quatrième partie est o sa e à la ise e appli atio des o epts de l’ aluatio et de l’utilisatio de l’outil, à pa ti de l’essai PRALIMAP-INÉS PRo otio de l’ALI e tatio et de l’A ti it Physique visant la réduction des INÉgalités de Santé).
Enfin, les perspectives de ce travail sont présentées en dernière partie sous différents axes l’ aluatio des i te e tio s, les i te e tio s en promotion de la santé et en santé publique et les recherches interventionnelles.
PARTIE . L’ valuatio de p o essus des interventions en santé :
contextualisation, enjeux et perspectives
1. Contextualisation
La santé, au-delà de l’a se e de aladie et d’i fi it , est un concept complexe intégrant les dimensions physique, mentale et sociale qui ne se laissent pas approcher par une seule mesure ou sur une seule approche. L’ tat de sa t de la populatio F a çaise est, dans son ensemble, « bon » comparativement aux pays disposant du même niveau de richesse. Cependant la mortalité prématurée « évitable » reste importante avec des inégalités sociales et territoriales fortes. Ainsi, agir sur les comportements qui contribuent le plus à cette mortalité constitue un enjeu majeur de santé publique. Cependant les comportements qui ont un impact sur la santé sont très nombreux, puis u’ils englobent p ati ue e t l’e se le des a ti it s hu ai es a ti it ph si ue, so eil, ali e tatio o so atio de su sta es ps hoa ti es, so ia ilit … . Le i eau d’ du atio , les o ditio s de ie, la ualit de l’e i o e e t et de l’off e de services (notamment de santé) à proximité des lieux de vie ont également un impact déterminant. Ces différents facteurs exercent une influence sur la santé dès la vie intra-utérine et leurs effets se cumulent tout au long de la vie, ce qui rend les politiques de prévention complexes. (Santé publique France, Direction de la recherche, des tudes, de l’ aluatio et des statisti ues,
1.1 Les interventions complexes en santé
La notion de complexité est de plus en plus évoquée par les chercheurs et ne se limite pas au champ de la santé. En santé, la complexité est définie par des caractéristiques objectivables des i te e tio s ou de leu s o te tes da s u o je tif d’ aluatio (Pagani et al., 2017).
1.1.1. La prévention
La notion de prévention a évolué au fil du temps. E l’O ga isatio Mo diale de la Sa t OMS (Nutbeam, 1986) définit la prévention comme l'ensemble des mesures visant à éviter ou réduire le nombre et la gravité des maladies, des accidents et des handicaps.
Elle est distinguée en trois types:
• La prévention primaire : intègre un ensemble des actes visant à diminuer l'incidence d'une maladie dans une population et donc réduire, autant que faire se peut les risques d'apparition de nouveaux cas.
• La prévention secondaire : vise à diminuer la prévalence d'une maladie dans une population.
• La prévention tertiaire : intervient à un stade où il importe de diminuer la prévalence des incapacités chroniques ou des récidives dans une population.
L’OMS ta lissait ai si u e distinction fondée sur le stade de la maladie dans un objectif de renforcements du soin. RS.GORDON en 1982 (Gordon, 1983) p se te u e lassifi atio ui s’appuie sur la population cible avec:
• La prévention ciblée : non seulement fonction de sous-groupes de la population mais aussi et surtout fonction de l'existence de facteurs de risque spécifiques.
Cette lassifi atio pe et u e adaptatio à u e pathologie d’o igi e ultifa to ielle et d’ olutio séquentielle. Le rapport Flajolet propose en 2007 (Flajolet, 2007) une nouvelle définition pour une prévention active et responsabilisante. Il définit la prévention globale comme la gestion active de son patrimoine santé par la personne dans tous les aspects de la vie. En 2009, dans le "Traité de Santé Publique" de François Bourdilllon (Bourdillon, 2009), la notion de prévention décrit l'ensemble des actions, des attitudes et comportements qui tendent à éviter la survenue de maladies ou de traumatismes ou à maintenir et à améliorer la santé. Il convient de distinguer :
• La prévention dite de "protection" qui est avant tout une prévention "de", ou "contre", qui e oie à l’id e de défense contre des agents ou des risques identifiés.
• La prévention dite "positive" voire universelle, du sujet ou de la population, sans référence à un risque précis, qui renvoie à l'idée de "promotion de la santé".
1.1.2 La promotion de la santé
La promotion de la santé est d fi ie pa l’OMS d s , comme « le processus qui confère aux populatio s les o e s d’assu e u plus g a d o t ôle su leu p op e sa t et d’a lio e elle-ci » (Nutbeam, 1986). En 2009, la définition est élargie pour ne pas être cantonnée au secteur de la santé et se limiter à la préconisation de modes de vie qui favorisent la bonne santé ; son ambition est le bien- t e o plet de l’i di idu. La p o otio de la sa t a pou ut de do e au i di idus davantage de aît ise de leu p op e sa t et da a tage de o e s de l’a lio e . Outre les actions destinées à renforcer la capacité de chacun à agir dans un sens favorable à sa santé et à celle des aut es, la p o otio de la sa t o p e d u e se le d’a ti it s à portée sociale et politique. Elle utilise des thodes d’i te e tio fo d es su la pa ti ipatio des personnes et des groupes, sur l’i pli atio des o u aut s, et su la o ilisatio des ressources présentes dans chaque territoire (Bourdillon, 2009).
1.1.3. L’éducation pour la santé
Comme pour les concepts précédents, la terminologie a beaucoup évolué (Tondeur and Baudier, 1996) pe etta t d’a i e à u o ept isa t i te tio elle e t l’a oisse e t des o aissa es e ati e de sa t et le d eloppe e t d’aptitudes influençant positivement la santé des individus et des groupes. En avril 1942, P.Delore p se tait l’ du atio sa itai e ui consistait à une information sur comment conserver la santé plutôt que comment guérir la maladie. En 1969, dans le rapport de l’OMS, l’ du atio à la sa t appa aissait o e u e a tio e e e su les individus pour les amener à modifier leur comportement d'une manière générale, elle vise à leur faire acquérir et conserver des saines habitudes de vie, à leur apprendre à mettre judicieusement à leur profit les services sanitaires qui sont à leur disposition et à les conduire à prendre eux-mêmes isolement et collectivement les décisions qu'impliquent l'amélioration de leur état de santé et de la salubrité du milieu où ils vivent. Dans les années 1980, les recherches en épidémiologie pointent de plus e plus les fa teu s ui o ou e t à alt e la sa t d’u i di idu ou d’u e olle ti it (LAMOUR and BRIXI, 2007). L'éducation pour la santé apparait comme un acte d'accompagnement de l'homme dans ses trois dimensions : sujet individuel (désirant et contradictoire), sujet inséré dans une culture (qui le modèle et le contraint), sujet politique (collectivement responsable et à la fois dépossédé des choix de société qui conditionnent la qualité de la vie) (Lecorps P, 2000).
L'éducation pour la santé s'inscrit dans une démarche de promotion de la santé telle que définie dans la charte d'Ottawa à travers 5 axes stratégiques présentés dans la figure 1. L’u des e gage e ts is s pa la ha te d’Otta a est l’ uit e ati e de sa t e se fo da t su le principe de justice sociale, elle prône les interventions qui ont pour but de réduire les écarts actuels de sa t et d’off i à tous les individus les mêmes ressources et possibilités pour réaliser pleinement leur potentiel santé (Organisation mondiale de la santé, 1986).
Figure 1 : Extrait de la conférence internationale pour la promotion de la santé : vers une nouvelle santé publique – 17-21 novembre 1986 Ottawa, Ontario, Canada
1.1.4 Les stratégies d’intervention : politiques, plans, programmes et actions
de santé
La réponse aux objectifs posés par ces 3 concepts doit passer par une opérationnalisation stratégique su le te ai et la ise e œu e d’i te e tio . L’i te e tio est définit comme un système organisé d'action (une structure, des acteurs et leurs pratiques, des processus d'action, une ou des finalités et un environnement) visant, dans un environnement donné, durant une période de temps donnée, à modifier le cours prévisible d'un phénomène pour corriger une situation problématique (Contandriopoulos et al., 2000). Elle peut p e d e la fo e de politi ues, de p og a es, d’a tio s, en santé publique ou autres secteurs. Logiquement, les politiques déterminent les plans, sur lesquels se o st uise t les p og a es, se t aduisa t pa la ise e œu e d’a tio s su le te ain. Les politiques se situent donc au sommet de la hiérarchie. Prenons un exemple, en 2000, le Haut Conseil de la Santé Publique a remis un rapport intitulé " Pour une politique nutritionnelle de santé publique en France " ; en janvier 2001, le Programme national nutrition santé (PNNS) a été lancé avec pour o je tif g al l’a lio atio de l’ tat de sa t de l’e se le de la populatio e agissa t su l’u
he heu s ui s’appuie t su es pla s e e ple du p ogramme recherche-action PRALIMAP (PRALIMAP Trial Group et al., 2010) o t t ises e œu e.
L’u e des p io it s actuelles est de lutter contre les inégalités sociales de santé. Les inégalités sociales de sa t fo t f e e à toute elatio e t e la sa t et l’appa te a e à u e at go ie so iale. Elles renvoient aux écarts, généralement évitables, entre hommes et femmes, entre groupes socioéconomiques et entre territoires, qui ont un impact sur de nombreux aspects de la santé des populations. Pour les réduire des interventions de santé des populations visant les inégalités sociales de santé sont déployées. Elles sont définies comme toute action qui vise à modifier la distribution des risques liés à la santé en ciblant les conditions sociales, économiques et environnementales qui la façonnent (Potvin et al., 2010).
Pou les auteu s d’u a ti le sur les conditions de réussite des interventions en santé publique (Blum-Boisgard et al., 2005), la règle numéro 1 à o se e da s la o duite d’i te e tio s est d’accorder auta t d’i po ta e au ou t et o e te es u’au lo g te e ; po te auta t d’atte tio au p o essus u’au sultats. Il faut également prendre en considération que les interventions de santé publique sont des interventions considérées comme complexes, car elles sont multi-composantes, intègrent plusieurs acteurs et nécessitent des adaptations au contexte (Campbell et al., 2000). Leurs évaluations sont par conséquent elles aussi complexes (Craig et al., 2008) et o stitue t l’e jeu de la recherche interventionnelle.
1.1.5 La recherche interventionnelle
La e he he i te e tio elle est d fi ie o e l’utilisatio de thodes s ie tifi ues pou développer des connaissances sur les interventions qui visent à modifier la distribution des facteurs de risque et des déterminants sociaux, culturels et environnementaux de la santé dans une population (Hawe and Potvin, 2009). Ces interventions peuvent être des stratégies, politiques publiques, programmes, événements ou activités selon le niveau de gouvernance auquel elles sont associées (Hawe and Potvin, 2009 ; Ferron et al., 2013). Elle a pou o je tifs de d o t e l’effi a it des i te e tio s, d’a al se les le ie s à o ilise , les a is es des i te e tio s, leurs o ditio s et odalit s de ise e œu e, leu ep odu ti ilit et du a ilit (Alla and Kivits, 2015). Pour atteindre les objectifs visés par la recherche interventionnelle il est nécessaire de présenter une évaluation rigoureuse de la ise e œu e pou e plo e le fo tio e e t, les a is es… (Hawe and Potvin, 2009), alue l’effi a ité en déterminant si les programmes fonctionnent ou non et identifier comment les améliorer (Duflo et al., 2006) et également sa transférabilité (Cambon and Alla, 2013). Dans les programmes de recherche l’essai o t ôl a do is individuel est le gold standard, la esu e de l’effet est p i il gi e epe da t il ’est pas toujou s alisa le e aiso de la atu e de l’i te e tio exemple : une politique de santé) ou de ces effets (exemple : effets rares ou visible à long terme). D’aut es méthodologies se sont développées tel ue l’essai a do is e groupe (ou cluster) (Donner and Klar, 2000; Eldridge and Kerry, 2012) l'unité de randomisation est un groupe, ui pe et d’a al se le fonctionnement de l'intervention au niveau du groupe en réduisant les biais de contamination entre les bras. Les essais randomisés en groupes peuvent prendre plusieurs formes (Turner et al., 2017) :
• Stepped-Wedge (Spiegelman, 2016): cette méthode propose un échelonnement dans le te ps de la ise e œu e de l’intervention. Chaque groupe d'unité expérimentale expérimente l'intervention à un moment donné, il est à la fois expérimentateur et témoin en fonction des phases permettant des comparaisons à l'intérieur d'une même unité et entre les unités.
• Network-randomized (Staples et al., 2015): cette méthode utilise, pour les maladies infectieuses, l'information du réseau pour identifier la contamination potentielle entre les groupes. La structure des interactions, dans et entre, les clusters peut réduire la puissance de l'essai, c'est-à-dire que la probabilité de détecter correctement un effet réel du traitement est réduite.
• Pseudocluster Randomized Trials (Borm et al., 2005) : cette méthode propose que toutes les personnes d’u luste ne reçoivent pas le même traitement, seulement la majorité. Il y a deux groupes de grappes : dans un groupe, la majorité des sujets reçoivent le traitement A, tandis qu'un nombre limité de sujets reçoivent le traitement B. Dans l'autre groupe de grappes, les proportions sont inversées.
• Individually Randomized Group-Treatment (Baldwin et al., 2011) : cette méthode randomise les individus pour étudier les bras d’i te e tio , en proposant des interventions en petits groupes ou par l'intermédiaire d'un intervenant commun. Cette méthode est également appelée modèle partiellement groupé ou partiellement imbriqué.
La recherche interventionnelle peut utiliser les méthodes et outils utilisés dans le domaine biomédical, ces méthodes apparaissent des opportunités car elles permettent de prendre les individus dans leur contexte, m e si il faut esti e l’i flue e des fa teu s contextuels (Treweek and Zwarenstein, 2009). Les résultats de ces recherches doivent contenir une présentation détaillée du contexte, des participants, des interventions, des résultats, da taille de l'échantillon, le type d’ tude, le processus de sélection des participants et la reproductibilité des résultats (Zwarenstein et al., 2008).
L’u e des o ditio s d’effi a it de la d a he d’u e e he he i te e tio elle est u’elle soit une véritable co-construction entre chercheurs et acteurs de terrain. Les chercheurs doivent aussi a epte l’id e ue leu i te e tio e peut t e possi le sa s u e olla o atio t oite et u e pa ti ipatio ita le des a teu s du te ai . E effet, seuls es de ie s so t e esu e d’agi su les mécanismes qui permettent de générer des effets (Ferron et al., 2013). Il existe beaucoup d’i te e tio s e sa t des populatio s, do t le fo tio e e t ou l’effi a it ’o t ja ais t tudi s. Des i o atio s lo ales, ises e œu e pa des i te e a ts d ou s, ’o t pas d’a e i faute de essou es et d’a gu e ts pou les d plo e à plus g a de échelle (Potvin et al., 2013). A o t a io les he heu s ’ alue t pas systématiquement les o ditio s de ise e œu e et les variations apportées aux interventions (Dane and Schneider, 1998; Durlak and DuPre, 2008; Dusenbury et al., 2003), les résultats des programmes sont souvent analysés sans tenir compte de la variabilité (Saunders et al., 2006). Cela peut conduire à la conclusion qu'un programme est inefficace alo s u’il ’a pas t is e œu e o e p u "e eu de t pe III" selo Bas h et al.(Basch et al., 1985). Il o ie t do d’e plo e les thodologies d’ aluatio des i te e tio s o ple es.
. L’évaluation des interventions complexes
1.2.1
Qu’est-ce que l’évaluation ?
etta t e œu e u dispositif pe etta t de fou i des i fo atio s s ie tifi ue e t alides et socialement légitimes sur cette intervention ou sur n'importe laquelle de ses composantes, aux différents acteurs concernés, de façon à ce qu'ils puissent, en fonction de leur champ de jugement, prendre position sur l'intervention et construire un jugement qui puisse se traduire en actions (Contandriopoulos et al., 2000). La atu e o ple e, ultidi e sio elle, et pa ado ale d’une intervention doit, selon Contandiropoulos et al, amener les évaluateurs à adopter des approches non conventionnelles, synthétiques, et capables de rendre compte du jeu des acteurs. L’ aluatio d’u e intervention complexe soulève des enjeux conceptuels, méthodologiques, et opérationnels que doit su o te l’ aluateu pou a oît e le deg d’utilisatio des résultats par les décideurs (Contandriopoulos et al., 2011).
L’ aluatio peut gale e t t e d fi ie comme formative ou sommative selon ses finalités. La finalité formative, ise à a lio e la ise e œu e de l’i te e tio le pilotage) et la finalité sommative a al se les effets de l’i te e tio pou e ti e les leço s. L’ aluatio fo ati e, ou aluatio e ou s, ai tie t u e t oa tio o sta te tout au lo g de la ise e œu e de l’i te e tio , permettant à celle- i d’ t e continuellement modifiée à mesure que des données nouvelles sont connues. Elle fournit des repères pour réajuster le tir et maintenir le cap. Elle s’i t esse do au effo ts d plo s pa les a teu s o ilisatio des essou es, alisatio des activités) pour rejoindre les publics visés (Groupe-ressource en évaluation, 2008). L’ aluatio so ati e, ou aluatio e fi d’i te e tio ou e fi de phase , s’atta he au effets o te us pa l’i te e tio . Plus g ale e t, elle s’i t esse à toutes les o s ue es de l’i te e tio : il s’agit de d te i e les sultats et l’i pa t de l’i te e tio (Groupe-ressource en évaluation, 2008). L’ aluatio est utile au p ofessio els i pli u s da s l’i te e tio a lio atio de l’i te e tio , app iatio de la ise e œu e, a lio e les p ati ues p ofessio elles, diffuse les e p ie es… , à la populatio fi iai e o aissa e des sultats, a e adaptation de l’i te e tio à leu s esoi s… et au fi a eu s, e e da t o pte de l’utilisatio des financements accordés, des résultats et de la pertinence des travaux ou de la nécessité de modifier à l’a e i les odalit s d’i te e tio .
1.2.2
Quelles sont les objets de l’évaluation ?
Pour o p e d e les diff e tes o posa tes is es pa l’ aluatio , il est essai e de ep e d e les tapes d’u e i te e tio et de s’i te oge su les o jets is s (figure 2) (Groupe-ressource en évaluation, 2008).
Une intervention se caractérise par 5 composantes : des objectifs ; des ressources ; des activités ; des effets ; un contexte à un moment donné (Contandriopoulos et al., 2000). Les o jets de l’ aluatio peu e t t e positio s e ega d des o posa tes et des tapes d’u e i te e tio . Ainsi les o jets de l’ aluation sont :
• la pe ti e e, ise à s’i te oge su le ie -fo d du p og a e ou de l’i te e tio . Cette aluatio peut t e po t e a p io i lo s de la phase de p pa atio d’u e i te e tio et a poste io i lo s de l’ aluatio fi ale e e uestio a t le bien-fo d de l’i te e tio .
• la oh e e, ise à s’i te oge su la oh e e e t e les diff e ts o je tifs ; les o je tifs et les activités prévues pour atteindre les objectifs ; les activités prévues et les moyens alloués (ressources). Cette évaluation peut être portée a priori pendant la phase de p pa atio d’u e i te e tio et a poste io i lo s de l’ aluatio fi ale e e uestio a t le bien-fo d des odalit s de l’i te e tio .
• le p o essus, ise à e plo e le o te te, la ise e œu e de l’i te e tio , les a is es de l’effet, et fo tio e e t de l’i te e tio . Elle o e e les a ti it s et se i es p oduits par le programme, les ressources mobilisées (humaines, matérielles et financières), la pa ti ipatio des diff e ts t pes d’acteurs (populations concernées, partenaires, i te e a ts, … .
• le sultat o siste à esu e le deg d’attei te des o je tifs a o s, esu e l’effi a it . Selo les o je tifs de l’i te e tio , ela peut o e e des olutio s de l’e i o e e t, des politiques de santé, des connaissances, représentations ou comportements individuels, des pa a t es iologi ues ou a th opo t i ues, des pathologies, …
• l’i pa t o siste à ett e e ide e des sultats i atte dus.
Figure 2 : D oul d’u e i te ve tio , o jets et uestio s valuatives Objectifs généraux et
spécifiques Problèmes à résoudre
Identification Choix des priorités
Activités prévues
Ressources prévues
Population atteinte
Ressources mobilisées
Impact. Quelles sont toutes les
conséquences que ce programme peut avoir pour le(s) groupe(s) visé(s) et au delà ?
Diagnostic. D’où est
e ue l’id e de e programme ? A quel(s) problème(s) veut-il répondre ?
Objectifs. Quels sont les
changements attendus du programme pour le(s) groupe(s) visé(s) ?
Quelles sont les activités qui ont été prévues et en direction de quel(s)
groupe(s) ?
Quelles activités ont réellement été mises en place et avec quel(s)
groupe(s) ?
Quelles ressources (humaines, matérielles, financières) ont réellement été mobilisées ? Quelles sont les
ressources prévues pour
mener les activités : temps de personnel, partenaires, prestataires, matériel, financement ? Objectifs réellement atteints (résultats) + autres effets
Population cible Activités mises en place P E R T I N E N C EC O H E R E N C E P R O C E S S U S R E S U L T A T I M P A C T
Dans le domaine de la recherche, l’ aluatio d’u e i te e tio s’est focalisée durant de nombreuses années sur son efficacité. La recherche interventionnelle est en plein essor en France, elle et e a a t d’aut es p io it s ota e t la o p he sio de la mise e œu e de l’i te e tio et les a is es de l’effet. Ces éléments, se rapportant à l’ aluatio du p o essus, peuvent aide à l’interprétation des résultats ota e t e alua t à uel poi t l’i te e tio a elle e t t ise e œu e o e p ue par le protocole ou en estimant une dose-effet. Il convient donc de porter une attention particulière à l’évaluation du processus.
2. Les enjeux de l’évaluation de processus
L’ aluatio de p o essus ise à fou i u e o p he sio d taill e des i te e tio s pou lai e les politiques et la pratiques. L’ aluatio de p o essus peut t e utilis e pou alue la quantité et la qualit de la ise e œu e, pou la ifie les a is es, et ide tifie les fa teu s o te tuels influencent la réalisation et le fo tio e e t des i te e tio s. La p o l ati ue de l’ aluatio de processus des interventions complexes est récente. Une recherche bibliographique menée en 2017 sous PUBMED avec les mots clés « process evaluation complex interventions» montrent que 75% des articles datent des 10 dernières années.
2.1
Les fonctions clés de l'évaluation de processus des interventions
complexes
En 2014, le Medical Research Council MRC a pu li u guide sp ifi ue à l’ valuation de processus des interventions complexes en santé publique. (Moore et al., 2015). Dans ce guide, 3 fonctions clés de l’ aluatio de p o essus so t p se t es et s h atis es da s la figure 3.
Il o ie t d’e plo e :
• La ise e œuv e : comment l'intervention a été délivrée (ex: formation et
essou es e uises pou assu e la totalit de l’i te e tio et u’est-ce qui a été d li ua tit et ualit de l’i te e tio ?
• Les mécanismes de l’effet reliant les actions aux résultats : explication de la chaîne de causalité
• Le contexte : comment le contexte dans lequel l'intervention est délivrée, affecte à la fois la ise e œu e et l’attei te des sultats ?
2.1.1 Le contexte
La compréhension du contexte dans lesquels les interventions complexes sont ises e œu e et reçues par la population est essentielle pour expliquer pourquoi elles fonctionnent ou ne fonctionnent pas. Cette compréhension du contexte est également nécessaire pour envisager une transférabilité des interventions. Le contexte peut inclure tous les facteurs externes à l'intervention qui entravent ou renforcent les effets de l’i te e tio . Il peut s’agi des pe so es e ha ge de la ise e œu e de l’i te e tio de pa leu s o p te es, leu s attitudes, leu s o ga isatio s, leu s ressources (Berwick, 2008; Glasgow et al., 2003). De même les participants peuvent influencer le contexte de par leurs interactions, leurs attitudes, leurs croyances ou leurs ressources. Ainsi les interventions pourront être différentes d'un contexte à l'autre ou parmi différents groupes (Bonell et al., 2006).
2.1.2 Les mécanismes de l’effet
Toutes les interventions de santé publique so t o st uites, su des th o ies, da s l’o je tif de résoudre ou palier une problématique de sa t . Il o ie t d’identifier et énoncer ces hypothèses pour améliorer la compréhension de la mise e œu e et du fo tio e e t de l'i te e tio . L’ aluatio aliste proposée par Pawson et Tilley vise à explorer les configurations contexte-mécanisme-résultats, afin de comprendre « ce qui fonctionne, pour qui, dans quelles circonstances». (Pawson and Tilley, 1997). Le MRC, pour l'élaboration et l'évaluation d'interventions complexes, soutient que seul un examen minutieux des mécanismes de causalité est possible pour développer des interventions efficaces et pour comprendre comment les résultats pourraient être transférés dans des contextes et auprès de populations différents (Craig et al., 2008).
. . La mise en œuvre
Deu d fi itio s so t p opos es pou la ise e œu e. La ère définition concerne la mise e œu e post-évaluation avec une description précise et testée de l'intervention en place (modèle logique présentant l'intervention, les modalités de réalisation, les mécanismes par lesquels l'intervention fonctionne et les circonstances contextuelles nécessaires pour que ces mécanismes soient activés… . La 2ème définition la plus utilisée vise principalement la réalisation de l’i te e tio e alua t la fid lit et la ua tit de e ui a t elle e t is e œu e (Craig et al., 2008). L'objectif principal d'une évaluation des résultats est de vérifier la théorie de l'intervention, afin de déterminer si l'action proposée a conduit au changement souhaité. L'examen de la qualité (fidélité) et de la quantité (dose) de ce qui a été mis en pratique et de la mesure dans laquelle l'intervention a atteint son public visé est essentiel, pour déterminer dans quelle mesure les résultats valident la théorie de l'intervention (Linnan and Steckler, 2002). En plus de ce qui a été livré (QUOI), les cadres conceptuels proposés ont tendance à préconiser l'examen de la façon dont l’i te e tio a été réalisée (COMMENT) (Carroll et al., 2007; Montgomery et al., 2013). Les interventions complexes impliquent souvent de demander au fou isseu s de l’i te e tio d’adopte u comportement fa e à l’i te e tio ou de odifie l’o ga isatio du système dans lequel l’intervention est menée, ce qui peut être aussi difficile à atteindre que la problématique visée par l'intervention. Pour généraliser une intervention, le décideur ou le praticien a besoin d'information non seulement sur ce qui a été fourni, mais aussi sur la façon dont des effets similaires pourraient être obtenus dans la pratique quotidienne. Les fonctions l s de l’ aluatio de la ise e œu e it pa le MRC so t la fid lit , la dose, la po t e et l’adaptatio epe da t des débats existent entre les auteurs (Moore et al., 2015).
2.2
Les composantes pour l’évaluation de la mise en œuvre : une terminologie
en balance
Les termes fidélité, adhésion, intégrité et ise e œu e de l’i te e tio sont souvent utilisés de manière interchangeable pour décrire la mesure dans laquelle une intervention est proposée comme prévue. Les auteu s s’a o de t su l’i po ta e de l’ aluatio de la ise e œu e pou a lio e la visibilité et renforcer la validité des résultats (Eldridge et al., 2008) notamment dans les interventions complexes en santé publique (Campbell et al., 2000; Hawe, 2015; Rychetnik et al., 2002) ais l’u e des p i ipales diffi ult s o espo d à l’e iste e d’u e terminologie instable pour définir les éléments qui permettent la esu e de la ise e œu e.
Selon Dane et Schneider (Dane and Schneider, 1998) et Dusenbery (Dusenbury et al., 2003) il y a 5 faço s de esu e « la ise e œu e » :
• L’adh e e au p og a e : L'adhérence mesure à quel point les éléments is e œu e
du programme correspondent à l'intervention prévue dans le protocole.
• L’expositio ou la dose : correspond à la quantité de programme qui a été fournie
• La ualit de l’i te ve tio d liv e : La qualité se réfère aux processus et aux idéaux de
contenu dans une intervention.
• La réceptivité des participants : mesure la participation à l'intervention et la façon dont ils perçoivent cette participation. Cette partie inclut la perception par les participants de toutes les composantes de l'intervention et la prise en compte de leurs opinions.
• Spécificité du programme : les éléments / caractéristiques ui so t p op es à l’i te e tio afin de distinguer les éléments qui sont proposés spécifiquement par le programme et ceux que el e d’u p og a e plus g aliste et ui fi ale e t peut e i o pl te ou contredire les résultats attendus par le programme.
En 2008, Durlak et DuPre (Durlak and DuPre, 2008) proposent d’ajouter 3 composantes :
• Le suivi des conditions de contrôle / comparaison, ce qui implique de décrire la nature et le montant des services reçus par les membres de ces groupes (contamination du traitement, soins habituels, services alternatifs).
• La portée : taux de participation et de représentativité des participants au programme.
• L’adaptatio : modifi atio s appo t es au p og a e o igi al pe da t la ise e œu e E , ous a o s i iti u e d a he pou app ie la ise e œu e des i te e tio s et pou oi esu e la ua tit et la ualit des a ti it s, p ues ou o , pa le p og a e. L’a ticle est présenté en annexe 1 (Legrand et al., 2012). La ise e œu e a t ai si pu t e app i e pa la dose d’i te e tio . Elle intègre les 2 types de dose (délivrée et reçue) de Steckler and Linnan (Linnan and Steckler, 2002).
En 2014, le MRC (Moore et al., 2015) etie t o posa tes pou ou i l’ aluatio de la ise en œu e :
• Les modalités : renvoi aux structures, ressources et mécanismes à travers lesquels la réalisation de l’i te e tio est e e.
• La fidélité : est la mesure dans laquelle une intervention est exécutée comme prévue initialement (Carroll et al., 2007). Comme souligné par Durlak (Durlak and DuPre, 2008) la
o la couverture : indique le degré auquel toutes les personnes qui sont inclus dans l’ tude o t eçu l'i te e tio .
o la fréquence : indique si l'intervention a été livrée avec la régularité ou à la fréquence planifiée par les concepteurs.
o la durée : détermine si l'intervention a été livrée avec la durée prévue par ses concepteurs.
Ca oll p opose d’ajoute des fa teu s de odération (le degré de complexité de l'intervention, la qualité de la réalisation, la réceptivité des participants). En complément Hasson (Hasson, 2010) a p opos d’ajouter le recrutement et le contexte comme facteurs modérateurs supplémentaires.
• La dose : vise à estimer quelle quantité d’i te e tio a t d li e ? il est fait référence à Steckler and Linnan qui distinguent 2 types de dose : la dose délivrée (la quantité d'intervention offerte aux participants), la dose reçue (l'ampleur de l'engagement des participants dans l'intervention) (Linnan and Steckler, 2002).
• La portée : est la mesure dans laquelle l’i te e tio a attei t le pu li i le. La prise en o pte de la po t e o e u l e t essai e de l’ aluatio est d pe dante du lien a e l’effi a it e e ple des e o a datio s de p ati ues p ofessio elles e peu e t aboutir si personne ne participe).
• L’adaptatio : sont les modifications apportées à une intervention afin de l’ajuste le plus possi le au o te te. L’e ploration des adaptations consiste à identifier si elles améliorent leur adéquation au contexte ou si elles compromettent son fonctionnement (Hawe et al., 2004a) (Hawe et al., 2004), ou dans les termes de Bumbarger et Perkins, l'innovation ou la dérive de l’intervention (Bumbarger and Perkins, 2008).
Il existe des débats su la fid lit et l’adaptatio , e si tous les auteu s s’a o de t la essit de comp e d e e ui est is e œu e, et o e t fo tio e u e i te e tio , ils e so t pas tous d’a o d su la eilleu e faço de d fi i la atu e fid lit et da s uelle esu e u e adaptatio aux contextes est acceptable ou nécessaire. Une alternative, à ce débat, est de prendre en o sid atio l’«esse e» d’u e i te e tio ses fo tio s l s ui peut t e sta da dis e, tandis ue sa ise e œu e à t a e s des a ti it s o tes sa fo e est diff e i e pou s’adapte au maximum au contexte dans lequel elle évolue (Hawe et al., 2004). Ces fonctions clés vont faciliter la transférabilité des interventions, en permettant une analyse des éléments efficaces à transférer en utilisant un outil tel que ASTAIRE (Cambon et al., 2014).
Le cadre du MRC (Moore et al., 2015) appo te des l e ts th o i ues su l’ aluatio de la ise e œu e des i te e tio s o ple es ais sa s pou auta t p opose u e d fi itio u i ue des composantes et sans séparation entre les composantes. En effet même si les dimensions clés de la ise e œu e o p e e t la fid lit la ualit de e ui est li et la dose la ua tit de e ui est livré). Certaines définitions intègrent également la portée (la mesure dans laquelle le public cible entre en contact avec l'intervention (Carroll et al., 2007; Linnan and Steckler, 2002)), tandis que d'autres le voient comme une composante séparée (Glasgow et al., 1999). Pour mieux appréhender es o epts, il est essai e d’o se e les p ati ues des a teu s pou l’ aluatio de la ise e œu e des interventions complexes.
2.3
Les pratiques et outils existants pour
l’évaluation de la mise en œuvre des
interventions complexes
Une recherche Pubmed avec les mots « evaluation of complex interventions implementation » a pe is d’ide tifie f e es do t au ou s de de i es a es. A e es ots l s des tra au su les a is es, su les fa teu s o te tuels asso i s à l’i te e tio et su l’ aluatio aliste o t t e t aits ais ous ’a o s ete u ue les t a au ui e plo e t l’ aluatio de la ise e œu e de l’i te e tio . Ai si 2 articles ont été retenus, ces articles ont pu être classés en fonction de :
• la p se tatio d’u ou eau ad e/concept/recommandation (n=8)
• l’utilisatio de ad e de f e e existant ou auteurs reconnus tel que (n=47):
• la t a s issio d’e p ie e sa s ad e de férence (n=11)
• la alisatio d’u e e ue de la litt atu e =
2.3.1 Les nouveaux concepts/cadres/recommandations :
La revue de la littérature menée sur la période a mis en évidence 8 nouveaux cadres. Ces cadres apportent des éclairages soit sous une forme générique, soit de façon spécifique à un domaine d’a ti it , u t pe de e he he ou une pathologie.
• Le modèle fonction- l / ise e œuv e/ o texte FIC) (Villeval et al., 2016).
Ce modèle vise, en distinguant les éléments transférables des interventions et ceux qui sont plus spécifiques au contexte, à fa ilite l’évaluation et la transférabilité. En se basant sur le principe de fonctions clés développé par Hawe (Hawe et al., 2004) : l’intégrité de l'intervention est définie selon sa fonction plutôt que de sa forme ainsi l'intervention s'adapte au contexte da s la ise e œu e de ses activités concrètes, mais reste fidèle à sa théorie (Hawe et al. 2009). Ce modèle a été testé sur l’i te e tio Ci -Ma-Santé incite dans le projet AAPRISS (Apprendre et Agir Pour Réduire les Inégalités Sociales de Santé)(Lang et al., 2016). L'élaboration d'une représentation schématique o t a t la o i aiso de fo tio s l s t a sf a les et d'a ti it s ises e œu e (figure 4) a été réalisée présentant ainsi les fonctions clés, les éléments significatifs du contexte dans lequel l'intervention Ciné-Ma-Santé a été mise e œu e et la forme parti uli e de l'i te e tio ’est à dire les a ti it s o tes ises e œu e . Ce modèle a permis d’e pli ite certaines dimensions qui demeuraient implicites dans le travail quotidien. Il met en avant la nécessité d’u e co-construction entre concepteurs et exécutants de l’'intervention, afin de mieux théoriser les interventions et de favoriser la description de la o i aiso des fo tio s l s, de la ise e œu e et du contexte. Les auteurs de ce modèle soulignent la difficulté d'établir une distinction entre la fo tio de l’i te e tio et sa fo e epe da t endre explicite les fonctions clés d'une intervention constitue une étape utile dans l'évaluation des effets de l'intervention et permet de formuler des hypothèses sur les éléments potentiellement transférables, ainsi que sur ceux qui sont modifiables tout en maintenant l'intégrité de l'intervention.
Figure 4 : E t ait de l’a ti le (Villeval et al., 2016) présentant le modèle fonction clé - ise e œuv e -contexte appli u à l’i te ve tio Ciné-Ma-Santé.
• Le od le d’ valuatio du o texte, du p o essus et des sultats CPO (Fridrich et al.,
2015)
Ce modèle, élaboré dans le cadre des interventions en santé menés dans des organisations/structures, vise à évaluer le contexte, le processus et les résultats. Il intègre les niveaux existant des organisations en distinguant les individus/dirigeants et groupes/organisations pour les mettre comme facteurs potentiels influençant le contexte, le processus et les résultats. Ce modèle e plo e les i te e tio s selo phases, l’a a t, le pe da t et l’ap s. Si nous nous intéressons plus particuli e e t à l’ aluatio du p o essus, le modèle d'évaluation du CPO définit le processus de ise e œu e o e la reconstitution, limitée dans le temps, de toutes les étapes et éléments du plan d'intervention initial. Le plan d'intervention concerne la combinaison et la séquence d'éléments d'intervention unique qui peuvent varier en termes de niveau, public cible, type d’i te e tio , pe so e e ha ge de la ise e œu e. Co e a t les i di ateu s, les auteu s, o state t les possibilités existantes : indicateurs quantitatifs tels que la portée (Glasgow et al., 2003) ou dose reçue (Murta et al., 2007) et des indicateurs qualitatifs (Biron, 2015) mais suggèrent que des recherches se aie t e o e utiles su les i di ateu s pou a lio e l’ aluatio de la ise e œu e et e pa ti ulie su eu ui peu e t i flue su l'i pa t glo al de l’i te e tio . Les auteu s soulig e t la difficulté de disti gue les aspe ts de ise e œu e et le o te te ui so t t op sou e t ig o s. La figure 5, e t aite de l’a ti le, illust e les p i ipales uestio s d' aluatio du p o essus de ise e
œu e et du o te te e e ui o e e les t ois phases d'i te vention. L’évaluation approfondie de toutes les catégories et sous-catégories du CPO est une tâche difficile nécessitant beaucoup de ressources et d'instruments. Les auteurs sont conscients que dans de nombreux cas, il ne sera pas possible d'évaluer tous ces aspects en raison de ressources limitées ou d'un accès limité à l'information. Ce modèle offre au moins une vue d'ensemble des catégories qui pourraient être évaluées et comment ces catégories pourraient être précisées. Selon leur projet d'intervention particulier, les évaluateurs peuvent décider sciemment quelles catégories devraient être évaluées et dans quelle mesure. Ce modèle a été testé dans deux projets d'intervention. Les auteurs concluent que ce modèle fournit un langage commun et un modèle partagé pour améliorer la communication entre les chercheurs et les membres de l’o ga isatio et permettra d'améliorer la comparabilité et l'agrégation des résultats des études d'évaluation.
Figure 5 : E t ait de l’a ti le (Fridrich et al., 2015) sur les principales questions d'évaluation du processus de mise e œuv e et du o te te aux trois phases d'intervention proposées par le modèle du CPO. (IGLOs: Individuel, Groupe, Leader et Organisation)
• Modèle logique pour les programmes de soins de transitions (Wee and Vrijhoef, 2015) Les auteurs proposent de fournir un cadre pour évaluer comment les programmes de soins de transitions peuvent ou non atteindre leur impact, sous la forme d'un modèle logique (figure 6) ;
Figure 6 : E t ait de l’a ti le (Wee and Vrijhoef, 2015) présentant la vue d'ensemble du modèle logique d'évaluation du programme de soins de transition.
• Re o a datio s su la pla ifi atio et l’ valuatio des i terventions populationnelles
pour réduire le risque de maladie non transmissible (Bauman and Nutbeam, 2014)
Les auteurs décrivent un cadre organisationnel pour l'évaluation de programmes d'intervention qui intègrent un mélange complexe d'interventions éducatives, environnementales et politiques ciblant les facteurs de risque dans une population. Le cadre comprend la mesure et le suivi de chacune des composantes d'intervention, l'évaluation de l'impact du programme à court terme et l'évaluation des résultats à plus long terme. Les tapes du p og a e et le s ue çage de l’ aluatio so t p se t s à la figure 7. Le travail commence par une évaluation du problème actuel, de ses déterminants et de sa fréquence (la phase de planification pré-programme). Cette étape doit aboutir à la planification stratégique, à la mobilisation des ressources et au personnel et au développement des partenariats essai es à u e ise e œu e ussie phase de pla ifi atio . U e pa tie de la phase de planification est également une planification formelle des interventions proposées intégrant la conception des méthodes d'évaluation. La planification de l'évaluation exige le développement d'un «modèle logique» clair - un document de planification ou un schéma qui relie chaque élément de
l'intervention aux résultats spécifiques qu'il est destiné à produire (Freedman et al., 2014). La essit d'u e aluatio app ofo die des p o essus afi d' alue la ise e œu e et la po t e de chaque composante d'intervention est indispensable. En outre, il est important de mesurer les diff e es de ise e œuvre en fonction des contextes, pour comprendre les circonstances et les conditions dans lesquelles une intervention est plus susceptible d'être efficace. L'évaluation du contexte peut prendre plusieurs formes, de l'évaluation des perceptions des parties prenantes, jusqu'à des études sur les environnements économiques, sociaux et physiques dans lesquels l'intervention se déroule Enfin, chaque sous-composante d'intervention doit être considérée et évaluée en termes d'impacts et de résultats.
Figure 7 : E t ait de l’a ti le (Bauman and Nutbeam, 2014) présentant les étapes de l'évaluation des programmes complexes de prévention des maladies non transmissibles
• Cadre pour concevoir des évaluations de processus d'essais contrôlés randomisés par grappes (Grant et al., 2013)
Les auteurs ont proposé un formulaire d'extraction de données basé sur le cadre Reach, Efficacy, Adoption, Implementation and Maintenance (RE-AIM) (Glasgow et al., 2001) et Northstar (Akl et al., 2007) pour résumer les rapports en fonction de l'objectif du travail, du calendrier, de sa portée en référence à chaque construction RE-AIM (portée, efficacité, adoption, mise e œu e et maintenance) et les méthodes utilisées. L'évaluation de processus variera selon la nature de l'essai et les ressources disponibles, un modèle est proposé en figure 8. L'a e t est is su l’ aluatio des processus au sein des grappes qui reçoi e t l'i te e tio ais les auteu s soulig e t u’il est également important de comprendre les processus dans les grappes contrôles ou de soins habituels.
Figure 8 : Extrait de l’a ti le (Grant et al., 2013) présentant le modèle de cadre pour la conception d'évaluations de processus d'essais contrôlés randomisés en grappes.
Les auteurs soulignent également que les évaluations de processus devraient se référer aux principales conclusions de l’essai, les rapports d'essai et d'évaluation devraient se référencer mutuellement.
