La pratique de l’évaluation dans les institutions régionales de santé

La pratique d’évaluation dans les institutions de la santé est assez peu documentée. L’analyse qui suit, s’appuie sur des travaux personnels conduits à partir de plusieurs sources : enquête réalisée en 2005 à la demande de la mission d’animation des fonctions d’inspection en services déconcentrés de l’IGAS suivie d’une journée d’échanges avec les professionnels de ces services ; états des lieux réalisés par les élèves inspecteurs de l’action sanitaire et sociale (IASS) au cours de leur stage à la demande de l’ENSP/EHESP (années 2008 à 2012) ; animation des sessions de formation continue auprès des personnels œuvrant dans les services régionaux (années 2002 à 2014) ; formation et/ou accompagnement à la mise en œuvre d’évaluation dans cinq régions.

La pratique d’évaluation tient à plusieurs éléments : la place et la reconnaissance de l’évaluation dans l’institution, la densité et la fréquence des commandes ainsi que l’existence de référentiels explicites et partagés.

La loi HPST trace une ligne de partage entre deux époques, la création des ARS modifiant l’organisation interne et introduisant des repères culturels nouveaux du fait de la reconfiguration des services et du brassage de cultures institutionnelles.

2.2.1. L’évaluation dans les services déconcentrés

Un positionnement ambigu au sein des MRICCE

En 1999, étaient mises en place les Missions régionales d’inspection, de contrôle et d’évaluation (MRIICE), services destinés à développer chacune de ces trois fonctions avec l’appui d’une structure créée dans le même temps au sein de l’IGAS : la mission permanente d’animation des fonctions d’inspection (MAFI).

Après plusieurs années de fonctionnement, on constate qu’un travail substantiel a été élaboré sur le registre de l’inspection, avec une production conséquente d’outils méthodologiques (guides, grilles, protocoles) mais le chantier de l’évaluation n’a pas réellement été entamé (Israelian, 2008). En effet, les MRIICE ont concentré l’essentiel de leur activité sur les activités d’inspection et n’ont que très exceptionnellement investi le champ de l’évaluation, ces services ne disposant ni des moyens suffisants (de une à cinq personnes au

maximum) ni des compétences pour s’engager dans l’évaluation (Israelian, 2008). L’analyse des demandes qui leur étaient adressées témoigne d’une part, de la réalité d’un besoin émergent de la part de l’institution et, d’autre part, de la confusion entre l’évaluation et les activités de contrôle et d’audit (Jabot, 2005a). L’ambigüité de ces services et le double positionnement des personnels, entre inspection et évaluation, participe de la défiance des opérateurs de l’Etat envers l’évaluation.

En dépit d’un besoin exprimé, ces services n’ont pas réussi à développer une véritable activité d’évaluation, faute de ressources, de formation et d’accompagnement.

La pratique existante, mal identifiée et peu soutenue dans les autres services

Si dans certaines régions, les MRIICE étaient les principaux destinataires de commandes d’évaluation, dans d’autres, les travaux étaient confiés aux services responsables de l’intervention concernée par l’évaluation19.

L’analyse des commandes montre la diversité des objets d’évaluation : réseaux (obésité infantile, troubles de l’apprentissage, addictologie), structures (Maison des adolescents), programmes (santé scolaire, PRAPS, toxicomanie), activités (coordination du centre de ressources autisme, soins infirmiers à domicile, activité IVG). Les contributions attendues de la part des professionnels étaient réparties entre maîtrise d’œuvre et appui méthodologique à une évaluation, donnant lieu à une grande variété des tâches : élaboration d’outils, remplissage de fiches, grilles, mise en place de comités de pilotage, coordination des acteurs.

Pour les programmes issus des conférences régionales, l’évaluation était habituellement confiée à des cabinets de consultants dont l’offre s’est considérablement accrue avec les demandes d’évaluation des PRSP, ou parfois aux observatoires régionaux de santé, certains ayant investi le domaine de l’évaluation.

Dépendant de la place accordée à l’évaluation, des compétences disponibles, de la motivation des acteurs à s’y impliquer, on constate que l’activité évaluative était très hétérogène d’une région à l’autre, quasi inexistante ou réelle, administrative ou partenariale, externalisée ou interne à l’institution.

19

La pluralité des rôles à endosser - commanditaire, exécutant, contributeur - a progressivement estompé la frontière entre évaluation interne et évaluation externe, nécessitant la clarification des attendus de ces différents exercices et l’acquisition de compétences propres à chacun de ces rôles.

2.2.2. L’évaluation dans les ARS

La création de nouvelles structures répond à la volonté de décloisonnement des différents secteurs de la santé et vise une plus grande efficacité et efficience du système de santé. Reconfigurer les missions, traduites en « métiers », réexaminer l’organisation interne, repenser la gouvernance ont constitué des étapes préparatoires du chantier des ARS auquel de nombreux groupes de travail se sont attelés.

Une réflexion inexistante lors de la préparation de la loi HPST

Constatant l’absence de réflexion sur l’évaluation, un groupe de travail d’une vingtaine de personnes, les trois quart d’entre elles provenant de structures régionales20, les autres relevant du niveau national, s’est constitué pour enclencher une réflexion sur la place de l’évaluation dans les futures ARS. Plusieurs réunions ont permis de dresser un état des lieux des pratiques et de formuler des scénarios pour l’organisation de la fonction évaluation dans les futures agences, dans une note adressée à l’attention du responsable de la préparation de la loi (Carbonnel et al., 2009). Par la suite, les agences ont construit leur organisation sans consignes particulières s’agissant des activités d’évaluation.

La place de l’évaluation dans les organigrammes des ARS

Notre analyse de la première version des organigrammes des ARS relève que l’évaluation était présente et visible dans presque la moitié des ARS (11/26) bien qu’elle y occupât une place inégale. L’évaluation figurait : au plus haut niveau hiérarchique (sous l’autorité directe directeur) dans quatre régions, deux niveaux sous le directeur dans six régions, trois niveaux sous le directeur dans une région. Dans sept cas sur onze, l’évaluation restait associée aux activités d’inspection/contrôle.

20

Depuis leur création, plusieurs ARS ont revu leur organisation. Avec le déploiement du PRS, les programmes territoriaux et la signature de contrats locaux de santé, la place de l’évaluation a été rehaussée et figure majoritairement aujourd’hui dans les directions en charge de la stratégie.

2.2.3. Des pratiques hétérogènes

Le discours des professionnels et l’analyse des travaux d’évaluation, qu’ils soient produits par les institutions de la santé ou des prestataires externes, amènent plusieurs constats.

La vision normative de l’évaluation imprègne la culture d’évaluation et tend à faire de l’analyse de la conformité de la mise en œuvre du programme et de la vérification de l’atteinte des objectifs, le paradigme dominant. Pourtant, la référence aux critères classiques d’évaluation (pertinence, cohérence, efficacité, efficience, impact) est constante dans la phase de réflexion pré-évaluative.

Les méthodes d’évaluation sont rarement fondées sur des modèles théoriques. En particulier, la mise à jour de la théorie de l’intervention est assez peu recherchée, reflet des pratiques de programmation qui relèvent d’une démarche principalement implicite. En revanche, les acteurs du champ de la promotion de la santé sont plus perméables à ce type de démarche, la formation à des outils tels que l’outil de catégorisation des résultats les y aidant. En outre, les activités d’observation, de planification et d’évaluation conduites isolément et souvent par des acteurs et des services distincts, devraient désormais être mieux articulées en raison d’une part, de la structuration des activités de suivi liée à l’application des principes du

New Public Management dans l’administration de la santé (Cases et al., 2009) et, d’autre part,

de la création dans les ARS, de services regroupant ces trois activités.

Le Bouler (2009), ancien responsable de l’évaluation des politiques publiques au Commissariat au Plan, chef de la Mission recherche de la DREES et membre du HCSP, fait un constat similaire pour le niveau national, déplorant d’une part, l’absence d’explicitation de la chaîne de causalité et, d’autre part, un manque d’anticipation dans le recueil de données nécessaires à l’évaluation.

Influencé par le paradigme épidémiologique, les politiques et programmes sont aisément conçus comme des protocoles de traitement à appliquer sur des populations et pour lesquelles l’évaluation basée sur le contrefactuel représente un idéal à atteindre y compris pour des

interventions d’envergure. Pour autant, la prééminence du discours sur la démocratie sanitaire et le foisonnement de textes en la matière introduisent une préoccupation constante sur la prise en compte des usagers/citoyens, incitant à recourir aux approches qualitatives et enquêtes de satisfaction. En lien avec cette préoccupation, le modèle d’évaluation pluraliste est volontiers adopté, avec des variations significatives dans la gouvernance du dispositif d’évaluation et la participation accordée aux parties prenantes (Jabot et al., 2010).

L’évaluation peine à s’affranchir de la tradition de contrôle, activité pour laquelle l’expertise est présente et largement partagée, et ce d’autant, que dans certains domaines (évaluation des réseaux, évaluation dans le champ médicosocial), les frontières tendent à s’estomper entre audit, évaluation voire accréditation.