Le terrain de l’évaluation : atouts et contraintes

La prise en compte de l’environnement de l’évaluation s’est progressivement accrue ces dernières années (Conner, 2012 ; Fitzpatrick, 2012 ; Greene, 2005, 2009 ; Rog, 2012) avec un intérêt beaucoup plus marqué sur le rôle du contexte institutionnel (Appelton-Dyers et al., 2012 ; Hanberger, 2011 ; Holjundt, 2014 ; Ledermann, 2012 ; Pattyn, 2014).

2.1.1. Les travaux récents

Deux travaux récents retiennent notre attention afin de confronter leurs conclusions aux résultats de nos analyses de l’évaluation des PRSP (articles 1 et 4 du chapitre 5) : ceux de Pattyn (2014) qui étudie l’inclination des organisations à évaluer au regard de leurs caractéristiques propres et ceux de Cousins and Bourgeois (2014) qui mettent en relation capacité à faire et capacité à évaluer.

La propension à évaluer

A la lumière des apports d’Holjund (2014), nous avions retenu dans notre modèle théorique, la propension à évaluer d’une institution parmi les variables pertinentes pour analyser le contexte de l’organisation (article 1 du chapitre 3). Par la suite, nous avons tenté de mettre en lien, les formes d’utilisation et les modèles d’adoption de l’évaluation (coercitif, mimétique, normatif et volontaire) dans les cinq régions étudiées (article 4 du chapitre 5).

Les travaux de Pattyn (2014) apportent un éclairage additionnel sur les conditions reliées à l’activité d’évaluation. En effet, cet auteur a étudié les motifs pour lesquels les organisations du secteur public en Flandres évaluent ou n’évaluent pas leur politique, à partir de l’analyse des interactions entre les acteurs et le contexte institutionnel dans lequel ils exercent. Ce travail lui a permis de distinguer les conditions pertinentes pour expliquer l’activité ou la non-activité d’évaluation de celles qui sont sans pouvoir explicatif. Certaines relèvent de la culture, d’autres de la capacité d’évaluation (De Peuter and Pattyn, 2008).

Nous retenons de ses conclusions les points suivants.

- Le fait d’avoir réalisé une évaluation créé une « appétence » pour cette pratique ; les organisations ayant déjà évalué renouvellent l’exercice ;

- Les organisations qui pensent que les résultats (outcome) sont faciles à mesurer sont enclines à initier des évaluations alors que la situation inverse est observée pour les réalisations (outputs) : si elles sont faciles à mesurer, cela ne justifie pas une évaluation ; - L’inclination à évaluer dépend de la formulation des résultats (SMART2) et des attitudes

vis-à-vis de l’évaluation ;

- Les organisations qui évaluent, ont un socle minimum de compétences, au moins pour externaliser l’évaluation ;

- Si la présence d’une unité d’évaluation dans l’organisation ne semble pas essentielle, elle joue cependant un rôle parce qu’elle facilite la mobilisation des ressources. Inversement, elle peut exercer une influence négative pour les organisations qui ont été récemment responsabilisées dans ce domaine et ne souhaitent pas voir leur activité restreinte au sein d’un seul service, l’ancrage institutionnel de la fonction étant un élément favorisant ; - L’absence d’activité d’évaluation est expliquée par l’absence de demande de la part du

management organisationnel ;

- L’existence d’un système d’informations développé, la participation des équipes aux formations et aux réseaux, la contrainte réglementaire, la stabilité organisationnelle et l’autonomie de l’organisation ne sont pas des conditions validées dans son étude.

La relation entre capacité à utiliser et capacité à faire

Les travaux de Cousins and Bourgeois (2014) complètent les apports de Pattyn. Ils soulignent la corrélation entre la capacité à utiliser l’évaluation et la capacité à faire l’évaluation.

La capacité à faire est largement déterminée par les caractéristiques et les stratégies de l’organisation : présence de structures, bien positionnées, disposant de ressources et d’une équipe dédiée ; existence d’une expertise interne capable, non seulement de promouvoir l’évaluation, mais aussi de développer des procédures et outils adaptés, de communiquer en interne et de répondre aux besoins de l’institution, y compris sur l’exigence de rendre compte ; culture d’apprentissage effective favorisant l’implication des équipes et permettant de faire de l’évaluation, une base de réflexion stratégique ; engagement des décideurs de niveau stratégique.

Les auteurs insistent sur le caractère mixte de la formation à assurer dans l’organisation, théorique et expérientielle (learning by doing), l’importance de créer des partenariats avec des organismes pouvant accompagner les acteurs ainsi que le rôle indiscutable de l’expérimentation comme préalable à l’apprentissage (Cousins et al., 2014).

2.1.2. Nos résultats face aux conclusions de ces deux recherches

La contrainte réglementaire n’a eu qu’une influence modérée sur l’évaluation : efficace pour

initier la démarche d’évaluation mais insuffisante dans ses modalités d’application. Les régions ne se sont pas engagées avec le même degré de motivation, la date de lancement étant un indicateur de l’intérêt supposé à l’évaluation ; seulement un quart des régions avait lancé leurs travaux bien avant le terme du plan tandis qu’un autre quart l’avait fait alors que le passage en ARS était imminent. Les premières, plus entrainées à l’évaluation, et aussi plus « appétentes », engageaient des travaux en s’efforçant de satisfaire aux règles de bonnes pratiques et en affectant les ressources nécessaires, tandis que les secondes, moins familières avec l’exercice, exécutaient la clause, dans le cadre d’un exercice interne plus proche d’un bilan et plus facile à exécuter qu’une véritable évaluation.

L’expérimentation de l’évaluation, tant à titre individuel que collectif, fonctionne bien

comme un stimulus pour initier la pratique et entraîner l’adhésion des acteurs ou institutions.

L’existence d’une structure formelle, la MRIICE, n’a pas été un appui pour promouvoir,

soutenir ou exploiter l’évaluation, faute d’avoir construit une compétence dans ce domaine. La confusion longtemps entretenue entre évaluation et contrôle a discrédité ces services vis-à-vis de l’évaluation et, par extension, écarté les professionnels de la conduite de cette activité pour le PRSP. Quand un professionnel d’une MRIICE y a contribué, c’est en raison de son

intérêt personnel et de sa familiarité de l’évaluation. Cousins et al. (2014) rapportent que dans les organisations étudiées, l’association des fonctions d’évaluation et d’audit dans la même unité est préjudiciable au développement de l’évaluation ; il en est de même lorsque la fonction de reddition de comptes prime sur celle d’apprentissage.

Le rôle du niveau national a eu un effet d’incitation, par le biais d’une enquête sur l’état

d’avancement des travaux en région, vécue parfois comme une injonction, et un effet d’entraînement en créant une dynamique d’accompagnement. Cependant, la préparation de la loi HPST a stoppé cet élan. Faute du maintien de l’intérêt envers les démarches régionales et de capitalisation des travaux entrepris, l’évaluation s’est vue reléguée au rang des multiples tâches administratives. Si l’utilisation des données valorise les données (Cousins et al., 2014), a contrario, la désaffection dévalorise l’exercice.

Enfin, l’inscription des équipes dans les réseaux professionnels nous paraît exercer une influence favorable, en motivant les acteurs et en important de nouvelles pratiques. Dans les deux régions de notre étude, les promoteurs de l’évaluation en étaient des membres actifs. Nous avons pu constater dans nos études sur l’activité des services régionaux en matière d’évaluation (Carbonnel et al., 2009 ; Jabot, 2005) que les plus actifs avaient généralement des professionnels présents dans des groupes de travail, nationaux ou interrégionaux, suivaient ou intervenaient davantage dans des formations en évaluation. Ce point mériterait d’être validé et approfondi dans des recherches futures.

Chaque situation d’évaluation survient sur un terrain plus ou moins favorable sur lequel les acteurs jouent un rôle majeur. Les approches qui explorent les interactions entre les deux apportent une contribution à la compréhension des mécanismes explicatifs des changements observés (Henry and Mark, 2003 ; Ledermann, 2012 ; Mark and Henry, 2004).