Se positionner par rapport à la dynamique de changement par le renforcement du

acteurs

Trosa associe trois phases de maturation à la pratique de l’évaluation:

- l’évaluation « scientifique » qui correspond à la période 1960-1970. Elle repose essentiellement sur « des expérimentations conduites à la manière de tests en laboratoire ». Cette période a permis de souligner l’importance de s’appuyer sur des « méthodes rigoureuses et transparentes » ;

- L’évaluation de programmes qui s’étale de 1970 à 1980. Elle se caractérise par une

prise de distance par rapport à la démarche de « recherche pure » et une prise de conscience d’intégrer la démarche dans un processus de décision. Durant cette période émerge une « tension subtile entre les exigences de la décision et celles de la connaissance ». L’évaluation devient « un outil au service de l’amélioration des politiques publiques » ;

- « La prise en compte des représentations dans la démarche évaluative » qui s’opère

à partir de la période 1980-1990. Les évaluations répondent à l’exigence de « prise en compte du poids que pèsent les représentations des acteurs dans le processus de réforme des politiques publiques ».

Cette dernière phase marque une évolution importante. Il ne s’agit plus de réduire la démarche d’évaluation à des études, mais de la concevoir comme « un travail de nature participatif au cours duquel un processus de dialogue et d’apprentissage heuristique se développe entre les acteurs de la politique publique, de sorte que représentations et valeurs évoluent à mesure que l’évaluation progresse » (Trosa, 2003). L’évaluation peut alors apparaître comme un moyen permettant aux différentes parties prenantes de se positionner par rapport à la dynamique de changement de l’action publique par :

- une mise en lumière des besoins et des priorités de chacun ;

- une mobilisation et une responsabilisation des différents acteurs au sein de la démarche d’évaluation ;

- une construction de connaissances et de références partagées.

4.2.1. Une mise en lumière des besoins et des priorités des acteurs de la politique évaluée

Une des premières étapes de l’évaluation est d’identifier les acteurs de l’action publique évaluée, leur rôle et leurs interactions au sein de cette politique, mais également dans le cadre de la démarche d’évaluation.

Les politiques publiques mobilisent de nombreux acteurs publics et privés (État, organismes sociaux, collectivités territoriales, entreprises, associations, bailleurs de fonds internationaux). Ils peuvent largement influer sur la réussite ou l’échec de l’action publique. En effet, comme le souligne le CSE, « leurs savoir-faire, leurs routines, leurs intérêts, leurs modes de relation d'échange et d'interdépendance exercent un impact tout à fait significatif sur les objectifs, sur les réalisations, sur les effets générés par l'intervention publique, notamment au moment de sa mise en œuvre sur le terrain » (CSE, 1996). La démarche d’évaluation permet leur identification et l’examen des mécanismes qui les accompagnent.

L’analyse de ce « jeu d’acteurs » vise à comprendre comment les rationalités et les logiques d'action des différentes parties prenantes peuvent avoir des conséquences sur l’action publique. De ce fait, la politique publique est considérée comme « une intervention sur un tissu social » qui nécessite d’identifier les divers acteurs, d’analyser leurs relations mutuelles et les règles concrètes qui structurent leurs comportements, en dépassant les classifications institutionnelles ou statistiques. Une telle démarche s’apparente à l'étude de systèmes d'action. Elle peut recourir à la technique du sociogramme ou de la grille d'analyse des stratégies comportementales et s'appuie principalement sur l'observation des pratiques existantes sur le terrain (CSE, 1996).

L’évaluation aboutie à une formalisation des interdépendances entre parties prenantes, de leur intervention dans le champ de la politique publique mais également de la façon dont elles les gèrent. Cette analyse est élargie à l’ensemble des acteurs y compris ceux qui ne relèvent pas formellement du dispositif public d'intervention, mais qui peuvent jouer un rôle décisif pour les effets réellement générés par ce dispositif.

Au-delà de cet effort de formalisation du « jeu d’acteurs », la démarche d’évaluation apparaît comme un moyen offert à chacun de s’impliquer dans l’action publique.

4.2.2. Une mobilisation et une responsabilisation des acteurs au sein de la démarche

Les différents acteurs de la politique publique apparaissent comme autant de protagonistes de la démarche d’évaluation (Commission Européenne, 1999).

Figure 18 : Sociogramme des personnes concernées par l’évaluation (Commission européenne, 1999)

Le CSE distingue les protagonistes suivants (CSE, 1996) :

- le commanditaire de l’évaluation qui peut être : une autorité politique ou

administrative hiérarchiquement responsable de la politique, une instance ad hoc (Comité interministériel de l'évaluation, Comités régionaux d'évaluation...), ou un organisme de contrôle (Cour des comptes, corps d'inspection...) ;

- l’initiateur de l’évaluation parfois différent du commanditaire ;

- les autres destinataires potentiels et les « stakeholders » ou « porteurs d’enjeux » qui sont des « acteurs sociaux dont les intérêts peuvent être affectés par les suites données à l'évaluation (associations, organisations professionnelles, groupes de pression...) ».

La fonction de maître d’œuvre de l’évaluation peut alors être confiée par le commanditaire, à une « instance d’évaluation ». Cette dernière peut être amenée à remplir deux types de missions (CSE, 1996):

- le pilotage des travaux d'évaluation : « mener à son terme l'élaboration du projet d'évaluation, traduire le questionnement évaluatif dans le cahier des charges des études et recherches, passer commande et suivre les différents travaux d'étude, auditionner des "personnes ressources", responsables administratifs, experts ou autres "témoins", voire se déplacer collectivement sur le terrain... »

- l’intégration des matériaux de l'évaluation : « rassembler des documents,

réceptionner les recherches, études commanditées, valider leurs résultats, interpréter ces résultats au regard des autres informations collectées (auditions ou informations préalablement disponibles...), répondre aux questions posées par le projet d'évaluation, formuler des conclusions générales et, le cas échéant, des propositions, rédiger le rapport final. »

Arnaud et Boudeville schématisent les relations fonctionnelles entre les acteurs de l’évaluation par la figure ci-dessous (Arnaud et Boudeville, 2004).

Figure 19 : Les acteurs de l’évaluation (Arnaud et Boudeville, 2004)

Une démarche d’évaluation permet ainsi de donner un rôle aux différentes parties prenantes dans le processus d’évaluation. Sont alors associés les utilisateurs potentiels, ceux qui peuvent avoir un intérêt dans les informations produites ainsi que ceux qui peuvent être plus ou moins directement affectés par la démarche. L’intégration d’une diversité d’intérêts et de représentations participe à l’implication des différentes parties prenantes et relève d’une démarche de responsabilisation.

La participation des différentes parties prenantes à la démarche d‘évaluation apparaît également comme une opportunité pour organiser une véritable réflexion collective et permettre l’expression ainsi que la confrontation des différents points de vue.

4.2.3. Une construction de connaissances et de références partagées

Une démarche pluraliste fait poindre une diversité d’analyses et, de ce fait, peut être perçue comme un facteur discréditant l’évaluation. Dans ce cadre, l’évaluation s’expose effectivement au risque d’aboutir à une pluralité de points de vue inconciliables, ou au contraire, d’être perçue comme une démarche cherchant à tout prix à établir des constats partagés, autrement dit comme une évaluation consensuelle. Le défi de l’évaluation est alors de faire émerger des éléments qui sont acceptés par tous, mais également d’identifier, d’expliquer et de faire accepter les divergences (Bourdin, et al, 2003-20004). Pour Trosa, « l’important est de trouver des modes de dialogue non antagonistes qui permettent de rechercher des solutions plutôt que d’affirmer des positions » (Trosa, 2009).

Un tel dialogue s’appuie généralement sur un travail de rassemblement, traitement et d’interprétation d’informations. L’évaluation n'exclut a priori aucun élément d'information concernant son objet (CSE, 1996).

Il peut s’agir de données quantitatives ou qualitatives (CSE, 1996) :

- les informations quantitatives répondent à des questions sur la valeur prise par une

variable, sur l'intensité d'un phénomène social (combien ? jusqu'à quel point ? quelle proportion ? quel taux de croissance ? etc ?). Elles prennent souvent la forme d'indicateurs ;

- les informations qualitatives89 _{s'expriment par des mots : on a besoin de toute la}

richesse et de la précision du langage pour décrire les événements, les situations, les processus sociaux qui constituent la réalité d'une politique. Ces données sont tirées d'une grande variété de sources : entretiens, étude de cas, analyse de documents...

L’évaluation engage à alors faire un point sur les « informations immédiatement disponibles », tant en termes de données mobilisables pour de nouvelles analyses, que de travaux déjà réalisés sur ce sujet (évaluations, rapports d’études ou d’inspections,..) (CSE, 1996). Ce travail préalable doit notamment permettre de répondre aux questions suivantes (Laganier et Arnaud-Fassetta, 2009) :

- Que peut-on mesurer ?

- Que va-t-on mesurer ?

- Que devrait-on pouvoir mesurer ?

C’est sur cette base que peut être élaborée « une programmation des nouvelles investigations qui apparaissent nécessaires », en choisissant les méthodes qui permettront de répondre aux questions évaluatives et le poids qui doit leur être donné (CSE, 1996). L’information nécessaire à l’opération d’évaluation peut être alors obtenue par différentes techniques pouvant être complémentaires (CSE, 1996), telles que :

- la compilation d’informations préexistantes à partir :

o d’études et de recherches portant sur des sujets connexes ou apparentés ; o de statistiques publiées ou immédiatement disponibles ;

o d’informations de toutes natures détenues par les gestionnaires de la politique.

- les enquêtes et investigations spécifiques qui peuvent s’appuyer sur : o des études documentaires et historiques ;

o des enquêtes statistiques ; o des entretiens ;

o des études de cas ou monographies ;

o des groupes d'acteurs ou d'experts ; o des auditions.

La diversité d’informations rassemblées ou collectées implique fréquemment de constituer un système pérenne de collecte, d’archivage, de traitement et de valorisation des informations (Laganier et Arnaud-Fassetta, 2009) comme l’illustre la figure ci-dessous.

89 Le CSE précise par ailleurs que « les données qualitatives peuvent être transformées en données quantitatives (par exemple grâce à l'analyse lexicale) et, réciproquement, les chiffres reposent presque toujours sur une conceptualisation préalable de la réalité (définition des variables, nomenclatures...) » (CSE, 1996).

Figure 20 : Vers un observatoire national du risque d’inondation ? (Chow-Toun, 2009)

La démarche d’évaluation se caractérise ainsi par le regroupement d’une quantité importante d’informations dispersées. Elle a pour but de les identifier, les rassembler et les organiser. Elle repose aussi bien sur des données existantes que sur celles produites spécifiquement pour l’évaluation. A travers ce processus, la démarche d’évaluation favorise l’émergence de connaissances partagées. Pour Larrue, « la démarche d’évaluation peut-être considérée comme une manière de constituer une mémoire de l’action publique, ressource qui restera mobilisable ultérieurement » (Larrue, 2000).

Au final, l’évaluation amène les différents acteurs à se prononcer sur la politique publique considérée. A ce titre, elle permet de clarifier leurs besoins et leurs priorités, et conduit à une meilleure visibilité des acteurs concernés par la politique publique évaluée et des mécanismes qui en découlent. L’évaluation participe également à un processus de responsabilisation par le rôle qu’elle leur confère. Une telle participation permet non seulement de les mobiliser mais également de faire émerger des connaissances partagées favorisant la construction d’un référentiel commun qui prend en compte la diversité des intérêts et des représentations. A travers ces procédés, la démarche d’évaluation participe au renforcement du dialogue, de la coopération et de la compréhension entre les différents acteurs concernés par l’action publique et offre ainsi la possibilité à chacun de se positionner par rapport au changement en cours.

L’évaluation au service de l’apprentissage est souvent opposée à celle au service de la décision (Trosa, 2003). Pour Cauquil, la spécificité de l’évaluation tient justement à « ce positionnement inhabituel entre la connaissance et l’action ; parce qu’elle est avant tout la pratique d’un système d’acteurs » (Cauquil, 2004). La conciliation de ces deux approches complémentaires, permet de ne pas renoncer à influer sur la politique en ne se limitant pas aux effets d’apprentissage.

4.3. Influencer le changement d’une politique dans son cycle de vie et dans son