Les enjeux de l’évaluation des politiques publiques

L’évaluation des politiques publiques a maintenant près d’un demi siècle d’histoire en tant qu’activité à part entière. Son développement et sa reconnaissance comme élément constitutif des politiques publiques sont à mettre en relation avec les questions de management public et de gouvernance. Elle apparaît ainsi comme un moyen de restaurer un principe de responsabilité (au sens politique) et de revaloriser le rôle des acteurs élus (au plan national comme local), mais aussi comme un mécanisme permettant de rétablir un contrôle démocratique (en améliorant l’information des acteurs sociaux et en mettant à la disposition des citoyens des matériaux qui leur permettront d’intervenir sur des politiques précises et plus seulement sur des choix généraux et abstraits).

Les objectifs qui sont assignés à l’évaluation des politiques publiques sont variés. Ils visent tout d’abord l’amélioration des performances de l’action publique mais aussi la démocratisation de la décision publique. L’évaluation est également considérée comme un moyen de production de connaissances. Elle peut en effet permettre de clarifier les dispositions implicites des politiques publiques et de mieux connaître les contours et les enjeux de l’action publique, ainsi que les formes de mobilisation des acteurs qu’elle génère. Elle conduit aussi à renforcer le niveau d’information et les capacités d’expertise des acteurs impliqués. Le développement et l’organisation de connaissances descriptives des problèmes et des actions collectives sont des apports essentiels de l’évaluation²¹⁰. Enfin, l’évaluation est

210 Selon Corinne Larrue (1997), la démarche d’évaluation est une manière de constituer une mémoire collective de l’action publique.

vue comme un processus d’apprentissage pour les acteurs qui sont parties prenantes. Elle permet un élargissement du réseau d’acteurs traditionnellement mobilisés dans le cadre décisionnel et la prise en compte de points de vue diversifiés sur le problème étudié. Elle conduit à s’interroger sur les objectifs théoriques et réels de la politique envisagée, ainsi que sur les voies de transformation possible.

Mais toutes les formes d’évaluation ne poursuivent pas simultanément l’ensemble de ces objectifs. L’appellation « évaluation des politiques publiques » recouvre des réalités différentes. D’ailleurs, différentes définitions se sont succédées dans les rapports officiels depuis que cette pratique est développée en France :

- celle contenue dans le rapport de M. Deleau et J.P. Nioche (1986) : « Evaluer une

politique publique, c’est reconnaître et mesurer ses effets propres » et celle retenue par le

rapport de P. Viveret (1989) : « Evaluer une politique publique, c’est émettre un jugement

sur la valeur de cette action » ;

- celle qui figure dans le décret du 22 janvier 1990 de création du Conseil scientifique de l’évaluation: « L’évaluation d’une politique publique a pour objet de rechercher si les

moyens juridiques, administratifs ou financiers mis en œuvre permettent de produire les effets attendus de cette politique et d’atteindre les objectifs qui lui sont assignés » et celle

que le Conseil scientifique de l’évaluation a retenu en 1991 : « C’est l’activité de

rassemblement, d’analyse et d’interprétation de l’information concernant la mise en œuvre et l’impact des mesures visant à agir sur une situation sociale ainsi que la préparation de mesures nouvelles »²¹¹ .

Diverses pratiques d’évaluation coexistent. Chacune repose sur des choix théoriques et méthodologiques qui renvoient à une certaine conception de la science, de la politique et de leurs rapports réciproques (Deroubaix, 2001). A cet égard, la typologie proposée par Eric Monnier (1992) permet d’y voir plus clair dans le maquis des démarches expérimentées jusqu’à présent. Il distingue en effet cinq types d’approches :

- L’évaluation d’impacts ou de résultats est l’approche la plus traditionnelle. Elle présente la problématique la moins sophistiquée. Elle a pour but de répondre à la question suivante : les effets observables sont-ils conformes aux objectifs préétablis ? Ce type de démarche est le plus souvent employé pour évaluer des programmes aux objectifs précis et limités.

- L’évaluation opérationnelle se propose non seulement de déterminer dans quelle mesure les moyens choisis et mis en œuvre ont permis d’atteindre les objectifs fixés mais aussi de mesurer l’efficience du dispositif (c’est-à-dire le degré de maximisation des moyens réellement mis en œuvre par rapports aux fins que l’on s’est fixé).

211 Ce décret s’inscrit dans le cadre de la mise en œuvre d’un dispositif d’évaluation interministérielle souhaité par Michel Rocard, alors Premier ministre. Le Conseil scientifique de l’évaluation a été rebaptisé en 1998 Conseil National de l’évaluation.

- L’évaluation affranchie des objectifs vise à déterminer les effets spécifiques qui, parmi l’ensemble des effets que peut produire un programme ou une politique, satisfont les besoins fondamentaux des « groupes cibles »²¹².

- L’évaluation de processus a pour finalité principale d’expliquer les phénomènes à l’origine des effets observables, à partir d’une analyse des interactions entre la politique et son environnement. L’évaluateur cherchera dans ce cas à replacer l’évaluation dans la perspective globale du processus de mise en œuvre au cours duquel les objectifs et les moyens ont pu être négociés.

- L’évaluation pluraliste a pour objectif de produire les informations nécessaires au système d’acteurs afin d’améliorer sa compréhension des effets ou des évènements survenus au cours de la mise en œuvre de la politique. Le travail politique est appréhendé comme un processus jamais achevé d’apprentissage collectif et de recherche pluraliste de solutions. En ce sens, ce type d’évaluation est aussi qualifiée d’endoformative.

Cette classification, fonction des objectifs assignés à l’évaluation, peut être combinée à une typologie intégrant le facteur « temps ». On distinguera alors :

- L’évaluation a priori ou ex-ante (avant la mise en application d’une politique).

- L’évaluation concomitante (pendant la mise en œuvre d’une politique).

- L’évaluation a posteriori ou ex-post (après application d’une politique).

2.2 Une opposition générique entre évaluation scientifique et pluraliste

La typologie qui vient d’être présentée constitue un continuum dont les extrêmes sont d’un côté une volonté de « faire de la science » en évaluant le plus souvent sous une forme quantitative une politique ou un programme, de l’autre la reconnaissance du caractère hybride de l’évaluation : à la fois pratique analytique et pratique politique (Deroubaix, 2001).

Ainsi, les quatre premiers types de démarche peuvent être rangés dans la catégorie de ce que l’on appellera l’évaluation « scientifique », où l’acte d’évaluation est considéré et construit comme une action scientifique extérieure au processus politique qui est jugé rationnel (un décideur clairement identifié étant en mesure de séparer les objectifs des moyens et étant capable de calculer l’utilité attendue de différentes options envisageables). Elle s’oppose à l’approche pluraliste qui considère que l’évaluation est une partie intégrante du processus politique d’élaboration et de mise en œuvre de l’action publique. Elle donne à voir une vision cyclique des politiques publiques où la prise de décision cesse d’être envisagée comme un processus linéaire mais est vue comme un phénomène itératif constamment ouvert au ré-examen et à la revision.

Au moment de la création du Conseil scientifique de l’évaluation en 1990, les orientations données par le gouvernement français vont conduire à privilégier un modèle pluraliste pour l’évaluation des politiques nationales, combinant la production de connaissances et le débat d’orientation politique (mais ces deux niveaux ne sont pas nécessairement réunis en même

212 Acteurs qui sont supposés être à l’origine du problème que doit résoudre une politique publique et dont la politique en question cherche à modifier le comportement.

temps)²¹³. A ce propos, certains auteurs n’hésitent pas dire qu’il existe un « modèle français » de l’évaluation des politiques publiques qui possède ses propres caractéristiques conceptuelles, institutionnelles et opérationnelles (Kessler et al., 1998). Ces mêmes auteurs portent un jugement mitigé sur le modèle en question et soulignent la faible implication de l’acteur politique, une utilisation très réduite des résultats de l’évaluation pour modifier ou concevoir les politiques publiques, et ce malgré l’intérêt des acteurs chargés de la mise en œuvre des politiques publiques pour cet outil visant une meilleure intelligibilité de l’action publique.

L’approche qui est privilégiée aujourd’hui en France diffère de ce qui prévaut par exemple aux Etats-Unis, où l’évaluation reste étroitement liée à une volonté de rationalisation de l’action publique dans le but d’assurer un meilleur usage des fonds et de réduire le coût de la dépense publique (Larrue, 1997) ²¹⁴. Le modèle « positiviste » américain a inspiré la pratique française jusqu’à la fin des années 1980.

Si le type d’évaluation qui est désormais valorisé dans notre pays s’inscrit en rupture avec cette démarche, cela ne signifie pas pour autant que l’évaluation scientifique n’est plus pratiquée. Il convient en fait de dépasser le conflit qui oppose ces deux approches. Selon les contextes de l’évaluation, l’une ou l’autre des démarches peut être retenue ou parfois un mixage des deux. Le choix est fonction de plusieurs paramètres : des perspectives dans lesquelles le commanditaire inscrit l’évaluation (juridique, politique, technico-économique,…), des caractéristiques de la politique évaluée (innovante ou classique, sectorielle ou globale), des objectifs fixés et des destinataires de l’évaluation. A cela ajoutons que ce choix est aussi fonction des conditions générales de mise en œuvre de l’évaluation (délais impartis, enveloppe financière accordée, disponibilité et fiabilité des données existantes, types d’information nécessaires).

2.3 Les aspects méthodologiques, au cœur de l’évaluation

Engager une démarche d’évaluation suppose de mener en préalable une réflexion sur la méthodologie à employer. Nous aborderons cette question en référence à notre travail qui, selon la typologie précédente, relève d’une « évaluation scientifique ».

Le cadre méthodologique d’une évaluation est établi par ce que l’on nomme le plan de recherche qui spécifie l’organisation générale retenue en fonction de l’information disponible ou à collecter et qui explicite la façon dont on pense appréhender la réalité à évaluer. Deleau

213 L’évaluation pluraliste, telle qu’elle est menée en France, est fortement institutionnalisée. Elle est placée sous l’égide du Conseil national de l’évaluation et réalisée au sein d’instances ad hoc qui rassemblent autour de l’évaluateur (ou du groupe qui à la responsabilité scientifique et technique de l’évaluation), des experts appartenant à des champs de compétences divers, des représentants du commanditaire de l’évaluation et éventuellement des représentants des groupes cibles. On notera que dans une démarche d’évaluation pluraliste, l’évaluateur renonce à se placer en position d’extériorité par rapport à son objet d’analyse. Il fait partie du processus dans lequel il doit éclairer les débats et améliorer les interactions entre les parties prenantes.

214 Les Etats-Unis sont un pays pionnier en matière d’évaluation des politiques publiques où cette pratique s’est développée à partir des années 1960. Le premier courant, constitué par les « Recherches évaluatives », est à l’origine des méthodes de contrôle de gestion, dont relève par exemple le modèle du « Planning programming and budgeting system », ancêtre de la « Rationalisation des choix budgétaires » développée en France par le Ministère de l’agriculture dans les années 1970.

et Nioche (1986) distinguent trois types de plans de recherche, classés en fonction de la présence ou non d’un groupe témoin dans l’évaluation²¹⁵ :

- l’évaluation sans groupe témoin qui est utilisée lorsqu’il n’est pas possible d’isoler un groupe non affecté par la politique évaluée ;

- l’évaluation avec un groupe témoin non équivalent qui s’appuie sur une comparaison du groupe cible avec un groupe non affecté ou affecté différemment, dont les caractéristiques ne sont pas totalement semblables à celles du groupe cible²¹⁶ ;

- l’évaluation avec un groupe témoin équivalent qui porte sur une comparaison du groupe cible avec un groupe non affecté dont les caractéristiques sont statistiquement semblables à celles du groupe cible (l’équivalence des populations est garantie par leur constitution par tirage au sort).

Angelmar (1984) propose un classement plus globalisant des méthodologies, qui distingue :

- l’expérimentation vraie qui correspond en fait à l’évaluation par comparaison d’un groupe cible avec un groupe témoin équivalent ;

- la coupe instantanée qui suppose qu’une politique ou une action publique n’a pas été mise en œuvre uniformément pour tous les destinataires potentiels, entraînant donc des variations dans les effets attendus. On cherche à mesurer au même moment les variations en question auprès du groupe cible ;

- l’étude longitudinale qui est fondée sur plusieurs coupes successives de la réalité à évaluer. On compare le comportement d’indicateurs (préalablement établis) avant et après la mise en œuvre de la politique à évaluer, ceci pour une seule unité d’analyse considérée dans sa forme la plus simple (un pays, une région, une ville,…).

A côté de ces options méthodologiques, l’évaluation doit faire appel à des techniques de recueil, de traitement et d’interprétation des informations qui ne sont pas spécifiques à ce domaine d’investigation (études de cas, enquêtes, analyses de données,…). En matière d’évaluation des politiques publiques qui touchent l’environnement, comme c’est le cas de la cartographie réglementaire, la constitution d’indicateurs pertinents (qu’ils soient de nature quantitative ou qualitative) est le support pour l’acquisition d’informations et de données sur la réalité à évaluer. Nous reviendrons sur ces aspects en présentant la démarche que nous avons développée. Mais auparavant, il s’agit de mettre en évidence l’expérience acquise en matière d’évaluation de la politique de gestion des risques naturels, qui a servi de référence à notre recherche et a permis de positionner notre démarche.

215

A ce propos, Oscar Cordeiro-Netto et Bernard Barraqué (1991) précisent que c’est par le biais d’une démarche expérimentale avec un groupe témoin (non influencé par le phénomène à évaluer) que l’on peut espérer apprécier les effets propres de l’action étudiée. Mais la détermination d’un véritable groupe témoin n’est pas toujours possible.

216 Le groupe cible correspond aux personnes morales ou physiques dont le comportement est visé par la politique publique. Ici, il est supposé identique à ce que l’on appelle le groupe affecté, c’est-à-dire celui qui va bénéficier de l’action publique ou être défavorisé par celle-ci. Il n’y a pas nécessairement concordance exacte entre le groupe cible et le groupe affecté.

3. L’évaluation de la politique de gestion des