De la difficulté d’évaluer les politiques publiques locales

ƒ Une difficulté qui tient à l’objet de l’évaluation

Comme nous l’avons décrit plus haut, l’évaluation au niveau local s’est d’abord développée en s’inspirant des dispositifs mis en place par l’État. De même que l’État évaluait les politiques publiques nationales, il a paru naturel que les collectivités en fassent autant pour leur propres politiques. D’où le fait que l’évaluation s’est d’abord développée comme évaluation des politiques publiques locales.

‚ Qu’est-ce qu’une politique publique locale ?

Or, si la délimitation d’une politique publique, au niveau national, semble déjà une chose ardue, faire ce même exercice au niveau d’une politique territoriale le paraît encore davantage.

En effet, la notion de politique publique recouvre un champ très large : il s’agit d’une multiplicité d’actions et de dispositifs qui concourent à un même but. Cela implique non seulement de répertorier toutes les actions, directes et indirectes, qui contribuent à ce secteur, mais aussi et surtout de mesurer les impacts de ces différentes actions sur le territoire et la population.

‚ Comment mesurer ses effets ?

Très vite il apparaît que la volonté d’exhaustivité dans ce genre d’exercice est à bannir, tant le départ entre les effets provoqués et les effets spontanés est difficile à établir, et tant l’identification de la responsabilité de chaque acteur dans le processus semble impossible. De même qu’en contrôle de gestion la méthode de coût global ne parvient jamais à identifier 100% des coûts générés par l’activité, l’évaluation des politiques publiques ne peut parvenir à circonscrire complètement le champ de la politique étudiée. Elle s’accompagne donc nécessairement d’une zone d’incertitude dont l’étendue croît avec le champ de la politique publique concernée.

‚ L’enchevêtrement des politiques sur un même territoire

On pourrait croire qu’en tentant d’évaluer des politiques publiques au niveau local, la délimitation du champ d’études serait plus aisée qu’au niveau national. Pourtant il n’en est rien, tant il est vrai que les politiques publiques locales ne sont pas des blocs unitaires qui, additionnés les uns aux autres, formeraient une politique nationale cohérente. Les actions des collectivités territoriales s’inscrivent toujours dans un contexte national, et même un contexte mondialisé, qui les influence. Par exemple, une commune qui va évaluer sa politique de transport public aura du mal à mesurer ce qui est véritablement de sa responsabilité dans les résultats qu’elle relève et ce qui relève d’autres acteurs (politique énergétique, grandes infrastructures de transports, récession économique etc.).

‚ Le foisonnement des acteurs participant à une politique publique locale

Non seulement la collectivité a du mal à isoler l’impact de sa politique sur le territoire, mais encore est-elle tributaire de ses partenaires pour disposer de l’information nécessaire à la réalisation de la mission d’évaluation. L’une des principales difficultés de l’évaluation tient aujourd’hui au foisonnement et à la dissémination de l’information entre tous les partenaires d’une politique, qui rend d’autant plus compliquée la tâche de collecte d’information nécessaire à l’évaluation. De ce point de vue, l’État semble mieux armé que les collectivités pour avoir une vue d’ensemble sur une politique particulière et l’ensemble des partenaires qui y concourent.

ƒ Une difficulté qui tient aux buts assignés à l’évaluation

‚ La difficulté d’établir un référentiel nuit à la finalité d’amélioration des politiques publiques que s’assigne l’évaluation

Si l’évaluation des politiques publiques locales est un jugement de valeur, comme nous le disions en introduction, alors elle permet de placer la politique étudiée sur une échelle, de la comparer à un certain standard. En effet l’évaluation n’est pas qu’un simple audit, un état des lieux. Elle doit viser l’amélioration continue de son objet d’étude, et pour cela elle se réfère à une norme, interne ou externe, existante ou reconstruite.

Or la difficulté de l’évaluation des politiques publiques, telle qu’elle est aujourd'hui pratiquée, est qu’elle consiste plus souvent, dans une optique archéologique, à retrouver le sens perdu de la politique publique, qu’à véritablement évaluer si les résultats constatés concordent avec les objectifs fixés.

Les évaluations valent souvent plus par l’inventaire qu’elles dressent et la mise à plat des actions qu’elles présentent, que par les ajustements qu’elle proposent. Cela signifie que la fonction de « porter à connaissance » de l’évaluation prend souvent le pas sur ce qui est pourtant sa raison d’être, à savoir le pilotage, par faute d’un référentiel clairement défini et identifiable pour la politique publique locale.

‚ Faute d’un suivi adéquat, la fonction d’aide à la décision de l’évaluation est diminuée

Le signe que l’évaluation des politiques ne remplit que trop rarement son rôle d’aide au pilotage nous vient aussi du fait que, de l’avis des praticiens eux-mêmes, les évaluations ne sont que trop rarement suivies d’effet. Le maillon faible de l’évaluation reste en effet le suivi qui lui est apporté, et ceci est vrai aussi bien du niveau local que du niveau national.

‚ La fonction de comparaison entre collectivité est grevée par l’hétérogénéité du champ des politiques publiques d’une collectivité à l’autre

Par ailleurs, si la comparaison des résultats d’une évaluation avec des objectifs initiaux peut s’avérer difficile, la « comparaison externe », c’est-à-dire entre collectivités, est encore plus problématique. Si les méthodes de l’évaluation sont aujourd’hui en voie de standardisation, en revanche le périmètre de chaque évaluation varie nécessairement d’une collectivité à une autre.

Dans ce contexte, toute comparaison établie sur le fondement des rapports d’évaluation devient contestable. Par conséquent, on se trouve devant des situations où la collectivité n’est

en mesure ni de se comparer à elle-même (par rapport aux objectifs initiaux qu’elle s’était fixés) ni de se comparer aux autres. Comment la collectivité pourra-t-elle alors s’appuyer sur les résultats de son évaluation pour améliorer son action ? par rapport à quel référentiel ? Toutefois, pour rester sur le terrain de la comparaison externe, entre collectivités, si la comparaison entre deux évaluations d’une même politique réalisée par deux collectivités différentes est un exercice délicat, la vraie différence se fait aujourd’hui entre les collectivités qui tentent d’évaluer, avec toutes les difficultés que cela comporte, et celles qui n’évaluent pas. Et dans cette distinction, on voit dans une collectivité territoriale qui mène des évaluations une institution qui est à l’écoute de ses partenaires, de son territoire et de sa population.

ƒ Une difficulté qui tient au positionnement de la fonction évaluation

‚ L’évaluation : une fonction transversale handicapée par le cloisonnement des services …

Fonction par essence transversale, l’évaluation se heurte souvent à un cloisonnement des compétences et des services de la collectivité. Ce phénomène est souvent à l’origine du déficit d’information dont souffre les agents chargés de l’évaluation, et qui constitue le premier obstacle à l’accomplissement de leurs missions.

‚ … et par la réticence des agents …

Le manque de diffusion de la culture du résultat et de la performance dans les collectivités territoriales met parfois les missions d’évaluation en butte à une réticence de la part des services, qui voient dans l’évaluation une démarche de contrôle et de jugement critique sur leur activité.

‚ … ainsi que des partenaires.

A cet obstacle interne s’ajoute aussi la difficulté de mobiliser les partenaires de la collectivité territoriale qui entrent en jeu dans la mise en œuvre de la politique évaluée, et sur lesquels le service chargé de l’évaluation n’a pas de prise hiérarchique.

‚ L’évaluation souffre d’une suspicion de manque d’objectivité

Par ailleurs, une des difficultés majeures que connaît aujourd’hui la fonction d’évaluation dans les collectivités territoriales tient au fait qu’elle est presque toujours réalisée par les services eux-mêmes. Certes le recours à des cabinets d’experts est quasi-systématique, mais le pilotage des missions d’évaluation est le plus souvent du ressort de la collectivité.

Or le fait que l’évaluation des politiques publiques locales est, en quelque sorte, une « auto-évaluation », pose nécessairement le problème de la sincérité de celle-ci. On pourrait penser que seul un tiers, œil extérieur à la collectivité, peut apporter l’impartialité et l’objectivité nécessaires à l’évaluation, à l’image de ce qui a cours de le domaine de la notation financière (à laquelle, au passage, certaines collectivités ont maintenant recours) avec les agences Moody’s ou Standard and Poors.

Pourtant il n’existe pas encore en France, d’institution, privée ou publique, d’évaluation des politiques publiques locales qui fasse autorité, bien que la substitution d’un Conseil national des politiques publiques locales au Conseil national des services publics départementaux et

communaux ait été évoquée lors du vote de la loi du 13 août 2004 relative aux libertés et aux responsabilités locales.

Comment assurer la sincérité d’une évaluation dès lors qu’elle est réalisée par ses propres soins ? La question de la sincérité est en fait liée à une autre problématique, celle de la sensibilité des résultats de l’évaluation : soit l’évaluation s’attelle à des sujets sensibles politiquement, au risque de produire des résultats préjudiciables à l’organisation, soit elle aborde des sujets plus consensuels, mais de ce fait elle choisit d’avoir un impact moins fort sur l’amélioration de la performance de la collectivité territoriale. Cette alternative n’est toutefois vraie que si l’on suppose les résultats de l’évaluation rendus publics. Or force est de constater que ce n’est pas toujours le cas.

ƒ Une difficulté qui tient au commanditaire de l’évaluation : l’autorité politique

‚ Du risque de se confronter à ses propres dysfonctionnements.

Outre la question de la sensibilité des résultats, la question reste de savoir si les autorités publiques locales ont réellement intérêt à s’exposer, sans que rien les y oblige, aux yeux des citoyens. Mener une évaluation, c’est accepter que les conclusions qu’on en tire puissent être critiques à l’égard du fonctionnement de l’institution que l’on dirige et accepter que la pertinence de certains choix puissent être remise en cause. Pourquoi une collectivité choisirait-elle volontairement de se mettre dans une situation si délicate ?

‚ La crainte de voir l’évaluation remettre en question les choix politiques par l’administration …

D’aucuns voient dans le risque couru par l’évaluation une remise en question de la prérogative des politiques à prendre les choix stratégiques de la collectivité. L’évaluation serait alors une arme à la disposition de l’administration pour contester les orientations décidées par les élus.

‚ Ou par l’opposition …

Par ailleurs, outre ce risque de l’accaparement par la technostructure de la faculté d’arbitrage de l’autorité politique, existe aussi le risque de voir les résultats d’une évaluation utilisés par l’opposition politique de la collectivité.

‚ Sont à relativiser.

Concrètement, les cas de retournement contre son auteur d’une évaluation sont extrêmement rares, et ce pour plusieurs raisons :

- tout d’abord les instances de validation des rapports d’évaluation sont la plupart du temps ouvertes à l’opposition, qui est donc partie-prenante du processus. De fait les missions d’évaluation sont généralement menées dans un climat de consensus, constructif, et dont chacun sent bien les bénéfices que peut tirer la collectivité en terme de connaissance et d’amélioration de son action. L’intérêt de voir la mission menée à son terme est donc souvent plus grand que la tentation d’en exploiter les résultats sur le plan politique

- ensuite les sujets généralement choisis dans les missions d’évaluation s’étendent sur un temps assez long, qui ne permet généralement pas d’isoler la

responsabilité d’une seule équipe dirigeante. Cette dilution de responsabilité dans le temps est renforcée par la multiplicité des acteurs que font intervenir les missions d’évaluation. Souvent centrées sur des thématiques partenariales et contractuelles, les missions d’évaluation ont bien du mal, si tant est qu’elles le cherchent , à pointer du doigt les responsabilités des uns et des autres.

- par ailleurs, les sujets de mission d’évaluation sont d’une part, pas toujours d’une importance politique fondamentale pour les citoyens, d’autre part, l’évaluation intervenant a posteriori, elle traite souvent de sujets « froids », passés au second plan de l’actualité politique de la collectivité au moment de la sortie du rapport

- en outre l’évaluation prenant elle-même un temps considérable, les résultats sensibles auxquels elle pourrait être confrontée ont le temps d’être « déminés » auprès des instances de validation avant la parution du rapport final. Les missions d’évaluation présentent ainsi des conclusions qui n’ont pas le caractère de révélation pour les commanditaires.

‚ Quelle est la portée réelle d’une évaluation pour les commanditaires?

Si les risques de voir une évaluation déboucher sur des résultats peu flatteurs pour l’équipe dirigeante en place sont donc faibles, il faut en plus relativiser l’impact que peuvent avoir les missions d’évaluation. En effet, non seulement les pratiques en matière de communication au sujet des évaluations sont très disparates d’une collectivité à l’autre, mais encore le relais qui leur est donné dans les médias est souvent faible voire nul, peut-être précisément parce que les conclusions ne cherchent pas à porter d’accusation, même si elles sont souvent critiques.

Les conclusions des rapports d’évaluation de politiques publiques sont donc dans une situation très particulière : en effet la méthode de conduite des missions et d’élaborations des conclusions est telle que le risque d’une évaluation préjudiciable à l’autorité politique est faible, et pour autant, une évaluation dont les conclusions seraient au contraire à l’avantage de celle-ci serait nécessairement sujette à caution, dans la mesure où elle émane de la collectivité elle-même.

3.2.2. Des limites de la réduction de l’évaluation à l’évaluation des politiques