Le séquençage du processus des politiques publiques a permis de définir un cadre au sein duquel l’évaluation des politiques publiques a pu se développer. En effet, toute politique publique mélange, selon des proportions variables, deux différents types de prémisses. D’une part, elle se fonde sur des symboles, des valeurs et des normes qui constituent les prémisses d’un registre normatif échappant par nature au test du réel. D’autre part, des prémisses factuelles fondent le caractère déterministe des interventions publiques. Elles visent en effet à produire des impacts empiriquement cernables au sein de l’environnement dont elle a la charge (Gusfield, 1975). Ces prémisses factuelles se fondent sur des hypothèses causales qui supposent que l’action publique génère des effets et des impacts sur son environnement externe. Ainsi, cette deuxième catégorie de prémisses permet d’envisager une politique comme « une action qui postule une théorie sujette à vérification et à réfutation empiriques » (Thoenig, 2008, p.7). Cette légitimité factuelle relève alors d’une vérification empirique rigoureuse qui permettra d’analyser l’impact de la politique publique (Landau, 1977). Les logiques d’évaluation permettent d’examiner la validité empirique de cette relation causale supposée. Elles constituent ainsi une évaluation de la performance des politiques publiques qui nécessite d’adopter un vocabulaire spécifique adapté au cadre conceptuel de la performance publique.
Selon le modèle causal des politiques publiques, on considère donc que l'application d'une politique est la mise à l'épreuve d'une hypothèse implicite ou explicite qui en est à l'origine. Cette hypothèse se fonde donc sur une certaine représentation du problème politique à traiter et sur des instruments permettant d’y remédier. L'évaluation doit donc s'assurer que cette hypothèse est vérifiée, c'est-à-dire que les actions mises en œuvre sont bien à l'origine des « outcomes » intermédiaires et finaux observés. Sous l’angle des théories du changement social, les politiques publiques peuvent donc être évaluées comme la validation d'une relation entre une cause (le programme d'action) et un effet (les résultats attendus), de la même façon que l'on teste empiriquement une hypothèse théorique dont « l’épreuve de validité se situe au niveau de l’analyse empirique de sa mise en œuvre et des effets induits » (Boussaguet et al., 2006, p.205).
[99]
La phase d’évaluation consiste donc à caractériser les résultats et les effets de la politique mise en œuvre pour répondre à un problème émergent. Ils sont notamment évalués par rapport aux intentions et aux objectifs de la politique publique afin de définir si la réponse au problème a été satisfaisante. Cette évaluation constitue alors un jugement et une appréciation de l’action publique qui se fonde sur « une démarche à la fois ambitieuse et rigoureuse » (Bourdin, 2004, p.4). On peut chercher à apprécier la réussite ou l'échec d'une politique, à apporter une contribution théorique au problème dont la politique est le terrain d'expérimentation, à améliorer les politiques dans l'avenir ou à généraliser des politiques vers d'autres domaines et d'autres cibles. L'évaluation est particulièrement utile lorsque de nouvelles réformes sont mises en place dans de nouveaux domaines. Ses résultats doivent alors permettre de réduire l'incertitude par rapport aux effets attendus de l'action. Par exemple, lorsque la vie quotidienne et les libertés individuelles sont concernées, les contraintes imposées par les programmes d'action rendent nécessaires l'apport de la preuve de l'efficacité des mesures engagées.
Cette exigence se situe donc dans cette phase préterminale de mise en perspective des résultats du programme avec la spécification des critères de jugements, la mesure et l’analyse des données, ainsi que la formulation de recommandations. Selon la logique séquentielle, en fonction des jugements portés sur la résolution du problème, la terminaison de la politique publique se traduirait ensuite par une phase de clôture de l’action ou par mise en œuvre d’une nouvelle action.
Cette méthodologie évaluative peut également être utilisée à différentes étapes du processus.
En effet, si les démarches d’évaluation se situent essentiellement dans une approche rétrospective « ex post », il convient néanmoins d’insister sur les apports considérables de la combinaison d’approches « ex-ante » et « ex-post » (Bemelmans-Videc et al., 2003). Plus récemment, les approches évaluatives des politiques de développement durable ont également permis le développement d’évaluation en cours de programme que l’on qualifie d’évaluation
« in itinere » (ou à mi-parcours). Elles peuvent notamment être très utiles pour réorienter une action en cours en se basant sur des indicateurs de développement durable (Lazzeri, 2008).
L’évaluation est une exigence assez récente en matière de gestion des affaires publique. Elle doit permettre de restaurer le lien distendu entre le personnel (élus, fonctionnaires) et la communauté politique des citoyens. Cela revient à tenter de réarticuler, le lien entre les trois visages du politique : la compétition politique, la communauté politique et l’action publique. Dans cette triple perspective, l’évaluation assume plusieurs fonctions : une
[100]
fonction normative de production d’un jugement objectivé, une fonction cognitive de production de connaissance, une fonction instrumentale d’amélioration de la conduite des politiques publiques et, finalement, une fonction légitimatrice de justification des orientations mises en œuvre (Berthet, 2009). Pour produire un jugement le plus objectif possible, l’évaluation des politiques publiques utilise les méthodes de recherche en sciences sociales pour apprécier les effets des politiques. Elle les appréhende comme des processus d'action spécifiques ; c'est à dire des actions devant produire des effets (Nioche, 1982). L’importation de nouveaux principes d’action publique inspirés des méthodes du NPM joue ici un rôle central. Empruntées à la gestion d’entreprise, elles visent à « maîtriser (et à réduire) les dépenses publiques, à rationaliser l’intervention étatique et, surtout, à rechercher, à travers le développement de l’évaluation, une justification procédurale à l’action des gouvernants » (Berthet, 2009). En dehors de cette influence idéologique, les démarches d’évaluation des politiques publiques se sont largement développées dans l’ensemble des Etats modernes.
Il convient de préciser le cadre conceptuel de la performance publique (5.1) et le vocabulaire managérial employé (5.2) pour évaluer et valider les hypothèses causales déterministes des politiques publiques. Ce cadre conceptuel s’inscrit dans l’évaluation d’une double fonction de production à partir de laquelle la performance des politiques publiques peut être évaluée (5.3).
5.1 - Le cadre conceptuel de la performance appliqué aux politiques publiques
Durant les quinze dernières années, le management public s’est fortement intéressé au rôle des marchés et de la performance dans le secteur public. Ces deux thèmes reflètent plus largement les grandes orientations du nouveau management public dont la logique de performance a même fini par convaincre les pays les plus réticents (Bouckaert et Halligan, 2008). Le concept de performance publique a notamment permis de changer la nature de la politique et du management dans le secteur public lui-même. Une définition large et générique du management public insiste d’ailleurs sur la nécessité de « prendre ou d’allouer des responsabilités propres à la performance d'un système, ainsi que le fait de devoir rendre des comptes pour ces résultats » (Pollitt et Bouckaert, 2004).
L'interprétation de la performance du management des politiques publiques trouve ses fondements dans les débats relatifs au fonctionnement des organisations du secteur public. Le paradoxe du management de la performance dans le secteur public se manifeste notamment
[101]
par des tensions entre des valeurs de confiance/'intégrité et des valeurs de rationalité/contrôle.
Cette distinction permet de comprendre les deux traditions des « managements publics » fondées l’une sur la rationalité et l’autre sur la confiance subjective (Bouckaert et Halligan, 2008).
Les disciplines de recherche proposent différentes acceptions de la performance.
Certaines définitions insistent plus sur une performance individuelle, sociétale, organisationnelle ou systémique dépourvue de toute signification ambiguë. Elle n’est donc pas un concept unitaire car elle regroupe « un ensemble d'informations relatives à l’atteinte d’objectifs et qui visent à satisfaire différentes parties prenantes » (Bovaird, 1996, p.146).
Caractériser la performance publique n’est donc pas chose aisée. D’une part, les gestionnaires l’appréhendent en se référant étroitement aux principes de gestion appliqués dans les entreprises. D’autre part, les juristes et les politistes cherchent à rétablir une frontière entre un secteur public et un secteur privé que l’on peut considérer aujourd’hui comme particulièrement ténue (Bozeman, 1988; Bartoli, 2005).
Pour mieux comprendre la complexité de cette performance publique, il faut également prendre en considération le périmètre et la profondeur qu’elle implique (Bouckaert et Halligan, 2008). Le périmètre de la performance est une extension horizontale de la dimension résultats alors que la profondeur de la performance en est une dimension verticale.
Cette dernière peut ainsi caractériser une performance au niveau micro de l’organisation, au niveau macro d’une gouvernance ou au niveau méso d’une politique publique. Dans ce dernier cas, elle constitue alors le dernier lien du mouvement d'évaluation. C’est cette approche évaluative de la performance d’un politique publique que nous adopterons dans notre recherche. Elle se concentre sur un périmètre large et une profondeur méso de la performance publique appliquée à une politique publique environnementale spécifique.
Cette approche de la performance dans le secteur public s’est développée à travers l’utilisation d’un vocabulaire managérial et l’analyse d’une double fonction de production spécifique.
[102]
5.2 - L’adaptation d’un vocabulaire managérial au contexte public
Le cadre conceptuel de la performance appliqué aux politiques publiques s’inscrit dans un contexte de réformes managériales qui visent à transformer les modes d’action et d’évaluation dans le secteur public. Ces réformes visent notamment à faire converger les modes d’action vers des objectifs d’efficacité à travers une logique discursive qui emprunte au vocabulaire managérial employé dans le secteur marchand (Laufer et Burlaud, 1980). Ce changement de vocabulaire constitue « un véritable tournant dans les relations entre l’Etat et les citoyens » car il emprunte notamment à des disciplines telles que le marketing (Butler et Collins, 1995, p.83). Il s’inscrit dans une quête de légitimité nouvelle fondée sur l’efficacité du secteur public et qui participe, selon Gibert, à la « dépublicisation » de la gestion publique (Gibert, 1986). Les problèmes de définition et de traduction de ce vocabulaire managérial anglo-saxon soient sources de confusions. Il convient donc de bien définir ces différents concepts afin de comprendre la performance publique.
L’étude de la performance publique mobilise ainsi un vocabulaire managérial qui définit les
« outputs » comme des actes de mise en œuvre d’une politique publique (Knoepfel et al.
2001). D’autre part, cette performance s’intéresse aux « outcomes » qui désignent de manière plus large les effets visés par la politique et qui renvoient à « l’ensemble des changements dans la société et l’environnement naturel qui sont causalement imputables à des politiques publiques» (Knoepfel et al., 2001, p.101-102). Ces « outcomes » peuvent comprendre des effets volontaires ou involontaires, souhaitables ou non souhaitables et plus ou moins directs.
Le périmètre de la performance d’une politique publique peut se décrire de la manière suivante (Figure 10). Il constitue un processus qui permet de traduire la volonté politique, considérée comme un « input », en une production publique d’ « outputs » qui vise à générer des effets. Dans cette optique, les changements de comportement constitueront des
« outcomes » intermédiaires de la politique publique qui influenceront par la suite des
« outcomes » finaux. Ces derniers désignent les effets produits pour les bénéficiaires finaux ; à savoir les personnes affectées par le problème public et qui peuvent également appartenir aux groupes-cibles.
[103]
Le programme politico-administratif final est sous-tendu par une logique d'action à laquelle correspond une double hypothèse causale. Une première hypothèse va en effet permettre d’imputer la responsabilité du problème à des groupes sociaux, alors qu’une seconde hypothèse d'intervention va définir les modalités de l'intervention étatique selon une relation conditionnelle du type : si.. « outputs »….alors… « outcomes ». Pour valider cette double hypothèse, il conviendra d’analyser les impacts produits par les instruments sur les groupes-cibles et sur les bénéficiaires finaux. Pour mesurer ces changements et l’imputabilité qui peut en être faite aux politiques publiques, on va adopter une évaluation ex post afin de savoir si les mesures mises en œuvre suite au plan d’action (outputs) ont effectivement produit les effets attendus (« outcomes » intermédiaires et « outcomes » finaux). Appliquée aux politiques environnementales, cette double hypothèse causale doit permettre de produire des
« outcomes » permettant de réduire des impacts environnementaux.
Au sein du périmètre de la performance publique, ces « outputs » et « outcomes » sont des « livrables » d’une double fonction de production. Cette dernière constitue une spécificité de la performance publique appliquée au management des politiques publiques.
5.3 - La performance de la double fonction de production publique
L’approche par les finalités des organisations permet de proposer un cadre d’analyse de la performance dans le secteur public. En effet, le secteur public présente des différences de finalités qui se fondent sur la distinction entre organisations et institutions publiques. Les institutions visent en effet à mettre en œuvre une finalité externe républicaine alors que les organisations visent une finalité interne rationnelle. Ces deux concepts constituent les deux facettes de l’évaluation des politiques publiques. Leur analyse combinée présente un caractère
Figure 10 : Le modèle de la performance publique (adapté de Bouckaert et Halligan, 2008)
INPUTS
ACTIVITES
OUTPUTS OUTCOMES
INTERMEDIAIRES
OUTCOMES FINAUX
[104]
réellement pertinent pour le secteur public (Emery et Giauque, 2005). En effet, cette interface est la seule permettant d’évaluer si ces deux facettes sont cohérentes avec la structure de connaissance de l’organisation. Dans le cas inverse, l’organisation publique peut avoir tendance à se désengager de son rôle de pilote de l’action et se contenter de perpétuer simplement ses pratiques antérieures.
5.3.1 - Une double finalité spécifique
La première finalité rationnelle implique que les organisations publiques cherchent à mettre en œuvre des éléments leur permettant d’atteindre certains niveaux de résultats. Elles disposent ainsi de ressources pour réaliser différentes missions dans le cadre de l’objectif d’intérêt général qui leur est fixé. Comme toute organisation productive, elles sont donc en charge d’une activité de production pour des destinataires et des bénéficiaires finaux. C’est d’ailleurs sur cette activité productive peu efficiente que les premières critiques envers les organisations publiques se sont développées dans les années 1980 (Emery et Giauque, 2005).
En outre, une deuxième finalité externe se caractérise par la gestion d’une relation avec l’extérieur (Massardier, 2003). Dès lors, la gestion des politiques publiques doit également se concentrer sur les effets produits par l’action publique dans ses finalités externes républicaines. De fait, si l’étude des organisations publiques a été peu développée par rapport au management du secteur privé ou à l’économie d’entreprise, ce cadre d’analyse enrichissant permet d’approfondir l’étude de ces organisations autour de cette double fonction de production.
5.3.1.1 - La fonction d’efficience
Dans cette première fonction de production, il existe des entrants (« inputs ») qui sont gérés au sein de processus d'activités et qui résultent dans des sortants (outputs). Ces différents éléments peuvent être quantifiés et exprimés en termes financiers ou matériels. Ils peuvent également présenter des aspects plus qualitatifs. Par exemple, l’output d’une formation universitaire peut être évalué par ses coûts globaux, par le nombre de ses diplômés ou par sa qualité. À l’instar des organisations privées, les organisations publiques en charge de l’exécution d’une politique publique visent donc à réaliser une production tout en optimisant l’utilisation de leurs ressources. Leur efficience correspond à la manière avec laquelle des entrants (« inputs »), tels que des ressources financières, du personnel ou des matières premières sont reliés à des sortants invisibles ou à des produits finis qui peuvent être quantifiés (« outputs »). Cette recherche d’efficience se traduit donc par la volonté d’obtenir
[105]
une production maximale avec un minimum de ressources ou d’obtenir un niveau de production fixé à l’avance avec un minimum de ressources (Emery et Giauque, 2005).
Au niveau de l’efficience, quelques différences existent entre les organisations publiques et les organisations privées. On peut citer par exemple le cas du statut des employés, le caractère de l’appropriation et les règles appliquée pour rendre compte de l’activité de l’organisation. En dehors de ces différences, les organisations publiques agissent dans des contextes de gestion proche de ceux des entreprises privées. La principale différence se situe au niveau de la seconde fonction de production basée sur l’efficacité et qui est externe à l’institution. Cela explique que les organisations publiques sont plus complexes à gérer que les entreprises privées. Par exemple, dans le cadre des politiques publiques, l’efficience est un critère qui va parfois apparaître secondaire par rapport aux effets que l’on cherche à produire.
Elles peuvent par exemple chercher à minimiser les conséquences d’un accident majeur ou d’une catastrophe même si le coût annuel supporté est extrêmement élevé. Cependant, même si l’objectif essentiel réside dans leurs impacts, cela ne doit pas se faire à un coût totalement déraisonnable. Cette perception d’une efficience basée sur un équilibre entre les effets et les coûts permet de mieux comprendre l’aménagement de l’instrument du bonus-malus écologique.
5.3.1.2 - La fonction d’efficacité sociétale
Les outputs, que ce soient des produits tangibles ou intangibles, ou encore des instruments de l’action publique, quittent ensuite la boîte noire pour produire des effets sociétaux. Ils représentent également parfois un degré de disponibilité car ils ne peuvent être pas tous être directement consommés. Dans tous les cas, ils visent à produire des effets intermédiaires sur des groupes-cibles et des effets finaux sur des bénéficiaires finaux. Ces effets sont plus ou moins faciles à mettre en évidence car, comme dans le cadre de politiques environnementales de lutte contre le changement climatique, ils seront parfois uniquement visibles pour les prochaines générations. De même, certains effets peuvent demeurer invisibles lorsque la seule existence des outputs permet de prévenir la survenance de certains effets que l’on cherche à éviter.
Cette efficacité sociétale renvoie à la manière avec laquelle des « outputs » sont reliés causalement au résultat d’une politique et aux impacts sociétaux qu’ils sont supposés engendrer. Ces « outcomes » et ces impacts sont d’une nature spécifique si on les compare avec les outputs. Cela explique qu’il n’existe actuellement pas de consensus autour de l’évaluation de ces « outcomes ». La question se pose notamment de savoir comment et avec
[106]
quels indicateurs mesurer cette efficacité. Certains éléments d’évaluation existent mais il reste difficile de dégager des conclusions définitives quant aux cas d’échecs ou de succès dans l’évaluation de ces effets sociétaux (Bouckaert et Halligan, 2008). De plus, il est compliqué de prouver que ces impacts sont directement liés aux politiques publiques car les entreprises peuvent également viser à produire des effets sociaux
Les questions d’éthique et de responsabilité des activités de production intéressent également les activités marchandes (Trinquecoste, 2008). Elles se concrétisent notamment par des démarches de responsabilité sociale des entreprises (Martinet et Payaud, 2007; Reynaud, 2008; Martinet, 2008). Sur le plan environnemental, l’impact des entreprises a également été intégré dans la définition de leurs stratégies (Martinet et Reynaud, 2004). Il a notamment été démontré que les entreprises à vocation internationale étaient plus proactives dans la mise en œuvre de systèmes de management environnementaux reposant sur la norme ISO 14001 (Desmazes et al., 2008)
Cette seconde fonction de production sociétale est donc très complexe à analyser pour les politiques publiques. Elle nécessite en effet une capacité à définir ses propres critères de succès et ses buts finaux de manière discrète. Ainsi, dans un même pays, de fortes différences existeront quant à l’évaluation des institutions. L’évaluation de la fonction sociétale des politiques publiques nécessite donc des recherches approfondies qui se fondent sur des critères communs.
5.3.2 - L’évaluation de la performance publique
Le cadre conceptuel de la performance publique envisage les politiques publiques comme des systèmes sociaux pilotés et devant rendre des comptes pour deux fonctions de production, et non pas seulement pour une, comme cela est le cas des organisations du secteur privé (Thoenig, 1985). Cette logique de performance a obligé les acteurs du système politico-administratif à prendre du recul vis-à-vis de leurs pratiques. Les hypothèses causales à l’origine d’une approche séquentielle des politiques publiques, ainsi que l’évidence du rôle
Le cadre conceptuel de la performance publique envisage les politiques publiques comme des systèmes sociaux pilotés et devant rendre des comptes pour deux fonctions de production, et non pas seulement pour une, comme cela est le cas des organisations du secteur privé (Thoenig, 1985). Cette logique de performance a obligé les acteurs du système politico-administratif à prendre du recul vis-à-vis de leurs pratiques. Les hypothèses causales à l’origine d’une approche séquentielle des politiques publiques, ainsi que l’évidence du rôle