L’évaluation des effets induits par les interventions étatiques auprès de la société civile

Au début du XXe siècle, l’évaluation était conçue comme une démarche méthodique pour favoriser le rendement du travail humain. En même temps, un problème de critères d’évaluation se posait. Il était question de dépasser une approche qui ne prenait en compte que la simple mesure chiffrée des résultats d’une activité (Ridley & Simon, 1938). Il fallait prendre en compte à la fois l’aspect quantitatif (la mesure chiffrée) et l’aspect qualitatif (le jugement en référence à une valeur).

La notion d’évaluation a fait son entrée dans le domaine de l’éducation, aux Etats- Unis, dans les années 1930. Les enjeux portaient sur les effets des réformes des programmes d’enseignement sur la réussite scolaire des élèves (Tyler, 1949). Cela a été impulsé par le

General Accounting Office (GAO), un organisme d’audit, d’évaluation et d’investigation du Congrès des Etats-Unis, chargé du contrôle des comptes publics et du budget fédéral, créé en 1921 (Rouban, 1983). C’est pour ainsi dire, par le contrôle, à la fois quantitatif et qualitatif, des effets des « politiques éducatives » que la notion d’évaluation est entrée dans les « politiques publiques » étasuniennes.

Il a fallu attendre les années 1960-1970 pour que l’évaluation se répande dans les sciences sociales. En revanche, en France, par l’arrêté du 2 février 1967, une licence de « sciences de l’éducation » a été instaurée. L’évaluation n’y a pas été automatiquement liée, comme il a été le cas pour l’émergence de l’analyse de politiques publiques et le management public (Laufer & Burlaud, 1980; Nioche, 1982a, 1982b; Nioche & Poinsard, 1984; Poinsard & Nioche, 1984; Rangeon, 1993). Jusqu’à la fin des années 1980, la notion d’évaluation1 _était

1 _{Nous rappelons que l’« évaluation des politiques publiques » a été institutionnalisée en France au début des}

années 1990. Il s’agissait, en effet, de la reconnaissance juridique des travaux de recherche réalisés dans les années 1960-1970 sur la rationalisation des choix budgétaires (Peyrefitte, 1998). L’article 1er _{du décret du 22}

janvier 1990 stipule : « Il est créé un comité interministériel de l'évaluation chargé de développer et de

coordonner les initiatives gouvernementales en matière d'évaluation des politiques publiques. L'évaluation d'une politique publique au sens du présent décret a pour objet de rechercher si les moyens juridiques, administratifs

encore tout à fait modeste dans l’administration française (Duran & Monnier, 1992). Néanmoins, par son succès sémantique, elle est devenue un véritable mot d’ordre politique. L’évaluation devait permettre non seulement de mesurer les résultats objectifs, mais aussi de porter un jugement de valeur sur les effets des choix politiques. Les courants de pensée qualifiés de « gestionnaires » ont privilégié la dimension quantitative (Deleau et al., 1986). L’évaluation serait une forme moderne de contrôle des effets d’une activité quelconque. Les courants « démocratiques », au contraire, ont privilégié la dimension qualitative (Viveret, 1989). L’évaluation serait, dans ce cas, un outil ou une contribution favorisant les débats démocratiques. Toutefois, des ambiguïtés subsistaient non seulement sur la cohérence conceptuelle de l’« objet » propre de l’évaluation, mais aussi sur l’indépendance de jugement de l’évaluateur.

François Rangeon, dans son article La notion d’évaluation, a fait un travail de débroussage conceptuel au sujet de la question perplexe de la polysémie de l’évaluation. D’après lui, l’évaluation n’est pas seulement un concept ; elle est aussi une pratique. Aussi a- t-il précisé qu’« elle ne produit pas seulement des effets de connaissance, mais aussi des effets

de légitimation. Si elle permet de mieux connaître l’administration, c’est dans le but d’améliorer son fonctionnement et d’accroître sa légitimité aux yeux du public » (Rangeon, 1993, p. 14). Il a fait ressortir les différences subtiles entre l’évaluation et les principales notions auxquelles elle était assimilée, à savoir : le contrôle et l’audit. Sa thèse est que l’évaluation, contrairement au contrôle et à l’audit, est « une notion multiforme dont le

contenu se caractérise par la coexistence de trois dimensions difficilement conciliables : une dimension économique, une dimension sociale et une dimension éthique » (Rangeon, 1993, p. 18). C’est sans doute en raison de la complexité du champ conceptuel de l’évaluation, du foisonnement des évaluations et de l’inventivité des évaluateurs que l’évaluation des politiques publiques est traversée par plusieurs courants (Jacob & Varone, 2001).

Dans cette optique, l’évaluation des politiques publiques est plus un outil d’analyse, d’information et d’apprentissage, qu’une procédure de sanction. Par définition, « évaluer une

politique publique consiste à mesurer les effets propres de cette politique et, en fonction de critères bien définis, à porter un jugement de valeur sur ces effets, qu’ils soient voulus ou pervers, directs ou indirects, induits à court ou à long terme, etc. » (Jacob & Varone, 2003, p. 11). Un évaluateur ou une évaluatrice de politiques publiques doit, en effet, utiliser

ou financiers mis en œuvre permettent de produire les effets attendus de cette politique et d'atteindre les objectifs qui lui sont assignés » (Journal Officiel de la République Française, 1990, p. 952).

systématiquement des méthodes d’analyse et des normes de qualité pour se dégager de l’évaluation partisane (Jacob & Varone, 2003; Varone & Magdalijns, 2000). Cela nécessite donc deux choses fondamentalement liées : 1) une démarche méthodologique, à la fois transparente et reproductible, à partir d’un modèle de causalité, des données empiriques fiables et des techniques d’analyse, et 2) une appréciation de qualité fondée sur des indicateurs de pertinence, d’efficacité, d’efficience et/ou d’économie des prestations publiques.

L’évaluation des politiques publiques, traditionnellement présentée comme la dernière étape qui clôt le cycle d'une politique ou comme la phase qui lui impulse une nouvelle dynamique (Jacob, 2010), renferme les énoncés évaluatifs sur les effets. Ces derniers constituent le sixième élément du modèle d’analyse que nous privilégions, et désignent à la fois les « outcomes » et les « impacts ». Il convient ici de préciser deux choses : l’une porte sur l’acception que nous faisons des notions « outcomes » et « impacts » ; l’autre concerne les critères d’évaluation d’une politique publique.

En premier lieu, les termes techniques « impacts » et « outcomes » peuvent avoir des acceptions fort différentes selon qu’ils entrent dans une terminologie anglo-saxonne, internationale ou régionale. Pour certains auteurs, il est préférable de considérer les « impacts » comme les résultats ou les changements à long terme (« longer-term changes ») et les « outcomes » comme les résultats ou les changements à court et à moyen terme (« short

and intermediate changes »). Par exemple, pour Soguel et Huguenin (2008, p. 167), « les outcomes correspondent aux effets intermédiaires et sectoriels de la politique, c'est-à-

dire aux changements – ou à l'absence de changement – comportementaux des groupes de population visés (ou groupes-cibles) par la politique concernée, par exemple la durée de prise en charge dans le domaine de l’aide sociale ». Dans cette optique, « les impacts

correspondent aux effets finaux et globaux sur l'environnement, le système économique et social » (Soguel & Huguenin, 2008, p. 167). Galdemar, Gilles et Léopold (2012) abondent dans le sens de cette approche. Néanmoins, en matière de temps, ils ont fait une nuance entre les « réalisations » et les « résultats » d’une politique. Aussi, ont-ils souligné : « Les effets

englobent les réalisations (effets immédiats ou "output"), les résultats (effets à moyen terme ou "outcome") et les impacts (effets à long terme). Ils sont attendus (explicitement prévus dans les objectifs) ou inattendus, et peuvent être positifs ou négatifs » (Galdemar et al., 2012, p. 11). Pour d’autres, c’est tout le contraire. Par exemple, chez Knoepfel, Larrue et Varone (2006, p. 247_{‑248), les « outcomes » d’une politique publique sont considérés « comme}

l'ensemble des effets, en termes de problèmes publics à résoudre, qui sont imputables aux changements de comportements de groupes cibles (impacts) eux-mêmes induits par des actes de mise en œuvre (outputs) ». D’après eux, les « impacts » doivent être considérés « comme

l'ensemble des changements de comportements, voulus ou non qui sont directement imputables à l'entrée en vigueur des PPA, des APA, des plans d'action et des actes de mise en œuvre (outputs) qui les concrétisent » (Knoepfel et al., 2006, p. 243). Qui plus est, ces auteurs fixent leur position dans une note de bas de page, en disant : « cette terminologie ne

correspond pas à celle notamment anglo-saxonne ou internationale (ex. : OCDE) qui (à notre avis à tort) considère comme impacts des résultats finaux ici nommés "outcomes" » (Knoepfel et al., 2006, p. 248). Perret (2001, p. 19), lui-même, parle d’« impact systémique » pour désigner des « effets collatéraux », c'est-à-dire « des effets plus larges que ceux explicitement

visés par les décideurs ». Il n’y a donc pas de compromis sur les notions d’« outcomes » et d’« impacts ».

En effet, sans la moindre prétention à vouloir trancher ces débats, nous proposons de faire un choix opérationnel tout à fait neutre dans notre démarche analytique. En lieu et place des termes techniques « impacts » et « outcomes » qui génèrent des discussions, nous utilisons respectivement les concepts français suivants : « effets intermédiaires et sectoriels » et « effets finaux et globaux ». Ici, nous disons, par exemples, que les énoncés évaluatifs sur les effets d’une politique publique sont constitués « des effets intermédiaires et sectoriels » et « des effets finaux et globaux ». Dans cet ordre d’idées, les « effets intermédiaires et sectoriels » d’une politique publique correspondent aux changements comportementaux à

court et à moyen terme des groupes cibles, qui sont imputables à l'entrée en vigueur du programme politico-administratif, de l’arrangement politico-administratif, des plans d'action et des actes de mise en œuvre. Les « effets finaux et globaux » correspondent alors aux

changements comportementaux à long terme des groupes cibles, qui sont imputables à la politique publique concernée. Dans ce cas, les cinq principaux variables (Knoepfel et al., 2006, p. 246‑247) de l'étude empirique du profil des « effets intermédiaires et sectoriels » d'une politique publique peuvent être ainsi formulés : 1) les « effets intermédiaires et sectoriels » existants ou manquants, 2) les « effets intermédiaires et sectoriels » durables ou éphémères, 3) les « effets intermédiaires et sectoriels » spatio-temporels ouverts ou fermés, 4) les « effets intermédiaires et sectoriels » cohérents ou contradictoires, et 5) les « effets intermédiaires et sectoriels » coordonnés ou opposés. Concernant l’analyse des données empiriques des « effets finaux et globaux », nous pouvons également distinguer les quatre

dimensions suivantes : 1) les « effets finaux et globaux » existants ou manquants, 2) les « effets finaux et globaux » durables ou éphémères, 3) les « effets finaux et globaux » spatio- temporels ouverts ou fermés, et 4) les « effets finaux et globaux » cohérents ou contradictoires.

En second lieu, les analystes n’établissent pas, d’un commun accord, un référentiel ou une grille d’analyse des politiques publiques. Le fait est qu’une politique publique constitue toujours « un construit social et un construit de recherche » (Muller & Surel, 1998, p. 14). Larrue (2000, p. 24) a même dit qu’« une politique publique n’existe pas en soi mais en

fonction de son analyste ». Mény et Thoenig (1989, p. 134‑135) ont déjà exprimé la même idée en ces termes : « Une politique publique se présente […] comme une abstraction dont il

s’agit précisément, à partir d’éléments empiriques épars, dans les textes, dans les budgets, dans les organigrammes, de reconstituer l’identité et le contenu par agrégation successive, de proche en proche ». En effet, l’évaluation d’une politique publique est faite en fonction du contexte et des buts poursuivis. Jacob (2005, p. 259) a précisé que « le cheminement de

l’évaluation des politiques publiques ne saurait […] être retracé et compris sans analyser en profondeur le jeu des acteurs concernés par le développement théorique et méthodologique, l’application concrète et les (anticipations des) effets politiques induits par les résultats mêmes de l’évaluation ». Chaque analyste est donc appelé à reconstruire et à délimiter son champ d’étude.

Toutefois, quoiqu’il n’existe pas de recette tout-terrain, la démarche évaluative implique un certain nombre d’exigences ou de principes à la fois scientifiques et méthodologiques. Nous pouvons citer, par exemple, des principes généraux, tels que : la rigueur, l’impartialité, la transparence, le souci de tenir compte de la pluralité des points de vue, la volonté de faire prévaloir l’intérêt général (Perret, 2001). Dans cette optique, pour mener à bien l’évaluation d’une politique publique ou plus précisément pour porter un jugement de valeur sur les produits et les effets induits auprès de la société civile, l’analyste doit établir des critères d’appréciation clairs. Comme l’a bien souligné Perret (2001, p. 3) : « Evaluer c’est […] élaborer un "référentiel" – ensemble de critères opératoires et politique –

, formuler des questions de recherche adossées à ce référentiel et pertinentes du point de vue de l’action et de la décision et, enfin, y répondre au mieux en puisant de manière pragmatique dans les boîtes à outils des sciences sociales et du management ». Les critères d’évaluation doivent, en effet, nous permettre de comparer ou « de mettre en relation les différents

de causalité sur lequel elle repose » (Varone & Magdalijns, 2000, paragr. 19). Le modèle d’analyse des politiques publiques que nous adoptons renferment plusieurs critères d’évaluation (qui ne sont pas exclusifs). Nous pouvons en distinguer six : 1) l’effectivité, 2) l’efficacité, 3) l'efficience allocative, 4) l’équité, 5) la pertinence et 6) l’efficience productive. Le critère de l’effectivité permet de faire à la fois un examen systématique de la légalité de l’exécution et un test de l’hypothèse d’intervention. Il s’agit d’évaluer le degré des « effets intermédiaires et sectoriels ». On cherche à répondre à la question : « dans quelle

mesure les réalisations prévues ont-elles été mises en œuvre ? » (Galdemar et al., 2012, p. 11). D’après le principe juridique de l’effectivité, « il existe une relation nécessaire entre les

règles et situations juridiques et la réalité sociale, et cette relation tend progressivement vers une identification » (Touscoz, 1964, p. 9). En politique publique, le critère d’effectivité porte précisément sur l’adéquation entre les objectifs fixés (les objectifs normatifs) et les objectifs atteints (les « effets intermédiaires et sectoriels » ou le comportement réel des groupes cibles).

Le critère de l’efficacité permet de faire un test de l'hypothèse causale. Il s’agit d’évaluer le rapport entre les « effets finaux et globaux » (les effets escomptés d'une politique) et ceux qui apparaissent effectivement dans la réalité sociale. D’après le principe de l’unité des objectifs en management, « la structure d'une organisation est efficace lorsqu'elle facilite la contribution des individus à la réalisation des objectifs de l'entreprise » (Koontz & O’Donnell, 1980, p. 196). On cherche à répondre aux questions suivantes : « dans quelle

mesure les effets obtenus sont-ils conformes aux objectifs retenus et aux effets attendus ? Comment aurait-on pu optimiser les effets observés ? » (Galdemar et al., 2012, p. 11). Les réflexions sur l’efficacité d’une politique publique ne deviennent pertinentes que si son degré d’effectivité a déjà été constaté empiriquement.

Le concept d'efficience, dans sa plus simple expression, est « axé sur les ressources

(intrants), les biens et services (extrants) et le rythme auquel on utilise les intrants pour produire ou offrir les extrants (productivité) » (BVGC, 2007). Le critère de l'efficience

allocative (du latin allocatio, « allocation ») permet de vérifier si les effets recherchés sont atteints au coût minimal (Mercier, 2002; Varone & Magdalijns, 2000). Il s’agit d’évaluer la relation entre les ressources investies (les coûts) dans une politique publique et les effets obtenus (les bénéfices / l’utilité). En référence à la gestion des ressources humaines, l’efficience allocative est « un rapport maximal entre le niveau de production (extrants) et

une quantité donnée de ressources (intrants), soit la production augmente tandis que la quantité des ressources reste fixe ou que la quantité de ressources diminue alors que la production reste la même » (Moisset, Plante, & Toussaint, 2003, p. 22). Elle porte sur « la

capacité à choisir les bonnes combinaisons de production aux prix en vigueur sur les marchés de facteurs et de produits » (Chaffai & Dietsch, 1999, p. 634). Le critère d’efficience allocative doit apporter des éléments de réponse aux trois questions suivantes : « quels

moyens (matériels, humains, financiers,…) ont effectivement été mobilisés ? Les effets obtenus sont-ils en adéquation avec l’ensemble des moyens mobilisés ? Aurait-on pu atteindre les mêmes résultats à moindre coût ? » (Galdemar et al., 2012, p. 11). Les « réflexions sur

l’efficience allocative d’une politique publique ne deviennent pertinentes que si son degré

d’efficacité a déjà été constaté empiriquement » (Knoepfel et al., 2006, p. 257).

Le critère de l’équité peut être considéré « comme un complément naturel de

l’efficacité et de l’efficience » (Sall & De Ketele, 1997, p. 130). Il permet de mettre en lumière « la façon dont les coûts et les avantages de l’investissement sont distribués parmi les

différents groupes de la société » (Psacharopoulos & Woodhall, 1988, p. 259). L’équité est «

l’expression d’une norme supérieure de justice, inspirée par une sorte de droit naturel, mais elle consiste aussi en l’adaptation à chaque situation particulière d’une solution appropriée ou de l’application d’un droit sans règles écrites et s’appliquant avec précision à chaque situation particulière » (Legatte, 1992, p. 129). Par rapport au système éducatif, Sall et De Ketele (1997, p. 132) en distinguent trois grands groupes de facteurs à prendre en compte :

- à l’entrée : les caractéristiques particulières (sexe, l’âge…), l’origine

sociodémographique et socio-économique des apprenants ;

- pendant les études : les effets-établissements (nombre d’heures d’enseignement,

culture de l’école, caractéristiques du programme scolaire, contrôles de connaissances, etc.), les effets-maîtres (gestion de classe, interactions sociales entre les élèves et l’enseignant, façon d’enseigner en classe, etc.), les caractéristiques des apprenants (processus métacognitifs, processus cognitifs, motivation et attributs affectifs, etc.) ;

- à la sortie : les résultats obtenus, les trajectoires scolaires ou universitaires, les

chances de réalisation professionnelle, sociale et personnelle.

La prise en compte de ces différents facteurs implique, selon ces auteurs, cinq types d’équité :

- l’équité socio-économique de confort pédagogique (infrastructures pédagogiques, ratio

enseignés/enseignants selon le sexe, l’origine, etc.) ;

- l’équité de production pédagogique ou équité dans les produits (nombre de diplômés

selon le sexe, l’origine, etc.) ;

- l’équité pédagogique (« écarts au prétest entre le tiers supérieur et le tiers inférieur

d’une cohorte ») ;

- l’équité externe ou équité d’accomplissement professionnel, social et personnel (« les

mêmes possibilités d’exploiter les diplôme ou les compétences acquises », les mêmes chances de se réaliser personnellement à la sortie ou à la fin des études).

Le critère de la pertinence permet de faire l’adéquation entre les objectifs définis dans le programme politico-administratif (PPA) et la nature de la pression du problème public à résoudre. Il s’agit d’évaluer le lien qui existe / devrait exister entre ces deux éléments (objectifs / problème public). L’analyste fait ici référence au principe formel d’une structure efficace en management, selon lequel « la structure d'une organisation sera pertinente si elle

contribue à la réalisation des objectifs (efficacité) avec le minimum de ressources et de conséquences indésirables » (Koontz & O’Donnell, 1980, p. 196). Par définition, « une

politique publique est dite pertinente si les valeurs-cibles qui sont formulées dans le PPA, et parfois concrétisées dans les plans d'action, sont adaptées à la nature même et à la distribution temporelle et socio-spatiale du problème qu'elle est censée prendre en charge » (Varone & Magdalijns, 2000, paragr. 19).

Le critère de l’efficience productive permet de faire l’adéquation entre les actes de mise en œuvre d’une politique publique et les ressources investies en matière de la capacité des effets de la politique à se maintenir dans la durée. Par définition, « l'efficience productive

d'un système productif complexe est le niveau d'aptitude obtenue dans la capacité à mobiliser les ressources humaines et non-humaines pour produire des objets ou services dans des formes et des coûts requis par la demande » (Ruffier, 1996, p. 3). Si l’efficacité porte sur le degré de la capacité d’utiliser des moyens pour parvenir à une fin donnée, l’efficience implique un moyen terme où les moyens et les buts évoluent et se renouvellent dans le temps. Vu sous cet angle, la mesure de l’efficience productive « vise davantage la capacité d’un

système productif à se maintenir dans la durée que celle à réaliser les meilleurs résultats immédiats possibles » (Ruffier, 1996, p. 4). Le critère de l’efficience productive évalue les

outputs produits par rapport aux ressources investies en référence à une rationalité plus managériale. Il s’agit d’une logique d'organisation et de gestion de l’entreprise et de son

personnel. Dans ce cas de figure, « la performance de l'entreprise dépend […] à la fois des

compétences de ses travailleurs, des décisions tant stratégiques que courantes et de leurs combinaisons judicieusement opérées » (Adoyi, 2011, p. 11). Les politiques publiques ne sont efficientes au point de vue productif « que si, premièrement, elles sont efficaces et si,

secondement, les ressources matérielles et immatérielles nécessaires à leur mise en œuvre sont investies de manière optimale » (Varone & Magdalijns, 2000, paragr. 19).

Dans certains cas, des analystes choisissent de ne pas prendre en compte les critères d’équité, de pertinence et d’efficience productive. Pour mieux fixer le degré d’importance que nous accordons aux variables relatives à ces critères, nous proposons de les passer en revue de manière successive.

L’équité désigne un principe de justice ou d’éthique sociale. D’une part, elle invite les êtres humains à respecter les droits de leurs semblables de manière impartiale. D’autre part, elle vise la répartition des charges et des bienfaits de façon que les membres les moins