HAL Id: hal-02587644
https://hal.inrae.fr/hal-02587644
Submitted on 15 May 2020HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-entific research documents, whether they are pub-lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.
L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.
Légitimité des indicateurs et de l’évaluation des
politiques publiques - Quelques exemples dans la gestion
de l’eau
Gabrielle Bouleau
To cite this version:
Gabrielle Bouleau. Légitimité des indicateurs et de l’évaluation des politiques publiques - Quelques exemples dans la gestion de l’eau. 2006, pp.18. �hal-02587644�
Légitimité des indicateurs et de l’évaluation des politiques
publiques
Quelques exemples dans la gestion de l’eau
Gabrielle BOULEAU (UMR G-EAU, Cemagref)
20062007 CemOA
: archive
ouverte
d'Irstea
Table des matières
1 Quelques éléments sur la gestion de la qualité de l’eau en France 3
1.1 Les acteurs publics 3
1.2 Les usagers 3
1.3 Les observateurs 3
1.4 Les grandes orientations et les investissements 3
2 Quelques exemples d’évaluation 4
2.1 L’évaluation de la politique « points noirs » faite pour le Conseil d’Administration de Seine
Normandie en 1990 4
2.2 L’évaluation de la politique points noirs de l’AESN par l’ENGREF puis le Cemagref en
2004-2005 6
2.3 Evaluation du dispositif des agences de l’eau par le Commissariat au Plan (1997) 7
2.4 L’évaluation de B. Barraqué : le modèle épargne collective 8
2.5 Sites témoins de l’AESN 8
3 Cadre théorique 9
4 Le fondement de la légitimité politique et critique 10
4.1 Légitimité constitutionnelle de l’évaluation politique 10
4.2 Mise à l’épreuve de la légitimité du porte-parole 11
4.3 Légitimité des références pour juger l’objet 12
4.4 Légitimité de l’unité de mesure (indicateur) 12
4.4.1 La quantification 12
4.4.2 La compensation 13
4.4.3 La pondération 13
4.4.4 La graduation et le palmarès 13
5 Trois conceptions de l’évaluation 14
5.1 Le référentiel d’ « évaluation maison » 14
5.1.1 Caractérisation du référentiel d’évaluation maison 14
5.1.2 Mon point de vue sur cette conception de l’évaluation 14
5.1.3 Les outils de l’évaluation maison 15
5.1.4 Les indicateurs maison 15
5.2 L’évaluation embarquée 16
5.2.1 Caractérisation d’un référentiel « évaluation embarquée » 16
5.2.2 Mon point de vue sur cette conception de l’évaluation 16
5.2.3 Les outils de l’évaluation embarquée 16
5.2.4 Les indicateurs embarqués 16
5.3 L’évaluation extérieure 17
5.3.1 Caractérisation d’un référentiel « évaluation extérieure » 17
5.3.2 Mon point de vue sur l’évaluation extérieure 17
5.3.3 Les outils de l’évaluation extérieure 17
5.3.4 Les indicateurs extérieurs 17
6 Conclusion 18 7 Bibliographie 18 CemOA : archive ouverte d'Irstea / Cemagref
1 Quelques éléments sur la gestion de la qualité de l’eau en
France
Si l’on se restreint à la qualité des milieux aquatiques terrestres (ni les mers, ni les lagunes, ni les nappes, ni l’eau dans les tuyaux) alors on peut présenter les acteurs de la qualité de l’eau de la manière suivante (un peu simplifiée) :
1.1 Les acteurs publics
Les ministères de la santé, de l’environnement, de l’agriculture, de l’industrie et du budget ont chacun leur réglementation et leurs orientations qui conditionnent les travaux de deux services déconcentrés de l’Etat qui agissent dans le domaine de la qualité de l’eau, le service unique de police de l’eau au niveau départemental et la DIREN (direction régionale de l’environnement) au niveau régional. La police de l’eau surveille les prélèvements et les rejets. La DIREN surveille l’ensemble des cours d’eau.
Depuis 1964, il existe dans chacun des 6 grands bassins métropolitain, une agence de l’eau qui est un établissement public à caractère administratif sous la tutelle du ministère du budget et du ministère de l’environnement dont les orientations sont décidées par un comité de bassin où siègent des représentants des usagers du bassin nommés par le préfet. Les agences financent tout ou partie du réseau de mesure de la qualité des milieux aquatiques (Réseau National de Bassin) dont les mesures sont effectuées par les DIREN ou sous-traitées.
Le Conseil Supérieur de la Pêche qui est un établissement public à caractère administratif et technique sous la tutelle du ministère de l’environnement effectue une surveillance du patrimoine piscicole. Cette surveillance est faite par des gardes assermentés ponctuellement sur des cas de pollution ou globalement pour alimenter un réseau de données : le réseau hydrobiologique et piscicole.
1.2 Les
usagers
Les usagers de l’eau des rivières sont des « préleveurs-pollueurs » identifiables par filières, industriels, agriculteurs, collectivités publiques qui en tant que tels sont représentés dans le comité de bassin. Selon leur niveau d’impact ils peuvent ou sont obligés d’effectuer de l’autosurveillance de leurs
prélèvements et rejets. Ces usagers versent des redevances à l’agence de l’eau au prorata de leur impact sur l’eau sur la base d’indicateurs de pollution.
Mais parmi les usagers des rivières il y a aussi des pêcheurs amateurs (les pêcheurs professionnels sont très peu nombreux en rivière) qui sont obligatoirement regroupés en association agrée de pêche et de préservation des milieux aquatiques (AAPPMA) et fédérés par département en fédération de pêche. Ces pêcheurs cotisent à l’AAPPMA, à la fédération et au Conseil Supérieur de la Pêche. Il y a aussi des usagers qui n’interviennent pas dans la mesure de la qualité de l’eau (baigneurs, kayakistes, …).
1.3 Les
observateurs
Les écologistes et les scientifiques portent un regard disciplinaire ou militant sur les usages de l’eau et l’évolution de sa qualité. Ils proposent des critères ou des indicateurs différents de ceux qui sont utilisés.
1.4 Les grandes orientations et les investissements
Le Schéma Directeur d’Aménagement et de Gestion de l’Eau est élaboré par le comité de bassin et fixe les grandes orientations de la gestion de l’eau. Il prévoit d’interdire certains usages pour certaines eaux fragiles, de réserver certaines eaux à un usage futur, etc.
Ces orientations sont élaborées à partir d’un diagnostic qui utilisent les mesures des différents services publics.
Les investissements dans le domaine de l’eau se font à l’initiative des maîtres d’ouvrage, c'est-à-dire des autorités publiques qui ont compétence dans le domaine de l’eau. Parce que ces maîtres d’ouvrage sont principalement des consommateurs et pollueurs de l’eau, les investissements dans le domaine de l’eau visent surtout à améliorer les infrastructures de prélèvement et de dépollution de l’eau. CemOA : archive ouverte d'Irstea / Cemagref
Le programme quinquennal d’intervention des agences de l’eau est financé par les redevances. Il est principalement orienté par les besoins des maîtres d’ouvrage mais dans le souci de respecter les orientations du SDAGE. Tout ceci est illustré par la Figure 1
Figure 1 Représentation schématique des acteurs de la mesure de la qualité de l’eau.
2 Quelques exemples d’évaluation
2.1 L’évaluation de la politique « points noirs » faite pour le Conseil
d’Administration de Seine Normandie en 1990
Dans son cinquième programme d’intervention (1987-1991) l’Agence de l’Eau Seine Normandie a développé une stratégie visant à concentrer les investissements sur des points noirs. 123 “points noirs” furent sélectionnés qui bénéficièrent d’une majoration d’aide. Un bilan annuel de ces points noirs était présenté au Conseil d’Administration de l’Agence. Pour chaque point, étaient indiqués la localisation de la ressource en eau concernée, les paramètres déclassants, les causes possibles de la dégradation avec le nom et la commune des éventuels pollueurs connus et l’avancement de la résorption depuis le diagnostic jusqu’à l’achèvement des travaux nécessaires. En 1990, un tableau récapitulatif d’évaluation de la politique est publié et donne lieu à une conclusion très positive sur cette politique qui est néanmoins abandonnée l’année suivante au motif qu’elle entraîne un effet d’aubaine.
Effet d’aubaine : caractérise le biais d’une politique visant à accorder une aide à des acteurs pour qu’ils modifient leurs pratiques alors qu’ils auraient modifié leurs pratiques sans cette aide.
Le modèle d’action implicite de la politique points noirs ne prévoit pas que la qualité du milieu puisse évoluer sans l’action de l’agence, ni que la réalisation des travaux puisse ne pas avoir d’impact. Il ne prévoit pas non plus d’alternative possible à la constitution d’une maîtrise d’ouvrage. Il y a une stratégie unique qui ne tient pas compte des actions extérieures considérées comme appréhendables
Fédérations AAPPMA Agence Programme d’intervention Comité de bassin SDAGE Scientifiques Ecologistes Min. Envt Min. Agr. Min. Santé Min. industrie DIREN Police eau et pêche Min. budget Mesures Fédérations AAPPMA Fédérations AAPPMA Fédérations AAPPMA Agence Programme d’intervention Programme d’intervention Comité de bassin SDAGE SDAGE Scientifiques Ecologistes Scientifiques
Scientifiques EcologistesEcologistes Min. Envt Min. Agr. Min. Santé Min. industrie DIREN Police eau et pêche Min. budget Min. Envt Min. Agr. Min. Santé Min. industrie DIREN Police eau et pêche Min. budget Mesures Mesures CemOA : archive ouverte d'Irstea / Cemagref
à travers une tendance générale, agrégée et sur laquelle la politique n’a pas de leviers pour agir. Ce modèle d’action est présenté en Figure 2.
CemOA
: archive
ouverte
d'Irstea
Figure 2 Modèle d’action de l’agence interprété à partir du bilan annuel d’avancement de la résorption des points noirs présenté au Conseil d’Administration. Les pollutions identifiées doivent toutes être supprimées (pas de compensation possible), toute rupture (rond) dans la chaîne de décision est jugée comme un échec.
Le tableau de suivi de la résorption des points noirs donne lieu à une évaluation en 1990 que l’agence résume ainsi : « En cinq ans le bilan est éloquent, sur 121 points colorés, 30 ont disparu pour un objectif de 25. Des travaux significatifs devaient être engagés ou achevés dans 45 points ils le furent dans 50 » (Agence de l'eau Seine Normandie 1999). Les critères d’évaluation sont définis par l’agence, le grand public sait peut-être ce qu’est un point noir (devenu par la suite point coloré pour moins stigmatiser les sites concernés) et des cartes existent mais l’objectif de 25 points supprimés n’a pas été affiché au public au démarrage de la politique. C’est un chiffre qui a été négocié avec la tutelle pour obtenir en contre partie des moyens en personnel (contrat Etat-agence). De la même façon le choix des points noirs, leur localisation et les seuils de définition du « noir » sont des critères agence. Il existe une définition objective : un écart de deux classes de qualité entre l’objectif de qualité imposé par l’usage et l’état observé, mais cette définition permettrait d’inclure des points qui n’ont pas été retenus et d’exclure des points qui ont été pris. Par ailleurs la liste des points noirs évolue chaque année sans traçabilité des points disparus. On ne sait pas si certains points ont disparu parce qu’ils ont été résorbés ou bien parce qu’il s’avère impossible de mobiliser aucun acteur sur ce point. Si ils ont été résorbés on ne sait pas si c’est du fait de l’action de l’agence ou bien par déplacement de la pollution ou fermeture d’un établissement polluant pour des raisons économiques. De l’avis du personnel de l’agence l’intérêt de ces points noirs réside surtout dans la dynamique de projet autour de ces points. Ils sont mobilisateurs, ils permettent d’établir des priorités dans les réunions, dans les dossiers à traiter au quotidien. Ainsi il est faux de réduire les moyens dépensés sur ces points aux investissements faits car les résultats sont également dus au temps passé à convaincre les acteurs de l’importance du projet de résorption des points noirs.
2.2 L’évaluation de la politique points noirs de l’AESN par l’ENGREF puis le
Cemagref en 2004-2005
Dans le cadre du partenariat que j’ai avec l’AESN, j’ai cherché à évaluer la politique points noirs sur d’autres critères que le nombre de points noirs résorbés, en étant à la fois plus systématique et en utilisant des critères d’évaluation plus généraux (pertinence, efficacité, efficience) (Bouleau et Lajonquière 2005).
Pour ce faire, j’ai reconstitué avec un collègue une base de donnée la plus exhaustive possible sur les investissements réalisés sur les points noirs. J’ai demandé à des étudiants de bâtir un système géoréférencé d’évolution de la qualité d’eau du bassin qui permette de situer les points noirs. Puis j’ai comparé l’évolution de la qualité des points noirs à l’évolution de l’ensemble du bassin. A chaque étape, il a fallu faire des hypothèses et des choix. Par exemple il a fallu émettre un avis sur le fait que tel investissement ayant bénéficié d’une majoration d’aide sur un site proche d’un point noir doit être pris en compte dans la politique point noir même si il n’est pas identifié comme un investissement point noir. Il a fallu également adopter une mesure unique de la qualité de l’eau. En effet, si la mesure de l’efficacité peut s’exprimer selon des paramètres très différents, la mesure de l’efficience, c'est-à-dire le gain de qualité par unité monétaire investie nécessite une mesure unique de la qualité. Pour tous ces choix, j’ai proposé une méthode reproductible que j’ai explicitée. Concernant la définition de la qualité, j’ai pris la grille de 1971, celle qui avait été utilisée pour définir les points noirs et évaluer
Pollueur 1 Pollueur 2 Pollueur 3
Maîtrise
d’ouvrage Budget du projet Travaux Identification Sensibilisation Financement Avancement
Qualité du milieu Impact Maîtrise d’ouvrage Pollueur 1 Pollueur 2 Pollueur 3 Maîtrise
d’ouvrage Budget du projet Travaux Identification Sensibilisation Financement Avancement
Qualité du milieu Impact Maîtrise d’ouvrage CemOA : archive ouverte d'Irstea / Cemagref
leur résorption. Ce choix a été motivé par la disponibilité des données et du fait que les nouveaux systèmes d’évaluation ne sont pas encore très utilisés par les acteurs de l’eau. Sur les 88 points noirs ayant bénéficié de financement, notre étude a permis de tracer l’évolution de 58 d’entre eux qui ont bénéficié de 246 M€ sur 258 M€ investis dans la politique. Les classes de qualité étant très larges, elles sont peu discriminantes et induisent des effets de seuils importants. Un gain en qualité n’est pas forcément repérable s’il ne change pas la classe. Inversement une perte de qualité peut ne pas se voir non plus. Ces remarques étant faites, en admettant que la répartition des qualités des points étudiés au sein des classes soit uniforme, on peut mesurer le gain général de qualité des points noirs et du reste du bassin. On note alors une baisse de la qualité sur l’ensemble du bassin tandis que les points noirs s’améliorent, notamment en Région Parisienne qui bénéficie pendant le même temps d’une politique Seine Propre.
Cette analyse permet de questionner le modèle d’action initial de l’agence à partir des points noirs qui n’ont pas été résorbés ou de ceux qui l’ont été sans investissements. Ceci nous a conduit à proposer une nouvelle représentation du mode d’action de l’agence en prenant davantage compte des facteurs extérieurs d’évolution. Ce modèle est présenté en
Figure 3 Le nouveau modèle d’action de l’agence proposé dans notre étude tient compte du fait que la qualité du milieu se lit à travers le filtre des indicateurs mesurés (il y a donc des évolutions invisibles), qu’elle résulte non seulement de pollutions ponctuelles identifiées mais aussi de pollution inconnue et diffuse. Par ailleurs, l’arrêt d’une pollution ne passe pas forcément par la création d’une maîtrise d’ouvrage prédéfinie, mais éventuellement d’une maîtrise d’ouvrage différente ou d’un déplacement de la pollution.
2.3 Evaluation du dispositif des agences de l’eau par le Commissariat au
Plan (1997)
Le Commissariat au Plan est une instance d’évaluation et de prospective du gouvernement. Rappelons que le dispositif des agences de l’eau mis en place par la loi de 1964 doit beaucoup aux travaux menés par ce Commissariat au Plan à la fin des années 50 et début des années 60. Le rapport du Commissariat au Plan de 1997 est donc une évaluation menée par une organisation qui
peut considérer1 avoir une certaine paternité sur le dispositif agence. Cette relation entraîne un
rapport de tension assez particulier sur la question de la légitimité. Qui est le plus légitime pour définir ce qu’est et ce que devrait être une agence, l’institution qui a une antériorité ou l’institution qui vit la situation de l’intérieur et qui a intégré toutes les évolutions depuis sa création ?
Les évaluateurs du rapport posent deux questions évaluatives. La première porte sur l’efficience des agences : « Qu'est-ce qu'une agence efficace ? La définition la plus prudente est celle qui consiste à
considérer comme efficace une action qui atteint au moindre coût des objectifs de qualité de l'eau - ou des objectifs stratégiques de politique de l'eau- préalablement fixés » (Commissariat général au
plan 1997, p.47). La seconde porte sur l’effet de cette politique sur le milieu aquatique.
1 Evidemment une organisation ne « considère » pas par elle-même. Comme le dit Mary Douglas,
une institution ne pense pas mais la culture de l’institution, l’histoire que ses membres se racontent, la façon dont on voit le monde depuis l’institution, (même si en son sein les individus sont libres d’analyser le monde différemment), tout cela tend à construire un mode de pensée assez cohérent Douglas, M. (1999). Comment pensent les institutions. Paris, Editions La découverte/MAUSS. 180p..
Pollution inconnue Pollution diffuse Mesure Pollueur 1 Pollueur 2 Pollueur 3 Maîtrise d’ouvrage 1 Travaux Identification Sensibilisation Financement Avancement
Qualité du Milieu Impact déplacement Maîtrise d’ouvrage 2 Budget du projet 1 Budget du projet 2 Maîtrise d’ouvrage Impacts invisibles Impacts visibles Changement de pratiques Pollution inconnue Pollution diffuse Mesure Pollueur 1 Pollueur 2 Pollueur 3 Maîtrise d’ouvrage 1 Travaux Identification Sensibilisation Financement Avancement
Qualité du Milieu Impact déplacement Maîtrise d’ouvrage 2 Budget du projet 1 Budget du projet 2 Maîtrise d’ouvrage Impacts invisibles Impacts visibles Changement de pratiques CemOA : archive ouverte d'Irstea / Cemagref
La première question est abordée avec la théorie économique du bien-être2 et considère que les
redevances agence devraient être des écotaxes visant à corriger les distorsions d’équilibre du marché entraînées par les pollutions (causant des externalités, c'est-à-dire des effets économiques non pris en compte par le marché). A la lumière de ce cadre théorique, l’efficacité des agences est jugée faible : « Pour avoir une action pleinement efficace, elles (les agences) devraient traiter une
multitude de petits dossiers, qu'elles ne peuvent en fait pas assumer compte tenu de leur effectif et de la taille de leur bassin.» (p.77).
La deuxième question n’est pas réellement traitée au motif que les données ne sont pas disponibles dans le rapport annuel d’activité : « les indicateurs retenus ne permettent pas d'apprécier réellement
l'efficacité des agences. Les chiffres ou graphiques fournis dressent seulement le constat que l'on épure de plus en plus, en niveaux absolus (ce qui est rassurant car on dépense de plus en plus à cet effet). Cependant, le rapport n'analyse l'évolution d'aucun indicateur relatif (par rapport à la pollution émise), ni l'évolution sur une longue période d'indicateurs de qualité du milieu » (§3.1).
2.4 L’évaluation de B. Barraqué : le modèle épargne collective
En réponse à la critique du Commissariat au Plan et de plusieurs critiques antérieures, B. Barraqué a écrit une série d’articles proposant un autre cadre théorique pour analyser les agences. Pour lui les agences de l’eau répondent à deux objectifs (Barraqué 1994; 2000; 2001a; 2002; 2004):
• Constituer une épargne collective pour les services d’eau et d’assainissement qui n’ont pas le droit de constituer des réserves financières, qui ont des gros besoins d’investissement irréguliers et à qui ça coûterait beaucoup plus cher de faire appel à l’emprunt ;
• Constituer une communauté de l’eau (le comité de bassin) partageant les mêmes objectifs (le SDAGE) et au sein de laquelle les coûts de transaction sont faibles parce que la confiance est élevée.
A la lumière de premier objectif, il émet un jugement positif sur les agences en montrant que le prix de l’eau en France est relativement peu élevé par rapport à nos voisins européens à service égal et compte tenu de leur éclatement (Eurowater 1998). L’atteinte du deuxième objectif est plus difficilement mesurable faute de situation de comparaison. Un certain nombre d’études de cas montrent néanmoins que l’agence est perçue comme un réducteur de risque vis-à-vis des innovations techniques de dépollution (Antona et Faroldi 2001; Barraqué 2001b).
2.5 Sites témoins de l’AESN
Egalement en réponse à la critique du Commissariat au Plan, l’Agence de l’Eau Seine Normandie a mis en place un groupe de travail chargé de réfléchir à une façon d’illustrer le mode d’action de l’agence au-delà d’un modèle d’écotaxe incitatif sur des cas concret, les sites témoins. J’ai été associée à cette réflexion. Le groupe a travaillé sur 40 sites sur lesquels l’Agence avait mené une politique d’investissement ou d’animation. Plus que des sites, il s’agit en réalité d’opérations témoins. Sur les 40 sites choisis, 14 sont d’anciens points noirs. Cet observatoire doit servir deux objectifs, l’un de communication sur les actions de l’agence, l’autre de réflexion autour de l’évaluation pour un groupe transversal interne.
Mon travail a consisté à faire une typologie de ces sites en identifiant à partir des données collectées par les chargés d’opération de l’agence quel était l’objectif poursuivi sur chaque opération témoin et comment il peut se rattacher à l’un des trois référentiels de gestion que j’ai identifiés par ailleurs :
• Le référentiel dépollution – épargne collective : Il s’agit d’un objectif concernant les collectivités pour lesquelles l’agence investit pour limiter le prix de l’eau à un niveau acceptable tout en contribuant globalement au niveau du bassin à un abaissement des teneurs en micropolluants dans la Mer du Nord (Convention Opsar)
• Le référentiel concertation : Il s’agit de créer au niveau du bassin ou du sous-bassin un lieu d’échange et de confrontation entre le diagnostic du milieu et les efforts consentis pour faire émerger une conscience collective de gestion de l’eau et des maîtrises d’ouvrage pour agir • Le référentiel performance environnementale : Il s’agit de préserver le fonctionnement des
écosystèmes aquatiques en restaurant dans chaque sites les conditions propices au développement normal de la flore et la faune à cet endroit.
L’identification de ces référentiels de gestion permet de poser des questions évaluatives spécifiques à chaque référentiel :
2 (Pigou, The Economics of Welfare, 1920)
CemOA
: archive
ouverte
d'Irstea
• Pour le référentiel dépollution : quelle est la part de pollution éliminée ? Quelle économie de taux d’intérêt a permis l’intervention de l’agence ? Dans quelle mesure le maître d’ouvrage avait besoin de cette économie étant donné la taille de son service et le pouvoir d’achat de ses abonnés ?
• Pour le référentiel concertation : Quel progrès la concertation a-t-elle apporté sur la qualité du diagnostic ? Quelles maîtrises d’ouvrage se sont constituées ? Quelles ressources
financières ont été trouvées pour agir sur les problèmes identifiés par le diagnostic commun ? • Pour le référentiel performance environnementale : Quel gain environnemental a-t-on
obtenu (en termes de fonctionnement ou de biodiversité) ?
Bien entendu les données disponibles dans les tableaux de bords au sein de l’agence ne permettent pas de répondre à ces questions évaluatives. C’est la différence entre suivi et évaluation. Elles exigent une recherche complémentaire d’informations. Le travail reste en cours.
Les opérations choisies pour être témoins ont été choisies par l’Agence. Ceci peut constituer un biais si l’évaluation voulait être représentative de l’action de l’agence mais l’évaluation de ces opérations se veut illustrative de ce qui peut être fait ou des difficultés rencontrées.
3 Cadre théorique
Il existe plusieurs théories politiques pour décrire et penser l’action publique. J’utilise trois cadres qui me paraissent complémentaires. Le premier est l’approche cognitiviste des politiques publiques qui met l’accent sur la pluralité des points de vue sur l’intérêt général, le deuxième est le constructivisme qui analyse la façon dont les innovations scientifiques ou politiques sont construites et promues par des acteurs, le troisième est l’interactionnisme qui considère que les acteurs sont contraints par des structures collectives mais qu’ils ont aussi la possibilité d’agir pour les modifier.
L’approche cognitiviste s’intéresse aux représentations du monde qui motivent les choix publics.
Ce courant considère qu’il n’y a pas une façon unique de représenter la réalité scientifique, sociale et politique mais plusieurs représentations (cognitives) du monde portées par des groupes sociaux différents qui interagissent. Les outils adoptés sont la résultante des conflits, des négociations et des compromis entre ces différents groupes sociaux.
« A chaque fois, le référentiel d’une politique est constitué d’un ensemble de prescriptions qui donne
du sens à un programme politique en définissant des critères de choix et des modes de désignation des objectifs » (Jobert et Muller 1987, p.63)
Un référentiel contient à la fois des explications du monde (partie cognitive qui explicite des problèmes et leurs causes) et des convictions sur ce qu’il faudrait faire pour résoudre les problèmes (partie prescriptive qui propose des solutions). Le référentiel articule quatre niveaux de perception : les valeurs (ce qui est bien, juste, bon, beau, …) les normes (les objectifs pratiques), les algorithmes (la traduction des objectifs stratégiques en objectifs opérationnels) et les images qui véhiculent un résumé du référentiel et donne un sens à l’action.
De plus, le référentiel se décompose en trois éléments :
• le référentiel global : « il constitue la représentation qu’une société se fait de son rapport au
monde à un moment donné » formant un système hiérarchisé qui se transforme au fil du
temps (Muller 2003, p.65)
• le référentiel sectoriel : c’est une « représentation du secteur, de la discipline ou de la
profession »,
• les opérateurs de transaction : ce sont eux qui incluent le référentiel sectoriel dans le référentiel global. Interviennent alors les médiateurs, les acteurs qui permettent la transaction : « De ce point de vue, le processus de construction d’un référentiel est à la fois
une prise de parole (production de sens) et une prise de pouvoir (structuration d’un champ de forces) » (Muller 2003, p.70)
L’approche constructiviste étudie les innovations scientifiques, politiques ou techniques comme le
résultat de stratégies d’acteurs. Les concepts nouveaux et leurs applications techniques sont portés par des acteurs qui trouvent un intérêt à les promouvoir. Le succès des innovations tient à la force des réseaux sociaux construits par l’innovateur autour de son projet qui devient un point de passage obligé (Star et Griesemer 1989) pour des acteurs multiples qui se retrouvent « enrôlés » par l’innovation et qui deviennent ses supporteurs actifs (Callon 1986; Latour 1994).
L’approche constructiviste relativise beaucoup la pertinence des problèmes et des solutions politiques. Elle part de l’hypothèse que les problèmes à traiter par un élu politique sont innombrables
CemOA
: archive
ouverte
d'Irstea
et que son mandat ne lui permet que d’en traiter un petit nombre. Ce petit nombre va constituer l’agenda politique d’un élu ou d’une assemblée ou d’un gouvernement. Pour Kingdon tout se passe comme si l’élu avait à sa disposition une corbeille à idée (garbage can) où se trouveraient des idées de problèmes et des idées de solutions et qu’il piochait dans cette corbeille pour bâtir son agenda politique (1984). Les problèmes sont portés par des promoteurs de problèmes, les solutions par des promoteurs de solutions. Les problèmes et solutions piochées ne se correspondent pas forcément, c’est le talent de l’élu de trouver un sens à son action. Dans cette élaboration du sens, les promoteurs des problèmes et solutions sont actifs par le biais des opérateurs de transaction qui vont intervenir comme médiateurs intéressés. La construction de l’agenda politique n’est pas un processus continu, la nécessité de prendre des décisions s’impose dans des moments de fortes tensions sociales. Ces moments sont des fenêtres d’opportunité pour les porteurs d’enjeux et de solutions.
Cette vision pourrait paraître très cynique et n’ayant un pouvoir explicatif que dans une société où le public serait ignorant. Il me semble que la complexité des problèmes sociaux et l’interaction des problèmes les uns avec les autres font qu’il n’est jamais si aberrant de proposer de répondre à un problème « au hasard » par une solution « au hasard » à condition de piocher dans les idées à la mode à un moment donné. Si ces idées sont à la mode, c’est que justement elles ont été argumentées de nombreuses fois dans des contextes assez différents et elles ont du sens pour de nombreuses personnes. Le rôle de l’élu est de reprendre ces argumentations dans le contexte de sa décision en explicitant son modèle d’action, c'est-à-dire le système de causalité qu’il a en tête pour expliquer comment sa décision va avoir un effet.
Cette approche complète l’approche cognitiviste en donnant au référentiel un caractère stratégique. Derrière la pluralité des définitions de l’intérêt général, certaines définitions avantagent plutôt tel ou tel acteur. Les opérateurs de transaction ne sont pas des médiateurs qui agissent pour la recherche du consensus mais motivés par leurs intérêts. Une démarche d’évaluation est coûteuse en temps, en argent et en engagement personnel. L’évaluation se heurte à ce qu’elle dénonce, il lui faut un moteur. Ce moteur peut être la conviction personnelle de ce qu’est l’intérêt général. Mais comme l’évaluation s’inscrit dans une dynamique collective, il me semble que l’on ne peut pas distinguer dans la motivation des acteurs de changement ce qui relève de leurs convictions intellectuelles et ce qui relève d’un combat auquel ils se sont identifiés et dont la réussite leur sera profitable. C’est cette ambiguïté qui est à l’œuvre dans les procédures qu’une organisation adopte pour être à la fois plus efficace dans sa mission et à la fois pour pérenniser cette mission.
L’approche interactionniste permet de nuancer les deux approches précédentes. Elle souligne
qu’un acteur n’est jamais en situation de pouvoir modifier toutes les institutions, de façonner des réseaux sociaux à son gré, de transformer les modes de pensée comme il le souhaiterait s’il était seul, parce qu’il interagit avec le monde social. De même, la société est organisée par des références collectives qui sont contraignantes et normatives. Mais pour autant, ces références collectives (la culture, l’instinct, l’éducation, la profession, …) ne rendront jamais la conduite d’un individu automatique (Blumer cité par Becker). Il y a interaction entre le niveau individuel et le niveau collectif avec une forme de domination qu’exerce le collectif sur l’individu mais également une émancipation possible de l’individu pour prendre la parole et le pouvoir pour modifier ce collectif. Pour Giddens, cette interaction porte sur la signification donnée à l’action (référentiel cognitif), sur la domination (pouvoir du collectif et facilité de l’individu) et sur la légitimation (par les normes et les sanctions) (Giddens 1984/1987).
4 Le fondement de la légitimité politique et critique
4.1 Légitimité constitutionnelle de l’évaluation politique
La déclaration des droits de l’homme précise que « la société a le droit de demander compte à tout
agent public de son administration ». Evaluer, c’est mesurer (demander des comptes) pour porter un
jugement de valeur : « c’est bien, c’est juste, c’est efficace, c’est pertinent, c’est original, c’est beau, c’est cher, etc… ». Evaluer une politique publique, c’est porter un jugement de valeur sur la manière dont cette politique publique sert l’intérêt général. Cette définition commune permet de distinguer l’évaluation d’autres de formes de suivi de l’action publique. On distingue habituellement le contrôle de légalité ou l’audit, le contrôle de gestion ou l’inspection de suivi, et l’évaluation proprement dite.
• Le contrôle de légalité ou l’audit ont pour but de vérifier que les ressources utilisées pour mener la politique l’ont été dans la conformité prévue par les textes.
• L’inspection, le suivi ou le contrôle de gestion regardent les réalisations, c'est-à-dire ce à quoi ont servi les dépenses, ce qui peut être suivi sans sortir de l’organisation. Ce suivi permet de
CemOA
: archive
ouverte
d'Irstea
vérifier la « bonne gestion » c'est-à-dire l’adéquation entre les ressources, les dépenses et ces réalisations.
• L’évaluation sort de l’organisation, elle porte sur les impacts de la politique sur la société. C’est donc toujours un regard critique du point de vue de l’intérêt général, plus large que l’organisation. Cette distinction est illustrée par la Figure 4.
Figure 4 Une politique publique consiste à répondre à des enjeux en définissant des objectifs à réaliser en utilisant des ressources. Les objectifs stratégiques se déclinent en objectifs spécifiques et opérationnels au sein des organisations concernées qui vont utiliser ces ressources pour des réalisations. L’évaluation consiste à porter un regard critique sur toute la chaîne de décision de la définition de l’enjeu à son impact sur la société.
Mais il existe plusieurs façons de définir l’intérêt général qui sont liées aux différentes conceptions de l’action publique. Je vais aborder deux aspects de ces conceptions : Qui est légitime pour agir et critiquer ? Qu’est-ce qu’il est légitime de critiquer ?
4.2 Mise à l’épreuve de la légitimité du porte-parole
La représentation politique ne va pas de soi. Il n’est pas évident qu’un seul homme puisse parler au nom de plusieurs. Pour que cela ait lieu il faut que les mandants fassent confiance à leur élu et pour cela il faut que l’élu soit légitime, c'est-à-dire que son mandat repose sur des règles admises par les mandants. Il existe une littérature importante sur ce sujet et sur les tensions qui lient les mandants et les mandatés. Sur la question de la légitimité de la confiscation du pouvoir par un seul au nom de l’intérêt général on peut lire (Machiavel 1532/2004; Hobbes 1651; Arendt 1984). Sur la légitimité du pouvoir fondé sur la rationalité scientifique, on peut lire (Habermas 1968; Latour 1994). Des écrits plus récents s’intéressent à l’évolution de la démocratie dans un univers incertain (Beck 2001; Callon, Lascoumes et al. 2001) ou la recomposition du pouvoir lié à l’émergence de l’Union Européenne (Majone 1996).
Mon propos n’est pas de relater ici les différentes théories du politique mais de retenir de ces débats l’idée suivante : la légitimité politique peut être fondée sur trois principes différents, le mandat politique (le projet validé par des électeurs), la compétence scientifique (la connaissance) et l’identité (l’appartenance) (O'Neill 2001).
A chaque fois ces légitimités se conquièrent. On ne devient pas légitime du jour au lendemain. Il faut avoir passé avec succès des épreuves. L’épreuve politique est le vote. L’épreuve scientifique est
la reconnaissance des pairs et l’infaillibilité constatée par le public (c'est-à-dire qu’un expert qui
s’est trompé au su de tous perd sa légitimité). L’épreuve identitaire est (je pense) le vocabulaire
symbolique. Pour être reconnu comme légitime représentant d’un groupe sans procédure de vote, je
dois dans mon discours permettre aux membres de ce groupe de se reconnaître, de s’identifier. Cela est rendu possible par les images et le vocabulaire spécifique de ce groupe. Que l’on pense à tous les individus qui prennent la parole sans légitimité scientifique ni vote et sans projet politique (au moins au départ) et à la manière dont certaines personnes vont se reconnaître dans cette parole. Ils
Enjeux Problèmes Objectifs stratégiques Objectifs spécifiques Objectifs opérationnels Ressources Impacts Résultats Réalisations Contrôle / audit
Gestion / suivi / inspection
Evaluation
ressources réalisations impacts
Enjeux Problèmes Objectifs stratégiques Objectifs spécifiques Objectifs opérationnels Ressources Impacts Résultats Réalisations Enjeux Problèmes Objectifs stratégiques Objectifs spécifiques Objectifs opérationnels Ressources Impacts Résultats Réalisations Contrôle / audit
Gestion / suivi / inspection
Evaluation
ressources réalisations impacts
Contrôle / audit
Gestion / suivi / inspection
Evaluation
ressources réalisations impacts
CemOA
: archive
ouverte
d'Irstea
peuvent être écrivains, héros, prêcheurs, victimes, etc. C’est leur discours et leur pratique qui les rend reconnaissables et éventuellement dignes de confiance.
4.3 Légitimité des références pour juger l’objet
Il faut ajouter à ces légitimités concernant la personne, que la légitimité porte aussi sur les références invoquées lors des constats et des évaluations. Quelle était la situation avant la mise en place d’une politique ? A quoi compare-t-on les résultats observés ?
La situation de référence n’existe pas de manière objective, elle est construite par le point de vue de l’évaluateur. Elle est donc sujette à discussion. Accepte-t-on de comparer la situation actuelle avec ce qu’il se serait passé sans la création des agences de l’eau ? La référence définit la profondeur du
champ de la remise en question. C’est ce que les anglo-saxons appellent le scoping dans
l’évaluation environnementale. C’est la possibilité d’envisager un monde sans un certain nombre d’événements, d’organisations, de décisions, de pratiques pour mesurer ce que ces événements, ces organisations, ces décisions, ces pratiques ont apporté. Il s’agit d’un droit d’inventaire, c'est-à-dire le droit de dresser une liste et d’attribuer plus ou moins de valeur à chaque élément de cette liste. D’après les exemples que j’ai étudiés, je perçois trois modes de légitimation de la référence : la demande sociale à l’origine du mandat, la demande sociale actuelle majoritaire, une demande sociale parmi d’autres dans un modèle pluraliste.
• La demande sociale à l’origine du mandat, celle qui a ouvert la fenêtre d’opportunité de la politique et a donné lieu à un argumentaire de justification de cette politique avec un constat de problème, une proposition de solution et son modèle d’action, définit ce pour quoi la politique a été menée à son origine. Il est clair qu’elle fonde une légitimité pour l’évaluation. Est-ce que la politique a rempli ses objectifs de départ ?
• La demande sociale actuelle majoritaire fonde une autre légitimité, celle de l’utilité sociale actuelle de la politique menée. A la lumière des questions sociales d’aujourd’hui on peut être amené à remettre en cause les objectifs du passé et tout le référentiel politique qui allait avec. Est-ce que la politique menée aujourd’hui est satisfaisante pour les enjeux d’aujourd’hui ?
• Mais la demande sociale n’est pas exprimée de manière unanime. On peut la concevoir comme une multiplicité de demandes dont les bases évoluent. Telle demande minoritaire aujourd’hui peut devenir dominante demain. Tel point de vue marginal peut s’avérer pertinent. Cette conception pluraliste de la société donne de la légitimité à toute évaluation qui affiche clairement son point de vue partisan mais qui est explicite sur sa méthode.
Ces trois fondements de la légitimité du champ des questions critiques et les fondements de la légitimité des personnes se recomposent pour justifier telle institution ou telle politique remise en cause par une évaluation. L’épreuve de la critique va donner lieu à des justifications opposant la légitimité de l’évalué à la légitimité de l’évaluateur. Dans le cadre de ma thèse, j’ai identifié trois conceptions de l’évaluation qui se distinguent par ce qu’elles mettent en avant comme légitimité. Il s’agit de l’évaluation « maison » associée à une dynamique de projet interne, l’évaluation « embarquée » associée à des objectifs portés par une majorité et l’évaluation « extérieure » associée à un point de vue décalé de celui de l’action.
4.4 Légitimité de l’unité de mesure (indicateur)
4.4.1 La quantification
La quantification est un processus social qui ne dit pas son nom. Beaucoup de recherches en sociologie s’intéressent aux représentations sociales associées aux quantifications (Porter 1995; Espeland et Stevens 1998; Desrosières 2005). Martha Nussbaum a étudié comment la mesure est liée dans la pensée grecque à la question de l’ordre et du juste alors que l’impossibilité de mesurer est liée au chaos et à l’anxiété. Pour Platon, le fait de mesurer et de quantifier nos préférences permet de les dépassionner; pour Aristote c'est un trop grand prix à payer car l'éthique doit justement s'intéresser au risque qu'il y a à aimer ce qui est unique (The Fragility of Goodness: Luck and Ethics in Greek Tragedy and Philosophy.(1986) Cambridge, cité parEspeland et Stevens 1998). L’époque moderne est marquée par l’importance accordée à la rationalité économique. Pour Karl Marx, le véritable étalon de valeur est le travail qui contraint toutes les relations sociales. Plus généralement, les critiques classiques de la modernité s'attaquent à la théorie du choix rationnel. Cette théorie a
CemOA
: archive
ouverte
d'Irstea
pour prérequis de la rationalité, la commensuration, c'est-à-dire qu’il existe pour toutes choses une unité commune qui permet de les mesurer et de les ordonner.
La quantification consiste à trouver une mesure commune à des choses différentes en supposant des équivalences de valeur. La monétarisation par exemple est une quantification fondée sur l’équivalence monétaire. Mais on peut bâtir des indicateurs sur des unités de poids, de temps, d’individus, de fonctions etc…
Considérer qu’un territoire peut être exprimé en hectares, signifie que l’on considère possible un échange d’hectare à hectare. Or certains acteurs peuvent être choqués d’un tel échange. Dans son ouvrage sur les barrages californiens, Wendy Espeland explique que les populations expropriées refusent les équivalences entre leur territoire et un autre parce que le leur n’est pas changeable, il est constitutif de leur identité (Espeland 1998).
4.4.2 La compensation
L’opérateur mathématique utilisé pour construire l’indicateur, la somme ou la multiplication implique la possibilité ou non de compenser une des dimensions de l’indicateur par une autre. La somme permet la compensation, la multiplication ne le permet pas. Si un indicateur est formé de plusieurs valeurs que l’on multiplie alors il suffit que l’une soit nulle pour annuler l’indicateur. Ceci revient à dire que ces valeurs sont non compensables, qu’il existe des valeurs éliminatoires sur certains critères. L’indicateur de développement humain (IDH) est composé de trois éléments, l’un sur l’espérance de vie, l’autre sur l’éducation, le troisième sur le revenu. L’addition des trois termes donne une note permettant ensuite de classer les pays en fonction de cet indice. De ce fait certains pays à fort PIB mais ayant une population de faible espérance de vie sont aussi bien notés du point de vue de cet indice que certains pays plus pauvres ayant faits de gros progrès en matière de santé. Sans le dire, la construction de l’indice permet de donner un prix à l’augmentation de l’espérance de vie et ce prix par construction n’est pas le même dans les pays développés et dans les pays en développement. Ceci a suscité de vives critiques. Mais il faut noter qu’il existe des groupes sociaux qui sont demandeurs de système de compensation. La montée des divorces aux Etats-Unis a donné aux femmes une tribune pour réclamer l’équivalence monétaire des années consacrée à l’éducation des enfants au détriment de leur carrière par exemple.
4.4.3 La pondération
Les différentes composantes d’un indice peuvent être pondérées par des coefficients différents dans l’indice global. Cette pondération est également un enjeu social. Dans une étude cherchant à quantifier le temps passé par les femmes auprès de leurs jeunes enfants par rapport au temps que ces enfants passent auprès de leur nourrice, les enquêteurs se sont rendus compte que les femmes enquêtées avouaient avoir pondéré davantage le temps « de qualité » qu’elles passaient avec leurs enfants par rapport à un temps « de garde » où la nourrice s’occupe d’autres activité en même temps qu’elle surveille les enfants (Espeland et Stevens 1998).
4.4.4 La graduation et le palmarès
Un indicateur permet de positionner une situation sur une échelle entre la référence la meilleure et la pire. La question de la référence a été abordée ci-dessus en terme de légitimité par rapport à l’objet. Il reste la question de la graduation. Celle-ci peut être calée sur une règle mathématique (linéaire, logarithmique, …) ou bien définie par des classes en faisant intervenir des seuils intermédiaires. La qualité de l’eau a longtemps été exprimée par des classes de qualité bleu-vert-jaune-rouge dont la définition a été choisie pour ne pas « effrayer » la population ni « décourager » les maîtres d’ouvrage. Le choix d’une règle ou de seuils est une définition a priori. Elle permet un débat, elle donne la possibilité aux personnes notées d’intervenir sur leur note. Un autre mode de graduation permet d’éviter ce débat, c’est le palmarès. Il s’agit d’ordonner les éléments selon leur score de classement, quel que soit le niveau de ce score.
CemOA
: archive
ouverte
d'Irstea
5 Trois conceptions de l’évaluation
Je propose d’isoler trois conceptions différentes de l’évaluation qui ont leur cohérence propre, leurs outils et s’opposent dans leur façon de concevoir la légitimité de l’évaluateur.
5.1 Le référentiel d’ « évaluation maison »
5.1.1 Caractérisation du référentiel d’évaluation maisonL’évaluation « maison» d’une politique publique accorde de la légitimité au mandat à l’origine de la création de cette politique et des institutions créées pour la mettre en œuvre. Le problème pour lequel la « maison » a été créée, les moyens réglementaires qui lui ont été attribués sont les critères sur lesquels il faut juger cette maison. Mais la maison a évolué depuis ce mandat, elle a connu des crises, elle a mis en place des procédures pour réagir et donc sa lecture du mandat originel est une lecture actualisée par un regard interne. L’évaluation maison consiste pour une institution à évaluer son action au regard de ce qu’elle comprend aujourd’hui des objectifs de son mandat originel. L’adaptation des objectifs de départ et leur lecture actuelle ont été négociés avec l’autorité politique. L’évaluation maison constitue une étape de mise à jour de la stratégie pour définir l’étape suivante. Elle a une visée managériale et vise à coordonner les efforts internes autour d’un projet commun. On retrouve cette définition de l’évaluation dans les approches très intégratives (Holling 1995) ou très entrepreneuriales (Godet 2004). Leur point commun est de considérer qu’hors de la communauté considérée les phénomènes extérieurs ne sont absolument pas maîtrisables. Ce qui a de la valeur et qui doit motiver l’action est la cohésion et l’adaptabilité de la communauté (certains diraient sa résilience). L’image qui fait sens est celle du vaisseau spatial lancé dans l’inconnu (Pursey et Oosterhout 2001). En absence de repère universel, le repérage de la trajectoire se fait sur des critères internes d’intégrité.
Dans cette conception, l’évaluation n’est légitime que si elle est menée par quelqu’un qui fait partie de la communauté et qui assume des responsabilités de pilotage. Ainsi l’évaluation par l’autorité de tutelle relève-t-elle de ce modèle. L’évaluation hiérarchique également. Il est nécessaire que l’évaluateur adhère aux objectifs de l’institution (de la communauté stratégique). Toute autre évaluation est jugée comme non pertinente, parce qu’elle ne peut pas avoir accès à toute l’information qui conditionne l’exercice de la gestion. Une évaluation qui ne serait pas faite par la maison se tromperait forcément sur le rôle de l’institution. Comme me le dit un agent : « On nous a évalués sur des critères qui ne s’appliquent pas à nous. C’est un peu comme si on disait à une fille, vous êtes un peu efféminé pour un garçon. Normal, c’est une fille ! ». Seul l’expert impliqué est légitime (Pursey et Oosterhout 2001). L’expert indépendant risque de ne pas proposer de recommandations applicables, le profane (ou l’étranger) ignore la complexité de l’organisation.
5.1.2 Mon point de vue sur cette conception de l’évaluation
Dans cette conception de l’évaluation et de l’action publique, la société fait des choix qui sont débattus démocratiquement mais une fois que la décision est prise et qu’une mission est assignée, le seul responsable est celui qui est nommé par le pouvoir sur cette mission. C’est un référentiel qui valorise le leadership. La logique de l’honneur prévaut (Iribarne 1989). Ce responsable a une grande marge de manœuvre pour définir ce qui relève de sa mission et les moyens pour y parvenir à condition de remplir les objectifs stratégiques définis au départ. Seuls des évaluateurs « maison » ou bien le responsable politique qui a donné la mission sont légitimes pour juger de son action. Il s’agit bien entendu de rendre des comptes à la société et pour l’intérêt général mais pourvu que l’action aille dans le bon sens, la société doit accepter que la déclinaison opérationnelle de l’intérêt général soit l’affaire d’experts.
Il est facile d’identifier les dérives que peut entraîner ce point de vue. J’en identifie deux versants. Le premier met l’accent sur la compétence nécessaire pour appréhender la société. Le deuxième met l’accent sur l’identité nécessaire pour émettre un jugement sur cette société.
Sur le premier versant, étant donné la complexité de la société, la raison historique et pratique des rouages des administrations, la légitimité de l’expert impliqué s’explique par la difficulté de définir l’intérêt général et l’importance de laisser cette mission à une personne compétente et qui comprend les contraintes institutionnalisées. L’information transmise au public est de la communication dûment choisie pour être compréhensible. La société est complexe et il est bon qu’une certaine opacité permette aux institutions de prendre de bonnes décisions même si elles ne vont pas dans le sens
CemOA
: archive
ouverte
d'Irstea
désiré par le citoyen moyen. C’est donc un point de vue politique conformiste (ne pas remettre en cause les institutions dans leur fonctionnement) et technocratique (pouvoir de l’expert).
Sur le deuxième versant, ce qui est mis en avant c’est la communauté non pas tant pour ses procédures et ses contraintes mais sa culture, ses valeurs, ses tabous. La légitimité de l’évaluateur vient de son appartenance à cette communauté et à la reconnaissance de ses valeurs. Le point de vue politique est alors plus corporatiste ou communautariste que technocratique.
Mais il faut reconnaître la force d’une telle évaluation comme moteur interne d’une organisation. Sans réflexion collective autour de ce qui peut être fait et comment on doit interpréter le mandat initial dans un environnement incertain, les acteurs d’une organisation sont voués à développer des visions contradictoires de leur mission et à se nuire plus qu’à se compléter dans leur activité. Les points de vue extérieurs qu’ils soient portés par une majorité ou par un point de vue marginal ne peuvent souvent pas éclairer de façon très opérationnelle les choix quotidiens des acteurs d’une organisation faute d’avoir accès à l’information nécessaire.
5.1.3 Les outils de l’évaluation maison
On peut citer comme outil d’évaluation de politique publique « maison » tous les outils dont la mise en œuvre met en jeu une dynamique collective au sein de l’institution qui porte cette politique pour définir en commun de nouveaux objectifs. Il en est ainsi de la matrice de motricité et dépendance (Godet 2004) Il s’agit de réunir des experts en interne pour définir en commun une représentation du monde dans lequel agit l’organisation. Cette construction fait émerger des variables que l’on rentre dans une matrice en ligne et en colonne. Au croisement de la variable i (en colonne) avec la variable j (en ligne), le groupe d’expert doit émettre un avis sur l’influence de i sur j qui se traduit par un score. Les sommes du tableau en ligne indiquent la motricité des variables, les sommes du tableau en colonne la dépendance des variables. Cette explicitation en commun génère une conviction collective autour des variables pertinentes pour l’action. A partir de ce diagnostic Godet propose d’établir des scénarios en jouant sur les variables motrices et de déterminer des stratégies pour l’organisation dans tous les mondes possibles. L’exercice ayant le mérite d’élaborer une vision collective, il est pratiqué avec des experts impliqués qui s’approprient la stratégie de la maison qu’ils ont contribué à construire.
D’autres outils analogues comme les matrices de cohérence ou de pertinence qui comparent des objectifs définis en interne relèvent de l’évaluation maison.
5.1.4 Les indicateurs maison
Un indicateur maison est un indicateur qui ne remet pas en cause les équivalences légitimes au sein de l’organisation, qui introduit éventuellement de nouveaux critères mais en permettant de les compenser par des critères anciens utilisés dans l’organisation pour la décision. Un indicateur maison est un indicateur « gérable » par l’organisation sans modification interne. Un bon exemple d’indicateur maison est le système de notation mis en place par ARESE pour classer des sociétés en fonction de leur engagement social et environnemental pour le compte de fonds d’investissement éthiques. Contrairement à des systèmes de notation concurrents ayant proposé d’éliminer les firmes affiliées à du commerce d’alcool, de vente d’armes ou de tabac ARESE note toutes les sociétés cotées en bourse. Cette notation passe par une collecte d’information relative à différents critères. Pour chaque critère une société est comparée aux autres sociétés du même secteur (palmarès). Le score final est délivré sous une forme qui permet aux fonds d’investissement de donner plus ou moins de poids à chaque critère (Déjean, Gond et al. 2004). Les auteurs de l’étude expliquent que la compatibilité du score d’ARESE avec les autres critères utilisés en finance a été un atout pour que le système soit accepté et que le « positive screening » c'est-à-dire le classement du meilleur élève et non pas l’élimination des mauvais « négative screening » qui permet de compenser une mauvaise note éthique par d’autres bons résultats financiers a été également le facteur qui a permis à ce classement d’être légitimé par les fonds d’investissement. A l’inverse, le choix normatif des concurrents d’ARESE de rendre inacceptable certains commerces ou de proposer comme étalon de la mesure des entreprises très engagées éthiquement mais qui ne faisaient pas partie du CAC 40, a été jugé « non gérable » par les investisseurs.
CemOA
: archive
ouverte
d'Irstea
5.2 L’évaluation embarquée
5.2.1 Caractérisation d’un référentiel « évaluation embarquée »
Elle consiste à afficher des objectifs conformes à l’aspiration actuelle d’une majorité de mandants (électeurs, contribuables, redevables, …) et à accepter de se prêter à l’évaluation selon des critères conformes à ces objectifs. La remise en cause du modèle cognitif qui a présidé au choix des moyens d’action est possible ainsi que l’évaluation d’effets combinés d’actions extérieures à l’organisation. C’est le modèle de l’évaluation collégiale qui accorde autant d’importance au diagnostic qu’à son appropriation par les décideurs (Perret 2001). La légitimité du jugement tient au fait qu’il est porté par la majorité. L’image qui fait sens est celle d’un bateau dont il faut rectifier la trajectoire pour parvenir à destination avec les moyens du bord. La destination est explicitée dans un processus collectif qui peut être interne mais qui s’appuie sur des textes récents approuvés de manière démocratique par le public. Je choisis le terme « embarquée » parce que cette référence aux textes récents approuvés par la société est analogue à un calage des instruments de mesure à bord d’un bateau dont on se rend compte au bout d’un certain temps qu’ils se sont légèrement déréglés et qu’ils ne sont plus en phase avec la référence universelle. Dans cette conception de l’évaluation, la référence universelle est l’expression démocratique du jour avec laquelle il faut vérifier que l’action publique est en phase. Ce calage se fait généralement en deux temps, le premier questionne l’action publique avec une référence politique récente, le deuxième publie les résultats de l’évaluation auprès du grand public. 5.2.2 Mon point de vue sur cette conception de l’évaluation
L’évaluation embarquée est portée par un fort idéal civique. Il y a une expression démocratique qui est souveraine et qui doit être satisfaite à chaque fois qu’elle parle. L’évaluation ne peut pas avoir lieu tous les jours parce que le rythme de l’action publique exige que le cycle de son action soit respecté pour qu’il y ait quelque chose à constater. Mais régulièrement, l’évaluation vient corriger l’action publique pour la faire coller au souhait du plus grand nombre. C’est l’évaluation qui est la plus pratiquée par les bureaux d’évaluation spécialisés. Elle repose sur une expression récente et digne de foi de la volonté majoritaire.
Il peut arriver néanmoins que les textes utilisés pour faire autorité sur la volonté populaire aient été établis dans des conditions peu propices au débat, ou bien qu’ils résultent de tels compromis qu’ils soient très ambigus et ne permettent pas d’identifier clairement des critères pour l’évaluation. Dans ces conditions l’évaluation embarquée est alors un outil qui sert le pouvoir en place parce qu’elle le considère légitime.
5.2.3 Les outils de l’évaluation embarquée
L’évaluation embarquée est défendue par les sociétés professionnelles de l’évaluation (Charte de la société Française de l’évaluation, charte de la Société Suisse de l’évaluation). Ce professionnalisme est propice au développement de méthodes normalisées. L’évaluation embarquée cherche à expliciter pour le grand public le modèle d’action d’une politique et questionne le logigramme qui décline les grands objectifs en actions par des études de cas ou des enquêtes la réalité des relations de causalités sur lesquelles se base la politique. Les études de cas sont utilisées pour révéler des processus : à tel endroit A n’entraîne pas forcément B, mais plutôt C, à tel autre endroit B se réalise sans A. Les enquêtes ou les analyses statistiques cherchent à établir de manière scientifique la relation de causalité.
5.2.4 Les indicateurs embarqués
Les indicateurs embarqués sont co-construits avec des acteurs jugés représentatifs de la société. On trouvera en premier lieu les indicateurs de satisfaction du public cible. Mais il existe des démarches plus élaborées qui essaient de favoriser un débat entre experts et profanes autour de la question de l’évaluation. J’ai assisté à ce titre à une conférence de citoyens sur la question des objectifs de qualité à fixer pour un cours d’eau. Les citoyens avaient été choisis selon leurs catégories socio-professionnelles, leur sexe et âge et leur appartenance au bassin versant. Après 10 jours de formation et deux jours de débats contradictoires entre protagonistes qu’ils avaient choisis, les citoyens se sont ainsi prononcés pour une qualité de l’eau dans la rivière qui soit « potable sans
CemOA
: archive
ouverte
d'Irstea
traitement » comme elle l’est actuellement pour la grosse ville du bassin. Il s’agissait là d’un avis et d’un critère particulièrement ambitieux auquel les gestionnaires ne s’attendaient pas du tout.
5.3 L’évaluation extérieure
5.3.1 Caractérisation d’un référentiel « évaluation extérieure »
Elle consiste à accepter qu’une politique publique soit soumise à l’évaluation selon un point de vue, non nécessairement majoritaire, différent de celui de l’organisation évaluée. Elle repose sur une conception pluraliste de la société qui reconnaît la possibilité d’un point de vue pertinent minoritaire. Elle rejoint philosophiquement le modèle de démocratie dialogique d’Habermas (1991) où chaque individu est capable de dépasser ses intérêts propres pour s’engager dans une discussion ayant une portée universelle. L’évaluation extérieure est considérée par ses partisans comme la condition d’un pluralisme démocratique et d’une évaluation des résultats non seulement escomptés mais également induits de façon non volontaire. En effet, l’évaluation embarquée peut à l’occasion d’étude de cas et d’enquête découvrir un biais de la politique, un effet induit non souhaité mais elle ne recherche pas ce biais de manière systématique. En revanche, en déplaçant le point de vue, l’évaluation extérieure questionne systématiquement l’effet d’une politique sur l’intérêt propre de l’évaluateur (Mermet 2005; Mermet, Billé et al. 2005).
5.3.2 Mon point de vue sur l’évaluation extérieure
L’évaluation extérieure est dure à vivre. Elle est intéressante sur les problématiques de discrimination et de rapports de force fortement asymétriques. Parce que beaucoup de discriminations ne sont pas volontaires mais naissent de procédures d’évitement inconscientes où l’on choisit au sein d’un panel d’options déjà biaisées au départ, l’évaluation extérieure me semble nécessaire.
Elle pose néanmoins un certain nombre de questions de faisabilité. Comment la société pluraliste finance l’évaluation extérieure ? Comment l’évaluateur accède-t-il aux données et réunit-il assez d’information pour pouvoir porter un jugement rigoureux ?
5.3.3 Les outils de l’évaluation extérieure
L’évaluation extérieure n’est pas constituée en corpus théorique aussi visible que l’évaluation embarquée. Elle s’appuie sur le modèle politique pluraliste pour construire bien souvent des outils adhoc à chaque évaluation (Mermet, Billé et al. 2005). Pourtant, il me semble que dans la remise en cause de l’universalité du point de vue dominant il y a tant du côté des sciences sociales que du côté des sciences de l’univers des outils pour appréhender les raccourcis qui font passer le point de vue de certains acteurs au statut de points de vue universels. C’est l’objet de ma recherche actuelle. 5.3.4 Les indicateurs extérieurs
La construction d’indicateurs extérieurs repose sur le choix normatif de référence, de graduation et d’équivalence permise ou non. L’indicateur extérieur ne se satisfait pas du palmarès car il envisage une situation possiblement meilleure que celle du meilleur élève actuel. Souvent la définition des seuils sera réduite au plus simple entre une situation souhaitable et une situation inacceptable, avec éventuellement une classe intermédiaire caractérisant une zone d’incertitude. Les systèmes d’évaluation avec plus que 3 classes sont souvent élaborés à la demande des gestionnaires.
CemOA
: archive
ouverte
d'Irstea
6 Conclusion
Toute agence de mission, condamnée à disparaître après avoir rempli sa mission, a tendance à se détourner de ses objectifs premiers pour se maintenir (Selznick 1949). Dans cette dynamique elle souhaite convaincre en priorité ses autorités de tutelle, puis le grand public et si ils sont suffisamment puissants ses principaux détracteurs. De ce fait, les exercices d’évaluation de auxquels une telle agence accepte de se prêter, seront en priorité orientés pour sa propre stratégie de survie. C’est ce que dans ce cours j’ai appelé la stratégie maison. Il s’agit de corriger ce qui peut l’être sans remettre en cause l’existence de l’organisation pour mieux assurer son avenir dans un contexte incertain. Mais la société peut réclamer davantage et revendiquer de façon majoritaire des changements de fond. Il est donc utile pour toute organisation de connaître comment son action est perçue, comment elle agit et comment elle échoue par rapport aux attentes de la société telles qu’elles s’expriment dans le courant dominant. C’est ce que j’ai appelé l’évaluation embarquée parce qu’il s’agit d’une évaluation qui vise à recaler les instruments de mesure interne à l’organisation sur une référence jugée plus universelle, celle de l’actualité. Mais le pluralisme démocratique repose également sur des évaluations extérieures, éventuellement portées par des courants minoritaires et militants, qui dénoncent un effet pervers de l’organisation. Cette critique dont la légitimité est à la fois la rigueur de l’analyse (légitimité scientifique) et le pluralisme démocratique permet d’examiner de façon transversale les institutions pour mettre à jour ce pourquoi elles ne sont pas faites et qui pourtant agit.
7 Bibliographie
Agence de l'eau Seine Normandie (1999). 1964-1999. L'eau en Seine-Normandie : 35 ans d'action. Nanterre: AESN, août 1999. 49p.
Antona, M. et S. Faroldi (2001). Décision et négociation des politiques environnementales :
l'application de la fiscalité dans les pays du Nord et du Sud. Colloque PIREE Les Instruments des Politiques Environnementales, Sophia Antipolis.
Arendt, H. (1984). Les Origines du totalitarisme. II. L'Impérialisme. Paris, Points-Politique. Barraqué, B. (1994). Problématique sociologique de la gestion intégrée des rivières. Cinquième
journée du DEA Sciences et techniques de l'environnement Gestion intégrée des milieux aquatiques, Paris, CNRS-LATTS.
Barraqué, B. (2000). "Assessing the Efficiency of Economic Instruments: Reforming the French
Agences de l'Eau." Market-based instruments for environmental management: Politics and
institutions p.215-230.
Barraqué, B. (2001). "Cinq paradoxes dans la politique de l’eau." Environnement et Société Fondation Universitaire Luxembourgeoise, Vol.25.
Barraqué, B. (2001). Le lagunage une rétro-innovation. Colloque OH2- histoire de l'hydrologie, Dijon. Barraqué, B. (2002). Une eau qui déborde les modèles économiques ? Faisons flotter quelques
malentendus. SHF colloque eau et économie.
Barraqué, B. (2004). Aspects institutionnels, socio-économiques et juridiques de la gestion durable de l'eau en Europe. Territoires de l'eau, Arras.
Beck, U. (2001). La société du risque. Sur la voie d'une autre modernité. Paris, Aubier. 521p. Becker, H. Quelques idées sur l’interaction. U. P. Mendes-France. Grenoble.
Bouleau, G. et Y. L. d. Lajonquière (2005). Efficience et obligation de résultats : quelles leçons tirer de la politique points noirs de l'agence Seine Normandie menée de 1987 à 1991 ? EWRA, Menton.
Callon, M. (1986). "Eléments pour une sociologie de la traduction , la domestication des coquilles St
jacques et des marins pêcheurs de la Baie de St Brieux." année sociologique, Vol.36
p.169-207.
Callon, M., P. Lascoumes, et al. (2001). Agir dans un monde incertain, Seuil. 358p.
Commissariat général au plan, Ed. (1997). Rapport au gouvernement. Evaluation du dispositif des Agences de l'eau. Paris.
Déjean, F., J.-P. Gond, et al. (2004). "Measuring the unmeasured: An institutional entrepreneur
strategy in an emerging industry." Human relations, Vol.57, n°6, p.741-764.
CemOA
: archive
ouverte
d'Irstea
