COM/TAD/CA/ENV/EPOC(2020)7/FINAL
Non classifié Français - Or. Anglais
19 août 2021
DIRECTION DES ÉCHANGES ET DE L’AGRICULTURE DIRECTION DE L'ENVIRONNEMENT
Groupe de travail mixte sur l'agriculture et l'environnement
Mesurer les progrès de la gestion de l’eau dans l’agriculture Difficultés et options pratiques
Pour de plus amples informations, veuillez contacter Guillaume Gruère (guillaume.gruere@oecd.org)
JT03480126 OFDE
Note du Secrétariat
Ce rapport examine les moyens d’évaluer les progrès de l’action publique relative à la gestion de l’eau dans l’agriculture, et applique les résultats de cette analyse à deux enjeux fondamentaux : (i) gérer l’utilisation d’eau dans l’agriculture irriguée de façon durable sur fond de modification du climat, et (ii) lutter contre la pollution diffuse par les éléments nutritifs pour maintenir la qualité de l’eau.
Il a été rédigé par Guillaume Gruère (OCDE) et Makiko Shigemitsu (OCDE). Il a bénéficié des commentaires des délégués auprès du Groupe de travail mixte sur l’agriculture et l’environnement de l’OCDE, ainsi que d’autres experts de l’OCDE : Jonathan Brooks, Matthew Griffiths, Xavier Leflaive et Julia Nielson. Martina Abderrahmane a apporté son concours à la rédaction et à la mise en page.
Le document a été déclassifié par le Groupe de travail mixte sur l’agriculture et l’environnement de l’OCDE le 7 avril 2021.
Table des matières
Résumé ... 6
1. L’évaluation des politiques fournit des repères pour bien négocier les processus de réforme dans le domaine de l’agriculture et de l’eau... 8
2. Mesurer les progrès de l’action publique en matière de gestion de l’eau dans l’agriculture : définition, typologie et logique des interventions publiques ... 10
3. Principes d’évaluation et difficultés liées à la mesure des progrès accomplis dans la gestion de l’eau dans l’agriculture ... 14
A. Évaluer les progrès dans la conception des politiques sur l’agriculture et l’eau ... 15
B. Évaluer les progrès dans la capacité de mise en œuvre des politiques sur l’agriculture et l’eau .. 18
C. Évaluer les résultats des politiques sur l’agriculture et l’eau ... 21
4. Options pratiques pour mesurer les progrès de l’action publique... 27
OP.1. Passer les politiques au crible de la cohérence par rapport aux objectifs transversaux ou aux objectifs de la gouvernance ... 27
OP.2. Utiliser des outils de modélisation pour évaluer la cohérence de la conception des politiques vis-à-vis d’objectifs transversaux ou généraux ... 30
OP.3. Mesurer la conformité d’une modification de politique aux recommandations ou à l’orientation stratégiques en créant des indicateurs ... 31
OP.4. Suivre les progrès des politiques à l’égard d’un résultat à l’aide d’indicateurs de performance ... 33
OP.5. Évaluation complète combinant données qualitatives et semi-quantitatives ... 35
OP.6. Évaluations quantitatives ex post de l’application des politiques au moyen d’enquêtes auprès des utilisateurs ... 38
OP.7. Évaluations quantitatives ex post de l’impact des changements de politique ... 39
Comparaison des options examinées et de l’application des principes ... 41
5. Application à la gestion durable de l’eau d’irrigation et à la baisse de la pollution de l’eau ... 44
5.1. Mesurer les progrès de la gestion de l’utilisation d’eau dans l’agriculture irriguée de façon durable sur fond de modification du climat ... 44
5.2. Mesurer les progrès de la lutte contre la pollution diffuse par les éléments nutritifs ... 49
5.3. Enseignements tirés des deux études de cas ... 56
Références ... 57
Tableaux
Tableau 1. Mesurer les progrès dans la gestion de l’eau dans l’agriculture : type d’évaluation, principes et difficultés 15 Tableau 2. Exemple d’objectifs stratégiques et de grandeurs permettant de mesurer les progrès 23
Tableau 3. Comparaison des options d’évaluation 42
Tableau 4. Facteurs susceptibles de mesurer les progrès de l’action publique en matière de gestion de l’irrigation sur fond
de modification du climat 45
Tableau 5. Comparaison des études de cas 56
Graphiques
Graphique 1. Les trois types de progrès de l’action publique 11
Graphique 2. Mesurer la cohérence de l’évolution des politiques avec un engagement pris au niveau international 18
Graphique 3. Rendre compte des effets d’une évolution des politiques 22
Graphique 4. Cadre pour suivre la cohérence des politiques au service du développement durable 29 Graphique 5. Mesurer les progrès à l’égard de la conformité : le cas des politiques de l’agriculture et de l’eau de l’OCDE
vis-à-vis de la Recommandation du Conseil de l’OCDE sur l’eau 32
Graphique 6. Visualisation du système de feu de circulation appliqué aux indicateurs de gouvernance de l’eau : quelle est
la situation actuelle ? 33
Graphique 7. Suivi des progrès à l’égard des ODD : distance moyenne séparant les pays de l’OCDE de l’atteinte des
cibles des ODD 34
Graphique 8. Système d’évaluation des masses d’eau en vertu de la directive-cadre sur l’eau de l’UE 37 Graphique 9. Niveau d’adoption des critères liés aux éléments nutritifs par un échantillon d’États des États-Unis et
progrès réalisés au fil des années 54
Encadrés
Encadré 1. La Commission des eaux des provinces des Prairies guide les politiques d’allocation et la gestion des eaux
provinciales 24
Encadré 2. Examen des politiques de l’eau en Australie : évaluations en cours et ultérieures de la Commission de la
productivité 47
Messages clés
Les progrès de l’action publique dans le domaine de l’agriculture et de l’eau peuvent être mesurés sous l’angle de la conception des politiques, des capacités de mise en œuvre et des retombées des politiques. La qualité et la solidité de ces mesures dépendent du degré auquel certains principes sont appliqués dans chaque type d’évaluation.
o Évaluer la conception des politiques nécessite de mettre en regard un changement de politique avec des objectifs transversaux ou de mesurer la conformité des politiques à un texte de référence.
o Évaluer les progrès des capacités de mise en œuvre requiert de jauger l’évolution de celles-ci à l’aune de besoins prédéfinis ou de déficits de gouvernance identifiés.
o Évaluer les retombées des politiques nécessite de bien définir l’objectif, la période et l’échelle de l’évaluation. Il convient de prendre en compte l’évolution des politiques existantes, les effets relatifs d’autres facteurs et des changements apportés à d’autres politiques, ainsi que d’analyser le rapport coût-efficacité des politiques possibles.
Plusieurs options pratiques sont envisageables pour appliquer ces principes dans le contexte des politiques de l’agriculture et de l’eau : passage au crible des politiques, modélisation des politiques, élaboration d’indicateurs, examen complet de l’action publique, enquête auprès des parties prenantes et évaluation quantitative ex post.
Les études de cas portant sur la gestion durable de l’irrigation dans un contexte de modification du climat et sur la maîtrise de la pollution par les éléments nutritifs provenant de sources diffuses font ressortir les difficultés associées aux incertitudes, aux données et mesures imparfaites et à la mesure des progrès de l’action publique par rapport à des objectifs multiples.
Résumé
Les enjeux de la politique agricole et de la politique de l’eau sont de plus en plus interdépendants. L’agriculture est tributaire de l’eau, mais aussi exposée à des risques croissants liés à l’eau dans de nombreuses régions, surtout du fait des catastrophes d’origine hydrique et de la concurrence avec d’autres secteurs pour l’accès à la ressource. Par ailleurs, dans beaucoup de bassins hydrographiques, les eaux superficielles et souterraines subissent des pressions du fait des pratiques d’irrigation intensive, de l’érosion et des pollutions liées aux activités agricoles. S’ils sont d’intensité et d’ampleur inégales selon les endroits, et relativement concentrés dans certaines régions agricoles, ces problèmes touchent la plupart des pays de l’OCDE et continuent d’évoluer.
Imprimer aux politiques de l’agriculture et de l’eau – définies ici comme l’ensemble des politiques qui influent sur l’interaction entre la production agricole et l’eau – l’orientation voulue pour relever ces défis nécessite d’appréhender les progrès déjà réalisés et les aspects qui restent à améliorer. Ce document examine différentes façons de mesurer les progrès de ces politiques, afin d’aider les responsables de l’action publique à déterminer les changements de politique qui s’imposent et à cerner les options pour continuer de progresser.
L’analyse montre que la qualité et la solidité de ces mesures, qu’elles portent sur la conception des politiques, les capacités de mise en œuvre de celles-ci ou leurs retombées, dépendent du degré d’application de certains principes dans chaque type d’évaluation.
Pour évaluer les progrès en matière de conception des politiques, ce qui suppose d’examiner les caractéristiques particulières des modifications apportées à celles-ci, il convient de s’appuyer sur des critères clairs se rapportant au texte de référence ou aux objectifs transversaux sur lesquels les politiques sont censées être alignées, de préférence en faisant appel à une grille d’évaluation. Concrètement, on peut passer les politiques au crible de la compatibilité avec ces objectifs ou ce texte de référence, réaliser des simulations portant sur un système agricole ou hydrique, ou élaborer des indicateurs pour suivre la distance séparant les politiques modifiées d’une conception de référence.
Pour évaluer les progrès en matière de capacités de mise en œuvre des politiques, ce qui suppose de suivre les efforts menés pour combler les déficits de moyens techniques, financiers et humains, ou pour corriger des défauts dans la gouvernance de l’eau susceptibles d’entraver la mise en œuvre, il faut mesurer l’évolution des capacités à l’aune de besoins en capacités prédéfinis ou identifier les lacunes en termes de gouvernance et évaluer leur impact sur la mise en œuvre. Concrètement, pour ce faire, on peut procéder à un examen complet des politiques et des capacités mises au service de leur application, ou passer les changements de politique au crible de la cohérence par rapport aux systèmes de gouvernance de l’eau.
Pour évaluer les progrès en matière de retombées des politiques, ce qui suppose d’évaluer en quoi un changement de politique modifie les pratiques de gestion de l’eau dans l’agriculture ou la situation environnementale (niveau de la nappe phréatique ou concentrations de polluants, par exemple), il faut appliquer quatre principes :
Définir les progrès, ainsi que la période et l’échelle géographique de l’évaluation.
Faire entrer en ligne de compte l’évolution des politiques existantes et d’autres facteurs en l’absence du changement de politique (scénario de référence).
Déterminer le rôle du changement de politique considéré par rapport à d’autres modifications de l’action publique.
Analyser et mettre en évidence des modalités susceptibles de rendre le changement de politique moins coûteux ou plus efficace.
En pratique, ces principes peuvent être appliqués de quatre façons : suivre les résultats des politiques au moyen d’indicateurs ; réaliser des examens complets de l’action publique faisant appel à des informations à la fois semi-quantitatives et qualitatives ; procéder à une analyse quantitative des effets d’une politique sur la population cible et l’environnement ; et mener une analyse quantitative de l’effet de la politique sur des résultats particuliers.
L’application de ces principes au défi de la gestion durable de l’irrigation dans le contexte de la modification du climat montre que la définition de la problématique n’est pas anecdotique. Pour analyser l’orientation à donner aux politiques, il convient d’examiner comment faire en sorte que l’irrigation puisse rester avantageuse économiquement pour l’agriculture, tout en maîtrisant les risques hydriques croissants et en réduisant les répercussions potentielles sur les autres usagers et l’environnement. L’examen d’un certain nombre d’évaluations montre que la détermination du rôle et les modalités des changements de politique y sont généralement prises en considération, mais que ce n’est pas le cas des autres facteurs. À titre d’exemple, les évaluations des politiques d’irrigation que nous avons examinées tiennent de plus en plus compte des changements climatiques au cours de la période considérée, mais elles ignorent généralement le rôle des tendances sur les marchés agricoles dans l’évolution observée de l’utilisation d’eau irrigation.
S’agissant de la maîtrise de la pollution diffuse par les éléments nutritifs, la difficulté tient aux incertitudes liées à la mesure de la pollution et au suivi associé en présence d’informations incomplètes et asymétriques. Au vu des exemples dont on dispose dans ce domaine, qui concernent des travaux de surveillance des résultats des politiques et des examens complets de l’action publique, il semble que des incertitudes entourent non seulement la mesure des possibles retombées des politiques, mais aussi le rôle éventuel d’autres facteurs. En particulier, il est difficile de mesurer l’impact d’une politique qui encourage l’adoption de meilleures pratiques de gestion agricole sur la concentration de polluants dans les masses d’eau. Dans ce contexte, il est sans doute plus réaliste de viser une meilleure compréhension du fonctionnement d’un changement de politique particulier que de chercher à obtenir une estimation globale de l’impact de ce changement sur la pollution.
Le suivi de l’agriculture et de l’eau pourrait prendre plus explicitement en considération le type de progrès et les principes à appliquer, ainsi que les limites des différentes approches et les biais auxquels elles peuvent donner lieu. Il pourrait être utile d’étudier plus avant les liens entre les trois dimensions des progrès de l’action publique définies dans ce rapport afin de favoriser des évaluations plus complètes. De nouvelles approches tenant compte de l’incertitude associée à la mesure pourraient à la fois donner une meilleure idée des risques et offrir une marge suffisante dans l’optique des changements de politique futurs.
1. L’évaluation des politiques fournit des repères pour bien négocier les processus de réforme dans le domaine de l’agriculture et de l’eau
1. Pour l’agriculture, les défis de l’eau sont multiples : il s’agit tout à la fois d’assurer une utilisation durable des ressources en eau disponibles, de faire face aux risques climatiques liés à l’eau et de réduire au minimum son impact sur la qualité de l’eau. Les sécheresses que connaissent chaque année bon nombre de territoires et qui se font plus fréquentes et plus graves dans certaines régions du monde affectent davantage la production agricole que celle des autres secteurs (OCDE, 2017[1]). On observe aussi une multiplication des épisodes de fortes précipitations qui ont des répercussions sur les cultures et l’élevage (OCDE, 2016[2]). Tous les pays de l’OCDE et de plus en plus de pays non membres de l’OCDE sont par ailleurs confrontés à des problèmes de pollution de l’eau d’origine agricole, même si leur ampleur et leur étendue ne sont pas partout identiques (OCDE, 2019[3]). Étant donné que l’agriculture représente une part élevée de la consommation d’eau et constitue une importante source de pollution diffuse, ces problèmes pèsent généralement beaucoup plus sur les chaînes d’approvisionnement alimentaire que d’autres problèmes liés à l’eau (Ercin et al., 2011[4] ; Chico, Aldaya et Garrido, 2013[5] ; Ruini et al., 2013[6]). Cela étant, leur propagation à travers la chaîne alimentaire contribue au triple défi lancé aux systèmes alimentaires (OCDE, 2021[7]) et met en péril la réalisation des Objectifs de développement durable (ODD), à commencer par les ODD 2 (alimentation) et 6 (eau).
2. Les décisions des agriculteurs en particulier, de même que des entreprises alimentaires, sont importantes pour relever ces défis, mais les politiques publiques dans le domaine de l’agriculture et de l’eau ont un rôle non négligeable à jouer en orientant ces décisions dans le bon sens (OCDE, 2017[1]). Premièrement, l’eau utilisée en agriculture est rarement un bien économique purement privé ou public ; bien souvent, il s’agit d’un « bien de club » ou d’une ressource à gestion partagée, mais l’agriculture irriguée est en concurrence avec d’autres usages non agricoles (OCDE, 2016[2] ; OCDE, 2015[8]).
Deuxièmement, les risques hydriques associés aux événements météorologiques extrêmes entrent souvent dans la catégorie des risques « catastrophiques », face auxquels les mesures privées et les instruments d’assurance du marché ne sont pas suffisants pour permettre aux acteurs agricoles de s’en sortir et de reconstruire (OCDE, 2010[9] ; OCDE, 2020[10]).
Troisièmement, la pollution diffuse de l’eau1, comme celle occasionnée par le ruissellement des éléments nutritifs provenant de l’agriculture, constitue une externalité environnementale négative de la production agricole impossible à traiter sans une intervention publique (OCDE, 2012[11] ; OCDE, 2017[12]). Dans le même ordre d’idées, les externalités positives associées à une bonne gestion des sols et de l’eau ne sont pas suffisamment récompensées pour que cela encourage leur production à plus grande échelle (OCDE, 2015[13]). En outre, pour bon nombre d’enjeux importants de la gestion de l’eau en agriculture, il y un manque d’informations – sur les variables météorologiques liées au climat, les aquifères complexes comportant des nappes superposées et les pollutions dépendant du sol, de l’eau, de l’absorption par les cultures, de l’alimentation des animaux et des choix dynamiques de multiples acteurs dans le bassin versant – qui peut imposer des limites à la gestion de l’eau par les différents agriculteurs (Gruère et Le Boëdec, 2019[14]).
Une amélioration de l’action publique est également nécessaire dans ces domaines.
3. Parallèlement, l’action publique à l’égard de l’agriculture et de l’eau joue un rôle important et peut, si elle est inadaptée, aggraver les problèmes du secteur en rapport avec les ressources en eau et l’environnement. Les mesures publiques qui incitent à utiliser de
1 Dans ce document, il est question de pollution diffuse ou de sources diffuses, en accord avec la Recommandation du Conseil de l’OCDE sur l’eau (OCDE, 2016[35]), mais on aurait aussi pu parler de sources non ponctuelles.
l’eau (et en particulier de l’eau provenant des nappes souterraines) dans les zones arides ou à employer des intrants potentiellement polluants peuvent nuire aux ressources en eau (Gruère et Le Boëdec, 2019[14]). De même, d’autres politiques plus en demi-teinte, qui encouragent directement ou indirectement des types particuliers de production agricole, subventionnent l’assurance contre les risques climatiques transférables ou exonèrent l’agriculture du respect de certaines prescriptions de la réglementation sur l’eau, peuvent fausser les décisions des exploitants agricoles concernant l’utilisation d’eau et la gestion des intrants (OCDE, 2020[10] ; Gruère et Le Boëdec, 2019[14]). En outre, comme les défis liés à l’eau dépendent beaucoup du contexte, des politiques performantes dans tel contexte ne le sont pas forcément dans tel autre, parce que les conditions climatiques, la situation hydrologique, les caractéristiques structurelles du marché ou d’autres facteurs sont différents (Banque mondiale - OCDE, 2018[15]).
4. Même si un certain nombre de pays ont mené d’importantes réformes et modernisé leurs politiques, les données existantes montrent que des améliorations restent nécessaires, en particulier pour maîtriser les risques croissants de pénurie d’eau et faire baisser les pressions exercées par l’agriculture sur les écosystèmes aquatiques et les autres usagers (OCDE, 2017[1] ; Gruère, Ashley et Cadilhon, 2018[16]). Beaucoup de pays de l’OCDE ont sensiblement modifié leurs politiques entre 2009 et 2019 (Gruère, Shigemitsu et Crawford, 2020[17]), mais l’intensification des risques liés à l’eau, la concurrence accrue avec d’autres secteurs pour l’accès à la ressource et la persistance de la pollution tendent à indiquer que de nouveaux efforts s’imposent. Comme les réformes touchant à l’eau et à l’agriculture prennent du temps et mettent en jeu des processus politiques complexes, il convient sans doute de réfléchir très tôt aux changements à apporter pour faire face aux risques futurs liés à l’eau. En outre, la mise en œuvre des politiques peut laisser à désirer, comme en témoignent, par exemple, les cas rapportés de prélèvements d’eau illicites effectués principalement par des irrigants (Loch et al., 2020[18]) ou d’infraction à la réglementation sur les nitrates (Valo, 2014[19] ; Stam, 2019[20]).
5. Pour déterminer les modifications ou les ajustements à apporter à l’action publique afin de continuer à progresser, il convient d’évaluer les politiques en place avec toute la rigueur voulue (Conseil des académies canadiennes, 2013[21]). Les évaluations sont nécessaires pour permettre des processus de réforme efficaces, stimuler le changement, tracer une trajectoire de réforme ou l’adapter (Gruère, Ashley et Cadilhon, 2018[16] ; Garrick et al., 2020[22]). Un processus de réforme efficace nécessite d’étayer la définition du problème, celle des objectifs d’action et les évaluations par des données factuelles solides (Gruère et Le Boëdec, 2019[14]) ; il s’agit notamment de poser un diagnostic de la situation à un moment particulier et de préciser le sens de la réforme.
6. Le présent document a pour finalité de dégager des principes généraux et des options pratiques à la disposition des pouvoirs publics pour mesurer les progrès de la gestion de l’eau dans l’agriculture. Faisant fond sur les études antérieures consacrées à l’évaluation appliquée de l’action publique et sur des exemples d’évaluation des politiques, il passe en revue différents types d’évaluations, identifie des principes clés pour le choix des méthodes d’évaluation et examine les approches que peuvent adopter les pouvoirs publics. Il analyse ensuite plus précisément les moyens de mesurer les progrès sur deux enjeux essentiels : (i) gérer l’utilisation d’eau dans l’agriculture irriguée de façon durable sur fond d’instabilité grandissante des conditions climatiques, et (ii) lutter contre la pollution diffuse par les éléments nutritifs pour maintenir la qualité de l’eau.
7. Il importe de préciser que ce document n’a pas vocation à dresser un inventaire exhaustif des méthodes d’évaluation employées ou à examiner les avantages et les inconvénients de chacune. Il existe une abondante littérature consacrée à l’évaluation des politiques, y compris à la collecte de données, leur utilisation et leur analyse statistique. De
même, les méthodes servant à évaluer des scénarios futurs possibles, qu’il s’agisse d’évaluations qualitatives, de simulations ex ante ou d’approches expérimentales, ne sont pas abordées, car elles ne sont généralement pas adaptées à la mesure des progrès de l’action publique2. Ce document se concentre au contraire sur les principes généraux et les approches que peuvent appliquer en premier lieu les entités publiques pour évaluer les modifications en cours, récentes ou à long terme des politiques, dans le but de les aider à orienter leurs décisions touchant aux enjeux de la politique de l’agriculture et de l’eau.
8. La deuxième partie de ce rapport examine les différentes façons de mesurer les progrès de la gestion de l’eau dans l’agriculture et la manière dont les gouvernements les appliquent. La troisième partie met en exergue les principes clés à prendre en compte dans les différents domaines, et la quatrième partie est consacrée aux options pratiques. Enfin, la cinquième partie applique les principes aux deux défis que représentent la gestion durable de l’agriculture irriguée dans le contexte de la modification du climat et la lutte contre la pollution diffuse par les éléments nutritifs.
2. Mesurer les progrès de l’action publique en matière de gestion de l’eau dans l’agriculture : définition, typologie et logique des interventions publiques
9. Les progrès de l’action publique peuvent être définis de manière générale comme les changements de politique intervenus au cours d’une période donnée qui appuient la réalisation d’un objectif ou la production d’un résultat attendu. Leur mesure suppose d’analyser l’ampleur des avancées vers la réalisation de cet objectif ou la production de ce résultat liées à l’action publique entre le passé et le présent (ex post)3.
10. Pour apprécier les progrès, les responsables de l’action publique peuvent choisir de suivre et/ou d’évaluer un changement de politique particulier. Le suivi des progrès sur une période donnée peut impliquer d’observer les évolutions intervenues par rapport à un résultat ou un objectif, mais sans forcément tenter d’expliquer le rôle de l’action publique dans ces évolutions4. L’évaluation d’un changement de politique, en revanche, implique d’évaluer les effets de ce changement sans forcément tenir compte de leur évolution dans le temps. L’évaluation des progrès de l’action publique implique de conduire des évaluations régulières de façon cohérente dans le temps, pour permettre de comprendre comment l’action publique répond à la modification des conditions5. L’itération des évaluations peut également permettre des adaptations de la mesure des progrès, de façon à
2 Les analyses quantitatives ex ante peuvent néanmoins apporter des éléments utiles à la réflexion. C’est ainsi que les études de Marshall et al. (2018[138]) et de Ribaudo, Savage et Aillery (2014[136]) offrent des éclairages intéressants sur les moyens d’action envisageables pour lutter contre la pollution par les éléments nutritifs, respectivement dans le golfe du Mexique et dans la baie de Chesapeake. Mais elles ne mesurent pas les progrès à proprement parler.
3 Si le contexte de l’action publique est pluridimensionnel, l’évaluation des progrès peut impliquer une analyse pluridimensionnelle. Pour mesurer les progrès dans leur globalité, une méthode d’agrégation est alors nécessaire. La théorie utilitariste offre plusieurs outils.
4 Le suivi peut aussi consister à prendre des « instantanés » d’une situation à différents moments afin d’en comprendre l’évolution. En Italie, l’institut de recherche INEA a ainsi mené une évaluation rigoureuse des réseaux d’irrigation dans différentes régions, dont la Lombardie (Zucaro et Corapi, 2009[133]) et la vallée d’Aoste (Zucaro et Seroglia, 2013[132]).
5 Dans ce rapport, les évaluations uniques sont considérées comme un moyen de mesure des progrès, au même titre que le suivi ou l’évaluation des progrès de l’action publique.
tenir compte de l’évolution de l’incertitude entourant les données et de celle des voies d’action (Gruère et Le Boëdec, 2019[14]).
11. Les progrès de l’action publique peuvent se rapporter à la conception des politiques, aux capacités de mise en œuvre ou aux retombées6 (graphique 1). Cette typologie s’applique en particulier aux progrès de la gestion de l’eau dans l’agriculture. Par exemple, un changement de politique peut viser à encadrer les prélèvements d’eau d’irrigation dans les nappes souterraines afin de freiner l’épuisement de celles-ci. Mesurer les progrès de l’action publique dans ce domaine peut revenir à (a) examiner les améliorations apportées à la conception des politiques par rapport au passé (meilleures incitations, objectifs définis, consultation des parties prenantes, coûts de transaction réduits), (b) examiner les changements intervenus par rapport à la situation de départ en termes de capacités de mise en œuvre (surveillance des forages, systèmes améliorés de gouvernance des eaux souterraines, aménagement de retenues pour faciliter la recharge...), ou (c) examiner les changements intervenus en termes de retombées effectives (volume d’eau souterraine utilisé pour l’irrigation, superficie irriguée avec cette eau, niveau des nappes souterraines...), que ce soit en assurant une surveillance régulière ou en comparant les situations passée et présente.
12. Si ces trois types de progrès peuvent s’enchaîner, de sorte qu’une meilleure conception des politiques renforce leur application et aboutit à de meilleures retombées, cela n’est pas garanti. Au contraire, des corrélations négatives et des évolutions antagonistes sont possibles : ainsi, une conception des politiques plus perfectionnée peut les rendre peu pratiques à mettre en œuvre et limiter leurs retombées.
Graphique 1. Les trois types de progrès de l’action publique
Source : Auteurs.
13. Par ailleurs, la finalité de l’évaluation peut être différente selon le type de progrès considéré. L’attention peut se porter sur la conception des politiques lorsqu’il s’agit de déterminer les lacunes de l’action publique et de réfléchir à l’orientation de nouveaux efforts à moyen et long terme. L’évaluation peut en revanche porter sur les progrès en
6 Dans la suite de ce document, ce troisième type de progrès sera appelé retombées des politiques ou de l’action publique et désignera l’impact d’un changement de politique. À l’inverse, nous parlerons de résultats pour désigner les évolutions environnementales résultant ou non d’un changement de politique.
Amélioration de la conception des politiques
• Moyen(s) d’action
• Cohérence des politiques
• Obligations de gestion et de supervision
• Mécanismes de transparence et de notification
Amélioration des capacités de mise en œuvre des politiques
• Moyens de mise en œuvre (financement, personnel, outils de surveillance)
• Système de gouvernance sous- tendant la mise en œuvre
Amélioration des retombées des politiques
• Plus large adoption de bonnes pratiques
• Gestion de l’eau plus performante dans l’agriculture (utilisation et consommation plus durables de l’eau, baisse de la pollution de l’eau, impact plus limité des risques liés à l’eau...)
termes de capacités de mise en œuvre si on souhaite des informations sur les lacunes dans l’application et le financement, et sur les progrès en termes de retombées des politiques si on souhaite apprécier l’efficacité d’une mesure particulière. L’évaluation doit parfois se limiter à la conception et à l’application des politiques, l’examen des retombées n’étant pas possible faute de données et de mesures suffisantes, que ce soit pour des raisons techniques ou pour cause d’opposition des parties prenantes. Une mesure complète des progrès de l’action publique porterait sur l’évolution de la conception, des capacités et de l’efficacité (par rapport au coût), et envisagerait également les liens entre les trois.
14. Il est nécessaire de mettre en balance l’exhaustivité, la précision et la solidité de l’évaluation et le temps et les efforts nécessaires à sa réalisation. Dans l’idéal, tous les bassins dans lesquels il existe des risques hydriques, dont des risques liés à l’agriculture, devraient faire l’objet d’une surveillance rigoureuse tenant compte d’un large éventail de facteurs. Cela permettrait de bien cerner comment se comportent les usagers de l’eau, et comment les politiques publiques et d’autres facteurs influencent les agents et se répercutent sur les ressources en eau. Pourtant, même dans les pays développés, malgré les efforts soutenus déployés, les données sur la consommation d’eau sont rares et d’apparition récente, l’utilisation d’eau en agriculture est mesurée seulement sur de longues périodes, la sollicitation des aquifères et eaux souterraines est mal connue et la pollution diffuse reste difficile à surveiller (OCDE, 2019[3] ; OCDE, 2015[23] ; OCDE, 2017[12]).
15. L’Italie a misé sur un système d’information double pour remédier à certaines difficultés liées à l’incertitude qui entoure les mesures de performance et la mesure des progrès de l’action publique. Elle possède, d’une part, un système national d’information pour la gestion des ressources en eau dans l’agriculture, qui collecte des données et des informations sur l’utilisation d’eau aux fins d’irrigation, et, d’autre part, une base de données nationale sur les investissements dans l’irrigation et l’environnement (DANIA), qui contient des informations sur les projets d’investissement tournés vers l’utilisation durable de l’eau. L’interconnexion de ces deux bases de données permet d’identifier ex ante les investissements nécessaires pour lutter contre les problèmes environnementaux et liés à l’irrigation, ainsi que d’évaluer ex post l’efficacité des interventions financées.
16. Parallèlement, un arbitrage s’impose entre l’utilité pour l’action publique et la précision des modèles d’évaluation, l’augmentation de la seconde pouvant limiter la première (Borsuk, Stow et Reckhow, 2004[24]). Certaines méthodes d’évaluation faisant appel à des modèles bayésiens peuvent être employées pour prendre en compte explicitement l’incertitude (Brock, Durlauf et West, 2007[25]). Les réseaux probabilistes peuvent, par exemple, incorporer les imprécisions analytiques ou les implications d’une information imparfaite concernant les interactions écosystémiques (Carriger, Barron et Newman, 2016[26]). Ce type d’approche fondé sur des réseaux permet aussi de prendre en compte des facteurs économiques et non économiques, comme les déterminants d’événements en rapport avec la météorologie et le secteur alimentaire7.
17. Les efforts déployés par les pouvoirs publics pour mesurer les progrès dans le domaine de la gestion de l’eau en agriculture, tout comme dans d’autres domaines d’intervention, sont proportionnels à l’importance de cet enjeu parmi les multiples priorités.
En Australie, le Plan du bassin Murray-Darling8 fait fréquemment l’objet d’examens
7 Les modèles bayésiens ont été appliqués avec succès dans l’évaluation de la politique et de la gestion des pêches (Levontin et al., 2011[139] ; Doll et Jacquemin, 2019[143]).
8 Le Plan du bassin Murray-Darling a été établi pour gérer ce bassin comme un ensemble interconnecté et pour le ramener à un état plus stable et plus durable, tout en continuant de soutenir les activités agricoles et autres.
approfondis, car les ressources en eau du bassin revêtent une importance cruciale pour les irrigants, les populations, les Premières nations, l’industrie et les écosystèmes tributaires de l’eau, dans ce qui est le continent habité le plus aride de la planète9. En revanche, les politiques de gestion des ressources en eau dans l’agriculture sont rarement évaluées ou surveillées dans les pays où l’eau est relativement abondante et où seule une partie des cultures est irriguée durant certaines saisons.
18. Dans les pays à structure fédérale, la gestion de l’eau est souvent confiée aux régions ou provinces, de sorte que le suivi des politiques nationales par les autorités nationales peut être difficile. Au Canada, par exemple, l’eau est en grande partie du ressort des provinces et des territoires, ce qui peut compliquer sensiblement l’évaluation des progrès au niveau national10. En l’absence d’un organisme fédéral investi d’un mandat idoine, le suivi des défis liés à l’eau, y compris en agriculture, nécessite le cas échéant de consulter des provinces et des territoires qui appliquent des processus d’évaluation différents. Même le suivi des politiques de l’eau définies au niveau fédéral peut être entravé par le fait que les régions, les provinces et les territoires utilisent pour ce faire des systèmes différents.
19. Les gouvernements de certains pays de l’OCDE réalisent des évaluations parce qu’ils sont tenus de le faire aux termes de la législation relative à l’eau ou à l’agriculture (Gruère, Ashley et Cadilhon, 2018[16]). Ainsi, la directive-cadre sur l’eau de l’Union européenne prescrit une évaluation des plans de gestion de district hydrographique tous les six ans11. En Nouvelle-Zélande, la déclaration de politique nationale sur la gestion de l’eau douce de 2020 (National Policy Statement for Freshwater Management 2020) dispose que les conseils régionaux communiquent chaque année des données utiles et font rapport sur sa mise en œuvre au minimum tous les cinq ans (Gouvernement de la Nouvelle-Zélande, 2020[27]). Ces obligations d’évaluation constituent le cas échéant un moyen très utile d’assurer que les politiques peuvent être modifiées et adaptées lorsqu’elles ne remplissent pas leur objectif.
20. Les évaluations peuvent aussi être le déclencheur de la mise en place de systèmes de suivi des politiques. C’est ainsi qu’en Australie, une évaluation indépendante de la Stratégie nationale de gestion de la qualité de l’eau (NWQMS)12, réalisée en 2011, a recommandé l’élaboration d’un ensemble restreint d’indicateurs de performance qualitatifs et quantitatifs s’accordant avec les priorités et les objectifs nationaux, ainsi que l’instauration d’une obligation déclarative au niveau national (KPMG, 2011[28]). En 2018, le gouvernement a publié un plan de suivi et d’évaluation (Gouvernement de l'Australie,
9 En particulier, la surveillance et les bilans dressés du Plan du bassin Murray-Darling font intervenir plusieurs entités publiques, dont l’autorité du bassin, l’organisme chargé de gérer l’eau environnementale (Commonwealth Environmental Water Holder), le ministère de l’Agriculture, de l’Eau et de l’Environnement, ainsi que les autorités des États et territoires situés dans le bassin. Les bilans apportent les informations nécessaires à une gestion adaptative des ressources du bassin. Le Plan est aussi l’objet d’études fréquentes en raison de la conception très particulière de la politique régissant le marché de l’eau dans le bassin (Wheeler et al., 2020[134]).
10 En 2020, le gouvernement du Canada a annoncé la création d’une nouvelle agence canadienne de l’eau pour préserver une eau sûre et propre et assurer la bonne gestion de cette ressource dans le pays. Cette agence pourrait jouer un rôle dans le suivi des progrès de l’action publique dans le domaine de l’eau.
11 Les résultats du 5e rapport d’évaluation de la directive-cadre sur l’eau, qui a été publié début 2019 et évalue les deuxièmes plans de gestion de district hydrographique, peuvent être consultés à l’adresse : https://ec.europa.eu/environment/water/water-framework/impl_reports.htm
12 Dispositif coordonné au niveau national avec l’appui de tous les exécutifs du pays, la NWQMS (National Water Quality Management Strategy) vise à faciliter la gestion de la qualité de l’eau au service d’une utilisation productive et durable des ressources en eau.
2018[29]), dans lequel il a présenté des indicateurs de performance pouvant être employés par les autorités nationales et celles des États et territoires pour évaluer l’efficacité de la NWQMS.
21. Les progrès de l’action publique sont également mesurés par des chercheurs du secteur public, des universités et des organisations internationales. Ces acteurs produisent ainsi de nouvelles connaissances sur l’efficacité des systèmes de gestion de l’agriculture et de l’eau, qui peuvent enrichir ou compléter les informations provenant des autres sources.
Enfin, les pouvoirs publics peuvent aussi se référer à des données, outils, méthodes et évaluations produits le cas échéant par des organisations non gouvernementales, des laboratoires de réflexion et des entreprises privées intéressés par des modèles plus verts et plus résilients (OCDE, 2017[30]).
22. Dans la suite de ce rapport, « la mesure des progrès de l’action publique » désignera l’observation de l’évolution des politiques de l’agriculture et de l’eau dans le temps, sachant que cette évolution peut être envisagée sous l’angle de la conception des politiques, des capacités de mise en œuvre des politiques ou de leurs effets, et que l’observation peut être effectuée à l’aide de différentes méthodes selon le contexte.
3. Principes d’évaluation et difficultés liées à la mesure des progrès accomplis dans la gestion de l’eau dans l’agriculture
23. Cette section examine les grands principes et les principales difficultés liées à la mesure des progrès accomplis dans la gestion de l’eau dans l’agriculture. Quel que soit le type de progrès accomplis dans les politiques, pour les mesurer, il faut définir un point de départ et une référence ou un objectif. Une difficulté commune ressort des évaluations examinées dans le présent rapport : comment définir suffisamment bien ces éléments.
24. Par ailleurs, les points de départ et les références ou objectifs étant définis différemment selon que l’on s’intéresse à la conception, aux capacités de mise en œuvre ou à l’évaluation des résultats des politiques, les principes et difficultés sont également différents. Le tableau 1 synthétise les grands principes et les principales difficultés. Ces points sont développés par type de progrès dans les trois sous-sections suivantes.
Tableau 1. Mesurer les progrès dans la gestion de l’eau dans l’agriculture : type d’évaluation, principes et difficultés
Dimension du progrès Type d’évaluation Grands principes Principales difficultés A. Progrès dans la
conception des politiques sur l’agriculture et l’eau
A.1. Examiner une politique pour évaluer sa cohérence avec un objectif stratégique intersectoriel
Valider les critères de cohérence avec les objectifs stratégiques intersectoriels
Prise en compte de l’ensemble des leviers d’action intersectoriels A.2. Évaluer un ensemble de
politiques par rapport à un modèle de politique de référence
Définir une grille d’évaluation pour mettre en correspondance un ensemble de politiques par rapport au modèle de référence
Définition des indicateurs quantitatifs, selon le contexte, et les limites du modèle de référence
B. Progrès dans la capacité de mise en œuvre des politiques sur l’agriculture et l’eau
B.1. Déterminer les progrès accomplis dans la capacité de mise en œuvre
Comparer la capacité de mise en œuvre aux besoins ou à leur aptitude à produire des résultats
Faibles disponibilité des données et connaissances sur les besoins associés à la mise en œuvre
B.2. Mesurer les progrès accomplis en matière de gouvernance de l’eau qui contribuent à améliorer la mise en œuvre
Recenser les lacunes en matière de gouvernance à plusieurs niveaux et leur évolution
Choix du niveau d’analyse convenable
C. Progrès dans les résultats des politiques sur l’agriculture et l’eau
C. Évaluer les résultats des
politiques sur l’agriculture et l’eau Bien définir les produits et la période
Tenir compte d’un scénario alternatif plausible
Associer le produit à l’évolution effective des politiques
Déterminer l’efficacité en termes de coûts
Définir le niveau d’analyse (exploitation, bassin versant, région)
Veiller à ce que tous les facteurs pertinents soient mesurés et pris en compte
Inclure et déterminer les effets de l’ensemble des évolutions des politiques pertinentes
Mesurer les caractéristiques qui pourraient influer sur l’évolution des politiques
Note : les indices renvoient aux parties correspondantes de cette section Source : auteurs du présent rapport.
A. Évaluer les progrès dans la conception des politiques sur l’agriculture et l’eau 25. L’évaluation des progrès dans la conception des politiques sur l’agriculture et l’eau exige de comparer les caractéristiques des politiques à un ensemble de caractéristiques de référence ou un modèle de politiques. Il existe deux grands types d’évaluation de la conception des politiques : 1) celles qui mettent l’accent sur la cohérence d’une politique donnée à un objectif intersectoriel particulier, et 2) celles qui comparent la politique à un modèle, une orientation ou un engagement de référence. Les deux prochaines sous-sections examinent ces deux types d’évaluation.
A.1. Examiner une politique pour évaluer sa cohérence avec un objectif stratégique intersectoriel
26. Cet examen peut être utile pour s’assurer que les objectifs environnementaux ou sociaux sont convenablement intégrés aux politiques publiques. Dans le domaine de l’agriculture et de l’eau, les pouvoirs publics peuvent examiner si les politiques connexes, telles que le prix de l’eau et les systèmes d’échange de quotas, ou le soutien financier aux systèmes d’irrigation et à certaines pratiques agricoles, vont effectivement dans le sens, et non à l’encontre, de l’adaptation aux changements climatiques, ou comment elles pourraient influer sur les émissions de gaz à effet de serre (GES) (OCDE, 2015[31]).
27. Exemples d’examen portant sur l’agriculture et l’eau : évaluations des politiques qui encouragent une économie circulaire ou une intégration des politiques s’appuyant sur la relation eau-énergie-alimentation (Tsurita, Burnett et Orencio, 2017[32] ; Water in the
West, 2013[33] ; Lindberg et Leflaive, 2015[34]). L’évaluation des politiques influant sur la pollution pourrait également tenir compte des politiques agricoles et d’autres politiques économiques afin de s’assurer qu’elles ne favorisent pas une augmentation de la pollution par les éléments nutritifs dans les cours d’eau ou les aquifères.
28. Un grand principe guide un examen efficace des politiques : il convient de recenser clairement les critères qui définissent en quoi les politiques existantes pourraient être cohérentes avec les objectifs intersectoriels. Il peut s’agir d’un ensemble de questions ou d’une liste de points à vérifier portant sur un éventail de politiques suffisamment large. il est alors possible de dresser une grille d’évaluation, par exemple recensant les synergies, les compromis et les interactions ambiguës, en croissant les critères et les politiques, ou les caractéristiques des politiques (Lindberg et Leflaive, 2015[34]).
29. Ces examens pourraient prendre la forme d’exercices formels portant sur les politiques et de discussions avec les principales parties prenantes dans le domaine de l’agriculture et de l’eau. Pour mener une évaluation plus poussée, il pourrait falloir définir un cadre d’évaluation stratégique, et éventuellement compléter cet exercice en réalisant d’autres évaluations. Par ailleurs, il convient de tenir compte de la dynamique des politiques, en les comparant à la structure des politiques actuelles et passées ou en analysant la cohérence d’une évolution des politiques avec les objectifs intersectoriels.
30. Il faut pour cela suivre les étapes suivantes : recenser les critères qui conviennent le mieux, et s’assurer qu’ils permettent de mesurer efficacement la cohérence des politiques avec les objectifs intersectoriels. La principale difficulté tient à s’assure que l’ensemble des grands leviers d’action intersectoriels soient pris en compte, afin de ne pas surestimer le rôle d’une politique donnée. Les recommandations formulées en fonction des résultats de l’évaluation peuvent varier selon le niveau de complexité.
A.2. Évaluer un ensemble de politiques par rapport à un modèle de politique de référence
31. Cette évaluation consiste à comparer une évolution des politiques par rapport à un modèle de référence. Le modèle de référence peut s’appuyer sur des politiques antérieures (avant la réforme), des orientations existantes, des caractéristiques dont la nécessité ou l’importance sont reconnues, des principes auxquels le pays adhère ou des engagements internationaux. L’évaluation peut aider à mesurer l’écart par rapport à un modèle de référence, en faisant ressortir les domaines où il convient d’intensifier les efforts.
32. Dans le domaine de l’agriculture et de l’eau, ces comparaisons peuvent être faites afin d’évaluer si une politique de l’eau est comparable à celle d’autres régions ou pays. Par exemple, dans la Directive-cadre européenne sur l’eau, les États membres sont tenus de limiter la pollution dans toutes les masses d’eau de surface de sorte à atteindre un bon état écologique. Mais les États membres peuvent adopter des stratégies de mise en œuvre différentes pour atteindre ces buts. Comparer un ensemble de politiques donné à ce que font les États voisins peut aider à améliorer la structure des politiques.
33. Par exemple, l’OCDE a comparé les politiques de l’eau à la Recommandation du Conseil de l’OCDE sur l’eau (OCDE, 2016[35]). Les pays membres de l’OCDE qui ont approuvé cette recommandation en 2016 sont invités à suivre ces orientations. Le Secrétariat de l’OCDE a produit un rapport sur la mise en œuvre afin d’évaluer les progrès
accomplis dans l’application de cette recommandation (OCDE, 2020[36])13. Un engagement non contraignant analogue a été pris par les Ministres adjoints de l’agriculture du G20 en 2017 dans leur plan d’action sur l’agriculture et l’eau. Une première discussion évaluation les efforts déployés par les gouvernements et les organisations internationales s’est tenue à une réunion des ministres délégués à l’agriculture du G20 en janvier 202014.
34. Pour mener ces évaluations, il convient de définir une grille d’évaluation pour mettre en correspondance un ensemble de politiques par rapport au modèle de référence. Il pourrait falloir fixer des critères tels que l’absence ou la présence de caractéristiques particulières d’une politique ou de ses modalités de mise en œuvre, définir une échelle ou des indicateurs de proximité entre la structure de la politique observée et le modèle de référence, ou comparer les politiques de différents pays au même modèle de référence (deux par deux, par exemple), ce qui n’exige pas d’utiliser des grandeurs communes. Par ailleurs, comme pour toute mesure des progrès, la dynamique compte. Il convient donc de définir une période de référence et différents stades de la politique.
35. Comparer une évolution des politiques à un texte de référence revient à définir la direction et la longueur d’un vecteur par rapport à un axe stable (graphique 2). Une évolution des politiques peut être déterminée par l’écart entre l’état initial et l’état final de la politique, ou par l’un des états de la politique et la direction et l’amplitude de l’évolution.
On peut alors en déduire la cohérence de l’évolution des politiques avec l’engagement pris au niveau international (Gruère, Shigemitsu et Crawford, 2020[17]).
13La méthode de Gruère, Shigemitsu et Crawford (2020[17]) a été mise au point pour contribuer à cet exercice sur les politiques de l’agriculture et de l’eau. On trouvera de plus amples détails à ce sujet à la section 4, option pratique O.P.3.
14 Voir Gruère, Shigemitsu et Crawford (2020[17]) pour les résultats concernant les mesures figurant dans le plan d’action des pays du G20 membres de l’OCDE.
Graphique 2. Mesurer la cohérence de l’évolution des politiques avec un engagement pris au niveau international
Exemple d’évolution des politiques entre 2009 et 2019
Note : ce graphique est unidimensionnel, mais les progrès accomplis par rapport à une référence sont souvent multidimensionnels, avec une amélioration dans certains domaines et une dégradation dans d’autres (voir par exemple, Graphique 5)
Source : Gruère, Shigemitsu et Crawford (2020[17]).
36. Cette évaluation exige une bonne caractérisation du document stratégique de référence, la collecte d’informations suffisantes sur l’évolution des politiques, et la détermination de l’écart entre les deux. Pour cette dernière étape, il pourrait falloir comparer qualitativement les buts et objectifs, trouver des exemples et souligner les tendances, ou définir une échelle permettant de mesurer l’écart par rapport à la recommandation et définir quantitativement les indices de cohérence.
37. La principale difficulté tient au fait que les politiques ne sont pas des indicateurs quantitatifs, que le choix et l’évolution des politiques dépendent du contexte, en particulier dans le domaine de l’agriculture et de l’eau, et qu’il se pourrait que la référence elle-même ne soit plus un objectif plausible ou idéal si la situation évolue ou si de nouvelles options émergent.
B. Évaluer les progrès dans la capacité de mise en œuvre des politiques sur l’agriculture et l’eau
38. Une politique pourrait être adoptée sans la capacité de mise en œuvre voulue, que ce soit en termes de financement ou de gouvernance. Par exemple, si une politique prévoit des mesures d’application, mais n’alloue pas un budget suffisant pour assurer le suivi et l’application, la mise en œuvre pourrait être partielle. L’une des raisons pour lesquelles les mesures prises par le Gouvernement espagnol pour recenser les puits illégaux (essentiellement dans les exploitations agricoles) ont donné des résultats partiels a été le financement insuffisant au regard du million et demi de puits qui devaient être contrôlés
2009 2019
Engagement stratégique international
TEMPS
AMBITION STRATÉGIQUE ForteFaible Écart par rapport à l'engagement Écart par rapport à l'engagement
Amplitude de l'évolution
(Fornés et al., 2007[37]). Les lacunes en matière de gouvernance peuvent également poser problème. La République populaire de Chine (« Chine ») a fixé des objectifs ambitieux concernant l’utilisation de l’eau dans l’agriculture et la réduction de la pollution de l’eau.
Toutefois, la mise en œuvre n’a pas suivi, en partie en raison de la fragmentation du système de gouvernance de l’eau, et des objectifs divergents entre les autorités régionales et les autorités chargées des bassins (OCDE, 2018[38]).
39. L’évaluation des progrès accomplis dans la capacité de mise en œuvre des politiques repose principalement sur la détermination des lacunes en la matière – techniques, financières ou humaines – ou dans la gouvernance de l’eau et de l’agriculture qui empêchent que la politique soit mise en œuvre à l’échelle visée. Les progrès peuvent être définis par les évolutions qui réduisent ces lacunes, et facilitent ainsi une meilleure mise en œuvre des politiques.
40. Déterminer l’évolution de ces lacunes exige de comparer la variation de la capacité de mise en œuvre par rapport à des besoins prédéfinis ou de tenir compte de leur incidence sur les degrés de mise en œuvre. Cet exercice pourrait donc être lié aux évaluations des progrès dans la conception des politiques (des carences dans les politiques peuvent être à l’origine de lacunes dans la capacité de mise en œuvre) ou dans les résultats des politiques (des lacunes dans la capacité de mise en œuvre se traduiront souvent par de faibles degrés de mise en œuvre). Les deux sous-sections suivantes examinent les deux types de mesures liées à la capacité de mise en œuvre et leurs limites.
B.1. Déterminer les progrès accomplis dans la capacité de mise en œuvre 41. Ce type d’évaluation repose sur un grand principe : il exige de mesurer l’évolution de la capacité de mise en œuvre à l’échelle visée afin que la politique soit totalement appliquée. La façon de mesurer cette évolution dépend du type de capacité de mise en œuvre.
Capacité technique : les politiques ne définissent pas toujours les besoins en la matière. Par ailleurs, les progrès techniques dans le suivi et l’application qui sont susceptibles de réduire les coûts de mise en œuvre et d’améliorer l’efficacité des mesures de suivi et des résultats peuvent être identifiables. Il s’agit, par exemple de l’utilisation de technologies numériques à l’appui des organismes d’exécution (OCDE, 2019[39]), tels que des outils de télédétection qui mesurent l’évapotranspiration afin de suivre les prélèvements d’eau réalisés par un grand nombre d’agriculteurs, ou les modèles de flux des éléments nutritifs qui permettent de définir ce que devrait faire un agriculteur pour limiter la pollution d’un bassin versant (OCDE, 2017[12]). L’adoption de ces technologies, si elle ne garantit pas de résultats, accroît souvent les besoins liés à la mise en œuvre.
Capacité de financement : toutes les politiques exigent des dépenses publiques pour couvrir les coûts de transaction essentiels liés au suivi et à l’évaluation, aux investissements dans les infrastructures ou au financement de programmes d’incitation (Loch et Gregg, 2018[40]). Les besoins de financements peuvent donc être estimés dès le début du processus d’élaboration des politiques, et éventuellement être mis à jour lors de l’exécution15. Par exemple, il est possible d’estimer le financement nécessaire pour déployer des stations de suivi de la qualité de l’eau ou de la quantité d’eau, renforcer les canaux d’irrigation ou proposer des services aux agriculteurs. Les lacunes en matière de capacité sont définies en
15 Certains coûts peuvent diminuer dans le temps, lors de la phase de mise en œuvre de la politique (Loch et Gregg, 2018[40]).
examinant s’il faut injecter davantage de fonds pour faire avancer la mise en œuvre vers la réalisation des objectifs de la politique. Les progrès peuvent être déterminés en calculant l’évolution de l’écart entre les états de mise en œuvre réel et idéal et leurs coûts respectifs, ou en définissant les besoins de financement totaux pour la mise en œuvre complète et l’évolution des dépenses réelles d’appui à la politique.
Capacité humaine : les réformes des politiques exigent un niveau de technicité et de personnel suffisant pour garantir le bon fonctionnement de l’organisme d’exécution (Gruère et Le Boëdec, 2019[14]). Les politiques ne prévoient pas toujours des objectifs de développement des capacités humaines bien définis.
L’évaluation doit donc tenir compte de l’évolution des effectifs et des compétences du personnel, et de la façon dont elle pourrait contribuer à améliorer la mise en œuvre.
42. La difficulté de ce type d’évaluation tient à la faible disponibilité de données et à la connaissance globalement insuffisante des besoins de mise en œuvre, en particulier dans le cas des politiques sur l’agriculture et l’eau (à l’exception éventuelle des infrastructures hydriques).
B.2. Mesurer les progrès accomplis en matière de gouvernance de l’eau qui contribuent à améliorer la mise en œuvre
43. Mesurer les progrès accomplis en matière de gouvernance de l’eau qui contribuent à améliorer la mise en œuvre exige de comprendre le système de gouvernance de l’eau à plusieurs niveaux, car il influe sur la prise de décisions dans l’agriculture. En effet, un système hydrique dans lequel les institutions qui régissent l’eau ont des rôles bien définis et se coordonnent à différents échelons sera davantage susceptible de permettre la mise en œuvre des réformes concernant la politique de l’eau dans l’agriculture (Gruère et Le Boëdec, 2019[14]).
44. Pour évaluer un système de gouvernance de l’eau, il faut généralement se pencher sur les différentes institutions, leur fonctionnement et les lacunes dans la coordination aux échelons géographiques voulus. (OCDE, 2012[41]). Dans le cas des politiques sur l’agriculture et l’eau, il convient d’examiner des niveaux et des institutions particuliers. Par exemple, la gouvernance des systèmes d’assainissement ne sera peut-être pas pertinente pour ces politiques, mais la façon dont la ressource hydrique est allouée et dont le financement de l’eau est décidé pourrait influer sur la mise en œuvre de politiques d’irrigation données. Le rôle des autorités fédérales et à l’échelle des états et des comtés dans la prise de décisions relatives à l’eau et leur évolution dans le temps est également important pour mesurer les progrès accomplis dans la mise en œuvre des politiques dans des pays fédéraux tels que les États-Unis, le Canada, l’Allemagne ou l’Inde.
45. Trois grandes options sont possibles pour mener cette évaluation. Premièrement, un système de gouvernance peut être évalué par rapport à des principes de bonne gouvernance (OCDE, 2018[42]), selon un processus analogue à la comparaison de la conception des politiques par rapport à une politique de référence (section A.2).
Deuxièmement, il peut l’être selon une grille d’évaluation structurelle qui recense les écarts (OCDE, 2012[41]). Cette évaluation peut reposer sur un cadre d’analyse, tel que le modèle SWOT16 (Chan et al., 2016[43]), ou sur les principales caractéristiques de la gouvernance de l’eau observées dans une évolution des politiques, telles qu’un cadre de réforme de la gouvernance de l’eau (Grafton et al., 2019[44]). Ces méthodes ont des points communs avec
16 SWOT est l’acronyme anglais de « forces, faiblesses, possibilités et menaces » (Strengths, Weaknesses, Opportunities and Threats).
