9. Les progrès de l’action publique peuvent être définis de manière générale comme les changements de politique intervenus au cours d’une période donnée qui appuient la réalisation d’un objectif ou la production d’un résultat attendu. Leur mesure suppose d’analyser l’ampleur des avancées vers la réalisation de cet objectif ou la production de ce résultat liées à l’action publique entre le passé et le présent (ex post)3.
10. Pour apprécier les progrès, les responsables de l’action publique peuvent choisir de suivre et/ou d’évaluer un changement de politique particulier. Le suivi des progrès sur une période donnée peut impliquer d’observer les évolutions intervenues par rapport à un résultat ou un objectif, mais sans forcément tenter d’expliquer le rôle de l’action publique dans ces évolutions4. L’évaluation d’un changement de politique, en revanche, implique d’évaluer les effets de ce changement sans forcément tenir compte de leur évolution dans le temps. L’évaluation des progrès de l’action publique implique de conduire des évaluations régulières de façon cohérente dans le temps, pour permettre de comprendre comment l’action publique répond à la modification des conditions5. L’itération des évaluations peut également permettre des adaptations de la mesure des progrès, de façon à
2 Les analyses quantitatives ex ante peuvent néanmoins apporter des éléments utiles à la réflexion. C’est ainsi que les études de Marshall et al. (2018[138]) et de Ribaudo, Savage et Aillery (2014[136]) offrent des éclairages intéressants sur les moyens d’action envisageables pour lutter contre la pollution par les éléments nutritifs, respectivement dans le golfe du Mexique et dans la baie de Chesapeake. Mais elles ne mesurent pas les progrès à proprement parler.
3 Si le contexte de l’action publique est pluridimensionnel, l’évaluation des progrès peut impliquer une analyse pluridimensionnelle. Pour mesurer les progrès dans leur globalité, une méthode d’agrégation est alors nécessaire. La théorie utilitariste offre plusieurs outils.
4 Le suivi peut aussi consister à prendre des « instantanés » d’une situation à différents moments afin d’en comprendre l’évolution. En Italie, l’institut de recherche INEA a ainsi mené une évaluation rigoureuse des réseaux d’irrigation dans différentes régions, dont la Lombardie (Zucaro et Corapi, 2009[133]) et la vallée d’Aoste (Zucaro et Seroglia, 2013[132]).
5 Dans ce rapport, les évaluations uniques sont considérées comme un moyen de mesure des progrès, au même titre que le suivi ou l’évaluation des progrès de l’action publique.
tenir compte de l’évolution de l’incertitude entourant les données et de celle des voies d’action (Gruère et Le Boëdec, 2019[14]).
11. Les progrès de l’action publique peuvent se rapporter à la conception des politiques, aux capacités de mise en œuvre ou aux retombées6 (graphique 1). Cette typologie s’applique en particulier aux progrès de la gestion de l’eau dans l’agriculture. Par exemple, un changement de politique peut viser à encadrer les prélèvements d’eau d’irrigation dans les nappes souterraines afin de freiner l’épuisement de celles-ci. Mesurer les progrès de l’action publique dans ce domaine peut revenir à (a) examiner les améliorations apportées à la conception des politiques par rapport au passé (meilleures incitations, objectifs définis, consultation des parties prenantes, coûts de transaction réduits), (b) examiner les changements intervenus par rapport à la situation de départ en termes de capacités de mise en œuvre (surveillance des forages, systèmes améliorés de gouvernance des eaux souterraines, aménagement de retenues pour faciliter la recharge...), ou (c) examiner les changements intervenus en termes de retombées effectives (volume d’eau souterraine utilisé pour l’irrigation, superficie irriguée avec cette eau, niveau des nappes souterraines...), que ce soit en assurant une surveillance régulière ou en comparant les situations passée et présente.
12. Si ces trois types de progrès peuvent s’enchaîner, de sorte qu’une meilleure conception des politiques renforce leur application et aboutit à de meilleures retombées, cela n’est pas garanti. Au contraire, des corrélations négatives et des évolutions antagonistes sont possibles : ainsi, une conception des politiques plus perfectionnée peut les rendre peu pratiques à mettre en œuvre et limiter leurs retombées.
Graphique 1. Les trois types de progrès de l’action publique
Source : Auteurs.
13. Par ailleurs, la finalité de l’évaluation peut être différente selon le type de progrès considéré. L’attention peut se porter sur la conception des politiques lorsqu’il s’agit de déterminer les lacunes de l’action publique et de réfléchir à l’orientation de nouveaux efforts à moyen et long terme. L’évaluation peut en revanche porter sur les progrès en
6 Dans la suite de ce document, ce troisième type de progrès sera appelé retombées des politiques ou de l’action publique et désignera l’impact d’un changement de politique. À l’inverse, nous parlerons de résultats pour désigner les évolutions environnementales résultant ou non d’un changement de politique.
Amélioration de la conception des politiques
• Moyen(s) d’action
• Cohérence des politiques
• Obligations de gestion et de supervision
• Mécanismes de transparence et de notification
• Plus large adoption de bonnes pratiques
• Gestion de l’eau plus performante dans l’agriculture (utilisation et consommation plus durables de l’eau, baisse de la pollution de l’eau, impact plus limité des risques liés à l’eau...)
termes de capacités de mise en œuvre si on souhaite des informations sur les lacunes dans l’application et le financement, et sur les progrès en termes de retombées des politiques si on souhaite apprécier l’efficacité d’une mesure particulière. L’évaluation doit parfois se limiter à la conception et à l’application des politiques, l’examen des retombées n’étant pas possible faute de données et de mesures suffisantes, que ce soit pour des raisons techniques ou pour cause d’opposition des parties prenantes. Une mesure complète des progrès de l’action publique porterait sur l’évolution de la conception, des capacités et de l’efficacité (par rapport au coût), et envisagerait également les liens entre les trois.
14. Il est nécessaire de mettre en balance l’exhaustivité, la précision et la solidité de l’évaluation et le temps et les efforts nécessaires à sa réalisation. Dans l’idéal, tous les bassins dans lesquels il existe des risques hydriques, dont des risques liés à l’agriculture, devraient faire l’objet d’une surveillance rigoureuse tenant compte d’un large éventail de facteurs. Cela permettrait de bien cerner comment se comportent les usagers de l’eau, et comment les politiques publiques et d’autres facteurs influencent les agents et se répercutent sur les ressources en eau. Pourtant, même dans les pays développés, malgré les efforts soutenus déployés, les données sur la consommation d’eau sont rares et d’apparition récente, l’utilisation d’eau en agriculture est mesurée seulement sur de longues périodes, la sollicitation des aquifères et eaux souterraines est mal connue et la pollution diffuse reste difficile à surveiller (OCDE, 2019[3] ; OCDE, 2015[23] ; OCDE, 2017[12]).
15. L’Italie a misé sur un système d’information double pour remédier à certaines difficultés liées à l’incertitude qui entoure les mesures de performance et la mesure des progrès de l’action publique. Elle possède, d’une part, un système national d’information pour la gestion des ressources en eau dans l’agriculture, qui collecte des données et des informations sur l’utilisation d’eau aux fins d’irrigation, et, d’autre part, une base de données nationale sur les investissements dans l’irrigation et l’environnement (DANIA), qui contient des informations sur les projets d’investissement tournés vers l’utilisation durable de l’eau. L’interconnexion de ces deux bases de données permet d’identifier ex ante les investissements nécessaires pour lutter contre les problèmes environnementaux et liés à l’irrigation, ainsi que d’évaluer ex post l’efficacité des interventions financées.
16. Parallèlement, un arbitrage s’impose entre l’utilité pour l’action publique et la précision des modèles d’évaluation, l’augmentation de la seconde pouvant limiter la première (Borsuk, Stow et Reckhow, 2004[24]). Certaines méthodes d’évaluation faisant appel à des modèles bayésiens peuvent être employées pour prendre en compte explicitement l’incertitude (Brock, Durlauf et West, 2007[25]). Les réseaux probabilistes peuvent, par exemple, incorporer les imprécisions analytiques ou les implications d’une information imparfaite concernant les interactions écosystémiques (Carriger, Barron et Newman, 2016[26]). Ce type d’approche fondé sur des réseaux permet aussi de prendre en compte des facteurs économiques et non économiques, comme les déterminants d’événements en rapport avec la météorologie et le secteur alimentaire7.
17. Les efforts déployés par les pouvoirs publics pour mesurer les progrès dans le domaine de la gestion de l’eau en agriculture, tout comme dans d’autres domaines d’intervention, sont proportionnels à l’importance de cet enjeu parmi les multiples priorités.
En Australie, le Plan du bassin Murray-Darling8 fait fréquemment l’objet d’examens
7 Les modèles bayésiens ont été appliqués avec succès dans l’évaluation de la politique et de la gestion des pêches (Levontin et al., 2011[139] ; Doll et Jacquemin, 2019[143]).
8 Le Plan du bassin Murray-Darling a été établi pour gérer ce bassin comme un ensemble interconnecté et pour le ramener à un état plus stable et plus durable, tout en continuant de soutenir les activités agricoles et autres.
approfondis, car les ressources en eau du bassin revêtent une importance cruciale pour les irrigants, les populations, les Premières nations, l’industrie et les écosystèmes tributaires de l’eau, dans ce qui est le continent habité le plus aride de la planète9. En revanche, les politiques de gestion des ressources en eau dans l’agriculture sont rarement évaluées ou surveillées dans les pays où l’eau est relativement abondante et où seule une partie des cultures est irriguée durant certaines saisons.
18. Dans les pays à structure fédérale, la gestion de l’eau est souvent confiée aux régions ou provinces, de sorte que le suivi des politiques nationales par les autorités nationales peut être difficile. Au Canada, par exemple, l’eau est en grande partie du ressort des provinces et des territoires, ce qui peut compliquer sensiblement l’évaluation des progrès au niveau national10. En l’absence d’un organisme fédéral investi d’un mandat idoine, le suivi des défis liés à l’eau, y compris en agriculture, nécessite le cas échéant de consulter des provinces et des territoires qui appliquent des processus d’évaluation différents. Même le suivi des politiques de l’eau définies au niveau fédéral peut être entravé par le fait que les régions, les provinces et les territoires utilisent pour ce faire des systèmes différents.
19. Les gouvernements de certains pays de l’OCDE réalisent des évaluations parce qu’ils sont tenus de le faire aux termes de la législation relative à l’eau ou à l’agriculture (Gruère, Ashley et Cadilhon, 2018[16]). Ainsi, la directive-cadre sur l’eau de l’Union européenne prescrit une évaluation des plans de gestion de district hydrographique tous les six ans11. En Nouvelle-Zélande, la déclaration de politique nationale sur la gestion de l’eau douce de 2020 (National Policy Statement for Freshwater Management 2020) dispose que les conseils régionaux communiquent chaque année des données utiles et font rapport sur sa mise en œuvre au minimum tous les cinq ans (Gouvernement de la Nouvelle-Zélande, 2020[27]). Ces obligations d’évaluation constituent le cas échéant un moyen très utile d’assurer que les politiques peuvent être modifiées et adaptées lorsqu’elles ne remplissent pas leur objectif.
20. Les évaluations peuvent aussi être le déclencheur de la mise en place de systèmes de suivi des politiques. C’est ainsi qu’en Australie, une évaluation indépendante de la Stratégie nationale de gestion de la qualité de l’eau (NWQMS)12, réalisée en 2011, a recommandé l’élaboration d’un ensemble restreint d’indicateurs de performance qualitatifs et quantitatifs s’accordant avec les priorités et les objectifs nationaux, ainsi que l’instauration d’une obligation déclarative au niveau national (KPMG, 2011[28]). En 2018, le gouvernement a publié un plan de suivi et d’évaluation (Gouvernement de l'Australie,
9 En particulier, la surveillance et les bilans dressés du Plan du bassin Murray-Darling font intervenir plusieurs entités publiques, dont l’autorité du bassin, l’organisme chargé de gérer l’eau environnementale (Commonwealth Environmental Water Holder), le ministère de l’Agriculture, de l’Eau et de l’Environnement, ainsi que les autorités des États et territoires situés dans le bassin. Les bilans apportent les informations nécessaires à une gestion adaptative des ressources du bassin. Le Plan est aussi l’objet d’études fréquentes en raison de la conception très particulière de la politique régissant le marché de l’eau dans le bassin (Wheeler et al., 2020[134]).
10 En 2020, le gouvernement du Canada a annoncé la création d’une nouvelle agence canadienne de l’eau pour préserver une eau sûre et propre et assurer la bonne gestion de cette ressource dans le pays. Cette agence pourrait jouer un rôle dans le suivi des progrès de l’action publique dans le domaine de l’eau.
11 Les résultats du 5e rapport d’évaluation de la directive-cadre sur l’eau, qui a été publié début 2019 et évalue les deuxièmes plans de gestion de district hydrographique, peuvent être consultés à l’adresse : https://ec.europa.eu/environment/water/water-framework/impl_reports.htm
12 Dispositif coordonné au niveau national avec l’appui de tous les exécutifs du pays, la NWQMS (National Water Quality Management Strategy) vise à faciliter la gestion de la qualité de l’eau au service d’une utilisation productive et durable des ressources en eau.
2018[29]), dans lequel il a présenté des indicateurs de performance pouvant être employés par les autorités nationales et celles des États et territoires pour évaluer l’efficacité de la NWQMS.
21. Les progrès de l’action publique sont également mesurés par des chercheurs du secteur public, des universités et des organisations internationales. Ces acteurs produisent ainsi de nouvelles connaissances sur l’efficacité des systèmes de gestion de l’agriculture et de l’eau, qui peuvent enrichir ou compléter les informations provenant des autres sources.
Enfin, les pouvoirs publics peuvent aussi se référer à des données, outils, méthodes et évaluations produits le cas échéant par des organisations non gouvernementales, des laboratoires de réflexion et des entreprises privées intéressés par des modèles plus verts et plus résilients (OCDE, 2017[30]).
22. Dans la suite de ce rapport, « la mesure des progrès de l’action publique » désignera l’observation de l’évolution des politiques de l’agriculture et de l’eau dans le temps, sachant que cette évolution peut être envisagée sous l’angle de la conception des politiques, des capacités de mise en œuvre des politiques ou de leurs effets, et que l’observation peut être effectuée à l’aide de différentes méthodes selon le contexte.