Options pratiques pour mesurer les progrès de l’action publique

68. Cette section examine une série d’options pratiques (OP) susceptibles de faciliter la mesure les progrès de l’action publique à l’égard de l’agriculture et de l’eau. Certaines de ces options peuvent couvrir différents types d’évaluation, tandis que d’autres se spécialisent dans un type d’évaluation particulier. Certaines options sont propres à l’évaluation de la conception des politiques, d’autres à l’évaluation des retombées des politiques, tandis que celles qui se rapportent aux capacités de mise en œuvre des politiques sont des méthodes combinées. Le type d’utilisation de chaque option pratique est indiqué au début de la sous-partie. Un tableau récapitulatif de toutes les options et des types et principes d’évaluation correspondants clôt cette partie.

OP.1. Passer les politiques au crible de la cohérence par rapport aux objectifs transversaux ou aux objectifs de la gouvernance

Principales utilisations :

 A1. Passer un ensemble de politiques au crible de la compatibilité avec un objectif transversal

 B2. Mesurer les progrès de la gouvernance de l’eau propices à une meilleure mise en œuvre

69. L’évaluation de la cohérence des politiques vis-à-vis des objectifs transversaux est généralement un exercice qualitatif. Il s’agit habituellement de recenser les politiques pertinentes, d’évaluer leur compatibilité entre elles ou avec les objectifs transversaux en réalisant une étude documentaire et en consultant les agents chargés des politiques, les bénéficiaires des programmes d’action ou d’autres parties prenantes.

70. Ce travail peut être effectué en engageant un dialogue structuré et éclairé. L’OCDE (2018[65]) a formulé des recommandations sur la manière d’améliorer les politiques relatives à l’eau, à l’énergie et aux biens fonciers en Corée, à l’issue d’un dialogue en plusieurs étapes sur la ligne d’action avec les autorités et les parties prenantes. Ce dialogue a en outre été éclairé par les données recueillies à l’aide d’un questionnaire structuré. Ce dialogue a fait intervenir deux spécialistes de la gestion de l’eau de deux autres pays de l’OCDE, qui pouvaient échanger sur leur expérience avec les autorités coréennes. Les interactions entre l’eau et les terres ont principalement été abordées sous l’angle de la

19 Cet aspect est abordé dans la section 5.1.

réduction de la pollution par les éléments nutritifs provenant des unités de bétail et des cultures de plein champ. Ces échanges ont permis non seulement de discuter des modifications à apporter à la gouvernance et à la politique de l’eau, mais aussi de la manière de concrétiser ces modifications dans le contexte coréen²⁰.

71. Certaines évaluations définissent explicitement des niveaux de cohérence. Par exemple, l’OCDE (2020[66]) a examiné la cohérence entre les plans d’action concernant l’utilisation des terres, la biodiversité et le changement climatique dans six pays (Brésil, France, Indonésie, Irlande, Mexique et Nouvelle-Zélande). Ce rapport évalue la cohérence des stratégies et plans d’action nationaux, la coordination et la cohérence des institutions, et les instruments d’action applicables à la sphère de l’utilisation des terres. Les interactions entre les différents facteurs sont caractérisées comme des synergies, des compromis ou des cas où le contexte définit s’il s’agit de synergies ou de compromis.

72. Il est également possible de concevoir un cadre d’évaluation des politiques, qui permet de comparer les études de cas. Par exemple, l’OCDE (2020[10]) crée un cadre élargi sur la résilience de l’agriculture et l’applique à quatre études de cas. L’OCDE (2019[67]) résume l’application de son cadre d’action pour l’innovation et la productivité et la durabilité de l’agriculture (OCDE, 2019[67]) à douze pays de l’OCDE et du G20.

L’évaluation des politiques englobe les effets des politiques de l’eau sur l’innovation, la productivité et la durabilité dans le secteur agricole. L’examen de la Chine, notamment, a inclus une discussion sur l’inadéquation entre les politiques et la gouvernance de l’eau qui pourrait freiner les progrès dans ce domaine (OCDE, 2018[38]).

73. Une évaluation complète de la cohérence des politiques pourrait également porter sur les mécanismes institutionnels existants et vérifier que les retombées des politiques n’ont pas d’effets indésirables (graphique 4). Par exemple, l’OCDE (2016[68]) a élaboré un cadre afin d’évaluer la cohérence des politiques en faveur du développement durable. Ce cadre fournit une liste de questions, ainsi que des indicateurs de résultats possibles, afin de suivre la cohérence des politiques par rapport à un objectif particulier et aux ODD associés, et de repérer les domaines présentant des synergies et des compromis (graphique 4).

20 Des dialogues similaires sur la politique de l’eau ont été menés au Brésil, au Mexique, aux Pays-Bas ou au Pérou, bien qu’ils n’aient porté que sur la politique et la gouvernance de l’eau. Ces études nationales sur l’eau, ainsi que d’autres, sont disponibles sur la page https://www.oecd-ilibrary.org/environment/oecd-studies-on-water_22245081

Graphique 4. Cadre pour suivre la cohérence des politiques au service du développement durable

Source : (OCDE, 2016[68]).

74. Du point de vue de la gouvernance, les cadres peuvent servir à déterminer si un changement de politique est compatible avec un système de gouvernance et s’il permet donc une mise en œuvre. Par exemple, Grafton et al. (2019[44]) proposent un cadre d’évaluation de la compatibilité des réformes de la gouvernance de l’eau, qui comprend sept dimensions stratégiques en lien avec les réformes du secteur de l’eau et leur mise en œuvre : (1) des objectifs de réforme bien définis et accessibles au public ; (2) la transparence de la prise de décisions et un accès public aux données disponibles ; (3) la valorisation des utilisations et des non-utilisations de l’eau afin de déterminer les compromis, les gagnants et les perdants ; (4) une contrepartie pour les personnes marginalisées ou une atténuation des effets pour les personnes désavantagées par la réforme ; (5) la surveillance des réformes et des « champions » ; (6) la capacité d’exécution ; et (7) le risque et une prise de décisions résiliente. Le cadre est utilisé pour passer au crible les caractéristiques de gouvernance de quatre réformes du secteur de l’eau, montrant qu’il est possible de déterminer leurs points forts et leurs points faibles.

75. La conclusion de ces évaluations peut être présentée sous forme de tableaux avantages/inconvénients ou synergies/compromis, qui décrivent en quoi les différentes politiques concordent avec des objectifs transversaux ou des éléments de gouvernance particuliers. Les aspects qu’il reste à améliorer sont cernés, notamment ceux présentant des compromis clairs. Les études sont souvent menées à un moment précis, mais elles examinent généralement l’évolution des politiques et visent à formuler des conclusions prospectives. En outre, l’exercice peut être renouvelé à plusieurs reprises afin d’évaluer les progrès accomplis à l’égard de la cohérence.

76. La solidité de l’évaluation dépend de l’exhaustivité de la couverture des politiques ou de la gouvernance, ainsi que de la rigueur de la méthode utilisée pour définir les critères de cohérence. Les étapes préparatoires, avant d’aborder dans l’examen des politiques ou de la gouvernance, sont donc importantes, y compris la validation de la méthode de passage au crible (questionnaire, cadre ou autre).

Mécanismes

institutionnels

+

+

=

Facteurs

OP.2. Utiliser des outils de modélisation pour évaluer la cohérence de la conception des politiques vis-à-vis d’objectifs transversaux ou généraux

Principale utilisation :

 A1. Passer un ensemble de politiques au crible de la compatibilité avec un objectif transversal

77. La modélisation des répercussions des instruments d’action sur les objectifs transversaux ou généraux constitue un autre moyen de soutenir l’évaluation de la conception des politiques. Pour ce faire, il convient de créer un modèle calibré en fonction des conditions actuelles, et généralement d’ajouter des variables d’intérêt qui ne sont pas couvertes par le modèle. Il est possible de simuler des chocs de politique pour déterminer s’ils ont un effet sur les objectifs transversaux²¹.

78. Dans le secteur de l’agriculture et de l’eau, il est possible d’utiliser des modèles à l’échelle des exploitations, des bassins hydrographiques, du secteur agricole et de l’ensemble de l’économie pour modéliser la cohérence de la conception d’une politique par rapport aux objectifs transversaux. Par exemple, le modèle régional de programmes agricoles et environnementaux (Regional Environment and Agriculture Programming Model) du ministère de l’Agriculture des États-Unis a été créé pour répondre aux questions de type « que se passe-t-il si » tout en tenant compte des différents types d’agriculture et de leur impact environnemental (Johansson, Peters et House, 2007[69]). Les études à l’échelle des exploitations et du secteur sur l’effet de certaines caractéristiques des politiques agricoles sur les caractéristiques environnementales, dont la qualité de l’eau, peuvent également s’intégrer dans cette catégorie (DeBoe, 2020[70] ; Henderson et Lankoski, 2019[71] ; Laborde et al., 2020[72]).

79. Ce type de modélisation peut être utilisé pour fournir des informations complémentaires aux évaluations qualitatives des politiques. Par exemple, Lankoski, Ignaciuk et Jésus (2018[73]) combinent un cadre d’action avec deux études de cas de pays et deux simulations économiques appliquées d’autres instruments d’action pour évaluer dans quelle mesure les politiques agricoles et environnementales favorisent la productivité agricole, l’atténuation du changement climatique et l’adaptation à ses effets. Ils constatent que certains instruments d’action ont des implications différentes pour les trois objectifs transversaux.

80. À l’instar de l’option de passage des politiques au crible de la cohérence (OP.1), cette méthode utilise une évaluation fondée sur la situation actuelle avec des éclairages sur les progrès à l’avenir. La fiabilité de l’évaluation dépend de la structure et des hypothèses de la modélisation, des données utilisées et du choix des simulations. Chaque résultat n’est utilisable qu’en valeur absolue s’il existe un scénario de référence, avec une caractérisation adéquate des données. Contrairement aux modèles empiriques, les simulations peuvent corriger toutes les autres variables, de sorte qu’il n’est pas nécessaire de prendre en compte d’éventuels biais d’attribution.

21 Si ces simulations peuvent aider à évaluer la conception des politiques (section 3.A), en étudiant l’effet des politiques, elles peuvent aussi contribuer à des évaluations axées sur les résultats (section 3.C).

OP.3. Mesurer la conformité d’une modification de politique aux recommandations ou à l’orientation stratégiques en créant des indicateurs

Principales utilisations :

 A1. Passer un ensemble de politiques au crible de la compatibilité avec un objectif transversal

 A2. Comparer un ensemble de politiques à une conception de référence

 B2. Mesurer les progrès de la gouvernance de l’eau propices à une meilleure mise en œuvre

81. L’élaboration et l’actualisation d’indicateurs de conformité peuvent aider à suivre la distance séparant les politiques modifiées d’une conception de référence. Cette méthode suppose de créer une correspondance entre la référence et l’ensemble de politiques observé.

Elle nécessite donc d’examiner en détail la conception de référence, ce qui peut s’avérer complexe, mais il existe des moyens pratiques de le faire, y compris dans le secteur de l’agriculture et de l’eau.

82. Par exemple, Gruère, Shigemitsu et Crawford (2020[17]) ont créé des indices de conformité aux sections pertinentes de la Recommandation du Conseil de l’OCDE sur l’eau et du Plan d’action 2017 des ministères de l’Agriculture du G20. Ces indices s’appuient sur les réponses aux questionnaires sur les politiques de l’agriculture et de l’eau auxquels 38 pays ont été soumis en 2009 et en 2019, ce qui a permis de suivre les progrès à l’égard de la conformité par thème, par pays et par section des deux documents de référence internationaux. Un tableau de correspondance entre les questions du sondage sur les politiques et les articles précis des recommandations a été créé, offrant un moyen de mesurer la conformité relative des politiques et leurs progrès au fil du temps. Des données complémentaires ont été utilisées pour mesurer la conformité des politiques à des articles précis de la Recommandation du Conseil de l’OCDE sur l’eau. Ce processus permet d’établir des variables indicatrices 0-1 reliant chaque question à un article de la Recommandation (en différenciant le statut et l’évolution). La moyenne de ces variables est calculée par article du texte de la Recommandation et par pays afin de créer des indices de conformité relative continus compris entre 0 et 1. Par exemple, le graphique 5 illustre les progrès moyens à l’égard de la conformité des politiques de l’agriculture et de l’eau des pays de l’OCDE à des sections spécifiques de la Recommandation du Conseil de l’OCDE sur l’eau.

Graphique 5. Mesurer les progrès à l’égard de la conformité : le cas des politiques de l’agriculture et de l’eau de l’OCDE vis-à-vis de la Recommandation du Conseil de l’OCDE sur l’eau

Source : Gruère, Shigemitsu et Crawford (2020[17]).

83. L’élaboration d’indicateurs de progrès à l’égard des Principes de l’OCDE sur la gouvernance de l’eau permet à la fois d’évaluer la conception des politiques et d’appuyer l’évaluation des progrès dans la mise en œuvre (OCDE, 2018[42])²². Le cadre de mesure des progrès comprend 36 indicateurs de gouvernance de l’eau et une liste de contrôle comportant 106 questions sur la gouvernance qui couvrent les 12 Principes de l’OCDE sur la gouvernance de l’eau. Le cadre est destiné à servir d’outil d’auto-évaluation pour déterminer collectivement si les politiques de l’eau et les institutions du secteur respectent les principes et si le système de gouvernance de l’eau fonctionne correctement en s’appuyant sur un dialogue multipartite. L’évaluation comprend donc des questions sur les moyens et les modalités de mise en œuvre de principes de gouvernance spécifiques, mais elle tient également compte du niveau de confiance des parties prenantes consultées dans l’évaluation (graphique 6).

22 L’OCDE (2018[147]) fournit un autre exemple d’étude de la conformité en évaluant la mise en œuvre de la Recommandation du Conseil de l’OCDE sur la gouvernance des risques majeurs de 2014, qui englobe les risques liés à l’eau, d’après les réponses des pays à une enquête de l’OCDE.

Graphique 6. Visualisation du système de feu de circulation appliqué aux indicateurs de gouvernance de l’eau : quelle est la situation actuelle ?

Note : L’élément dynamique de cet indicateur (des changements sont-ils attendus d’ici trois ans ?) n’est pas présenté ici.

Source : (OCDE, 2018, p. 68[42])

84. Globalement, ces méthodes indiquent si les conceptions des politiques se rapprochent ou s’éloignent des conceptions de référence. Ces méthodes sont limitées en ceci que même avec des paramètres communs reliant la politique de référence à l’ensemble de politiques observé, les valeurs des indicateurs n’ont de sens que rapportées à un élément de comparaison. Dans certains cas, la valeur d’un indicateur précis est déterminée par les personnes qui réalisent l’analyse, et pourrait varier avec un autre groupe d’évaluateurs. Les indicateurs de conformité sont donc utiles pour connaître la tendance des progrès à l’égard d’une référence particulière, mais pas nécessairement adaptés à une évaluation précise.

Cependant, étant donné la latitude pour l’interprétation de tout texte de politique, il serait difficile de parvenir à une correspondance parfaite entre deux textes légaux.

OP.4. Suivre les progrès des politiques à l’égard d’un résultat à l’aide d’indicateurs de performance

Principale utilisation :

 C. Évaluer les retombées des politiques de l’agriculture et de l’eau

85. L’utilisation d’indicateurs pour suivre les progrès des politiques est plus courante dans les évaluations axées sur les résultats. En définissant et en actualisant les indicateurs,

Financement

Arbitrages entre usagers Suivi et

évaluation

En place, non mis en œuvre

En place, partiellement mis en œuvre En place, en

fonctionnement

Cadre en cours

d’élaboration Pas en place Non applicable Efficacité Efficience

Confiance et engagement

Fort consensus Consensus acceptable Faible consensus

les gouvernements cherchent à connaître leur état d’avancement actuel pour certaines variables et à suivre leurs progrès à l’égard d’objectifs précis.

86. Ce type d’exercice est réalisé par les Nations Unies afin d’inciter ses États membres à chercher à progresser sur la voie des 17 Objectifs de développement durable (ODD). S’il est question d’un système comprenant davantage d’indicateurs correspondant aux sous-parties des ODD, l’OCDE (2019[74]) a trouvé un éventail suffisamment large de statistiques pertinentes, concordant avec les 17 ODD, pour évaluer la distance séparant les États membres de l’OCDE de ces objectifs (graphique 7). Par exemple, les sous-indicateurs de l’ODD 2 incluent la prévalence de la sous-alimentation, les taux d’obésité, les bilans en nutriments et la proportion de races locales, tandis que ceux de l’ODD 6 comprennent la proportion de population utilisant des sources d’eau gérées de manière sûre, le PIB par unité d’eau prélevée, le stress hydrique ou l’évolution annuelle moyenne de la surface de l’eau. Ces indicateurs sont créés en définissant des niveaux cibles pour chaque variable et en déterminant la différence standardisée entre l’observation et l’objectif, ou le nombre d’écarts-types entre une valeur normalisée de la variable et la valeur cible.

Graphique 7. Suivi des progrès à l’égard des ODD : distance moyenne séparant les pays de l’OCDE de l’atteinte des cibles des ODD

Note : Le tableau ci-dessous indique quelle distance sépare les pays de l’OCDE (en moyenne) de l’atteinte de chaque cible pour laquelle des données sont disponibles. Plus les barres sont longues, plus l’écart à combler d’ici 2030 est faible. Les niveaux cibles sont représentés par le cercle extérieur en pointillés. Le cercle intérieur représente l’équivalent de trois unités standardisées ou plus par rapport à la cible, ce que la plupart des pays de l’OCDE ont atteint pour la majorité des cibles.

Source : (OCDE, 2019[74]).

87. Également à l’échelle mondiale, le Partenariat pour l’action en faveur d’une économie verte (PAGE) (2017[75]) emploie une combinaison d’indicateurs pour mesurer les progrès dans l’application des mesures en faveur de l’économie verte de l’ONU. Les progrès à l’égard des indicateurs sont évalués au fil du temps en comparant les résultats nationaux à ceux des 10 % de pays obtenant les meilleurs résultats au sein des catégories de pays affichant un indice de développement humain similaire. Pour chaque indicateur,

des points de comparaison, appelés seuils, sont calculés par rapport aux limites de la planète.

88. Les indicateurs de performance peuvent également être utilisés en l’absence de niveaux cibles pour classer les progrès à l’aide d’une note composite, en tenant compte des différences intrarégionales s’agissant des résultats des politiques de l’eau. L’institut NITI Aayog (2018[76]) a créé un indice composite de gestion de l’eau afin d’évaluer la performance des États indiens dans ce domaine. Pour ce faire, il a combiné les données déclarées pour 28 variables, regroupées en neuf thèmes associés à l’efficacité de la gestion de l’eau (secteur de l’irrigation, état des ressources, pratiques, ou état des politiques et de la gouvernance). Chaque variable est normalisée entre 0 et 1 en utilisant les données de l’ensemble des États : l’État le plus performant se voit attribuer la note de 1, et le moins performant, la note de 0 (ou pour une question concernant la présence d’un élément, 1 correspond à la présence de l’élément et 0 à son absence). La moyenne de ces variables est calculée par État et par thème, et la moyenne pondérée des variables, avec une pondération pour chaque thème, fournit un indice composite par région. L’utilisation des données de 2015-16 et de 2016-17 permet de suivre les progrès de ces indices, et le modifier le classement des États.

89. Les indicateurs composites peuvent également être conçus à l’échelle des exploitations ou de la gestion de l’eau. Les principes sont les mêmes, des indicateurs de résultats spécifiques sont sélectionnés, normalisés par rapport à une référence et agrégés à l’aide d’une moyenne pondérée, même si les objectifs et les pondérations choisies peuvent varier. Par exemple, Kefayati et al. (2018[77]) évaluent les effets sur la durabilité d’un transfert d’eau entre bassins en Iran, en incluant des variables pour les paramètres de durabilité économique, environnementale et sociale. Gómez-Limón et Sanchez-Fernandez (2010[78]) comparent la durabilité agricole des exploitations irriguées et non irriguées dans la vallée du Douro en Espagne.

90. Le principal avantage des méthodes recourant aux indicateurs de performance est leur facilité de compréhension et d’utilisation. Ces méthodes fournissent des signaux rapides et évidents aux responsables de l’action publique leur indiquant d’où le problème vient et comment il convient de l’aborder.

91. Cependant, ces méthodes reposent sur des variables de substitution et peuvent ne

91. Cependant, ces méthodes reposent sur des variables de substitution et peuvent ne