Aspects techniques et méthodologiques de l'évaluation de la mise en œuvre des Plans

Ce chapitre présente la méthodologie utilisée pour l’évaluation de la mise en œuvre des Plans à la section 2.3. de la Partie B. L’ensemble des références bibliographiques utilisées dans ce texte sont reprises ci-des-sous dans la section 3.2 Partie B de la bibliographie.

2.3.1 Suivi par la CIDD des politiques menées

La CIDD et ses membres ont pour mission d’assurer le suivi de la mise en œuvre des Plans dans chaque administration et organisme public fédéral. Ce suivi accumule depuis 2000 des données sur cette mise en œuvre dans deux publications:

– les rapports des membres de la CIDD;

– la base de données Suivi des mesures prises au fédéral, créée par la CIDD au printemps 2008 comme annexe aux rapports des membres.

Les rapports des membres et la base de données présentent le bilan interne de la CIDD quant à la mise en œuvre des mesures des Plans 2000-2004 et 2004-2008. Ce suivi par la CIDD est effectué selon sa

Tableau 5 Arrêtés royaux relatifs aux Plans fédéraux et les consultations Date de publication

Moniteur belge

Titre, avec date de promulgation

14/01/2000 Arrêté royal du 9 janvier 2000 fixant les règles générales pour la consultation de la population sur l'Avant-projet de plan fédéral de développement durable

14/01/2000 Arrêté royal van 9 janvier 2000 organisant l'octroi de subventions à des projets d'activités, d'animation et d'infor-mation proposés par des associations ou organismes d'intérêt public dans le cadre de la consultation de la popu-lation sur l'Avant-projet de plan fédéral de développement durable

15/02/2000 (Autre décision) Comité d'accompagnement destiné à soutenir scientifiquement la consultation de la population sur l'Avant-projet de plan fédéral de développement durable - Nomination des membres

16/03/2000 Arrêté royal du 12 mars 2000 portant modification de l'arrêté royal du 9 janvier 2000 organisant l'octroi de sub-ventions à des projets d'activités d'animation et d'information proposés par des associations ou organismes d'in-térêt public dans le cadre de la consultation de la population sur l'Aavant-projet de plan fédéral de

développement durable

17/10/2000 (Communication officielle) Fixation du Plan fédéral de développement durable 2000-2004 (par l’arrêté royal du 19 septembre 2000)

11/04/2003 Arrêté royal du 2 avril 2003 modifiant l'arrêté royal du 9 janvier 2000 fixant les règles générales pour la consulta-tion de la populaconsulta-tion sur l'Avant-projet de plan fédéral de développement durable

04/12/2003 (Autre décision) Plan fédéral de développement durable 2000-2004. Fixation de la date de fin de la période cou-verte par le Plan en cours (par l’arrêté royal du 22 octobre 2003 portant modification de l’arrêté royal du 19 septembre 2000 portant fixation du Plan fédéral de développement durable 2000-2004)

17/12/2003 Arrêté royal du 11 décembre 2003 organisant l'octroi de subventions à des projets de diffusion d'informations et de séances d'information proposés par des associations et à des projets de reportage proposés par des médias dans le cadre de la consultation de la population sur l'Avant-projet de plan fédéral de développement durable 2004-2008

12/02/2004 (Communication officielle) Consultation de la population sur l'Avant-projet de plan fédéral de développement du-rable 2004-2008

13/05/2004 Arrêté royal du 31 mars 2004 modifiant l'arrêté royal du 11 décembre 2003 organisant l'octroi de subventions à des projets de diffusion d'informations et de séances d'information proposés par des associations et à des pro-jets de reportage proposés par des médias dans le cadre de la consultation de la population sur l'Avant-projet de plan fédéral de développement durable 2004-2008

07/12/2004 (Communication officielle) Fixation du Plan fédéral de développement durable 2004-2008 (par l'arrêté royal du 28 octobre 2004)

23/04/2008 et 09/05/2008 (erratum)

(Communication officielle) Consultation de la population sur l'Avant-projet de plan fédéral de développement du-rable 2009-2012

09/05/2008 Arrêté royal du 24 avril 2008 modifiant l'arrêté royal du 9 janvier 2000 fixant les règles générales pour la consul-tation de la population sur l'Avant-projet de plan fédéral de développement durable

Source: Moniteur belge

propre classification, laquelle a été construite avec des termes proches mais différents de ceux de la mé-thodologie 2004 de la TFSD (CIDD 2006a).

C’est selon cette classification CIDD que les différents départements alimentent les rapports des membres et la base de données en fournissant eux-mêmes directement:

– des données brutes qualitatives, c'est-à-dire des descriptions d'actions entreprises pour mettre en œuvre la mesure;

– des données brutes quantitatives sur la base de la classification interne à la CIDD (qualifiées de

“brutes” parce qu’interprétée de façon non homogène par les différents fonctionnaires chargés d’alimenter la banque).

2.3.2 Evaluation par la TFDD du BFP des politiques menées

Pour pouvoir remplir sa mission d’évaluation de la mise en œuvre des mesures des Plans, une méthode a été progressivement développée par la TFDD jusqu’en 2004. Elle a été publiée dans les travaux prépa-ratoires au Rapport fédéral sur le développement durable 2000-2004 (Delbaere et al.2005; TFDD 2005, pp. 141-152). Elle classe et analyse les données récoltées dans les Rapports des membres 2000 à 2004 de la CIDD. Depuis 2008, la TFDD remplit cette mission en utilisant tant les rapports des membres de la CIDD que la base de données de la CIDD.

Les données brutes, qualitatives et quantitatives, fournies par la CIDD sont examinées et confrontées les unes aux autres par la TFDD qui les transforme en données intégrées dans une classification homogène permettant d'appliquer la méthodologie ci-dessous.

Cette transformation est nécessaire, par exemple, lorsqu’une mesure est décrite par la CIDD comme Exé-cutée, sans autre information sur cette exécution. Cela ne permet pas de savoir ce qui a été mis en place pour appliquer la mesure. En l’absence d’information permettant d’attester de l'exécution réelle ou non de cette mesure, elle sera considérée dans les Rapports fédéraux de la TFDD comme Non documentée.

Cet exemple montre l'importance pour la CIDD de compléter la base de données en fournissant des infor-mations qualitatives quant à la façon dont les mesures sont mises en œuvre. Il permet aussi de compren-dre pourquoi seules les mesures classées Sans suite par la CIDD seront reprises dans la même classe par la TFDD, car c'est la façon dont un membre de la CIDD déclare que rien n'a été entrepris pour mettre en œuvre la mesure.

La méthodologie d'évaluation de la TFDD classe les mesures des Plans selon leur état de mise en œuvre, en intégrant les données qualitatives et quantitatives fournies par la CIDD, c'est-à-dire en les utilisant pour se valider mutuellement. Cet état de mise en œuvre classe toutes les mesures de chaque Plan selon qu’el-les ont atteint trois étapes successives de mise en œuvre (Préparation, Exécution et Monitoring) et selon trois autres catégories (Sans suite, Caduque et Non documenté).

Par rapport aux évaluations effectuées dans les Rapports fédéraux de développement durable 2005 et 2007, certains regroupements ont été effectués: la nouvelle étape Exécution regroupe les anciennes éta-pes Décision, Exécution et Variable; la nouvelle étape Monitoring regroupe les anciennes étaéta-pes Monito-ring et Evaluation; la nouvelle catégorie Caduque regroupe les anciennes catégories Caduque et Défédé-ralisé (TFDD 2005, pp. 141-152 et TFDD 2007, pp. 202-222).

L'évaluation de la mise en œuvre est non seulement faite de manière globale pour l'ensemble des mesures du Plan, mais est aussi faite en subdivisant les mesures par thème concerné et par instrument impliqué.

Les thèmes et instruments sont ceux qui sont également utilisés dans l'analyse du contenu des Plans.

Tableau 6 Etapes, catégories, thèmes et instruments Etapes de la mise en œuvre et autres catégories

1. "Préparation": choix du calendrier, des instruments et des objectifs intermédiaires. Cette étape dure jusqu'au moment où les objectifs et les instruments sont choisis et prêts à être repris dans un texte réglementaire.

2. "Exécution": formulation, approbation et publication des mesures, suivi de leur application et de leur contrôle.

3. "Monitoring": rassemblement de données sur l'exécution, menant éventuellement à des adaptations et, le cas échéant, à une évaluation scientifique ayant pour but d'orienter la politique, en apportant un avis sur le projet et son suivi.

4. "Sans suite": catégorie de mesures pour lesquelles aucune initiative n'a été prise afin de la mettre en œuvre.

5. "Caduque": catégorie de mesures rendues caduques par de nouvelles décisions (mesures régionalisées ou prises à d'autres niveaux de pouvoir).

6. "Non documenté": catégorie de mesures n'ayant fait l'objet d'aucun rapport et au sujet desquels aucune information n'est disponible.

Lorsque des informations erronées ont été communiquées au sujet de certaines mesures, celles-ci ont également été affectées à cette catégorie.

Thèmes

- Modes de consommation et de production

- Pauvreté et exclusion sociale, surendettement, santé environnementale - Agriculture, milieu marin, diversité biologique

- Energie, transports, ozone et changements climatiques

- Moyens d'exécution (politique internationale, politique internationale, politique fiscale et information pour la prise de décisions) - Renforcement du rôle des grands groupes sociaux

- Dix lignes directrices de la politique de développement durable Instruments

- Instruments de régulation: normes, licences, restrictions, etc.

- Instruments économiques: subventions, taxation, diminution des charges, etc.

- Instruments de communication: campagnes de sensibilisation, usage de différents canaux de communication, etc.

- Instruments volontaires: accords volontaires, etc.

- Instruments de suivi: indicateurs, rapports, etc.

- Instruments de programmation: planning et mesures à définir - Instruments de recherche^a: études, etc.

a) Dans les analyses précédentes (voir e.a. le troisième Rapport fédéral de développement durable, TFDD 2005) les instruments de com-munication et de recherche formaient un seul groupe d'instruments politique. Au vu de l'importance de cette catégorie, d'une part, et de la logique de filière (en amont la recherche comme base de la décision et en aval la communication afin d'informer par rapport à la déci-sion prise), d'autre part, ce groupe a été subdivisé en deux.

3 Bibliographie

Comme les parties de ce Rapport portent sur des sujets différents, la bibliographie de chacune de ces par-ties est présentée séparément, quitte à ce qu’il y ait quelques répétitions. Dans la partie C, les références bibliographiques présentes dans chacune des 11 sections de même structure sont rassemblées au début.

Les références bibliographiques spécifiques à chacune de ces 11 sections sont présentées séparément, par sujet.