Evaluation externe de la démarche de
concertation francophone en environnement
Rapport de synthèse
Octobre 2004
L’évaluation a été pilotée par l’Agence intergouvernementale de la Francophonie
Direction de la programmation et de l’évaluation [dpe@francophonie.org]
Institut de l’énergie et de l’environnement de la Francophonie (IEPF) [iepf@iepf.org]
Etude réalisée par le bureau d'études EVALUANDA (Suisse), l’ONG Equiterre (Suisse) et quatre experts indépendants (Bénin, Canada, Sénégal et Suisse)
Experts intervenants
M. Sami KANAAN [kanaan@evaluanda.ch], responsable de l’étude, assisté de :
M. Yann BOGGIO, Evaluanda (Suisse)
Mme Huguette BOKPE GNACADJA, Cotonou (Bénin)
M. Karim DAHOU, ENDA Tiers Monde, Dakar (Sénégal)
Mme Natacha LITZISTORF [litzistorf@equiterre.ch], Equiterre (Suisse)
M. Andràs NOVEMBER, Genève (Suisse)
Mme Aude RIBIS, Montréal (Canada)
M. Eric ZELLWEGER,Evaluanda (Suisse)
Etude réalisée entre novembre 2003 et août 2004
Agence Intergouvernementale de la Francophonie - 2004
ISSN : 1728 – 1598 ISBN : 92-90-28 282-7
Table des matières
PREFACE 5
RESUME DU RAPPORT 5
1. LE CADRE DE L’EVALUATION 15
1.1 Objectifs de l’étude 15
1.2 Dimensions de l'évaluation et enjeux 16
1.3 Défis méthodologiques 17
1.4 Mise en œuvre du mandat 18
1.5 Bilan de la mise en œuvre du mandat 20
2. NEGOCIATIONS MULTILATERALES EN MATIERE D’ENVIRONNEMENT 23
2.1 Les trois « Conventions de Rio » et la Commission du développement durable 23 2.2 Analyse générale des mécanismes de la négociation environnementale 26
2.3 Constats de synthèse 28
3. INVENTAIRE DES ACTIVITES DE CONCERTATION 31
3.1 Définition de la concertation 31
3.2 Description et analyse par arène institutionnelle 32
3.2.1 Convention-cadre des Nations Unies sur le Changement climatique (CCNUCC) 3.2.2 Convention pour la Lutte contre la Désertification (CLD)
3.2.3 Convention sur la Diversité Biologique (CDB) 3.2.4 Commission du Développement Durable (CDD) 3.2.5 Autres arènes
3.2.6 Conclusions de l’analyse par arène
3.3 Bilan des activités de concertations 1991-2003 46
3.4 Caractéristiques des activités de concertation 49
3.5 Analyse des ressources financières des activités de concertations 55
3.6 Les fonctions de la concertation francophone 60
4. ANALYSE DE LA MISE EN ŒUVRE DES ACTIVITES DE CONCERTATION 63
4.1 Introduction 63
4.2 Organigramme de la Francophonie 63
4.3 Enjeux de la Francophonie : langue, visibilité et solidarité 65
4.4 Objectifs stratégiques 67
4.5 Objectifs opérationnels 70
4.6 Méthodes, outils et instruments 72
4.7 Procédures, gestion et ressources humaines 75
4.8 Réalisations et résultats 77
4.9 Mécanismes de suivi et de rétroaction 79
5. COMPARAISON AVEC LES ACTIVITES SIMILAIRES 81
5.1 Introduction 81
5.2 Un autre cas francophone : la coopération économique 81
5.3 Les Secrétariats des Conventions 82
5.4 Les agences multilatérales et inter-gouvernementales 82
5.5 Le cas du Commonwealth 83
5.6 Les ONG 84
5.7 Les agences bilatérales 85
5.8 Comparaison récapitulative 86
6. EVALUATION DES ACTIVITES DE CONCERTATION 89
6.1 En termes de pertinence 89
6.2 En termes de cohérence 91
6.3 En termes d'efficacité 93
6.4 En termes d'efficience 94
6.5 En termes d'impacts 95
6.6 Remarques finales 97
7. RECOMMANDATIONS 99
7.1 Introduction 99
7.2 Principe de l’activité et orientation générale 100
7.3 Cadre stratégique de cette activité 102
7.4 Mise en oeuvre 104
7.5 Organisation et ressources 106
7.6 Suivi et évaluation 107
8. PROPOSITION POUR UN JEU D’INDICATEURS 109
ANNEXES
Annexe n° 1 : Termes de Référence de l’évaluation 113
Annexe n° 2 : Liste des entretiens et contacts effectués 121
Annexe n° 3 : Grille d’entretien pour les contacts 127
Annexe n° 4 : Glossaire des abréviations utilisées 131
PREFACE
Le renforcement de la culture de l’évaluation au sein de l’Agence intergouvernementale de la Francophonie
Le Sommet de Hanoi en 1997 marque un tournant dans l’histoire de la Francophonie avec la création du poste de Secrétaire général de la Francophonie et la confirmation, comme opérateur principal, de l’ACCT1 qui devient alors l’Agence intergouvernementale de la Francophonie2. Ce Sommet a été également l’occasion d’une refonte des textes fondamentaux de l’organisation par l’adoption d’une
« Charte de la Francophonie ».
Parallèlement à cette évolution au plan politique, l’Agence a connu une importante réforme administrative, adoptée à Bucarest en 1998. A travers un changement radical de l’organigramme, cette réforme visait une plus grande intégration des actions menées, et la promotion d’une culture de l’évaluation.
Cette activité de suivi et d’évaluation a progressivement évolué vers la mesure des résultats de programmes, puis l'analyse de leur efficacité et de leurs impacts à moyen terme. A l’instar d’une tendance largement répandue dans les organisations internationales dès les années 90, la Charte de la Francophonie a renforcé l’obligation de rendre compte de l’efficacité et de l’efficience des actions entreprises dans le cadre des différents programmes de l’Agence.
Bien que les pratiques d’évaluation aient été présentes à l’Agence dès le début des années 90, c’est surtout à partir de la réforme de 1998 que l’accent a été mis sur cette fonction, avec la création d'une direction spécialisée, la Direction de la programmation et de l’évaluation, ayant notamment pour mission la gestion de l'évaluation externe des programmes.
A travers le développement de cette pratique, l’Agence souhaite se donner les moyens de mieux connaître son action et d’en rendre compte, de suivre plus précisément la mise en œuvre de ses programmes sur le terrain, et d’améliorer, le cas échéant, la qualité de ses interventions. A terme, cette démarche d'évaluation doit s’intégrer comme une étape naturelle dans l'élaboration et le suivi des programmes de l’Agence. Elle doit progressivement permettre la mise en place d’une culture centrée sur les résultats et effets de l’action menée et non plus uniquement sur l'action elle-même.
La collection « suivi & évaluation » de l’Agence Intergouvernementale de la Francophonie dans laquelle se situe cette étude, présente les rapports des évaluations rétrospectives de programme commandées à des bureaux d’études extérieurs.
Cette politique de diffusion s’inscrit dans une démarche de transparence de l’Agence envers l’ensemble de ses Etats et gouvernements membres, mais aussi envers le grand public, par la mise à disposition de ces différentes études sur son site Internet (http://agence.francophonie.org/evaluations/) ou celui de son centre d’information et de documentation – CIFDI – basé à Bordeaux, France (http://cifdi.francophonie.org).
1 Agence de coopération culturelle et technique, fondée le 20 mars 1970
2 Liste des Etats et gouvernements membres de l’Agence intergouvernementale de la Francophonie au 1er janvier 2004 : Albanie, Bénin, Bulgarie, Burkina Faso, Burundi, Cambodge, Cameroun, Canada, Canada Nouveau Brunswick, Canada Québec, Cap-Vert, Centrafrique, Communauté française de Belgique, Comores, Congo, République démocratique du Congo, Côte d’Ivoire, Djibouti, Dominique, Egypte, France, Gabon, Guinée, Guinée Equatoriale, Guinée Bissau, Haïti, Laos, Liban, Luxembourg, Macédoine, Madagascar, Mali, Maroc, Maurice, Mauritanie, Moldavie, Monaco, Niger, Roumanie, Rwanda, Sainte Lucie, Sao Tome et Principe, Sénégal, Seychelles, Suisse, Tchad, Togo, Tunisie, Vanuatu, Vietnam.
Le développement de l’évaluation dans l’espace francophone
Enfin, constatant la relative faiblesse des milieux professionnels de l’évaluation des politiques publiques dans l’espace francophone, contrairement au monde anglo-saxon où cette profession s’est développée dès les années 80, l’Agence intergouvernementale de la Francophonie a la volonté d’amorcer une dynamique francophone dans ce domaine et de capitaliser les connaissances et les pratiques de cette discipline. Elle développe depuis le 1er janvier 2004, un programme de soutien aux réseaux professionnels nationaux ou régionaux d’évaluation de ses Etats membres du Sud.
Roger Dehaybe
Administrateur général
R
ESUME DU RAPPORTChapitre 1 : Objet d’évaluation et mise en oeuvre
L’Agence intergouvernementale de la Francophonie (AIF) a souhaité procéder à une évaluation de la démarche de concertation francophone menée en vue d’accompagner les pays membres de la Francophonie pour une participation optimale aux négociations multilatérales concernant le développement durable et notamment l’environnement. Le bureau Evaluanda (Genève), en partenariat avec l’ONG Equiterre (Genève) et plusieurs experts indépendants, a été chargé d’établir un bilan détaillé des actions de concertation francophones depuis leurs débuts en 1991 et d’apprécier leur adéquation aux objectifs, leurs résultats et leur insertion dans le contexte plus large des négociations multilatérales sur des accords environnementaux et de développement durable. Une comparaison ciblée avec des mécanismes similaires complète cette demande.
Dans l’optique d’apporter une réponse complète et cohérente aux questions d’évaluation, les actions de concertation ont été analysées sous l’angle de toutes les dimensions d’évaluation : pertinence, cohérence, efficacité, efficience et impacts. L’évaluation a été mise en œuvre par le biais d’une analyse documentaire approfondie, la participation à deux événements organisés par la Francophonie et le recueil d’opinions par le biais de nombreux entretiens (près de 80), téléphoniques ou en face-à-face, auprès de personnes ayant participé à un titre ou un autre aux actions de concertation francophones (membres d’autorités nationales, d’agences et organismes multilatéraux, d’ONG, etc.) ainsi que de personnes pouvant donner un éclairage sur le contexte actuel de ces négociations multilatérales.
L’évaluation a été mise en oeuvre entre novembre 2003 et juillet 2004.
Chapitre 2 : Négociations multilatérales en matière d’environnement
L’engagement de la Francophonie dans les négociations internationales, mis en œuvre d’abord par la Direction générale de la coopération technique et du développement économique (DGCTDE) de 1991 à 1995 puis par l’Institut de l’énergie et de l’environnement de la Francophonie (IEPF) dès 1996, concerne notamment les trois conventions issues du Sommet de Rio en 1992, c’est-à-dire la Convention-cadre sur les changements climatiques (CCCC), la Convention sur la lutte contre la désertification (CLD) et la Convention sur la diversité biologique (CDB), ainsi que la Commission du développement durable des Nations Unies (CDD). Ces arènes de négociation, dont les modes de fonctionnement et les contenus se sont complexifiés au fil des années, sont organisées autour d’alliances de pays aux intérêts convergents, dont les plus influentes sont l’Union européenne, le groupe parapluie (Japon/Etats-Unis/Canada/Nouvelle-Zélande/etc.), et le G77+Chine qui réunit la plupart des pays en développement. Des acteurs non-gouvernementaux ont été récemment intégrés de différentes manières aux enceintes de négociation et leur contribution est devenue incontournable pour la plupart des délégations nationales. Par ailleurs, on constate que les interactions avec d’autres arènes de négociation, notamment celles liées au commerce, et avec d’autres institutions, notamment les institutions financières (FMI/BM), se sont intensifiées ces dernières années.
Le principal défi pour tout pays participant à ces négociations réside dans sa capacité institutionnelle et politique à définir une stratégie globale au niveau national, passant par une identification adéquate des besoins et des objectifs, puis la construction d’une stratégie de lobbying. Pour les pays les moins avancés, ce problème semble bien plus prononcé que les problèmes de langue et de ressources qui se posent pour leurs délégations.
Les négociations se déroulent en quatre étapes (diagnostic, formulation de l’accord, mise au point des détails, exécution), dont chacune implique des besoins spécifiques pour les membres des délégations nationales (expertise, information, formation, lobbying, etc.) et délimite le cadre d’une démarche possible de la Francophonie. Ces négociations se caractérisent par un poids considérable des moments informels, qui se jouent souvent entre quelque pays, et généralement en anglais. En revanche, le besoin de disposer de plus d’occasions de rencontres informelles, de préférence transversalement aux groupes constitués, pour favoriser des rapprochements et donc faciliter les négociations formelles, est exprimé de manière de plus en plus marquée par la plupart des pays, quel que soit leur profil.
Chapitre 3 : Inventaire des activités de concertation
Les activités de concertation francophones ont été définies dans la présente évaluation comme étant l’ensemble des rencontres entre représentants de pays membres de la Francophonie organisées par l’Agence, aussi bien dans le cadre d’arènes de négociations internationales que de manière spécifique, en rapport avec les accords multilatéraux en matière d’environnement. La délimitation du périmètre concerné n’a pas été simple car certaines de ces rencontres n’ont que très indirectement à voir avec une négociation formelle en cours.
Depuis les débuts des activités de concertation, la Francophonie a donné priorité à la CCCC et a su afficher une présence systématique et soutenue aux conférences y relatives, avec pour effet la constitution d’un noyau d’experts francophones à différentes étapes des négociations. Une couverture un peu moins systématique de la CLD, dont la genèse est due pour beaucoup au lobbying francophone, et surtout une rotation plus importante des délégations nationales ont empêché l’apparition d’un tel réseau dans cette arène. La CDB a été intégrée à la programmation de la Francophonie dès 1996, avec une présence francophone moins soutenue que pour la CCCC pour des raisons de ressources, générant des attentes qui n’ont pas pu être toujours satisfaites par la suite.
La CDD doit être traitée à part, étant donné que les thématiques abordées se succèdent de session en session, dans le cadre des chapitres de l’Agenda 21 global, et n’aboutissent pas à des accords à caractère contraignant. A juste titre, la Francophonie a privilégié une approche au cas par cas, affichant une présence particulière à l’occasion des Sommets émanant de cette plate-forme (Conférence sur l’environnement et le développement de Rio en 1992, Conférence sur la population et le développement du Caire en 1994, Sommet du développement durable à Johannesburg en 2002). Les actions de concertation francophones ont abouti très régulièrement à des déclarations lues en séance plénière au nom de la Francophonie lors des sessions de la CDD. On peut relever qu’il est très difficile d’apprécier l’impact réel de telles déclarations ; les spécialistes tendent à considérer que ces déclarations ne peuvent avoir un impact que dans le cadre d’une stratégie plus large de présence et de lobbying, comprenant différents volets et une cohérence d’ensemble. Le processus d’élaboration peut avoir un impact mobilisateur en soi, important pour le groupe concerné (dans ce cas la Francophonie).
La comparaison des modes d’intervention de la Francophonie entre les périodes 1992–1995 et 1996–2003 montre une grande continuité dans l’organisation et le fonctionnement des actions de concertation menées par l’Agence, avec cependant une densification très nette des activités dès 1996 (nombre d’enceintes de négociation couvertes, nombre d’ateliers spécifiques) et un arrêt du financement direct de la participation francophone aux négociations, aspects repris par d’autres organismes, notamment les Secrétariats des 3 Conventions. La période de 1996 à 2003 étant nettement mieux documentée que celle de 1991 à 1995, l’inventaire détaillé s’est surtout attaché à couvrir cette période.
Entre 1996 et 2003 une centaine d’actions de concertation a été organisée par l’IEPF, répartie entre la CCCC (30%), la CDD (28%), la CLD (14%), la CDB (12%), le FIF (9%) et d’autres arènes (7%). Une distinction de principe peut être faite entre les actions de concertation organisées dans le sillage immédiat d’une session formelle de négociation (en amont, en marge, en aval) qui sont, pour la plupart, de courte durée, et les actions de concertation en dehors des négociations proprement dites, sous forme d’ateliers spécifiques, qui durent plusieurs jours. Ces réunions ont mobilisé essentiellement des représentants officiels de pays (experts, délégués, ministres) provenant à la fois du Sud (75%) et du Nord (25%). D’autres acteurs ont également participé aux événements, tels les ONG, les OIG et les scientifiques, mais de manière plus ponctuelle.
En ce qui concerne la participation des pays francophones, le groupe de pays « France, Canada, Suisse et Belgique
» affiche une présence très soutenue, suivis par les pays africains, notamment de l’Afrique de l’Ouest. Les autres pays de l’OIF sont, pour la plupart, les grands absents des actions de concertation. Celles-ci ont eu pour principaux objets la diffusion et l’échange d’informations sur les négociations en cours (et, par extension, l’échange des positions politiques des pays membres), et deuxièmement la définition des futures activités de concertation à mener par l’IEPF dans ces arènes internationales. Ces échanges ont, dans près d’un cas sur deux, débouché sur un plan (plus ou moins formel) d’action. D’autres résultats immédiats ont pu être recensés de manière plus ponctuelle, notamment sur des déclarations francophones faites dans les négociations formelles.
Si le budget global de l’Institut a progressé (40%) entre 2000 et 2004, atteignant 2.41 millions d’euros, aucune évolution particulière (à la hausse ou à la baisse) des fonds alloués à la concertation n’est par contre identifiable.
Ceux-ci représentaient un montant variant d’année en année, en fonction des activités menées (durant la période 1998-2002 : montant minimal = 124'687 euros en 2001 ; montant maximal = 438'840 euros en 2002). Toutefois, la principale contrainte posée à l’extension des activités de concertation réside moins dans les ressources financières à disposition que dans les ressources humaines trop modestes, puisque l’ensemble de ces activités est géré avec l’équivalent d’un poste à plein temps, réparti sur 3-4 personnes.
D’un point de vue conceptuel, il est possible de distinguer six fonctions sous-jacentes aux actions de concertation menées par l’IEPF, déterminées de manière empirique sur la base du recueil de données :
- Fonction de service : Information et formation des délégations nationales, visant le renforcement de leur capacité à assurer une participation optimale aux négociations sur tous les plans,
- Fonction de diagnostic : Recensement des besoins et attentes des délégations francophones par rapport aux prestations de la Francophonie dans ce domaine, mais aussi par rapport à d’autres organismes, la Francophonie pouvant alors jouer le rôle de relais,
- Fonction de mobilisation : Facilitation des contacts entre membres de la Francophonie dans une optique de collaboration, de partenariat, de soutien mutuel et de solidarité,
- Fonction de médiation : Echanges sur les positions politiques des pays membres permettant une meilleure compréhension mutuelle, voire des rapprochements de positions divergentes en vue des négociations principales,
- Fonction politique : Recherche d’une position commune de la Francophonie, faisant l’objet ou non d’une déclaration francophone officielle,
- Fonction contributive : Contribution intellectuelle et conceptuelle des activités de concertation au débat sur les enjeux de fond et de forme des négociations.
Dans la pratique, on constate que les réunions de concertation combinent souvent plusieurs de ces fonctions mais sans que cela soit clairement spécifié et pris en compte sur le plan de l’organisation.
Chapitre 4 : Analyse de la mise en œuvre des activités de concertation
Contexte institutionnel et programmatique
Au sein de l’Agence, l’IEPF, en tant que Direction chargée de la mise en oeuvre opérationnelle de la concertation, bénéficie d’une relative autonomie quant à la gestion courante de ses activités, dans le cadre de la programmation de l’Agence. Ainsi, l’IEPF dispose d’un organe consultatif propre, le Conseil d’orientation (CO).
Les actions de concertation traduisent dans une certaine mesure l’ambiguïté observée au niveau des ambitions de la Francophonie entre ses finalités politique, identitaire et de solidarité. Ces trois logiques ne sont pas exclusives entre elles mais leur articulation n’est pas toujours claire. L’engagement pour le respect du français comme langue de travail des Nations Unies au même titre que l’anglais constitue un enjeu majeur des activités de la Francophonie, de même que le soutien à l’intégration des PMA africains dans le circuit international. La principale valeur ajoutée de la Francophonie provient de la grande diversité de ses pays membres, selon l’avis unanime des interlocuteurs interrogés dans cette évaluation, et donc de sa capacité à favoriser des échanges constructifs, voire des rapprochements entre positions divergentes.
Objectifs
Les actions de concertation francophones ont pour objectif, selon les documents programmatiques de l’Agence, de fournir un appui aux délégations francophones dans les négociations multilatérales et de rechercher une convergence des positions politiques entre pays membres. Ces objectifs sont formulés de manière plus modeste dans les documents issus de l’IEPF, qui se concentre sur le renforcement des compétences des délégations et estime que la convergence politique ne constitue pas un objectif principal en tant que tel. A l’échelle de la Francophonie en général existe une ambition, affichée dans son Plan d’action de Tunis (1991, confirmé en 2002), d’approcher le développement durable dans sa globalité. Toutefois, sur le plan opérationnel, l’IEPF assure une mise en œuvre pour le volet environnemental et il manque les agencements structurels au sein de l’Agence favorisant une approche transversale du développement durable, notamment pour ses volets social et économique.
Les objectifs opérationnels sont formulés d’entente avec les participants aux actions de concertation, dans le cadre de programmes de travail sur une période donnée. Cela permet d’inscrire les actions de l’Institut dans une logique de réponse à des besoins, créant par-là des conditions favorables au déploiement des impacts attendus. Il n’est toutefois pas garanti que les attentes des délégués, recensées sur le moment, coïncident avec les besoins de leurs pays dans une optique globale, couvrant l’ensemble des négociations multilatérales. De plus, ce processus très participatif est difficile à concilier avec la nécessité de définir des priorités cohérentes, sur la base de ressources limitées et d’une approche globale de ces négociations dans la durée. Par ailleurs, certaines décisions stratégiques, portant notamment sur la méthodologie des actions de concertation ou la définition des priorités à accorder aux différentes arènes de négociation, sont prises par l’Institut hors de ce processus de consultation sur le terrain.
Instrument, outils et méthodes
L’analyse de l’instrument de la concertation fait apparaître quelques limites sur le plan méthodologique. Les réunions organisées en marge de négociations formelles sont souvent très chargées et ne semblent pas toujours avoir un profil suffisamment clair pour les participants ; si l’on reprend les fonctions susmentionnées, ces réunions couvrent trop de fonctions à la fois.
En fait, ces faiblesses proviennent avant tout de ressources humaines insuffisantes affectées à cette activité, ainsi que de l’absence d’un cadre méthodologique plus explicite pour l’organisation des différentes « variantes » d’actions de concertation. Il faut d’ailleurs relever que la multiplicité des profils de ces réunions, réunies toutes sous le même terme générique de « concertation », favorise cette confusion. Dans l’acception habituelle, le mot concertation concerne une négociation, alors que dans le cas de cette activité, la concertation couvre aussi des activités de formation, par exemple. Ceci soulève aussi bien la question de l’allocation des ressources humaines aux activités que celle d’une plus grande priorisation des opérations et d’un re-cadrage méthodologique.
Réalisations et impacts
Les réalisations au titre des actions de concertation depuis 1996 sont nombreuses. Les plans d’action arrêtés par les participants dans les différentes arènes ont été respectés dans la plupart des cas, signalant l’atteinte des objectifs opérationnels formulés au sein de l’activité en question. L’opinion des personnes interrogées est plus contrastée : d’une part elles reconnaissent la contribution de l’Institut au renforcement des capacités et des
compétences, ainsi qu’à la mise en réseau des acteurs francophones et, de manière occasionnelle, au rapprochement des positions de négociation. Le fait d’aboutir à un accord pour faire lire une déclaration en séance plénière au nom de la Francophonie constitue un résultat appréciable (par exemple au Sommet de Johannesburg en 2002) mais une déclaration à elle toute seule ne peut avoir d’impact majeur si elle n’est pas accompagnée d’un travail adéquat de lobbying et de suivi, par exemple pour faire inscrire certains enjeux dans les conclusions d’une négociation. La genèse de la CLD est un exemple d’impact réel du travail de la Francophonie, de même que l’amélioration nette des capacités des PMA africains francophones pour déposer des demandes de financement auprès du FEM. D’autre part, des faiblesses occasionnelles ont été relatées par les personnes interrogées aussi sur le plan de l’organisation pratique et de la logistique pour ces réunions (moment mal choisi en apparence, ordre du jour surchargé, manque de suivi, préparation insuffisante, etc.). L’écho est beaucoup plus positif pour les ateliers spécifiques mais là aussi des remarques ont été faites concernant l’insertion adéquate de ces activités dans le calendrier des négociations multilatérales et concernant le suivi.
Suivi
Le suivi interne des actions de concertation est assuré par les rapports de mission d’une part et les comptes- rendus d’activité fournis au CO d’autre part. Les rapports de mission ne présentent pas de format standardisé, rendant difficile une analyse dans le temps selon des critères précis. De même, les comptes-rendus ne renseignent pas toujours sur l’atteinte estimée des objectifs et ne peuvent donc guère être utilisés en tant qu’instruments de suivi dans la durée. Les tentatives d’instaurer une dynamique d’auto-évaluation à l’appui d’un jeu d’indicateurs, entamées en 2002, ne sont pas encore suivies de résultats à ce jour.
Chapitre 5 : Comparaison avec des activités similaires
L’objectif était de comparer la démarche francophone de concertation avec toute autre démarche similaire. En raison de la multiplicité des facettes de cette démarche, cette comparaison ne devenait pertinente qu’en se référant aux fonctions définies ci-dessus et en considérant des exemples d’activités relevant d’une ou l’autre de ces fonctions, sans que ces exemples s’intitulent nécessairement « concertation ». Dans la présente évaluation ont été pris en compte des exemples de la liste suivante : la Direction de la coopération économique de l’Agence comme autre exemple de la Francophonie, les secrétariats des Conventions, des agences multilatérales inter- gouvernementales, le Commonwealth comme autre exemple de communauté linguistique et culturelle, des ONGs et des agences de coopération bilatérale.
C’est sur la fonction de service, notamment sous l’angle du renforcement des capacités, que la diversité et le volume des activités et mécanismes sont les plus grands, soit par le biais des agences multilatérales (Secrétariats des conventions, PNUE, PNUD-FEM, UNITAR, etc.), de certains organismes de type ONG ou universitaire, ou encore par le biais des coopérations bilatérales. Ces activités ne sont pas du tout étiquetées « concertation » et n’ont, en règle générale, aucune ambition politique. Dans l’optique des pays concernés, l’IEPF peut constituer une offre faisant partie d’un éventail plus vaste, avec pour principale valeur ajoutée l’usage commun du français et une proximité culturelle sur certains aspects de la gestion publique, ainsi que l’interaction entre renforcement des capacités et médiation. La fonction de médiation est nettement moins fréquente parmi les autres organismes ; le cas échéant, elle s’exerce à une échelle plutôt régionale ou dans un contexte spécifique. La Francophonie est unique dans sa tentative d’exercer cette fonction de médiation de manière « universaliste » et pas dans une optique de défense d’intérêts particuliers. Le seul cas relativement analogue qui a été identifié est évidemment le Commonwealth puisqu’il repose sur une idée similaire de communauté linguistique et culturelle. Les grandes alliances classiques de ces négociations détiennent un certain monopole sur la fonction politique et les tentatives de la Francophonie sont forcément subsidiaires ; on peu rappeler que l’IEPF n’affiche pas du tout la fonction politique dans ses objectifs. Quant à la fonction de mobilisation dans une optique de solidarité, elle est rarement exercée dans une optique « ouverte » et « universaliste » par d’autres organismes, sauf pour certaines ONG et dans une moindre mesure par des coopérations bilatérales. Là aussi, la Francophonie peut afficher une certaine valeur ajoutée. Par contre, de très nombreux acteurs sont actifs dans le domaine de la contribution intellectuelle et stratégique relative aux enjeux des débats internationaux sur l’environnement et le développement durable.
Ces acteurs sont souvent de nature universitaire mais ils sont aussi nombreux dans le secteur des ONG internationales ou locales, sans oublier les apports des agences multilatérales et des structures mixtes. Il est donc nettement plus difficile de proposer une contribution spécifique à réelle valeur ajoutée.
Au bilan, on constate une multiplicité croissante des options d’activités qui correspondent aux différentes fonctions de la concertation francophone au sens large ; ces activités répondent à des besoins majeurs de tous les milieux concernés mais sans pour autant s’intituler « concertation ». La plus grande partie de ces activités relève du renforcement des capacités et se trouve cataloguée comme tel. Cette diversité a pour conséquence une tendance croissante pour la plupart des opérateurs à adopter une approche de plus en plus ciblée, avec un profil délimité en matière d’objectifs, de publics-cible, de méthodes, etc., afin d’éviter les doublons et de favoriser les synergies. La démarche francophone a ceci de particulier qu’elle combine plus que d’autres ces différentes fonctions, dans une approche « universaliste », ce qui peut représenter une réelle valeur ajoutée si elle est organisée explicitement sur cette base, avec un cadre méthodologique et opérationnel cohérent et intelligible pour les destinataires.
Chapitre 6 : Evaluation des activités de concertation
Les objectifs généraux de la Francophonie en matière de concertation dans le domaine du développement durable correspondent, au sens large, à un contexte et à des besoins et, de ce point de vue, sont globalement pertinents, toutefois avec des réserves. La volonté de définir et de défendre ensemble des positions politiques communes semble aléatoire et considérée comme peu pertinente au titre d’objectif principal. Il existe par ailleurs une ambiguïté intrinsèque, au niveau de la Francophonie en général, dans l’articulation des trois logiques qui sous- tendent son action (politique, identitaire et de solidarité) Ces logiques ne sont pas exclusives entre elles mais leur poids respectif et leur interaction doivent être clarifiées. Cette ambiguïté se retrouve dans la démarche de concertation. Quant à la question de la langue, omniprésente dans le contexte de cette évaluation, la nécessité d’un engagement continu en faveur du respect du français comme langue de travail du système multilatéral est unanimement reconnue. Toutefois, il y a également un souci largement exprimé d’éviter que l’action francophone puisse donner l’impression que cet engagement constitue l’objectif dominant, voire exclusif. De plus, l’usage du français comme vecteur de communication intra-francophone, certainement un atout qui explique l’attachement des participants aux actions de concertation, ne doit en aucun cas, même involontairement, conduire à l’illusion que l’anglais n’est pas nécessaire pour une participation efficace aux négociations proprement dites.
Si on considère les différentes fonctions, on peut estimer que cette activité est pertinente sur le plan des fonctions de service, de diagnostic, de mobilisation et de médiation. La pertinence est moins évidente sur le plan de la fonction politique, qui n’est d’ailleurs pas mise au premier plan par les opérateurs de l’activité. Quant à la fonction contributive, sa pertinence dépend de la capacité à lui déterminer un créneau spécifique avec une réelle valeur ajoutée, sur la base d’une mise en réseau de l’expertise francophone, une collaboration étroite avec d’autres acteurs et une valorisation active de ses résultats. Sur un plan plus large, l’analyse spécifique du contexte général et de l’évolution de ces négociations dans les différentes arènes, bien qu’effectuée par l’Institut, est insuffisamment explicitée dans la durée.
La cohérence globale de l’activité de concertation, malgré une réflexion stratégique substantielle et continue, est affaiblie par le manque de clarté sur le plan méthodologique, l’articulation insuffisante entre objectifs stratégiques et objectifs opérationnels et la surcharge des ressources humaines disponibles par rapport aux objectifs poursuivis. Ces lacunes sont perçues comme telles par les participants, envers lesquels une communication mieux calibrée est nécessaire.
Sous réserve de difficultés d’évaluation, dus à l’absence d’une typologie clairement définie des réalisations attendues sur le terrain, on constate une certaine efficacité de l’activité, au vu des nombreuses réalisations et du fait que les objectifs immédiats ont, en règle générale, toujours été réalisés. Cette efficacité pourrait être augmentée, en prévoyant une consultation plus ciblée et formalisée auprès des pays membres sur les futures actions de concertation, libérant du temps lors des réunions pour le renforcement de capacités et les échanges à proprement parler. L’ambition de couvrir toutes les arènes, au vu des ressources humaines limitées, représente un potentiel de dispersion et peut s’avérer même contre-productif.
L’évaluation de l’efficience donne une indication à double tranchant. Au vu des ressources engagées, l’activité est plutôt efficiente si on considère le volume d’activités. Mais il y a une surcharge des personnes concernées qui conduit à des pertes d’efficience en raison de la dispersion des forces et des difficultés à exploiter pleinement le potentiel de synergies et de partenariats. Le fait d’organiser principalement des réunions en marge des sessions formelles de négociation pour profiter de la présence de participants francophones relève d’un souci légitime d’efficience mais induit aussi des restrictions sur les ambitions possibles de l’activité.
Sur la base de la documentation et des entretiens, et sous réserve des difficultés d’évaluation en raison de l’absence de repères explicites sur les impacts attendus, on peut estimer qu’il y a eu des impacts réels de cette activité, notamment dans le domaine du renforcement des capacités, de la mise en réseau et des rapprochements entre pays membres, notamment au bénéfice des pays les moins avancés d’Afrique. Des impacts moins systématiques mais néanmoins réels ont également pu être observés dans le domaine plus politique, ainsi que sur le plan de la contribution intellectuelle francophone aux débats, deux domaines dominés respectivement par les alliances classiques et des acteurs de type soit universitaire soit institutionnel, dotés de plus de moyens.
Chapitre 7 : Recommandations
7.1. Principe de l’activité et orientation générale
La démarche de concertation doit être maintenue tout en assurant son évolution en tenant compte des leçons de cette évaluation. Le concept de « concertation » doit être redéfini et mieux ciblé sur les fonctions directement liées aux négociations multilatérales, avec en parallèle la création explicite d’une catégorie « renforcement des capacités » pour les fonctions correspondantes (service et contributive). La mise en oeuvre doit prendre en compte les modalités spécifiques à chaque fonction qui permettent d’assurer la cohérence et l’efficacité du dispositif, et donc ses impacts. L’Agence doit se déterminer sur quelles fonctions elle souhaite mettre l’accent en priorité, en tenant compte du contexte, des attentes exprimées des pays membres et des possibilités de partenariats.
Certaines de ces fonctions, comme celle de mobilisation, ont une vocation plutôt interne à la Francophonie, alors que d’autres, notamment celle de médiation mais aussi la fonction politique et la fonction contributive, ont aussi une vocation externe.
7.2. Cadre stratégique de la concertation
La Francophonie se doit, au plus haut niveau, de déterminer un cadre cohérent et crédible pour son activité de concertation en lien avec les négociations multilatérales en développement durable, conformément aux Plans d’action des Chefs d’Etat de la Francophonie. A cet effet, elle doit prévoir une gestion transversale et interdisciplinaire des différentes thématiques du développement durable, avec des agencements organisationnels adéquats. Une réflexion approfondie et sans tabous est nécessaire sur la portée exacte des ambitions politiques de la Francophonie, c’est-à-dire la volonté de négocier et de défendre des positions communes. La Francophonie se doit enfin de préciser si son intervention est prioritairement axée sur une logique de solidarité, sur la défense de la langue française dans le circuit des négociations multilatérales ou sur d’autres ambitions ; ces différentes logiques ne sont pas exclusives mais leur articulation doit être clarifiée.
La prédominance de l’anglais, l’interaction croissante entre les enceintes de négociation et l’importance croissante des acteurs non-étatiques dans les négociations sont autant de paramètres du contexte dont la Francophonie doit tenir compte dans l’élaboration de sa stratégie relative aux actions de concertation. Il est souhaitable, si les ressources ne sont pas augmentées substantiellement, d’opérer des choix plus restrictifs concernant le nombre d’arènes et d’aspects couverts par la démarche de concertation et de renforcement des capacités dans le cadre de ces négociations multilatérales, afin d’optimiser la cohérence et l’impact de ces activités.
7.3. Mise en œuvre
Toute activité de concertation ayant les Etats membres comme premier public-cible doit être ancrée dans leurs besoins, tout en se référant à des choix cohérents en matière de priorités, ce qui implique l’existence d’un processus explicite et formalisé de discussion et de légitimation de ces choix, en y associant les représentants habilités des Etats membres et les partenaires. Ce rôle peut éventuellement être assumé par le Conseil d’orientation (CO) mais tous les pays membres n’y sont pas nécessairement représentés. A cet égard, la consultation des participants aux réunions de concertation ne peut être que subsidiaire.
Une organisation plus explicite et formalisée de l’activité en logique de projet est indispensable, fixant également les priorités et les renoncements. Dans le contexte des actions de concertation, la logique de projet peut s’appliquer soit à une arène donnée, soit à un thème transversal ou à un aspect particulier d’une arène. Le projet doit déterminer le statut spécifique des réunions de concertation en complément aux autres activités de renforcement de capacités, dans le cadre d’objectifs plus larges.
L’intervention de la Francophonie, pour être efficace, doit s’insérer de manière adéquate dans le calendrier général des négociations, en fonction des enjeux et des mécanismes à l’œuvre. Si une action a pour objectif de suivre de près une négociation en cours, il faut non seulement tenir des réunions en amont des conférences des parties, sur la base d’une préparation préalable suffisante, mais aussi faire l’objet d’un suivi actif pendant la session formelle de négociation, ainsi que par la suite, y compris par une mobilisation optimale des technologies de communication électronique. L’organisation d’ateliers spécifiques relatifs à des enjeux de négociation est une idée pertinente, si les ressources le permettent.
7.4. Organisation et ressources
En ce qui concerne la concertation comme instrument, une collaboration transversale au sein de l’Agence (ainsi qu’avec les autres opérateurs de la Francophonie) est souhaitable, afin de favoriser une synergie et un apprentissage mutuel. Le maintien de l’activité de concertation au sein de l’IEPF est souhaitable, sous réserve des différents changements préconisés dans cette évaluation. L’activité gagnerait en cohérence et en impact avec une augmentation des ressources humaines qui lui sont affectées (le cas échéant sur la base d’une réallocation interne) et le développement des compétences spécifiques en matière de droit international et de négociations multilatérales.
Les ressources financières actuelles sont modestes mais sans être insignifiantes pour cette activité. La recommandation porte sur une mise en adéquation des ressources avec les objectifs, et une recherche plus active de synergies et de collaborations, pour lesquelles il existe encore un potentiel à exploiter. Ces efforts doivent s’accompagnent d’une identification plus complète d’activités à vocation plus ou moins similaire.
7.5. Suivi et évaluation
Il est nécessaire d’introduire un système complet et dynamique de suivi dont certains éléments existent actuellement déjà, afin de pouvoir dorénavant établir un lien entre les objectifs, les activités et les résultats, en tenant compte des besoins, du contexte et des ressources. Ceci commence par une gestion plus systématique et précise de la documentation dans un formatage uniforme, en particulier pour les rapports de mission et leurs annexes. Un suivi auto-évaluatif en continu serait alors souhaitable, sous l’égide du CO, à l’aide d’un jeu
d’indicateurs de réalisation, de résultats et d’impacts. Les comptes-rendus d’activité de l’IEPF seraient mis à jour régulièrement, permettant une appréciation réelle par le CO des succès et échecs, et des potentiels et risques inhérents aux actions de concertation. Une comptabilité analytique complète vient compléter ce système de suivi.
Dans le cadre du rapport complet d’évaluation, un système de suivi a été proposé, notamment sous forme d’indicateurs de réalisation et de résultat.
E VALUATION EXTERNE DE LA DEMARCHE DE CONCERTATION FRANCOPHONE EN ENVIRONNEMENT
1. L
E CADRE DE L’
EVALUATION1.1 Objectifs de l’étude
Les objectifs de l’étude sont définis comme suit dans les Termes de Référence3 :
« Les réflexions menées actuellement au sein de la Francophonie sur les meilleures stratégies à adopter pour accompagner les Etats et gouvernements dans leur propre stratégie de développement durable ont incité l’Agence de la Francophonie à demander que l'on procède à l’évaluation de l’action de l’Institut de l’énergie et de l’environnement de la Francophonie (IEPF) dans ce domaine. Cette étude devra s'attacher à :
• faire un bilan détaillé de l'action de l’Agence pour l’accompagnement des États et gouvernements membres dans la préparation des grandes concertations internationales sur les questions liées au changement climatique, à la biodiversité et à la lutte contre la désertification. On distinguera dans ce bilan :
− les concertations au sein de l’Organisation internationale de la Francophonie (OIF), telles que les conférences ministérielles francophones ;
− la préparation aux processus internationaux de négociation et de mise en œuvre des ententes et conventions internationales;
− la concertation entre Etats et gouvernements francophones en marge des conférences internationales, notamment dans le cadre de la Commission du développement durable (CDD4) et des Conférences des Parties5.
• Proposer une étude comparative des aides apportées par les coopérations bilatérales et par certaines organisations internationales, comme le PNUE6 et les secrétariats des Conventions, aux pays du Sud afin qu’ils puissent participer pleinement aux concertations internationales, et analyser la place et la valeur ajoutée qu’apporte l’IEPF relativement aux autres programmes multilatéraux, aux autres institutions et organismes, qui interviennent en faveur du développement durable;
• Faire un bilan des résultats directs obtenus par ces actions d’accompagnement et de soutien aux concertations ;
• Evaluer l'adéquation des objectifs poursuivis par l’Agence et la justesse des moyens et modes d'organisation dont on l’a dotée pour y répondre;
• Analyser et porter un jugement critique sur le processus de préparation et le mode de production des déclarations et plans d’action francophones pour les grandes conférences internationales ;
• Faire des recommandations pratiques et réalistes pour le développement, ou la réorientation de ce mode d’action en direction des Etats et gouvernements membres ».
Sur cette base, nous livrons un bilan de cette activité qui permet d'obtenir une image de son organisation et de ses principales réalisations. De plus, ce rapport place le bilan dans le contexte plus large de l’évolution des négociations multilatérales et comprend une analyse spécifique de la
3 « Etude d’évaluation externe des procédures de concertations francophones dans le domaine du développement durable, Termes de référence », Agence intergouvernementale de la Francophonie, Paris, Juin 2003 (cf. annexe n° 1)
4 Commission créée à Rio pour veiller à la mise en œuvre de l’Agenda 21
5 Organes de gouvernance des 3 conventions issues de Rio (sur la biodiversité, la désertification et le changement climatique)
6 Programme des Nations Unies pour l’Environnement
concertation comme instrument, afin de pouvoir situer à terme son application par la Francophonie en regard d'un cadre conceptuel et opérationnel plus large.
Certains documents produits dans le cadre de cette évaluation et trop volumineux pour faire partie de la publication (bibliographie détaillée, chronologie complète des activités de concertation, etc.) ont été remis à nos mandants.
Nous tenons à exprimer ici nos sincères remerciements à l’Agence intergouvernementale de la Francophonie de nous avoir confié ce mandat passionnant et à toutes les personnes concernées à la Direction de la Programmation et de l’évaluation à Paris et à l’Institut pour l’énergie et l’environnement de la Francophonie au Québec de nous avoir activement aidés dans la mise en oeuvre de ce mandat, dans un esprit d’ouverture et de transparence.
Nous remercions également les nombreuses personnes, au sein du monde de la Francophonie ou dans le domaine des négociations multilatérales en matière d’environnement, d’avoir accepté de nous donner leur avis, toujours de manière très ouverte et constructive, contribuant ainsi de manière essentielle à cette évaluation.
1.2 Dimensions de l'évaluation et enjeux
Comme l'indiquent les Termes de Référence, l'enjeu de cette évaluation est double: évaluer cette politique en termes de réalisations et de résultats, mais aussi en tant que processus pouvant être appliqué à d'autres domaines d'activités de la Francophonie, dans une logique d'apprentissage organisationnel transversal.
Pour mémoire, nous rappelons ici le schéma de base de cette évaluation, avec tous les éléments constitutifs de la « théorie d’action » de l’activité évaluée et les dimensions de l’évaluation.
Enjeux publics
Buts généraux Effets / Impacts
Résultats (outcomes)
Objectifs
Procédures Moyens Ressources
Réalisations (outputs) Démarche de concertation de la Francophonie
dans le domaine du développement durable Autres acteurs
Environnement extérieur
Cohérence Efficience
Pertinence Efficacité
Impact escompté
Impact prévu et non prévu EvaluationActionsContexte
Nous avons donc opéré de manière à pouvoir procéder à la construction de la "théorie d'action"
pertinente pour la démarche concernée, c'est-à-dire l’explicitation du modèle de fonctionnement de l’activité, comprenant les éléments suivants:
− Cadre et contexte
− Objectifs stratégiques
− Objectifs opérationnels
− Méthodes, outils et instruments
− Procédures, ressources et gestion
− Réalisations et résultats
− Mécanismes de suivi et de rétroaction (y compris indicateurs de résultats éventuellement existants)
La théorie d'action doit inclure entre autres le rôle et l'implication des différents acteurs concernés:
qui intervient à quel titre, à quel moment et de quelle manière.
Nous avons attaché une grande d'importance à la prise en compte du contexte qui influence la théorie d'action, contexte évolutif entre 1991 et 2002 et qui crée donc une dimension dynamique importante pour cette évaluation, afin de déterminer les paramètres qui influencent directement la mise en œuvre de la démarche francophone de concertation.
Conformément aux Termes de Référence, l’évaluation est globale et couvre donc toutes les dimensions possibles:
⇒ Pertinence : Adéquation des objectifs de l'activité évaluée aux besoins et enjeux de son environnement, ainsi qu'aux attentes de ses principaux partenaires et destinataires ;
⇒ Cohérence : Adéquation des procédures, ressources et moyens aux objectifs (et inversement) ;
⇒ Efficacité : Adéquation des réalisations (outputs) aux objectifs ;
⇒ Efficience : Adéquation des réalisations aux procédures et ressources ;
⇒ Impacts : Mise en perspective des effets de l'activité évaluée et de ses résultats (outcomes) par rapport aux objectifs et aux enjeux du contexte.
1.3 Défis méthodologiques
Cette évaluation a posé des défis conceptuels et méthodologiques intéressants car elle porte sur une activité essentiellement qualitative et institutionnelle, difficilement évaluable en termes comparatifs ou quantitatifs.
En pratique, on peut citer notamment le double défi méthodologique suivant:
• celui de la délimitation pertinente du champ de l'évaluation,
• celui de l'identification univoque des liens de causalité entre une politique, ses réalisations et ses résultats, dans un contexte évolutif.
1.3.1 Identification des liens de causalité
Pour répondre au premier défi, la combinaison de différentes approches analytiques classiques en évaluation s’est imposée:
• Logique de comparaison "réalité v/s objectifs" (analyse axée sur le bilan): comparaison entre un état souhaité formellement par le biais des objectifs fixés par les responsables de cette activité et l'état réel au moment de l'évaluation;
• Logique de comparaison "avant/après" (analyse diachronique ou longitudinale): analyse de l'évolution dans le temps d'une activité, pour elle-même et par rapport à son contexte, en définissant des moments repères dans cette période si nécessaire;
• Logique de comparaison directe (analyse synchronique ou transversale): comparaison entre plusieurs exemples de la même politique, ici plusieurs évènements relevant de cette activité
(comparaison interne), ou entre l'activité évaluée et des mécanismes comparables (comparaison externe);
• Logique de comparaison "avec/sans" (analyse de substitution): comparaison entre des exemples de cette activité et d'autres cas, respectivement analyse des scénarios de substitution.
En pratique, au vu du caractère très polyvalent et qualitatif de l’activité, dans un contexte évolutif et complexe, nous avons effectué une combinaison pragmatique de ces approches, en fonction des données accessibles. La validation d'hypothèses de travail disponibles avant l'évaluation, ou construites en début d'évaluation, s’est donc faite par triangulation, c'est-à-dire en veillant à "croiser" les différentes sources d'informations et d'opinions (données quantitatives, par exemple financières ou de participation à des activités, analyses documentaires de textes de référence ou de rapports d’activités, entretiens avec différents types d'acteurs, etc.).
1.3.2 Délimitation du champ de l’évaluation
En vue de clarifier les limites du champ d'évaluation, nous avons défini au préalable six axes pour lesquels il paraissait pertinent de préciser ce qui relevait de cette évaluation.
¾ Axe thématique: dans le cadre du développement durable
- Pilier « environnement » du DD, avec interactions éventuelles vers les autres piliers, y compris celui lié au fonctionnement de ce domaine (gouvernance).
¾ Axe institutionnel: cadres et échelles d’intervention
- Priorité aux mécanismes des trois Conventions du suivi de Rio (climat, biodiversité, désertification) et à la Commission du développement durable (L’AIF a aussi suivi d'autres négociations internationales liées de près ou de loin au développement durable, mais de manière moins active en termes d’actions de concertation.).
¾ Axe géographique: dimension Nord – Sud
- Priorité sur l'implication des pays africains (sans négliger les autres Etats membres de la Francophonie, mais présence moindre dans les activités).
¾ Axe fonctionnel: la « concertation » comme instrument.
- Priorité à la concertation comme l'une des activités de l'IEPF (et comme modalité de travail) ;
- Analyse spécifique de l'instrument, afin d'examiner son utilisation possible dans d'autres domaines d'activité de l’AIF, d'où l'idée de comparaison.
¾ Axe opérationnel: nature et typologie des activités
- Prise en compte de toutes les activités relevant de la concertation dans les arènes institutionnelles susmentionnées (séminaires spécifiques, accompagnement de rencontres officielles, documentation, travail de réseau), avec nécessité de clarifier la typologie.
¾ Axe temporel: période prise en compte
- Prise en compte de toute la période de cette activité, depuis son lancement en 1991 (respectivement ses prémisses en 1989), jusqu'à fin 2003, en tenant compte de la césure de 1996, moment où la responsabilité de l’activité est passée de la DGCTDE à Paris à l'IEPF à Québec.
1.4 Mise en œuvre du mandat Les opérations suivantes ont été effectuées:
Phase 1: finalisation du référentiel de l'évaluation
• Effectuée entre novembre et décembre 2003, avec validation lors de la séance du Comité de pilotage du 5 décembre 2003.
Phase 2: bilan spécifique de l'activité:
• Analyse documentaire approfondie sur la base des documents fournis par l'AIF et l'IEPF (novembre 2003 – juin 2004).
• Entretiens et séances avec l'IEPF (24 novembre 2003 en conférence téléphonique, 6 janvier 2004 et 12-13 janvier 2004 à Québec).
• Recueil d'opinions auprès de participants aux actions de concertation francophones par le biais de rencontres multilatérales:
- Participation à la 9ème Conférence des parties de la Convention cadre sur le changement climatique (Milan, 6 – 10 décembre 2003).
- Participation à l'atelier francophone d’échanges sur les Agendas 21 locaux (Lille, 16-18 décembre 2004).
• Recueil d'opinions auprès de participants aux actions de concertation francophones par le biais d'entretiens directs, téléphoniques ou en face-à-face, y compris sous forme de missions de terrain, avec des représentants des autorités de membres de l'OIF:
- Belgique, Burkina Faso (mission 7 – 11 mars 2004), Canada, France, Maroc, Québec, Sénégal (mission 1 – 6 mars 2004), Suisse, Togo (mission 15 – 18 mars 2004), Wallonie.
• Recueil d'opinions par voie épistolaire ou électronique auprès de représentants des pays membres de l'OIF:
- Egypte, Guinée-Bissau, Macédoine, Suisse.
Phases 3 et 4: analyse du contexte et comparaison avec des mécanismes similaires
• Entretiens avec des agences et organismes multilatéraux, en particulier les Secrétariats des trois Conventions, le Secrétariat de la CDD, des représentants du PNUE et du PNUD-FEM.
• Entretiens avec des experts indépendants et des représentants d'organisations non- gouvernementales (ONG) (liste en annexe), en particulier divers représentants de Enda-TM en Afrique, du WWF, d’Agora 21, de 4D, du GRET, de ICTSD, et de plusieurs experts universitaires.
• Entretiens avec des responsables nationaux (cf. liste des pays voir ci-dessus).
• Analyse de base sur l'instrument de la concertation dans le contexte de négociations multilatérales et mise au point d'un schéma d'analyse.
• Entretiens avec des représentants d'organismes bi- ou multilatéraux pertinents (liste en annexe), en partie déjà mentionnés sous les points 2 et 3, ainsi qu’avec le Secrétariat du Commonwealth, l’OMS, l’UNITAR, la DDC suisse et l’ACDI canadienne.
Phase 5: mise au point du rapport
• Présentation d’un rapport intermédiaire le 15 mars 2004 et séance du Comité de pilotage de l’évaluation le 25 mars 2004 à Paris.
• Présentation d’un premier projet de rapport final le 7 juin 2004, discussion par conférence téléphonique avec l’IEPF et la DPE le 21 juin 2004 et séance du Comité de pilotage de l’évaluation le 30 juin 2004 à Paris.
• Présentation d’un projet modifié de rapport final le 30 juillet 2004 et discussion par conférence téléphonique avec l’IEPF et la DPE le 23 août 2004.
• Remise du rapport définitif et de ses annexes le 10 septembre 2004.
1.5 Bilan de la mise en œuvre du mandat
La collaboration avec l’AIF en général et plus particulièrement avec l'IEPF s'est bien passée. L'équipe de l'IEPF a activement soutenu l'équipe d'évaluation pour la recherche documentaire et a abordé les différents entretiens dans une atmosphère constructive et ouverte.
Globalement, la mise en œuvre de l'opération a correspondu au dispositif prévu initialement, avec quelques nuances et compléments. Afin d'élargir et de renforcer la base sur laquelle nous appuyons notre analyse du bilan de l'activité, une des quatre missions prévues initialement dans des pays participants a été remplacée par une participation à la Conférence des Parties de la Convention climatique à Milan et une participation à l'atelier sur les Agendas 21 locaux à Lille. De plus, des contacts directs ont été noués dans d'autres pays de l'Organisation (comparaison avec des mécanismes similaires). Nous avons donc, en fin de compte, noué plus de contacts que prévu initialement, ce qui a été bénéfique pour la conduite de l'évaluation. Nous aurions souhaité compléter le recueil d’opinions en Afrique par des contacts dans quelques pays supplémentaires, mais nos tentatives de prise de contact sont restées sans succès.
Sur le plan de la période considérée, les Termes de Référence demandaient d’examiner la période allant de 10901 à 12002 ; nous avons finalement pris en compte aussi l’année 2003 et le début de l’année 2004, afin de tenir compte d’évolutions récentes et significatives.
Le principal défi pour l'équipe d'évaluation a résidé dans le recueil de la documentation liée à cette activité. Nous avons eu accès à une documentation très riche, de différents niveaux, sur la programmation et la mise en oeuvre de l’activité, se répartissant en six catégories distinctes :
Comptes-rendus de séances des instances de la Francophonie (Sommets des Chefs d’état et de gouvernements et Conférences ministérielles, Conseil permanent de la Francophonie).
Programmations biennales : Autant l’Agence que les Directions produisent des programmations biennales soumises aux instances politiques pour approbation.
Rapports d’activités des biennum : Au terme de chaque biennum, l’Agence et les Directions produisent des rapports d’activités qui rendent compte des actions menées dans les programmes.
Dossiers du Conseil d’orientation (CO) : Afin d’alimenter les séances du CO, l’IEPF prépare des dossiers complets, comprenant d’une part les documents mentionnés ci-dessus, mais aussi des notes de réflexion diverses.
Rapports de mission : L’IEPF est tenu de fournir à l’AIF des rapports de toutes les missions de terrain conduites au courant de l’année.
Documents de fond : Parmi ses activités, l’IEPF produit de nombreux ouvrages, périodiques (« Liaison Energie Francophonie ») et ponctuels (guides, contributions aux débats de fonds, bilans d’activité, évaluations internes), et contribue à des services d’information (site portail
« Mediaterre »), qui font référence aux activités dans le champ des concertations francophones.
Cependant, c’est la première fois que cette activité est évaluée de manière globale. Certains documents, en particulier des rapports de missions et/ou leurs annexes, n'ont pas été faciles à retrouver : la récolte de documents s’est prolongée bien au-delà de la période prévue initialement dans le dispositif, jusque fin juin 2004. Nous avons fourni un effort substantiel en vue de chercher à intégrer toutes les informations correspondantes dans notre analyse malgré cet étalement dans le temps.
Toujours dans le cadre des difficultés liées à la documentation, celle couvrant la période de 1991 à 1995, soit avant que l’IEPF se soit vu confier la responsabilité opérationnelle de l’activité, est quelque peu lacunaire, en ce qui concerne les rapports de mission. L’existence de rapports annuels ou biennaux ne compense pas entièrement ces lacunes. Nous disposons de l’évaluation effectuée en 1994 par le Dr.
Marcel Ayité Baglo qui résume les actions de concertations réalisées entre 1991 et août 1994 mais ces informations n’étaient pas suffisamment détaillées pour les besoins de cette évaluation. Finalement, toutes les actions de concertations ont pu être recensées sur la période de 1991 à 2003, avec cependant des informations incomplètes sur les contenus de certaines d’entre elles.
Pour l'analyse financière de l'activité, les données disponibles couvrent la période 2000-2004 (les ventilations par source ou par nature des budgets alloués à cette activité), respectivement 1998-2002 (répartition des budgets par type d’action, comme honoraires, frais de mission ou transport d’experts).
Indépendamment de toute autre considération sur cette activité et son avenir, il est donc pertinent d’insister dès à présent sur la nécessité, dorénavant, d’instaurer dans le cadre de la programmation de l’activité de concertation un système de suivi documentaire, financier et analytique beaucoup plus poussé et fiable, afin d’assurer une meilleure traçabilité et donc une plus grande capacité d’évaluabilité de cette activité.
Il convient aussi de relever que l’analyse des données recueillies, aussi bien documentaires que par le biais des entretiens, et les conclusions qui peuvent en découler, peuvent faire l’objet de certaines différences d’opinion entre évaluateurs et évalués. Dans le cadre de l’évaluation d’une activité aussi complexe et ambitieuse, cette situation est tout à fait normale.
La structure évaluée se doit, de toute manière, d’expliciter son interprétation de résultats et de se l’approprier de la manière la plus adéquate qui soit pour l’avenir de l’activité en question. Il est important de garder à l’esprit que les évaluateurs ont un regard forcément externe, et que l’apparente focalisation de leur message sur des aspects critiques est liée au souhait de mettre en évidence le potentiel de changement et d’amélioration, et ne constitue pas une critique générale des institutions ou des personnes.
