La présente évaluation était stratégique et avait pour objet d’évaluer le rôle joué par le Cadre d’engagement consolidé avec les organisations de la société civile (ESC) et son Plan d’action dans la mise en place d'une structure pour le renforcement de l’engagement avec les OSC, à l'appui des objectifs stratégiques de la Banque. Elle visait également à déterminer si les approches et les mécanismes en matière d’engagement avec la société civile sont alignés sur le mandat et les priorités de la Banque, ainsi que son portefeuille. La matrice d'évaluation (annexe 1) donne un aperçu des questions d'évaluation spécifiques, des éléments de preuve, des techniques d'analyse des données, des indicateurs et des critères de jugement. Cette matrice, qui indique comment les résultats et les conclusions de l'évaluation ont été obtenus, a constitué l'épine dorsale du rapport technique de l’évaluation.
Approche et portée de l'évaluation
L'approche globale de l'évaluation répondait au double objectif de l'apprentissage et de la redevabilité, pour tenir compte de la nature adaptative et générale de l’engagement avec la société civile à la Banque, ainsi que de l'évolution des besoins et des contextes de ses partenaires et clients internes et externes dans des contextes institutionnels, régionaux et internationaux très dynamiques et diversifiés.
L'évaluation s'est concentrée sur la conception et la mise en œuvre, sur les processus et l'efficacité, ainsi que sur l'apprentissage des succès et des défis en ce qui concerne la mise en œuvre du Cadre d’engagement avec les OSC, des Plans d'action et d'autres documents stratégiques et opérationnels en rapport avec l’engagement avec les OSC à la Banque.
Une combinaison d'approches d'évaluation a été utilisée. Une approche théorique a été utilisée pour élaborer la Théorie du Changement qui tire des conclusions sur la question de savoir si et comment les interventions liées à l’ESC ont produit les résultats observés. L'approche théorique représentait une « logique d'enquête », qui a été utilisée en combinaison avec d'autres approches. En conformité avec la théorie du changement, une approche d'Evaluation Axée sur l'Utilisation a également été utilisée pour combiner divers modèles d'évaluation et techniques de collecte de données et guider le processus et la prise de décision, en veillant tout particulièrement à ce que les conclusions et les recommandations de l'évaluation soient utiles et applicables aux deux groupes de destinataires principaux (CODE et les principaux départements responsables du programme d’ESC et le personnel de la Banque). Une approche fondée sur les études de cas a également été utilisée pour contribuer au recensement d’éléments probants sur la manière dont l’ESC a été mené au niveau des PMR (études de cas par pays) par rapport aux principaux mécanismes de mise en œuvre (sensibilisation et communication, dialogue et consultation, partenariat), notamment par le biais de projets et d'autres actions spécifiques au niveau des PMR.
L'élaboration initiale du Cadre d’engagement avec les OSC de 2012 a défini les délais pour la collecte de données d'évaluation. Pour des raisons de faisabilité, ce cadre a été considéré comme le point de départ de la dernière approche stratégique de la Banque en matière d’engagement avec les OSC, au regard de la Stratégie décennale et des High 5. L'évaluation a porté sur les actions menées dans le cadre des trois groupes de mécanismes d'engagement (partenariat, consultation et dialogue, communication et sensibilisation) avec la société civile aux trois niveaux (institution, régions et PMR, et projets) depuis 2012. Elle a été effectuée en tenant compte des changements apportés par le Plan d'action de 2017 pour l’ESC, le DBDM et d'autres documents et processus d'orientation sectoriels et institutionnels pertinents.
Par le biais de l’examen des principaux mécanismes de mise en œuvre (sensibilisation et communication, dialogue et consultation, partenariat) et l’utilisation des données quantitatives et qualitatives, la présente évaluation a cherché à comprendre l'efficacité et l'efficience de l’ESC depuis 2012, et la situation en décembre 2019, au niveau de l'institution, des PMR, des régions et des projets.
Les questions liées à l'efficacité ont été examinées à la lumière des récentes réformes telles que le DBDM et leurs implications sur le positionnement et la coordination de l’engagement avec la société civile, en vue de la création d'un fonds fiduciaire multi-donateurs destiné à fournir du financement : i) aux équipes de projet de la Banque, pour améliorer la portée et la qualité de l’ESC lors de la préparation et de l'évaluation des projets, et ii) aux OSC, pour renforcer les capacités dans des domaines tels que la gouvernance, la structure organisationnelle, les politiques et procédures, la gestion financière et les compétences en matière de recherche et de plaidoyer ; pour mettre en œuvre un programme ; et/ou faire le suivi afin de s’assurer que les projets financés par la BAD soient mis en œuvre efficacement et
34
atteignent des résultats en matière de développement escomptés. Enfin, l'aspect des partenariats internes et externes a été évalué en identifiant les domaines de valeur ajoutée et de gains d'efficacité, par rapport aux résultats pour la société civile et la Banque. L'évaluation a examiné la combinaison des facteurs (conception, mise en œuvre, contexte, etc.) qui facilitent ou inhibent l’engagement avec les OSC aux trois niveaux (institutions PMR et projets).
Du fait de l’existence des données factuelles portant sur l’engagement avec la société civile fournie par IDEV et la Direction de la Banque, la présente évaluation se concentre davantage sur la pertinence et le processus de l’ESC, ainsi que sur les résultats connexes, et procède à une analyse limitée des réalisations.
L'évaluation de l’engagement avec les OSC est sommative et formative, mettant l'accent sur l'apprentissage et la réflexion. L'approche de l'évaluation axée sur l’utilisation (ÉAU) a éclairé les méthodes choisies, les décisions prises, l'analyse des données et, surtout, la manière dont les interventions d'intégration de la dimension du genre sont valorisées. L'équipe d'évaluation a veillé à ce que les données empiriques soient recueillies à partir de multiples angles à différents niveaux, et les a triangulés pour répondre à chaque question d'évaluation et donner un sens aux conclusions
Échantillonnage, méthodes de collecte des données et triangulation
L'approche des méthodes mixtes a permis une multiplicité de façons de voir et d'entendre, de donner un sens au monde social et d'avoir plusieurs points de vue sur ce qui est important, à valoriser et à entretenir. Cette approche utilisée au cours de l'évaluation reposait sur l'hypothèse qu'il existe de multiples façons légitimes de donner un sens à l’ESC, au rôle du Cadre d’engagement avec la société civile et au positionnement de l’agenda de coopération avec la société civile au sein de la Banque et dans la région. Le processus d'engagement actif en tenant compte des différences et de la diversité comprenait la triangulation des sources de données et celle des chercheurs. L'évaluation s'est également concentrée sur la recherche qualitative, en n'ignorant pas les « données aberrantes » ou les informations qui ne se prêtent pas à la triangulation, mais en les étudiant. L'utilisation de données tant qualitatives que quantitatives a montré un fort potentiel de résultats et a permis d'élaborer des recommandations concrètes et pratiques pour la nouvelle stratégie de l’engagement avec la société civile.
Échantillonnage : Dans le cadre de différentes sources de données factuelles, l'échantillonnage ciblé a été principalement utilisé. Cette méthode a permis d'identifier et de sélectionner des preuves et des cas riches en informations concernant l’ESC à la BAD et dans le cadre de l'engagement de la Banque avec les acteurs de la société civile. L'évaluation a utilisé un type d'échantillonnage raisonné (échantillonnage de critères) pour sélectionner les cas qui sont les plus susceptibles de fournir les informations les plus utiles pour répondre aux questions d'évaluation. Le critère principal était le suivant : « de quels cas (rapports, organisations, individus) apprenons-nous le plus ? » Pour chaque évaluation (QE), une liste de personnes, d'organisations et de documents a été établie, susceptibles de fournir le plus d'informations et d'enseignements, comme le montre la matrice d'évaluation. L'échantillonnage dirigé a été utilisé pour sélectionner les cas qui sont le plus à même de fournir les informations les plus utiles pour répondre aux questions de l'évaluation (tableau 2).
Exploration de la théorie du changement : Toutes les sources de données ont été utilisées pour construire la théorie du changement pour l’ESC au cours de la phase de délimitation du champ de l’évaluation, en l’ancrant sur le Cadre d’engagement avec les OSC et d'autres documents clés. En outre, une attention particulière a été accordée aux hypothèses qui sous-tendent les liens de causalité et leur validité a été vérifiée tout au long du processus de collecte et d'analyse des données. La théorie du changement a éclairé l'évaluation et facilité l'exploration dans la mesure du possible pendant l'exercice d'évaluation, en mettant l'accent sur les intrants, le processus et les résultats. L'exploration des impacts n'était pas possible et dépassait la portée de cette évaluation.
Analyse des données et triangulation : Pour l’analyse des données, on a eu recours à l’approche thématique par rapport au cadre d'évaluation, qui appelle également une compréhension des différents points de vue des parties prenantes (par exemple, la valorisation). L'analyse thématique a été utilisée pour identifier les thèmes dans les données qui étaient importants ou intéressants, et les utiliser pour répondre aux questions de recherche. Les deux types de triangulation des données suivants ont été utilisés : i) la triangulation des données (utilisation de différentes sources d'information provenant de plusieurs catégories de parties prenantes à l'intérieur et à l'extérieur de la Banque) ; et ii) la triangulation
35
méthodologique (lorsque deux ou plusieurs méthodes qualitatives et/ou quantitatives sont utilisées, telles que des enquêtes et des entretiens).
Tableau 3.1 de l’annexe : Vue d’ensemble des méthodes de collecte de données
Méthodes de collecte des données Échantillon
Méthode qualitative :
- Comparaison de la Banque aux autres organisations de référence en suivant la méthodologie du Réseau d’évaluation de la performance des organisations multilatérales (MOPAN).
9 rapports
- Entretiens avec des informateurs clés et des groupes de discussion de la Banque, la société civile (face-à-face : Kenya, Côte d’Ivoire, Tchad ; virtuel : Tunisie, Afrique du Sud, et un éventail d’autres pays)
170 individus
- Examen de documents : Analyse du portefeuille des projets 100 projets - Examen des documents institutionnels de la Banque 77
- Synthèse des données d’évaluation provenant des organisations de référence
12 évaluations - Examen des documents de stratégie pays/d’intégration régionale
(DSP/DSIR)
23 documents Méthode quantitative :
- Enquêtes en ligne auprès du personnel/des consultants de la Banque
200 répondants individuels - Enquête en ligne auprès de la société civile 230 répondants individuels - Contributions au Forum des OSC de 2018 et de 2019 54 propositions
Observations faites lors des événements suivants :
- Contributions à la réunion BAD-Comité des OSC et atelier de réflexion sur le renforcement des capacités, novembre 2019, Abidjan, Côte d’Ivoire
- Forum des OSC, 2019, Abidjan, Côte d’Ivoire, mai 2019
- Conférence sur la politique foncière en Afrique, Abidjan Côte d'Ivoire. 25-29 novembre 2019
- Webinaire des OSC. Processus de traitement des plaintes par le MII.
Unité de vérification de la conformité et de médiation (CRMU, 6 juin 2020, Virtuel)
4 évènements
Méthodes de collecte des données
La matrice d'évaluation à l'annexe 1 établit une correspondance entre les méthodes de collecte de données et les questions d'évaluation.
Enquête en ligne :
L'enquête en ligne a été réalisée pour recueillir des points de vue internes et externes. Conformément à la conception de l'évaluation, l'échantillonnage a ciblé deux groupes clés différents de parties prenantes, à savoir le personnel/les consultants de la Banque et les acteurs de la société civile. Une invitation à répondre à l'enquête en ligne a été envoyée à deux listes distinctes de membres du personnel de la Banque (Catégorie professionnelle de la BAD [postes de direction et postes de catégorie professionnelle]) et consultants (« Consultants de la BAD »). La sélection des représentants des OSC a suivi une méthodologie d'échantillonnage ciblée et exhaustive afin de susciter la réaction d'une diversité maximale de répondants.
36
37
Tableau 3. 2 de l’annexe : L’échantillonnage pour l’enquête en ligne
Groupe cible de
l’enquête Échantillon
Nombre (Taux de réponses) Catégorie
professionnelle de la BAD (postes de direction et postes de catégorie professionnelle) et
« Consultants de la BAD »
1 000 + 883 = 1883
Pour les consultants : sur la liste de 883, une centaine de courriels a été rejetée et un grand nombre des personnes figurant sur la liste sont devenues des membres du personnel ; le nombre considéré était donc de 783
203 = 11,4 %
Enquête en ligne auprès de la société civile en Afrique
Base de données des OSC, 35 pays échantillonnés = 2 500 ; liste initiale établie sur la base de la liste des participants au Forum des OSC = 454 ; Base des données de CRMU = 341;
Base de données d’IDEV = 794 ; CARN = 209 ; Listes des participants à la journée de lutte contre la corruption à Tunis, Listes des membres choisis du Comité des OSC, participants aux évènements parallèles des OSC lors du Sommet mondial sur le genre, OSC consultées dans le cadre de l’élaboration de trois profils de genre pays ; participants aux journées portes ouvertes pour les OSC à Maurice, liste des VOPE (Organisations volontaires pour l'évaluation professionnelle) africaines, Journée du climat à Abidjan, équipe de la gouvernance, etc. = environ 550 = 4 849
290 = 6 %
L'équipe d'évaluation a travaillé avec la Division CHIS1 de la Banque pour administrer l'enquête en ligne. L'enquête a été testée en collaboration avec le personnel de la Banque et les OSC en anglais, en français et en portugais (enquête OSC uniquement). Le retour d'information de l’essai pilote a été utilisé pour affiner et achever la mise au point de l'enquête. La participation à l'enquête était volontaire et confidentielle. Au total, 219 personnes qui ont été invitées à participer, 54 ont répondu, soit un taux de réponse de 25 %. Une série d'entretiens et de groupes de discussions a ensuite été organisée avec les personnes interrogées (OSC et personnel de la Banque) qui ont exprimé le souhait d'être contactées pour une discussion plus approfondie avec l'équipe d'évaluation.
Tableau 3.3 de l’annexe : Répartition des répondants de la Banque à l’enquête en ligne
Question Nombre de
répondants Taux de réponses Q2. Quel est votre genre ?
Masculin 122 60,1 %
Féminin 80 39,4 %
Non binaire 1 0,5 %
Total (n) 203 100 %
Q1. Où êtes-vous en poste ?
Abidjan (Siège) 101 49,8 %
Bureau régional/extérieur 102 50,3 %
Total (n) 203 100 %
Q5. Depuis combien d’années travaillez-vous à la Banque ?
Moins d’un an 26 12,8 %
1-3 ans 62 30,5 %
4-6 ans 21 10,3 %
7-9 ans 28 13,8 %
10+ ans 66 32,5 %
Total (n) 203 100 %
Q3. Quel est votre grade à la Banque ?
Consultant 31 15,3 %
38
Question Nombre de
répondants Taux de réponses
EL 8 3,9 %
GS 14 6,9 %
LP 24 11,8 %
PL 122 60,1 %
STS/prestataire de services 3 1,5 %
Pas de réponse 1 0,5 %
Total des répondants
individuels 203 100 %
Tableau 3.4 de l’annexe : Répartition des répondants issus de la société civile
Question Nombre de
répondants
Taux de réponses Question 4. Quel est votre poste/fonction dans l’organisation
Président ou membre du Conseil d’administration/organe élu 132 40, 1%
Directeur administratif/coordonnateur/ assistant 78 23,7 %
Poste ayant trait à la société civile/l’inclusion/ au plaidoyer 27 8,2 %
Stagiaire/Volontaire 6 1,8 %
Directeur/Chargé de programme 43 13,2 %
Coordonnateur/Personnel chargé de la collecte de fonds/mobilisation des ressources
10 3,0 %
Autres (préciser) 33 10,0 %
Question 3. Quel est le plus haut niveau d'études que vous avez atteint ?
École secondaire/lycée 9 3,0 %
École post-secondaire/ professionnelle (non-université, grande école)
26 9,0 %
Baccalauréat/Université/Licence/Grande école 84 29,0 %
Troisième cycle/PhD/Master/Doctorat 171 59,0 %
Total des répondants individuels 290 100 %
Tableau 3.5 de l’annexe : Antécédents des participants des OSC à l’enquête en ligne
Question Nombre de
répondants
Taux de réponses Question 7 Quelle est/Quels sont la fonction principale/les principaux rôles de votre organisation ?
Prestation de services/mise en œuvre 135 19,1 %
Renforcement des capacités/formation 235 33,2 %
Plaidoyer/veille 172 24,3 %
Recherche/groupe de réflexion 53 7,5 %
Recherche/groupe de réflexion/évaluation 55 7,8 %
Financement/dons 12 1,7 %
Assistance juridique à des individus/organisations 30 4,2 %
Autres (Veuillez préciser) 16 2,3 %
Total (n) 290 100 %
Depuis combien d'années existe votre organisation ?
0-4 ans 45 15,5 %
5-9 ans 73 25,2 %
10-19 ans 99 34,1 %
20 ans ou plus 73 25,2 %
Total (n) 290 100 %
Question 5. À quel niveau opère votre organisation ?
Communauté/village 35 12,1 %
District/Province 27 9,3 %
Échelle nationale 155 53,5 %
Panafricain (plus d’un pays en Afrique) 33 11,4 %
Échelle régionale 17 5,9 %
International 23 7,9 %
Total (n) 290 100 %
39
Tableau 3.6 de l’annexe : Répartition des répondants de la Banque et des OSC à l’enquête en ligne
Question
Enquête auprès des OSC : Enquête auprès du personnel de la Banque
Nombre de répondants
Taux de réponses
Nombre de répondants
Taux de réponses Quel est votre genre ?
Masculin 205 70,7 % 122 60,1 %
Féminin 83 28,6 % 80 39,41 %
Non binaire 2 0,7 % 1 0,49 %
Total (n) 290 100 % 203 100 %
Dans quel pays êtes-vous ?
Algérie 1 0,3 % 1 0,5 %
Angola 6 2,1 % 1 0,5 %
Bénin 2 0,7 % - -
Botswana 2 0,7 % - -
Burkina Faso 5 1,7 % 1 0,5 %
Burundi 1 0,3 % 3 1,5 %
Cameroun 8 2,8 % - -
Cabo Verde 6 2,1 % - -
Tchad 4 1,4 % 3 1,5 %
Congo 1 0,3 % - -
Côte d’Ivoire 96 33,1 % 101 49,8 %
République démocratique du Congo
7 2,4 % 2 1,0 %
Égypte 1 0,3 % 2 1,0 %
Éthiopie 1 0,3 % 11 5,4 %
Gambie 3 1,0 % - -
Ghana 8 2,8 % 2 1,0 %
Guinée 1 0,3 % 1 0,5 %
Guinée-Bissau 1 0,3 % 1 0,5 %
Kenya 23 7,9 % 20 9,9 %
Lesotho 3 1,0 % - -
Liberia 6 2,1 % 1 0,5 %
Madagascar 12 4,1 % 3 1,5 %
Malawi 8 2,8 % 2 1,0 %
Mali 2 0,7 % 1 0,5 %
Mauritanie 2 0,7 % - -
Maroc 5 1,7 % 1 0,5 %
Mozambique - - 8 3,9 %
Niger 7 2,4 % 1 0,5 %
Nigeria 21 7,2 % 7 3,5 %
Rwanda 2 0,7 % 3 1,5 %
Sénégal 7 2,4 % 2 1,0 %
Sierra Leone 2 0,7 % 5 2,5 %
Somalie 1 0,3 % - -
Afrique du Sud 2 0,7 % 5 2,5 %
Soudan du Sud 2 0,7 % - -
Tanzanie 4 1,4 % 3 1,5 %
Togo 6 2,1 % - -
Tunisie 8 2,8 % 8 3,9 %
Ouganda 2 0,7 % 2 1,0 %
Zambie 3 1,0 % 2 1,0 %
Zimbabwe 4 1,4 % - -
[Autres] 4 1,4 % - -
Total des répondants individuels
290 100 % 203 100 %
Trois visites sur le terrain (études de cas par pays) :
Initialement, cinq visites sur le terrain avaient été retenues dans le cadre de l'approche fondée sur les études de cas, mais seules trois ont finalement été effectuées en raison des restrictions de voyage liées à la pandémie de COVID-19. En fin de compte, trois des cinq rapports d'étude de cas pays prévus ont été rédigés. Les études de cas visaient à obtenir des informations approfondies sur les expériences
40
en matière d'ESC au niveau des pays et des projets. En outre, les visites sur le terrain devaient donner aux évaluateurs une meilleure idée du contexte dans lequel les projets étaient mis en œuvre, renforçant ainsi leur capacité à évaluer avec précision les possibilités et les défis liés à l'engagement auprès des organisations de la société civile (nationales et internationales) opérant dans le pays. Les pays ont été sélectionnés sur la base des critères suivants : i) couverture régionale, ii) présence d'un Chargé de la Société Civile, et iii) la présence de bureaux régionaux/siège. Les trois missions sur le terrain : en Côte d'Ivoire et au Tchad (novembre 2019) et au Kenya (mars 2020) ont ciblé un large éventail de parties prenantes internes et externes.
Entretiens avec des informateurs clés et discussions de groupes :
Les entretiens avec des informateurs clés et les discussions de groupes ont éclairé la conception de l'évaluation et ont été réalisés dans le cadre de la collecte de données afin de mieux comprendre : les perspectives quant à la pertinence et à la cohérence des approches de la Banque en matière d’engagement avec la société civile ; les éléments facilitateurs et les obstacles dans la mise en œuvre à ce jour et les processus associés (efficience et efficacité) ; et d'identifier la durabilité et les perceptions des effets catalyseurs de l’engagement avec la société civile. Les entretiens avec des informateurs clés et les discussions de groupes ont été réalisées à l'aide d'un guide d'entretien semi-structuré, dont l’élaboration a fait fond sur le cadre d'évaluation. Les informateurs clés ont été sélectionnés en fonction des besoins d'information de l'évaluation après analyse des données secondaires, en appliquant la méthode de la boule de neige, et en tenant compte de leur propre désir d'être interrogés après avoir répondu à l'enquête en ligne. Le tableau suivant présente une ventilation des répondants à la collecte de données qualitatives.
Tableau 3.7 de l’annexe : Répartition des répondants aux entretiens avec les informateurs clés et groupes de discussion
Mode de collecte des données Nombre Pourcentage
Discussion de groupe 145 64 %
Entretiens avec des informateurs clés 80 36 %
Total 225 100 %
Catégories des répondants Nombre Pourcentage
Personnel de la Banque 59 26 %
Consultants 3 1 %
Comité Banque-OSC 16 7 %
Représentants des OSC au sein du Comité des OSC 12 5 %
Représentant d’OSC 106 47 %
Gouvernement 13 6 %
OIG 3 1 %
Non spécifié 1 0 %
Personnel des autres BMD 5 2 %
VOPE 7 3 %
Total 225 100 %
Analyse comparative et synthèse des données d'évaluation provenant des institutions de référence
La synthèse des éléments probants repose sur l'examen de documents sélectionnés qui sont analysés selon une procédure systématique d'examen des documents imprimés et électroniques (sur support informatique et transmis par Internet) (Bowen, 2009). Comme d'autres méthodes d'analyse dans la recherche qualitative, l'analyse de documents exige que les données soient examinées et interprétées afin d'en tirer un sens, de les comprendre et de développer des connaissances empiriques (Corbin &
Strauss, 2008 ; voir également Rapley, 2007, cité dans Bowen, 2009). La procédure analytique consiste
Strauss, 2008 ; voir également Rapley, 2007, cité dans Bowen, 2009). La procédure analytique consiste