3.1 Approche méthodologique
Dans l'ensemble, la conception et la méthodologie décrites dans le rapport de démarrage de l'évaluation ont été mises en œuvre comme prévu, sur la base d'une triangulation cohérente des preuves provenant de multiples sources de données.
Cadre d'évaluation : Modèle logique du CMR et Théorie du changement. Le cadre utilisé dans cette évaluation reflète la compréhension qu'a l'équipe d'évaluation de la manière dont le CMR est lié aux résultats de développement (figure 1), et a été élaboré sur la base de la Théorie du changement (TdC) actuelle du CMR de la Banque et des constatations issues de la documentation. Elle a été adaptée de la Direction du développement et de la coopération (DDC)13 de la Suisse.
La Théorie du changement souligne le fait que, premièrement, le cadre lie les intrants, les activités (c'est-à-dire les politiques, les processus et les instruments) et les extrants du système du CMR à un accroissement de la capacité et de la performance institutionnelles, qui à son tour est censée entraîner une augmentation des résultats directs, qui sont appelés « objectifs du système CMR » (tableau 2). Le système du CMR est censé garantir que la Direction s'améliore dans sa tâche de gestion. Cela renvoie à la « prise de décision » en tant que partie des résultats directs de la TdC ; qui à son tour contribue à la réalisation des effets intermédiaires liés aux High 5, et finalement aboutit à des contributions accrues à la croissance inclusive et à la croissance verte. Cette réalisation de la chaîne de résultats dépend des synergies et des arbitrages, des hypothèses, des facteurs contextuels et des hypothèses d'impact du CMR. Il s'agit notamment des faits suivants : i) le CMR devrait être construit avec l'implication et la participation des parties prenantes ; ii) les signaux de leadership sur la valeur de l'auto-évaluation peuvent être renforcés en faisant un meilleur usage institutionnel des connaissances générées ; iii) un lien étroit du CMR avec les fonctions statistiques et d'évaluation de l'organisation est primordial, dont la qualité des données est une composante cruciale, et iv) le besoin de flexibilité et de procédures pour intégrer des ajustements rapides en cas de circonstances spéciales et imprévisibles
.
12 https://www.publishwhatyoufund.org/the-index/2020/afdb-sovereign-portfolio/#
13 https://www.researchgate.net/publication/326781940_Independent_Evaluation_of_SDC's_Results-Based_Management_System_with_a_Focus_on_Poverty_Reduction
Figure 1 : Liens en matière de développement (Modèle logique)
Source : Équipe de l’évaluation – Adapté de l’évaluation indépendante du système de gestion axée sur les résultats de la DDC, avec un accent particulier sur la réduction de la pauvreté, 2017
Objectif du Cadre de résultats. Pour comprendre le rôle que joue le CMR de la Banque, il est primordial de souligner l'importance de la gestion par rapport à l’établissement des rapports. En d'autres termes, le suivi des progrès par rapport au CMR vise à renforcer le cycle de planification, à encourager le suivi périodique des performances et à favoriser l'apprentissage organisationnel. Le tableau 2 donne un aperçu de l'objectif du CMR de la BAD.
Tableau 2 : Vue d’ensemble des objectifs du CMR de la Banque
Objectif du CMR Gestion axée sur les résultats Responsabilité des résultats Prise de décision améliorée Apprentissage de la
Direction les décisions stratégiques et opérationnelles concernant les projets, les programmes et les politiques, la budgétisation, la gestion et l'évaluation des performances du personnel de la
La responsabilité de la part des partenaires de développement et envers ceux-ci désigne toutes les formes de communication sur les informations relatives à la gestion et aux résultats entre la BAD et ses partenaires de développement (gouvernements des pays en développement, partenaires de mise en œuvre, autres donateurs et, en dernier
La communication initiée par la Banque avec les partenaires est censée garantir la légitimité, le soutien, l'harmonisation et la reconnaissance internationale des interventions de la BAD dans les pays en développement. La communication initiée par les partenaires avec la BAD répond aux besoins d'information de la BAD pour d'autres objectifs du CMR.
Source : Adapté de l’évaluation indépendante du système de gestion axée sur les résultats de la DDC, avec un accent particulier sur la réduction de la pauvreté, 2017
Principaux produits du CMR
Revues sur l’efficacité du développement, Résumé du tableau de performance, MapAfrica, Système d’établissement de rapports sur les résultats, Tableau de bord exécutif et Revue du portefeuille
Report..
Capacité institutionnelle et performance accrues
Intrants et activités du CMR (politiques, processus et instruments) Responsabilité/ Communication
Contribution accrue à la croissance inclusive et verte
Résultats de
Questions d'évaluation. Sur la base de ce cadre, l'évaluation s’articule autour de trois questions et dix sous-questions. Les questions d'évaluation portent sur la pertinence, l'efficacité et l'efficience.
La première question d'évaluation est la suivante : « Dans quelle mesure la conception du CMR est-elle robuste pour soutenir l'efficacité du développement de la Banque ? ». Cette question porte sur la pertinence/robustesse de la conception du CMR de la Banque et se subdivise en trois sous-questions :
1. Dans quelle mesure le CMR est-il aligné sur la Stratégie décennale pour la période 2013-2022, les High 5, et les autres politiques et stratégies de la Banque ?
2. Dans quelle mesure la conception du CMR est-elle pertinente/robuste (englobe une chaîne de résultats logique/une TdC bien conçue et une matrice de résultats bien articulée avec une base de référence, des cibles, des hypothèses/risques ; et une approche appropriée de la mesure des résultats, du suivi des résultats, de communication des résultats et du système d’établissement des rapports, y compris le système des technologies de l’information, etc.) 3. Dans quelle mesure le CMR de l'institution s'inscrit-il dans les cadres de résultats de la
Banque au niveau des pays, des secteurs et des projets ?
La deuxième question d'évaluation est la suivante : « Dans quelle mesure le CMR a-t-il atteint ses objectifs stratégiques, à savoir être un outil de redevabilité, de prise de décisions et d'apprentissage pour la Banque ? ». Cette question porte sur l'efficacité du CMR de la Banque. La question se subdivise en trois sous-questions :
1. Dans quelle mesure le CMR est-il utilisé pour un meilleur suivi des résultats de développement et servir de gestion pour la mise en œuvre du Modèle de développement et de prestation de services (MDPS) ?
2. Dans quelle mesure le CMR a-t-il influencé la prise de décision et l'apprentissage des parties prenantes concernées du fait de son utilisation ?
3. Quelles incitations ou quels obstacles contribuent-ils à l'utilisation ou à la non-utilisation du CMR ?
La troisième question d'évaluation est la suivante : « Dans quelle mesure et comment le CMR a-t-il été optimal dans la réalisation de ses objectifs ? ». Cette question porte sur l'efficience du CMR de la Banque. La question est subdivisée en quatre sous-questions :
1. Dans quelle mesure les indicateurs de performance et les informations du CMR sont-ils crédibles, fiables, précis et valides, et sont-ils raisonnablement faciles à collecter en temps voulu ?
2. Dans quelle mesure les ressources, les rôles et les responsabilités assignés à la mise en œuvre du CMR sont-ils appropriés ?
3. Dans quelle mesure le CMR est-il capable de suivre la contribution du secteur privé au développement ?
4. Dans quelle mesure le CMR a-t-un un bon rapport coût/efficacité ?14
Approche d'évaluation. L'approche utilisée dans le cadre de cette évaluation est non expérimentale et a un caractère participatif, bien que pilotée et facilitée par l'Évaluation indépendante du développement. Des efforts ont été déployés pour s'assurer que des groupes représentatifs de parties prenantes soient directement impliqués dans la conception de l'évaluation, la mise en œuvre et l’établissement du rapport. Cette approche participative est soutenue par l'éventail des méthodes de
14 L'accent est mis ici sur la manière dont le coût du CMR peut être réduit, en préservant la qualité des données, tout en augmentant l'efficacité de la collecte des données.
collecte de données choisies.
L'approche de l'évaluation est également axée sur l'utilisation en ce sens qu'elle indique clairement dès le départ à qui s’adresse l’évaluation, et comment elle sera diffusée et utilisée. En particulier, elle servira de base à la revue en cours du CMR par SNDR. Étant donné la nature formative de l'évaluation, il était important pour l'équipe du projet d'examiner si l'approche du CMR répond aux attentes d'efficacité et d'efficience qui faisaient partie de sa raison d'être initiale. Les constatations, conclusions et recommandations de l'évaluation devraient aider à guider la Banque et ses pays membres au moment où ils continuent, ensemble, à conceptualiser, à expérimenter, à adopter et à adapter le CMR.
Méthodes de recherche. Pour l'évaluation à mi-parcours en général, l’approche a utilisé des méthodes mixtes, c'est-à-dire une combinaison des méthodes largement qualitatives complétées par approche quantitative. L'évaluation s'appuie sur une quantité substantielle d'informations pertinentes produites par BDEV à partir de différentes évaluations (systèmes et processus d'auto-évaluation, évaluation du MDPS, évaluation de l'assurance qualité à travers le cycle de projet, etc.)15 et d'autres examens internes et externes (tels que le système commun d'évaluation des performances, ou les rapports COMPAS et les réponses connexes de la Direction de la BAD, les cadres de résultats et les tableaux de la performance de l’institution, les examens de l'aide multilatérale du ministère britannique pour le développement international [DfID], et l'expérience de certaines BMD et organisations bilatérales, etc.).
3.2 Sources de collecte des données, éléments de preuves et matrice d’évaluation
La collecte et l'analyse des données pour l'évaluation ont été partiellement basées sur des études documentaires en raison de la situation de la pandémie de COVID-19. Pour s'assurer que les constatations, les conclusions et les recommandations reposent sur un éventail représentatif des points de vue des parties prenantes, des consultations ont été menées en ligne à l'aide de guides d'entretien.
Les entretiens qualitatifs ont été complétés par une enquête d'évaluation auprès du personnel de la Banque, au siège et dans les bureaux régionaux et nationaux. L'évaluation a utilisé les instruments d'évaluation suivants :
1.) Examen des documents/rapports et bases de données pertinents, couvrant les directives sur le CMR, les documents de politique et de stratégie, ainsi que les documents de recherche sur le CMR, les rapports d'évaluation et d'autres revues internes et externes, comme mentionné ci-dessus ;
2.) Entretiens et discussions de fond avec les principales parties prenantes au sein et en dehors de la Banque ;
3.) Des entretiens semi-structurés avec le personnel de la Banque et d'autres parties prenantes.
Éléments de preuve de l'évaluation. La nature complexe et multidimensionnelle de cette évaluation exige que nous appliquions une stratégie à plusieurs méthodes, impliquant l'utilisation de plus d'une source de données probants pour trianguler les sources d'information et les perspectives, ainsi que l'utilisation de données quantitatives et qualitatives pour assurer une compréhension complète, solide et fondée sur des preuves de la pertinence, de l'efficacité et de l'efficience du CMR. Les principales sources de corroboration utilisées par l'évaluation comprennent : i) une évaluation de la qualité de la conception du CMR 2016-2025 de la Banque ; ii) une analyse comparative avec des organisations similaires ; iii) une évaluation de la qualité des données communiquées, et iv) un audit du suivi et de la communication des résultats de la Banque. Les éléments de preuve sont détaillés à l'annexe 2 des annexes techniques du présent rapport.
Matrice d'évaluation. Les critères de jugement et les sources de données pour répondre aux questions d'évaluation sont présentés dans une matrice d'évaluation complète (voir l'annexe 1 des annexes techniques de ce rapport) qui a établi un cadre cohérent pour trianguler les différentes sources de données recueillies dans cette évaluation.
15 L’évaluation indépendante du développement: http://idev.afdb.org/
3.3 Stratégie d’échantillonnage
L'équipe d'évaluation, en consultation avec SNDR, a élaboré une stratégie d'échantillonnage pour : i) la sélection des structures où réaliser les entretiens ; ii) les indicateurs de la qualité de la conception du CMR 2016-2025 de la Banque ; iii) les pays et les données connexes communiquées pour l'évaluation de la qualité, et iv) la sélection d'institutions de comparaison pour l'analyse comparative.
La stratégie d'échantillonnage est présentée de façon détaillée à l'annexe 2 des annexes techniques du présent rapport.
3.4 Limites
Tout comme pour toutes les évaluations, un certain nombre de limites ont été rencontrées lors de l'évaluation à mi-parcours du CMR. Les principales sont résumées ci-dessous.
•
Compte tenu de la portée du CMR et des multiples liens avec l’utilisation des documents de haut niveau, cet exercice a été mis en œuvre aussi efficacement que possible dans un délai très court. Cela a conduit l'équipe à adopter une approche flexible qui met continuellement à jour le pool de ressources d'informations pertinentes. Par conséquent, l'examen des documents obtenus en janvier et en février 2021 a été rapide et une étude et une réflexion plus approfondies des sources plus récentes s’imposaient. Celles-ci comprennent les nouveaux cadres de résultats institutionnels d'autres BMD (la Banque Mondiale, la BID et la BAsD, en particulier), leurs lignes directrices, et les récentes propositions internes de la BAD sur la sélectivité, entre autres. Cette démarche a été essentielle, car elle a fourni des informations plus récentes, même si cela a contribué à des retards dans la livraison des principaux produits d'évaluation, principalement le rapport d'analyse comparative.•
En ce qui concerne l'évaluation de la qualité des données (DQA) de la RAED, elle n'a pas permis de valider l'exactitude et la véracité des valeurs réelles/actuelles des indicateurs de résultats rapportées dans les RAP et les RSE. En outre, la difficulté d'évaluer la qualité des données rapportées dans les RAP et les RSE était due à l'insuffisance des sources de données connexes et de la méthodologie utilisée pour calculer les résultats. Pour atténuer ces lacunes, l'évaluation a utilisé une approche de triangulation en ayant recours à d'autres auto-évaluations et auto-évaluations indépendantes réalisées par la Banque. En outre, la décision de se concentrer sur 10 indicateurs de Niveau 2 signifie que les résultats de l'évaluation ne peuvent pas être généralisés pour les 30 indicateurs de Niveau 2. Cependant, en raison de la nature à moyen terme de l'évaluation du CMR, de la taille relativement importante (33 pour cent) des indicateurs, les résultats fournissent des indications utiles pour renforcer les processus et les stratégies globales de gestion des données déclarés dans les RAED.•
Les contraintes de temps ont également limité le temps disponible pour mener l'enquête en interne. En conséquence, un échantillon de petite taille (62 sur 573 personnes ciblées) a été réalisé en raison du faible taux de réponse (11 pour cent) du personnel de la Banque ciblé.Cependant, l'incorporation de questions ouvertes a permis d'obtenir des descriptions utiles pour compléter les données brutes. Qui plus est, la stratégie de déploiement de la recherche adoptée - à savoir, mener d'abord l'enquête en ligne, avant d'effectuer les entretiens avec les informateurs clés - a permis de mettre l’accent sur certaines des questions posées dans l'enquête en ligne dans les entretiens, atténuant ainsi le faible taux de réponse à l'enquête.
•
Enfin et surtout, les questions de sous-évaluation relevant de la dimension de l'efficacité -« Dans quelle mesure les ressources, les rôles et les responsabilités assignés à la mise en œuvre du CMR sont-ils appropriés ? » - n'ont pas été traités de manière approfondie. Ceci est dû au fait que l'équipe d'évaluation n'a pas pu trouver de documentation adéquate décrivant les rôles et les responsabilités des principales parties prenantes affectées à la mise en œuvre de la CRM.