Évaluation à mi-parcours du Cadre de mesure des résultats de la Banque, 2016–2025
Rapport de synthèse
Aout 2021
REMERCIEMENTS
Chef de projet Joseph Mouanda, Chargé d’évaluation en chef Membre de l’équipe Clement Mensah, Consultant, Analyste d’évaluation
Consultant Hussein Amery, Conseiller supérieur, GAR et mesure des performances Pairs évaluateurs
internes
Andrew Ajuang Anguko (Conseiller en chef, Qualité & Méthodes, BDEV) ; Clement Banse (Chargé d’évaluation en chef, BDEV); Samson Kohovi Houetohossou (Chargé principal d’évaluation, BDEV) ; Akua A. Arthur- Kissi (Chargé principal d’évaluation, BDEV)
Pair évaluateur
externe Fredrik Korfker, Consultant, Financement du développement/Évaluateur Groupe de référence Amira Elmissiry (Chargé en chef de la responsabilité, SNDR) ; Alain Pierre
Mbonampeka (Chargé en chef de programme régional, RDGE) ; Damian Ihedioha (Chargé en chef, Agro-industrie, AHAI) ; El Hadj Bah (Chargé en chef, Économiste des politiques, PIVP) ; Helmi Hmaidi (Chargé principal de l’assurance qualité, SNOQ) ; Ihcen Naceur (Analyste des données du portefeuille, PEVP) ; Mamadou Diagne (Chargé en chef de programme régional, RDGN) ; Maimuna Nalubega (Chargé en chef du développement des ressources en eau, AHWS) ; Mary Wanyonyi (Statisticienne principale, ECVP ); Ojelade M. A. (Consultant – Programmes, RDGE) ; Stefan Muller (Coordinateur principal des programmes-pays, RDVP) ; Susan Mpande (Chargée supérieure des politiques, SNSP)
Gestion des connaissances et communication
Jacqueline Nyagahima, Chargée principale de la gestion des connaissances ; Najade Lindsay, Chargée de la gestion des
connaissances ; Dieter Gijsbrechts, Chargé principal de la gestion des connaissances.
Autres appuis fournis par
Myrtha Diop, Assistant administratif et au budget supérieur ; Henda Ayari, Assistant d’équipe ; Ruby Adzobu-Agyare, Secrétaire
Chef de division Rufael Fassil
Évaluateur général Karen Rot-Munstermann (Intérimaire)
SIGLES ET ABRÉVIATIONS
ADOA
Évaluation de l’additionnalité et des résultats en matière de
développement
MOPAN
Réseau d’évaluation de la performance des organisations multilatérales
BAD Groupe de la Banque africaine de
développement OCDE Organisation de coopération et de
développement économiques BAsD Banque asiatique de
développement ODD Objectif de développement durable
BDEV L’évaluation indépendante du
développement, BAD ONS Opération non souveraine
BMD Banque multilatérale de
développement OS Opération souveraine
CMR Cadre de mesure des résultats PMR Pays membre régional
CPF Cadre de partenariats avec les pays RAED Revue annuelle sur l’efficacité du développement
CPS Stratégie de partenariat avec les
pays RAP Rapport d’achèvement de projet
CRI Cadre des résultats institutionnels REP Rapport d’évaluation ex-ante de projet
DER Revue de l’efficacité sur le
développement RSE Rapport de supervision élargie
DQA Évaluation de la qualité des
données SD Stratégie décennale
DSIR Document de stratégie d’intégration
régionale SERS Système d’établissement de
rapports sur les résultats DSP Document de stratégie pays SESP Systèmes et processus d’auto-
évaluation FAD Fonds africain de développement SNDR
Département de la prestation de services, de la gestion de la performance, et des résultats, BAD GAR Gestion axée sur les résultats TdC Théorie du changement
KII Entretien avec les informateurs clés MDPS Modèle de développement et de
prestation de services
TABLE DES MATIÈRES
REMERCIEMENTS ... i
SIGLES ET ABRÉVIATIONS ... ii
RÉSUMÉ ANALYTIQUE ... v
1. INTRODUCTION ... 1
1.1. Introduction ... 1
1.2. Contexte ... 1
1.3. Expérience de la Banque en matière de CMR au fil du temps ... 2
2. CADRE DE MESURE DES RÉSULTATS DE LA BANQUE ... 4
2016–2025 ... 4
2.1 Le Cadre de mesure des résultats pour la période 2016–2025 ... 4
2.2 La Revue annuelle sur l’efficacité du développement (RAED) ... 6
2.3 Le Système d’établissement de rapports sur les résultats et MapAfrica ... 6
3. MÉTHODOLOGIE ... 7
3.1 Approche méthodologique ... 7
3.2 Sources de collecte des données, éléments de preuves et matrice d’évaluation ... 10
3.3 Stratégie d’échantillonnage ... 11
3.4 Limites ... 11
4. PRINCIPALES CONSTATATIONS ... 12
4.1 Pertinence ... 12
4.2 Efficacité ... 20
4.3 Efficience ... 28
5. CONCLUSIONS, ENSEIGNEMENTS TIRÉS ET ... 33
RECOMMANDATIONS ... 33
5.1 Conclusions ... 33
5.2 Enseignements tirés ... 34
5.3 Recommandations ... 34
Encadré
Encadré 1 : Le Système d’établissement de rapports sur les résultats de la BAD ... 32
Figures
Figure 1 : Liens en matière de développement (Modèle logique) ... 8 Figure 3 : Input-Output Modèle entrées-sorties – évaluation ex ante des emplois soutenus ... 25
Tableaux
Tableau 1 : Niveaux des cadres de résultats institutionnels des BMD choisies ... 5 Tableau 2 : Vue d’ensemble des objectifs du CMR de la BAD ... 8 Tableau 3 : Analyse de la qualité des chaînes de résultats ... 15
RÉSUMÉ ANALYTIQUE Contexte
L’Évaluation indépendante du développement (BDEV) du Groupe de la Banque africaine de développement (BAD ou « la Banque ») a lancé en mars 2020 une évaluation à mi-parcours du Cadre de mesure des résultats (CMR) de la Banque pour la période 2016–2025, dans le cadre de son programme de travail 2020.
Le CMR de la BAD pour la période 2016-2025 est conçu pour mesurer et renforcer l'impact sur le développement. Il vise à suivre les progrès accomplis vers le double objectif de la Banque, à savoir la croissance inclusive et la croissance verte, énoncés dans sa Stratégie décennale (SD) pour la transformation de l'Afrique (2013-2022). Le CMR utilise quatre niveaux pour suivre les performances de la Banque dans la réalisation de ses objectifs de développement. Le Niveau 1 suit les progrès accomplis par l’Afrique en matière de développement. Le Niveau 2 mesure les contributions de la Banque au développement dans toutes ses opérations. Le Niveau 3 évalue la qualité des opérations de la Banque, et le Niveau 4 évalue l'efficience de la Banque en tant qu'organisation.
Avec ce CMR, la Banque renforce son orientation stratégique sur cinq domaines prioritaires de développement, les « High 5 » : Éclairer et alimenter l'Afrique en énergie, Nourrir l'Afrique, Industrialiser l'Afrique, Intégrer l'Afrique et Améliorer la qualité de vie des populations africaines. La Banque a également introduit le Modèle de développement et de prestation de services (MDPS) pour accroître son efficacité et son efficience. Au total, le CMR identifie 14 objectifs pour la Banque qui résument la théorie du changement qui guide les actions de la Banque et sous-tend le CMR.
Dans le cadre du CMR 2016-2025, la Banque a décidé de prendre cinq actions majeures pour stimuler son impact sur le développement, qui sont décrites en détail dans le présent rapport : i) accroître l'accent stratégique de la Banque sur cinq des domaines prioritaires de la SD, les High 5 ; ii) soutenir la mise en œuvre d'un modèle de prestation plus efficace ; iii) mieux mesurer l'impact de la Banque sur le développement ; iv) améliorer la manière dont la Banque évalue la contribution du secteur privé au développement, et v) accroître
1 Le CMR du Groupe de la Banque a été conçu pour une période de dix ans (2016–2025), et l’évaluation a été entreprise au cours de la cinquième année du
l'attention portée par la Banque sur l'égalité des genres.
But et portée de l’évaluation
La présente évaluation à mi-parcours du CMR (2016-2025) vise à fournir des connaissances d'évaluation qui contribueront à une meilleure compréhension des progrès réalisés à ce jour en termes de mise en œuvre du CMR et aideront la Direction de la Banque à améliorer l'exécution du CMR pour le reste de la période jusqu'en 2025. Elle servira de base à la revue à mi-parcours du CMR que la Direction entend présenter au Conseil d'administration au quatrième trimestre de l’année 2021. L'évaluation porte sur la période allant de 2016 à 2020. Elle a évalué la pertinence, l'efficacité et l'efficience du CMR de la Banque, et fournit des éléments de preuves sur les forces et faiblesses du CMR, ainsi que des recommandations à l'intention de la Direction pour définir un plan d’action qui aidera par la suite la Banque à mettre en œuvre ses stratégies de manière plus efficace et efficiente.
L'évaluation a abordé les questions clés suivantes :
▪ Dans quelle mesure la conception du CMR est- elle robuste pour soutenir l'efficacité du développement de la Banque ?
▪ Dans quelle mesure le CMR a-t-il atteint ses objectifs stratégiques, à savoir, être un outil de redevabilité, de prise de décision et d'apprentissage pour la Banque ?
▪
Dans quelle mesure et comment le CMR a-t-il été optimal dans la réalisation de ses objectifs ?Méthodologie
Un cadre d'évaluation a été préparé pour cette évaluation. L'approche utilisée est non expérimentale et applique des méthodes mixtes, avec un aspect participatif. L'approche de l'évaluation est également axée sur l'utilisation, dans la mesure où l'on sait dès le départ à qui s'adresse l'évaluation et comment elle sera diffusée et utilisée. En particulier, elle servira de base à la revue en cours du CMR par le Département de la prestation de services, de la gestion de la performance, et des résultats de la Banque (SNDR). La nature formative1 de l'évaluation implique que l'équipe d'évaluation examine si l'approche du CMR répond aux attentes d'efficience
cycle afin de tirer des enseignements et de formuler des recommandations en vue d’améliorer la conception et la performance du CMR pendant le reste de la période.
et d'efficacité qui faisaient partie de sa raison d'être initiale.
Les méthodes d'évaluation appliquées sont principalement qualitatives, complétées par un examen des informations quantitatives rapportées dans le CMR. L'évaluation a bénéficié d'un nombre important de preuves d'évaluation pertinentes générées par BDEV, et d'autres revues internes et externes. L'évaluation s'est appuyée sur trois sources principales de données : i) l’étude comparative avec des organisations similaires ; ii) une évaluation de la qualité des données rapportées dans la Revue annuelle sur l'efficacité du développement (RAED), et iii) une évaluation de la qualité de la conception du CMR. La collecte et l'analyse des données aux fins de l'évaluation ont reposé en partie sur un examen des documents en raison de la situation de pandémie liée au COVID-19, et les entretiens avec les principales parties prenantes ont été réalisés en ligne. Les entretiens qualitatifs ont été complétés par une enquête d'évaluation auprès du personnel concerné de la Banque au siège et dans les bureaux régionaux et les bureaux pays. Le faible taux de réponse à l'enquête en ligne auprès du personnel et l'impossibilité de valider l'exactitude des valeurs des indicateurs de résultats réels indiqués dans les Rapports d'achèvement de projets (RAP) et les Rapports de supervision élargis (RSE) figurent au nombre des principales difficultés rencontrées. Cependant, l'utilisation de la triangulation a permis d'atténuer ces limites
. Constations
Pertinence : L'évaluation a permis de déterminer dans quelle mesure la conception du CMR 2016- 2025 de la Banque était suffisamment robuste pour soutenir l'efficacité du développement de la Banque.
Alignement du CMR sur la Stratégie décennale, les High 5, les autres politiques et stratégies de la Banque, et les ODD (niveau stratégique) : Le CMR 2016-2025 de la Banque a été jugé pertinent pour soutenir l'efficacité du développement de la BAD, du fait de son alignement stratégique tant sur les politiques et stratégies de la Banque que sur les objectifs internationaux. Le CMR est stratégiquement aligné sur la Stratégie décennale de la Banque (2013-2022) et les nouveaux développements, y compris l’agenda sur les High 5, les autres politiques et stratégies de la Banque, et les objectifs de développement durable (ODD). En plaçant les High 5 au centre des niveaux 1 et 2 du CMR, la Banque a fait un effort conscient pour réaliser deux choses : la première est de pousser vers les objectifs les plus élevés grâce à des indicateurs qui mesurent les progrès vers
l'obtention de résultats concernant le développement des infrastructures, l'intégration régionale, les compétences et la technologie, le développement du secteur privé et la gouvernance.
La seconde est de réaliser simultanément les ODD étant donné le niveau élevé de congruence entre ces objectifs et les High 5, à près de 90 %.
Toutefois, l'évaluation a révélé que des ajustements spécifiques s’avèrent nécessaires pour assurer l'alignement continu du CMR, en particulier compte tenu des initiatives actuellement en cours à plusieurs niveaux de la Banque, notamment la nouvelle stratégie de développement du secteur privé, les stratégies transversales telles que le genre, la croissance verte et la fragilité, et la proposition visant à accroître la sélectivité de la Banque, ainsi que les politiques et stratégies sectorielles et institutionnelles nouvelles ou actualisées qui ont des liens de causalité directs avec le CMR. Il est également conseillé à la Banque de réexaminer dans la théorie du changement du CMR, ses hypothèses et les risques identifiés, en particulier ceux liés : i) aux impacts de la pandémie de COVID-19 ; ii) à la criseclimatique, en particulier dans les États sujets à la sécheresse, aux inondations et aux défis liés à l’eau, et à la pénurie alimentaire qui en découle ; iii) à la fragilité et aux conflits, et iv) aux mesures incitatives nécessaires pour la participation du secteur privé et l’établissement de rapports sur les opérations non souveraines (ONS).
En outre, le cadre de mesure des résultats institutionnels, qui porte des noms différents selon les banques multilatérales de développement (BMD), est l'outil de plus haut niveau pour le suivi des performances et la réalisation des objectifs stratégiques de l'institution définis dans sa stratégie globale à long terme. Conformément aux conclusions de l'étude comparative de l'évaluation du CMR et aux bonnes pratiques émergentes en matière de gestion axée sur les résultats de développement, le cadre de mesure des résultats institutionnels devrait être aligné et le cycle d'activité synchronisé avec la stratégie institutionnelle à long terme afin d’assurer la pertinence et l'utilité continues du CMR en tant qu'outil de gestion des performances. Cependant, l'évaluation a souligné que, contrairement à d'autres BMD, le cycle opérationnel du CMR de la Banque (2016-2025) n'était pas synchronisé avec la stratégie institutionnelle à long terme de la Banque (2013-2022). À cette fin, l'alignement et la synchronisation du cycle d'activité du CMR 2016- 2025 avec les priorités stratégiques de la Banque dans le cadre de la Stratégie décennale (2013- 2022) et de la prochaine stratégie institutionnelle de la Banque (2023-) sont d'une importance capitale pour garantir que le CMR de la Banque reste
pertinent et utile en tant qu'outil de redevabilité, de prise de décision et d'apprentissage pour la Banque.
Alignement du CMR sur les cadres de résultats de la Banque au niveau des pays, des secteurs et des projets (niveau opérationnel) : En théorie, les résultats devraient être alignés, ce qui sous-tend l'importance de la hiérarchie de la chaîne des résultats. En pratique, toutefois, l'évaluation a révélé que la force des liens de causalité entre les niveaux 1 et 2 du CMR pourrait être renforcée. Elle a également permis de constater que certains domaines pouvaient être améliorés en ce qui concerne la logique d'intervention et l'alignement entre les objectifs à long et moyen terme, les opérations de l'organisation (programmes/projets) et le dispositif institutionnel de la Banque (c'est-à- dire le CMR institutionnel et les cadres de résultats sectoriels). Cette situation peut être attribuée à un certain nombre de facteurs : premièrement, en raison de l'application inadéquate d'un ensemble normalisé de résultats et d'indicateurs de performance qui sont répercutés au niveau des secteurs et des projets. Deuxièmement, il se pose la question de savoir comment agréger des indicateurs de résultats disparates à différents niveaux du CMR afin de fournir une image holistique, mais ciblée des résultats au niveau de l'institution. Bien que l'alignement du cadre institutionnel de résultats et des cadres de résultats de la Banque au niveau des pays, des secteurs et des projets ait été difficile, les stratégies et initiatives plus récentes de la Banque montrent une amélioration dans ce domaine.
Robustesse de la conception du CMR : La qualité de la conception du CMR de la Banque est jugée bonne, en dépit de quelques faiblesses dans la sélection des indicateurs, la définition des cibles et la consultation des parties prenantes.
Conception : Il a été constaté que le CMR répondait largement aux caractéristiques d'un bon cadre de résultats institutionnels, puisqu'il comprend un modèle logique implicite et une matrice de résultats avec une base de référence, des cibles, des hypothèses/risques, ainsi que le suivi et la communication des résultats, et qu'il inclut des questions transversales. Par exemple, le CMR de la Banque a entrepris une analyse approfondie du continent et a hiérarchisé ses actions, traduisant la Stratégie de l’institution pour la période 2013- 2022 dans les High 5, avec des cibles correspondantes. En outre, la conception du CMR a tenu compte des questions transversales suivantes : i) changement climatique et croissance verte ; ii) égalité des genres et autonomisation des femmes ; iii) fragilité et résilience, et iv) gouvernance économique.
Sélection des indicateurs et la définition des cibles : En déterminant des cibles quantifiées et assorties de délais pour tous les indicateurs que la Banque suit, le niveau souhaité d'impact et de prestation de services a été établi. Toutefois, l'évaluation a révélé que le processus de sélection des indicateurs et des cibles du CMR 2016-2025 de la Banque n'a pas suffisamment pris en compte la nécessité de faire correspondre les aspirations aux ressources disponibles. Cela est inhérent aux limites associées aux stratégies sectorielles approuvées disponibles, car pendant sa phase de conception, le CMR a pris des cibles dans les stratégies nationales et sectorielles qui étaient aspirationnelles plutôt que réalisables. Cela dit, tous les indicateurs ne nécessitent pas de cibles ou ne se prêtent pas à l’assignation d’une cible. Il est conseillé à la Banque d'examiner l'utilité probable d'une cible proposée, qui l'utilisera et comment.
Lorsqu'il n'est pas approprié ou possible d’établir une cible numérique, les indicateurs du CMR pourraient utiliser davantage le type de cible
« suivi ». En outre, la détermination des cibles aux quatre niveaux du CMR doit être revue et ajustée pour faciliter le suivi des performances par rapport aux cibles institutionnelles de la Banque.
Consultation des parties prenantes : Un examen du processus de conception du CMR a révélé que, bien que des consultations internes aient eu lieu, une cartographie plus approfondie des parties prenantes et des consultations avec les pays membres régionaux (PMR) et les donateurs auraient enrichi le CMR. Les principales parties prenantes ont souvent un point de vue qu'il importe de prendre en compte afin d'améliorer la précision, la responsabilité et l'engagement partagé envers les objectifs. Lors de la conception du CMR, aucune cartographie des parties prenantes n'a été réalisée.
Efficacité : L’efficacité du CMR a été évaluée en examinant dans quelle mesure il a atteint ses objectifs stratégiques, à savoir être un outil de redevabilité, de prise de décision et d'apprentissage pour la Banque.
Le CMR 2016-2025 de la Banque s'est révélé être un outil efficace de redevabilité, et a amélioré la communication des performances de l'institution.
Toutefois, l'apprentissage et la prise de décisions ont, dans une certaine mesure, été relégués au second plan. L'accent mis par les systèmes de la BAD sur la redevabilité détermine la forme, la portée, le calendrier et le contenu des rapports, et limite l'utilité de l'exercice pour l'apprentissage et la prise de décisions. L'évaluation a révélé que le CMR contribue dans une certaine mesure à la prise de décisions, mais le lien de causalité est moins évident d'une manière qui suit un plan. Le CMR contribue à promouvoir l'apprentissage, mais pas
au point que les leçons soient utilisées dans les opérations futures. Les nombreuses références, dans les entretiens avec les informateurs clés (KII), à une « culture de l'approbation » et à un « accent sur la conformité » ancré dans la réalisation des rapports obligatoires indiquent une concentration sur des approches à court terme qui limitent l'attention portée à l'apprentissage. Les entretiens avec les informateurs clés confirment également l'opinion selon laquelle les rapports du CMR de la Banque sont principalement destinés à un public de parties prenantes externes, plutôt qu'au processus de gestion interne visant à améliorer les performances et à obtenir de meilleurs résultats.
Néanmoins, d'autres processus d’établissement de rapports (revue annuelle des performances du portefeuille, tableaux de bord) sont destinés à un public interne.
Facteurs favorisant ou entravant l'utilisation (ou la non-utilisation) du CMR : Entre autres, l'évaluation a mis en évidence les facteurs clés suivants qui favorisent ou entravent l'utilisation (ou la non-utilisation) du CMR :
i) L’accent stratégique mis par la Banque sur les High 5 et l'attention accrue portée aux facteurs de la performance opérationnelle permettent l'utilisation du CMR. La Banque est en train d’introduire de nouvelles méthodologies qui permettront de : i) mieux évaluer les impacts de ses opérations sur le développement ; ii) soutenir le CMR avec des incitations au niveau des départements - y compris des indicateurs clés de performance actualisés - qui sont mieux alignées sur ses priorités institutionnelles, et iii) renforcer les processus opérationnels pour accroître sa capacité à suivre et à rendre compte de son impact sur le développement, y compris une approche pour saisir et tirer parti de l'impact sur le développement de ses opérations dans le secteur privé. Il s'agit d'un aspect essentiel de la réalisation des High 5, qui a été identifié par les entretiens avec les informateurs clés et les enquêtes comme étant insuffisamment pris en compte par les approches et les outils actuels de suivi et d’établissement de rapports.
ii) La fréquence des rapports sur les indicateurs de Niveau 1 doit être claire et cohérente avec les paramètres de la source de données. L'objectif principal des indicateurs de Niveau 1 est de suivre les progrès en matière de développement des PMR. Les objectifs actuels du CMR de la BAD pour ces indicateurs sont basés sur des objectifs ambitieux à long terme liés à de multiples stratégies, guidés par les High 5. Il a été constaté au cours de l'évaluation qu’au Niveau 1, la BAD (à l’instar de toutes les BMD)
procède à un choix sélectif des éléments dont il faut rendre compte à partir des preuves disponibles, de façon à administrer la preuve de sa performance et de sa contribution au développement en Afrique aux plus hauts niveaux. En conséquence, depuis 2020, la Banque a cessé de rendre compte des cibles du Niveau 1. En outre, compte tenu de l'obligation de rendre compte des progrès réalisés sur les indicateurs de Niveau 1 du CMR annuellement, il est extrêmement difficile (et non rentable) de rendre compte des progrès à long terme réalisés chaque année. En revanche, il est plus efficace de les présenter une ou deux fois dans le cycle du CMR. Par exemple, la Banque interaméricaine de développement (BID) a publié des données agrégées sur ses réalisations et ses progrès dans sa Revue de l'efficacité sur le développement 2020 au titre du Cadre des résultats de l'institution pour la période 2017- 2020.
iii) Les indicateurs actuels du CMR couvrent principalement les résultats et les performances qui sont mesurables par des paramètres quantitatifs, et ne parviennent donc pas à rendre compte de l'intégralité de la contribution de la Banque au développement en Afrique, notamment les éléments
« immatériels » de l’appui de la Banque, tels que les opérations hors prêts. En témoignent l'utilisation d'indicateurs inadéquats ou la mesure insuffisante des résultats des opérations de la Banque autres que les prêts, notamment le dialogue sur les politiques, la gestion des connaissances et les études économiques et sectorielles. Il convient d'apprécier davantage l'importance des rapports qui rendent compte des progrès et du développement, ou des rapports sur les aspects qualitatifs des efforts et des investissements de la Banque. En outre, le CMR de la Banque peut être davantage amélioré par des rapports descriptifs complémentaires afin de garantir un rapport exhaustif sur le programme de travail et les réalisations de la Banque. La RAED 2020 a démontré des améliorations et des progrès notables dans ce domaine, et est par conséquent beaucoup plus informative.
iv) Les rapports sur les résultats institutionnels de la BAD peuvent être mieux complétés par des analyses et des rapports proactifs sur les cadres de résultats régionaux, des pays, sectoriels et sur les High 5, afin de renforcer l'efficacité de la gestion axée sur les résultats (GAR). Comme indiqué dans de multiples références, le système institutionnel existant est soutenu par des revues
thématiques et des revues de l'efficacité du développement par pays. Au cours de la période 2016-2019, la Banque a entrepris une revue thématique de l'agriculture et des revues pays de l'Éthiopie, de la Sierra Leone, du Cameroun, de la Tanzanie, de l'Égypte, du Mozambique, de la Guinée et du Maroc, les revues du Niger, de l'Ouganda et du Ghana étant en cours. Cependant, les thèmes et les pays à couvrir ne sont pas planifiés de manière stratégique, mais reposent plutôt sur la réponse aux demandes des pays. Des rapports plus systématiques et détaillés sur les résultats au niveau national / régional / sectoriel / des High 5 / thématique, en complément des rapports du CMR au niveau institutionnel, renforceraient la base de l'apprentissage et de la gestion axée sur les résultats.
v) Il reste difficile de mesurer l'impact de la BAD sur certains indicateurs tels que le soutien à la création d'emplois et aux corridors régionaux, et la Banque étudie une méthodologie appropriée pour mesurer cet impact. Par exemple, pour mesurer le soutien à la création d'emplois, la BAD a introduit une nouvelle méthodologie qui a été finalisée au début de 2020 et qui est basée sur les approbations de projets (ex ante) — une méthodologie différente des autres indicateurs du CMR. L'objectif est d'inclure des données sur les emplois directs, indirects, induits et à effet direct dans les prochaines RAED, avec des explications adéquates sur la méthodologie. En outre, dans la RAED 2020, la Banque a introduit à titre pilote l'utilisation de la cartographie d'impact à haute résolution pour évaluer l'impact des corridors régionaux.
vi) Évaluation de l'attribution des résultats de développement aux efforts de la Banque par rapport à la contribution des efforts de la Banque aux résultats de développement.
Par rapport aux autres BMD, l'approche de la Banque pour mesurer l'impact sur le développement des opérations cofinancées diffère, même s’il existe un certain degré d'harmonisation. Les discussions interactives et la collaboration entre les BMD ont contribué à la quasi-convergence de leurs cadres de résultats et/ou de leurs tableaux de bord au niveau institutionnel. Les niveaux ou paliers des BMD couvrent à la fois les résultats et les performances de développement, ajustés aux besoins de chaque BMD en fonction de son mandat et de ses circonstances opérationnelles. Néanmoins, la BAD est la seule BMD à avoir choisi de rendre compte exclusivement de sa propre contribution et des résultats qui peuvent lui être attribués, et non de la contribution globale du projet, qui inclut les
cofinanciers (les produits/extrants sont calculés au prorata du niveau de soutien financier de la Banque par rapport au coût total du projet). La raison pour laquelle la BAD a choisi de rendre compte exclusivement de sa propre contribution est principalement liée au fait que les interventions de la Banque sont de plus en plus cofinancées avec d'autres partenaires de développement et que rendre compte de la somme totale des produits/extrants pourrait ne pas refléter de manière adéquate les apports financiers de la Banque et entraîner un double comptage. Les produits/extrants sont donc calculées au prorata de la part de la Banque dans le coût total du projet. En d'autres termes, la BAD utilise une approche d'attribution alors que les institutions de comparaison telles que le Groupe de la Banque mondiale et la Banque asiatique de développement utilisent l'approche de contribution. Ce choix de la BAD n'est pas conforme au principe de la Déclaration de Paris sur la responsabilité mutuelle pour les résultats de développement et à la nature partenariale de ses principales stratégies High 5 (le Nouveau pacte pour l’énergie en Afrique et Nourrir l’Afrique). En calculant ses résultats au prorata, la Banque rend compte de beaucoup moins de résultats que les autres.
Efficience : L'évaluation a examiné l'efficience du CMR en évaluant dans quelle mesure et comment le CMR a été optimal pour atteindre ses objectifs.
Les principales conclusions de l'évaluation sont les suivantes :
i) Les données de Niveau 2 rapportées dans la RAED présentaient des lacunes qui étaient liées à la qualité des données d'auto-évaluation (RAP/RSE) utilisées, pour lesquelles les pratiques sur la détermination de l’origine de preuves sont inadéquates, ainsi qu'à la qualité de la gestion et de l'analyse des données. Les principaux problèmes concernaient le manque de procédures formelles et de fondements pour une forte culture axée sur les données à tous les niveaux (projet/pays/secteur), l'insuffisance des preuves dans les RAP/RSE et l'utilisation institutionnelle limitée des connaissances générées par l'auto-évaluation. En outre, l'évaluation de la qualité des données (DQA) entreprise dans le cadre de cette évaluation a observé que les données rapportées par la RAED ont été calculées en utilisant la méthode de la moyenne mobile sur trois ans pour les données de Niveau 2. L'utilisation d'une moyenne mobile lisse les tendances en éliminant les valeurs aberrantes, notamment celles dues à la saisonnalité ou aux cycles économiques. Les données déclarées dans les
RAED 2017-2020 calculées à l'aide d'une moyenne mobile sur trois ans diffèrent considérablement des valeurs des indicateurs calculées annuellement pour les mêmes années. Ce qui apparaît, c'est que les données annuelles ont tendance à être meilleures pour évaluer les résultats annuels, car elles peuvent être utilisées pour focaliser l'attention sur les domaines problématiques, tandis que les moyennes triennales peuvent être utiles pour identifier les tendances. Ainsi, étant donné que la RAED a le double objectif de redevabilité et de facilitation de la prise de décision par l'apprentissage, il est conseillé à la Banque d'examiner soigneusement l'approche méthodologique la plus appropriée pour chaque indicateur, en fonction de l'usage qui en sera fait.
ii) L’analyse de la qualité des données (DQA) a observé une attention substantielle accordée à la désagrégation des données, en particulier pour les femmes, le Fonds africain de développement (FAD), et les situations de transition. L'évaluation a constaté quelques problèmes de qualité des données sur les données ventilées par sexe.
Les RAED 2017-2020 fournissent un niveau de détail considérable pour les indicateurs sensibles au genre. Sur les 49 éléments de données sur les femmes bénéficiaires vérifiés par l'évaluation, il a été confirmé que neuf (soit 18 %) font l'objet d'un examen plus approfondi.
Sur ces neuf, sept sont des approximations (composition par sexe au niveau national ou autres méthodes) et deux sont des erreurs de saisie de données.
iii) Le nombre relativement élevé d'indicateurs du CMR entraîne des conséquences importantes sur le rapport coût-efficacité.
Alors que le nombre moyen d'indicateurs pour les cinq institutions comparées (y compris la BAD) est de 84, la BAD compte 21 indicateurs de plus. Pour la BAD, cela signifie plus d'efforts nécessaires en termes de temps et de coûts pour collecter, réunir, traiter et diffuser des données et des informations significatives. Il est donc nécessaire de rationaliser le pool actuel d'indicateurs pour atteindre un niveau garantissant un meilleur rapport coût/efficacité sans compromettre la qualité des données et du processus d’établissement de rapports. En effet, dans son CMR 2016-2025, la Banque a réduit le nombre de ses indicateurs, les ramenant à 105 actuellement, contre 111 dans le CMR précédent. Toutefois, du point de vue du rapport coût-efficacité, il serait utile d'envisager de réduire davantage le nombre actuel d'indicateurs.
iv) La Banque a identifié le Système d’établissement de rapports sur les résultats (SERS) comme un outil de rapport potentiellement efficace lié à des données de résultats de qualité, bien que sa mise en œuvre ait été retardée. L'amélioration du système d'information de la BAD devrait renforcer l'efficacité et l'efficience du SERS, à condition que la qualité des données de résultats saisies dans le système informatique soit garantie.
v) Enfin, la Banque aligne déjà les incitations institutionnelles sur ses priorités, bien que ce processus doive encore être accéléré.
Ceci est conforme aux attentes du CMR telles qu'indiquées dans son document de conception.
Enseignements tirés
Les principaux enseignements tirés de cette évaluation se déclinent comme suit :
▪ La robustesse et la crédibilité du système d'auto-évaluation de la Banque sont essentielles au suivi des indicateurs du CMR : La qualité des rapports sur les résultats du CMR de la Banque, notamment en ce qui concerne les indicateurs du Niveau 2, dépend de la robustesse et de la crédibilité du système d'auto-évaluation, qui par extension, comprend son système de rapports sur les résultats et les processus de génération de données de qualité sur les résultats.
▪ Un sentiment d'appropriation chez les principales parties prenantes est essentiel pour la mise en œuvre du CMR. Il est essentiel de garantir l'appropriation du CMR à tous les niveaux de l'organisation. Les indicateurs et les cibles du CMR doivent être sélectionnés et fixés sur la base d'une bonne compréhension des domaines importants à mesurer et du niveau de performance qui soit à la fois ambitieux et réalisable, en tenant compte de données de référence précises, le cas échéant. Il est donc important de continuer à faire appel aux spécialistes qui sont les plus susceptibles de disposer de ces connaissances et de ces données dès le début du processus de sélection des indicateurs et la définition des cibles. Cela permettra également de garantir une large appropriation par les personnes responsables de l’atteinte des objectifs ciblés.
Associer les départements et le personnel des opérations au processus de définition des cibles a été jugée par les principales parties prenantes interrogées comme étant particulièrement importante pour les résultats obtenus. Leur participation permettra de
convenir d'une cible ambitieuse, mais réalisable, de mettre en place un suivi efficace et de favoriser l'appropriation par le personnel.
▪ Il est essentiel de maintenir une certaine flexibilité. Le CMR devrait rester suffisamment souple pour incorporer d'autres indicateurs et se prêter à des affinements à l'avenir. Cela est particulièrement important pour les domaines où : i) il existe un contexte de développement changeant dans les PMR et les nouvelles stratégies émergentes de la Banque ; ii) des études d'auto-évaluation et d'évaluation indépendante sont prévues pour générer des enseignements pertinents pour définir les cibles, et iii) des indicateurs provisoires doivent être testés avant d'être formellement intégrés dans le CMR.
▪ Il importe d’établir un équilibre entre réalisme et ambition. Pour fonctionner comme un outil de gestion efficace, le CMR doit avoir des cibles qui sont ambitieuses, mais réalistes.
Les données historiques et les prévisions de la Direction, conjuguées aux évaluations par le personnel des performances attendues de la Banque, devraient guider la détermination du caractère réalisable des cibles. L'étendue du contrôle exercé par la Banque sur des domaines de performance spécifiques devrait également éclairer la définition des cibles.
Recommandations
BDEV formule les recommandations suivantes : 1. Améliorer la conception du CMR. Les domaines d’action prioritaires à prendre en compte comprennent :
▪ Mettre à jour la théorie du changement et les indicateurs connexes pour les aligner sur l'évolution du contexte de développement de l'Afrique et les nouvelles priorités de la Banque.
▪ Assurer la cohérence et la synchronisation du cycle d’activité entre le CMR 2016-2025, la Stratégie décennale (2013-2022) et la prochaine stratégie institutionnelle de la Banque (2023-). À l'instar d'autres banques multilatérales de développement, la Stratégie décennale et le CMR devraient constituer la pièce maîtresse de la mesure et de la communication des résultats, tant pour la redevabilité que pour l'apprentissage.
▪ Concilier les ambitions de la Banque avec ses ressources en révisant les cibles
définies à tous les niveaux du CMR pour faire en sorte qu’elles soient ambitieuses, mais réalistes.
2. Améliorer l’établissement des rapports sur les résultats de la Banque. Les domaines d'action prioritaires à prendre en compte sont les suivants :
▪ Améliorer l’établissement de rapports sur les effets et les impacts aux niveaux régional, national, sectoriel/des High 5 et thématiques afin de garantir une orientation axée davantage sur les résultats, avec un résumé des résultats au niveau national, et une clarté des responsabilités en matière d’établissement de rapports sur les résultats.
▪ Élaborer des outils et des lignes directives appropriés pour mesurer les résultats des opérations de la Banque autres que les prêts, telles que le dialogue sur les politiques, la gestion des connaissances et les études économiques et sectorielles.
3. Renforcer l'utilité du CMR pour une meilleure gestion axée sur les résultats et une prise de décision fondée sur des preuves. Les domaines d'action prioritaires à prendre en compte sont les suivants :
▪ Améliorer l'agrégation au niveau du CMR et rationaliser le nombre d'indicateurs clés au niveau des projets en mettant en œuvre des indicateurs standard clés et en aidant le personnel à les utiliser.
▪ Renforcer les capacités du personnel de la Banque et des chargés de projets en intensifiant la sensibilisation et la formation à la mesure des résultats, y compris le rôle du CMR.
▪ Réviser les orientations de la Banque sur les RAP et les RSE afin de clarifier pour les équipes le niveau des preuves justificatives qui doivent être incluses dans ces rapports, ainsi que le processus d'assurance qualité des données sur les résultats.
▪
Renforcer la collaboration entre BDEV et la Direction pour faire en sorte que des validations indépendantes des RAP et des RSE se fassent à temps pour informer le RAED.1. INTRODUCTION
1.1. Introduction
L’Évaluation indépendante du développement (BDEV) du Groupe de la Banque africaine de développement (BAD ou la « Banque ») a entrepris, en mars 2020, une évaluation à mi-parcours du Cadre de mesure des résultats (CMR) de la Banque pour la période 2016-2025, dans le cadre de son programme de travail 2020 approuvé le 5 février 2019. Ce document présente le rapport de synthèse de l'évaluation.
Cette évaluation à mi-parcours du CMR 2016-2025 vise à fournir des connaissances en matière d'évaluation qui contribueront à une meilleure compréhension des progrès réalisés à ce jour dans la mise en œuvre du CMR, et aideront la Direction de la Banque à améliorer l'exécution du CMR pour le reste de la période jusqu'en 2025. Elle servira de base à la revue à mi-parcours du CMR que la Direction entend présenter au Conseil d'administration au quatrième trimestre de l’année 2021. Elle évalue la pertinence, l'efficacité et l'efficience du CMR de la Banque, et fournit des éléments de preuves sur les forces et faiblesses du CMR, ainsi que des recommandations à la Direction pour définir un plan d'action qui aidera ensuite la Banque à mettre en œuvre ses stratégies de manière plus efficace et efficiente.
Au niveau de la gestion stratégique, les informations sur les résultats sont utilisées pour la redevabilité, pour éclairer la prise de décision et pour l'apprentissage. L'Organisation de coopération et de développement économiques (OCDE) a confirmé l'importance de cette orientation. Il est également important de mentionner que la profession d'évaluateur, depuis son origine dans les années 1980/1990, combine la redevabilité et l'apprentissage pour renforcer sa valeur ajoutée. Le sixième CMR de la Banque couvre la période 2016-2025 et vise à suivre les progrès accomplis vers les deux objectifs de la Banque, à savoir la croissance inclusive et la croissance verte, tels qu'ils sont définis dans la Stratégie décennale (SD) pour la transformation de l'Afrique (2013-2022). Il suit également les indicateurs de progrès stratégiques et les cibles tirés des stratégies de la Banque pour ses principales priorités (les
« High 5 ») d'ici 2025 et les progrès vers la réalisation des objectifs de développement durable (ODD) à l’horizon 2030. En ce sens, le CMR cherche à attribuer les investissements et les contributions de la Banque sur une base annuelle et cumulative sur un continuum temporel prolongé.
1.2. Contexte
L'accent mis sur l’établissement de rapports sur la performance dans le contexte du CMR est fondé sur les efforts déployés au cours des 15 dernières années pour améliorer l'information sur l'utilisation efficace des ressources de développement, en particulier sur les résultats produits par les investissements et la preuve de l'optimisation des ressources. La BAD a été parmi les premiers à adopter le CMR avec sa première initiative en 2003.
Au niveau des banques multilatérales de développement (BMD), les cadres de résultats ont émergé entre 2002 et 2014. Les premières BMD à adopter des cadres de résultats ont été l'Association internationale de développement (IDA, 2002), la Banque européenne pour la reconstruction et le développement (BERD, 2003) et la Banque africaine de développement (BAD, 2003). Le Fonds international de développement agricole (FIDA, 2007), la Banque asiatique de développement (BAsD, 2008), la Banque interaméricaine de développement (BID, 2010) et le Groupe de la Banque mondiale, qui comprend la Banque internationale pour la reconstruction et le développement et l'IDA (2011), ont ensuite mis en œuvre le cadre de résultats. Par la suite, le Groupe de la Banque mondiale (GBM), composé de la Société financière internationale (SFI), de l'Agence multilatérale de garantie des investissements (MIGA) et de la Banque mondiale, a lancé le premier tableau de bord à l'échelle de la banque (2014) pour suivre les résultats et les performances de ces trois organisations.
Cette première période de travail avec la Gestion axée sur les résultats (GAR) et les CMR correspondants a continuellement évolué et, au fil du temps, a démontré la nécessité d'améliorer l'alignement pour soutenir la collaboration et la mesure, et réduire la charge sur les pays bénéficiaires de l'aide. L'adoption des ODD en 2015 a stimulé l'élaboration de stratégies institutionnelles révisées et alignées parmi les BMD pour permettre de rendre compte des progrès accomplis dans la réalisation des objectifs, parallèlement au soutien apporté aux pays pour améliorer leurs capacités de suivi et évaluation. Dans le cadre de cet effort de rationalisation des cadres de résultats, les tableaux de bord
institutionnels ont été revus et les indicateurs de performance ajustés.2 Les efforts ultérieurs se sont concentrés sur l'harmonisation, l'amélioration de la qualité à l'entrée et à la sortie, et une capacité accrue à lier les investissements aux résultats, afin de fournir de meilleures preuves de la performance, de la prise de décision, de l'apprentissage, de la redevabilité et de la transparence. Cela a nécessité une réduction du nombre d'indicateurs, tout en recentrant les protocoles de rapport sur l'utilité accrue de l'information.
1.3. Expérience de la Banque en matière de CMR au fil du temps
La Banque vise à accélérer la transformation de l'Afrique d'ici 2025. En conséquence, elle s'est fixé des objectifs ambitieux dans ses cinq domaines prioritaires, les High 5, tels qu'ils sont décrits plus en détail dans la Stratégie décennale de la Banque. Pour aider la Banque à atteindre ses High 5, le CMR a été mis en place afin d'accroître son impact sur le développement, de suivre et d'améliorer les performances de la Banque au fil du temps, de communiquer les priorités de l'institution et de tirer les leçons de l'expérience pour guider et protéger les opérations futures. La Banque se considère comme une organisation axée sur l’apprentissage, responsable devant les personnes qu'elle sert. À ce titre, disposer d'un cadre efficace pour mesurer et suivre les résultats est essentiel pour identifier l'impact de ce travail et mesurer le changement (c'est-à-dire les résultats).
La Banque a introduit un Cadre de mesure des résultats (CMR) pour le Fonds africain de développement (FAD) lors de la revue à mi-parcours de la neuvième reconstitution des ressources du FAD en 2003, afin de « démontrer plus efficacement comment ses opérations augmentent la capacité productive de ses pays emprunteurs et réduisent la pauvreté ».3 Le cadre de résultats de l'institution a été adopté lors de l'approbation du Plan stratégique consolidé 2003-2007 de l'institution, produit fin 2002. Il a été amélioré pour être utilisé au cours de la période du FAD-10 (2005-2007). En 2005- 2007, le cadre a été affiné pour mieux être axé sur les priorités spécifiques et du FAD et converger vers une méthodologie commune aux BMD. Cette méthodologie comportait une approche à deux niveaux : elle mesurait l'efficacité du développement au niveau agrégé du pays et l'efficacité de l'aide au niveau institutionnel, à la fois en termes de contribution du FAD aux résultats du pays et en termes de performance institutionnelle.4 Cependant, selon le rapport 2010 du BDEV,5 le cadre adopté dans le Plan stratégique s'est concentré sur les produits/extrants et les processus plutôt que sur les impacts sur le développement et l'efficacité du développement et, par conséquent, n'a pas atteint l'objectif de faciliter les progrès vers la GAR.
Le rapport de base du FAD-11 (2008-2010) intitulé « Rapports sur les résultats du FAD-10 et Cadre de mesure des résultats du FAD-11 » a défini un programme à moyen terme sur la qualité et les résultats, axé sur des réformes institutionnelles dans cinq domaines : i) l'amélioration de la qualité à l'entrée des opérations et des stratégies ; ii) l'instauration d'une culture de supervision axée sur les résultats ; iii) le renforcement de l'apprentissage et de la redevabilité par l'évaluation ; iv) l'amélioration des systèmes de communication des données et des résultats, et v) l'accélération de la décentralisation et de l'harmonisation pour de meilleurs résultats sur le terrain.
Le CMR pour le FAD-12 (2011-2013) a consolidé et affiné le cadre du FAD-11 en introduisant deux caractéristiques importantes :
• Un cadre de mesure des résultats pour « une seule Banque ». Avant tout, dans le cadre du FAD-12, le CMR devait se concentrer de plus en plus sur le soutien de toutes les opérations et stratégies du Groupe de la Banque. Dans le cadre de ces efforts, la responsabilité du suivi de la mise en œuvre du CMR a été confiée au Chargé en chef des opérations. La Banque a également mis en place des systèmes et des initiatives susceptibles de mieux saisir les contributions au développement d'une série d'activités du Groupe de la Banque, notamment les opérations du secteur privé.
2 Asian Development Bank. Annual Development Assistance Report 2019, E-CRF-Scorecards-Experience- MDBs-Bilaterals.pdf
3 BAD. 2002. Rapport sur la neuvième reconstitution générale des ressources du Fonds africain de développement.
4 BAD. 2010. Atteindre les résultats de développement : La contribution du Fonds africain de développement.
5 IDEV. 2010. Évaluation finale de la qualité à l’entrée des opérations et stratégies du FAD 2005–2008 – Rapport de synthèse final (ADB/BD/WP/2010/36).
• Un cadre de mesure des résultats à quatre niveaux. La deuxième caractéristique du CMR du FAD-12 est qu'il a affiné le cadre du FAD-11 en examinant les progrès à quatre niveaux, et non plus trois 6: les résultats en matière de développement en Afrique (Niveau 1) ; les contributions de la Banque aux résultats en matière de développement (Niveau 2) ; l'efficacité opérationnelle de la Banque (Niveau 3) ; et l'efficience organisationnelle de la Banque (Niveau 4).
Les réformes au titre du FAD-12 sont les suivantes : i) poursuivre les efforts visant à renforcer la qualité à l'entrée des stratégies et des opérations ; ii) réviser les rapports de supervision pour se concentrer sur les progrès vers les résultats et faciliter la supervision sur le terrain ; iii) renforcer la capacité de la Banque à suivre ses contributions aux résultats de développement ; iv) tenir les engagements pris dans le cadre de la Déclaration de Paris et du Programme d'action d'Accra, et v) accélérer la décentralisation et l'amélioration des processus opérationnels.
Le CMR 2013-2016 de la Banque s’est, non seulement, appuyé sur les enseignements tirés de son expérience dans la mise en œuvre du CMR précédent, mais a également bénéficié des consultations d'autres institutions multilatérales de développement, notamment la Banque mondiale, la Banque asiatique de développement, la Banque interaméricaine de développement, le Fonds international de développement agricole et la Banque européenne pour la reconstruction et le développement. La Banque a constaté que les précédents CMR de ses guichets de financement distincts ne tenaient pas compte de toutes les transformations et étapes intermédiaires qui se produisaient dans le processus de traduction des apports du Groupe de la Banque en résultats pour les pays. Elle a donc effectivement introduit, depuis le CMR 2013-2016, le CMR « pour une seule Banque » couvrant les trois guichets de financement. L'architecture interne du CMR 2013-2016 a été remaniée pour correspondre aux priorités définies dans la Stratégie institutionnelle pour la période 2013-2022 de la Banque (figure 1). Elle a suivi une centaine d'indicateurs de performance organisés en quatre niveaux interconnectés : i) les progrès du développement en Afrique (Niveau 1) ; ii) la contribution de la BAD au développement en Afrique (Niveau 2) ; iii) la performance opérationnelle de la BAD (Niveau 3) ; et iv) l'efficacité organisationnelle de la BAD (Niveau 4). Aider la Banque à réaliser avec succès ses nouvelles ambitions était l'un des principaux objectifs du CMR 2013-2016. Pour ce faire, Il a accordé une attention accrue à six domaines critiques énoncés dans le document du CMR : i) l'orientation stratégique ; ii) une meilleure évaluation de l'impact de la Banque sur le développement ; iii) une plus grande attention accordée à l'égalité des genres ; iv) une meilleure utilisation des ressources ; v) des objectifs ambitieux qui renforcent les performances de la Banque, et vi) l'harmonisation des indicateurs entre les BMD.
Le CMR 2013-2016 a été défini comme étant avant tout un outil de gestion conçu pour améliorer l'efficacité de la Banque en matière de développement, en renforçant le cycle de planification, en suivant systématiquement les performances et en favorisant l'apprentissage organisationnel. Avec cet objectif en tête, la Banque a renforcé les outils, processus et systèmes qui sous-tendent le CMR, et s’est attachée à faire en sorte que les résultats éclairent les stratégies, les opérations et les incitations du personnel de la Banque. Au cours de cette période, la Banque a pris des mesures à quatre niveaux différents pour assurer la mise en œuvre : i) le suivi des résultats tout au long du cycle de vie du projet ; ii) le suivi des résultats en « temps réel » des opérations en cours par le biais du Système d’établissement de rapports sur les résultats (SERS), qui a fait l’objet d’un essai pilote en 2013. L'objectif du SERS était également de suivre les performances du portefeuille par secteur, région et pays, fournissant ainsi à la Direction des informations essentielles pour améliorer les performances du portefeuille (Niveau 3) ; iii) la cartographie du portefeuille des opérations en cours de la Banque grâce à un nouvel outil de géocodage – MapAfrica, et iv) l'évaluation de l'efficacité de la Banque en matière de développement par le biais d'une série de revues de l'efficacité sur le développement.
Pour atteindre ses objectifs de développement, la Banque doit être une organisation axée sur l’apprentissage qui s'engage à améliorer ses opérations en permanence, et une organisation qui tire les leçons de ses activités passées et en cours pour éclairer ses décisions opérationnelles et sa programmation. Avec le CMR 2013-2016 et les systèmes d'information de gestion qui le sous-tendent, la Banque s'attendait à être mieux équipée pour améliorer la vie et les moyens de subsistance des populations africaines.
Il importe d’indiquer qu'un document distinct, le Cadre de mesure des résultats pour une seule Banque (2013-2016), accompagné d’un glossaire des indicateurs, définit tous les indicateurs, en fournissant une
6 Progrès au niveau des résultats des pays, Contribution des opérations de la Banque, et efficacité et performance de la Banque.
justification détaillée du choix des indicateurs, une explication de la méthodologie et le mode de calcul de chaque indicateur.
2. CADRE DE MESURE DES RÉSULTATS DE LA BANQUE 2016–2025
2.1 Le Cadre de mesure des résultats pour la période 2016–2025
Le CMR 2016-2025 est conçu non seulement comme un outil de redevabilité, mais aussi un outil essentiel de gestion censé permettre à la Banque de mener à bien le processus d'apprentissage et de mieux assumer ses responsabilités envers les populations africaines. En mettant l’accent sur les High 5, la Banque a remanié les niveaux 1 et 2 du CMR 2016-2025 en focalisant particulièrement sur les principaux moteurs de la performance pour améliorer la réalisation des priorités de l'institution.
L'objectif fondamental du CMR 2016-2025 est d'améliorer l'efficacité de la Banque sur le développement, ce qui nécessite d'aider les gestionnaires à mieux gérer. Dans le cadre du CMR 2016- 2025, la Banque a décidé de prendre cinq actions majeures pour stimuler son impact sur le développement, à savoir : i) accroître la concentration stratégique de la Banque sur cinq des domaines prioritaires de la SD, à savoir les High 5 ; ii) soutenir la mise en œuvre d'un modèle de prestation plus efficace ; iii) mieux mesurer l'impact de la Banque sur le développement ; iv) améliorer la façon dont la Banque évalue la contribution du secteur privé au développement, et v) accroître l'attention portée par la Banque à l'égalité des genres.
Pour atteindre ces cinq objectifs, la Banque a décidé de prendre des mesures qui dépassent la portée immédiate d'un cadre de résultats, dont : i) réorganiser l'architecture du CMR pour augmenter l’orientation stratégique de la Banque sur les High 5 et accorder une plus grande attention aux facteurs de performance opérationnelle ; ii) introduire de nouvelles méthodologies qui permettront à la Banque de mieux mesurer l'impact de ses opérations sur le développement ; iii) appuyer le nouveau CMR par des incitations au niveau des départements – avec la mise à jour des indicateurs clés de performance – incitations mieux alignées sur les priorités institutionnelles de la Banque, et iv) renforcer les processus opérationnels pour accroître la capacité de la Banque à mesurer son impact sur le développement et en faire rapport, dont une nouvelle approche visant à saisir et optimiser l’impact de ses opérations du secteur privé sur le développement.
Structure du cadre des résultats. Toutes les banques multilatérales de développement (BMD) sont caractérisées par des cadres de résultats en cascade : les résultats de développement à long terme sont suivis au niveau institutionnel, et les résultats de développement énoncés dans les stratégies sectorielles et les programmes régionaux/sous-régionaux sont suivis au niveau des pays. De précédents aperçus comparatifs de la structure des cadres de résultats institutionnels et/ou des tableaux de bord de certaines BMD, réalisés par le Département d'évaluation indépendante (IED) de la BAsD, soulignent le fait que : « Si les cadres de résultats des BMD ont des utilisations et des niveaux de cadre communs, ils reflètent nécessairement les mandats et les dispositifs de gouvernance spécifiques des BMD. Dans le cas des BMD régionales, ils mettent également l'accent sur les priorités régionales et sous-régionales. Par conséquent, si les cadres de résultats de toutes les BMD suivent la réalisation des produits et des résultats, et contrôlent l'efficacité opérationnelle et organisationnelle à des degrés divers, ces informations doivent être interprétées dans un contexte spécifique7 à l'institution ». Ces cadres sont séparés par des niveaux, qui sont au nombre de trois ou quatre. Les données sur les produits et les effets sont générées par les rapports de conception, d'approbation et de suivi de la mise en œuvre et de l'achèvement au niveau des projets. Des discussions interactives entre les BMD ont contribué à la quasi-convergence de leurs cadres de résultats et/ou de leurs tableaux de bord au niveau institutionnel.
Deux BMD - la BAD et la BAsD - disposent d'un cadre à quatre niveaux qui couvre à la fois les résultats de développement et la performance des BMD, adapté aux besoins de chaque BMD en fonction de son mandat et de ses défis opérationnels (tableau 1). La BID, le FIDA et le GBM, en revanche, ont un cadre à trois niveaux, choisissant de combiner la performance opérationnelle et organisationnelle dans une seule catégorie de performance
.
87 2019 Revue annuelle d’évaluation, Document E lié.
8 2019 Revue annuelle d’évaluation, Document E lié.
Tableau 1 : Paliers ou niveaux dans les cadres de résultats institutionnels des BMD choisies
Paliers ou niveaux Banques
multinationales de développement
Contexte de développement
Résultats générés par les opérations des BMD
Gestion/
performance opérationnelle
Gestion/
performance organisationnelle
Performance (Efficacité opérationnelle et organisationnelle combinée) Banque africaine
de développement x x x x
Banque asiatique
de développement x x x x
Banque
européenne pour la reconstruction et le développement9
x x
Banque
interaméricaine de développement
x x x
Groupe de la
Banque mondiale x x x
Fonds international de développement agricole
x x x
Source : Banque asiatique de développement, Revue annuelle d’évaluation 2019, Lien du Document E.
Le CMR de la BAD a été conçu pour évaluer les réussites de la Banque en fonction des changements qu’elle apporte dans les vies des Africains, plutôt qu’en comptabilisant les sommes dépensées et le nombre de projets mis en œuvre. Toutefois, comme le reconnaît le cadre, il n’est pas facile de mesurer l'impact de la Banque sur le développement, en raison de la complexité de la dynamique du développement économique. Il est également difficile d'attribuer les résultats à une seule institution, car la Banque travaille souvent en parallèle avec d'autres institutions de développement multilatérales ou bilatérales dans les pays membres régionaux (PMR).
Pour faire face à ces défis, la Banque utilise un CMR à quatre niveaux ainsi que des priorités clés à chacun des quatre niveaux qui permettent de suivre les performances dans la réalisation de ses objectifs de développement, ainsi que des priorités transversales aux niveaux 1 et 2 :
• Niveau 1 : Suit les progrès du développement en Afrique, en utilisant les priorités stratégiques de la BAD - les High 5 : i) Éclairer l'Afrique et l’alimenter en énergie ; ii) Nourrir l'Afrique ; iii) Industrialiser l'Afrique ; iv) Intégrer l'Afrique ; et 5) Améliorer la qualité de vie des populations africaines.
• Niveau 2 : Mesure les contributions de la Banque au développement de l’Afrique à travers toutes ses opérations, en utilisant les High 5 et les priorités transversales.
• Niveau 3 : Évalue la qualité des opérations de la Banque : Accroître l'impact sur le développement, améliorer la qualité et la rapidité, assurer une solide performance du portefeuille, et améliorer les connaissances et les services de conseil.
• Niveau 4 : Examine l’efficacité de la Banque en tant qu'organisation : Se rapprocher des clients, améliorer les performances financières et mobiliser les ressources, et accroître le rapport coût-efficacité, la mobilisation, le développement et la productivité du personnel.
9 Note : Le cadre de la Banque européenne pour la reconstruction et le développement comporte cinq niveaux, mais utilise une nomenclature légèrement différente. Au lieu de contexte de développement, il utilise l'impact de la transition qui comporte six indicateurs de qualité de la transition : économies compétitives et innovantes ; institutions et entreprises bien gouvernées ; économies vertes et écologiquement durables ; économies inclusives et égalitaires entre les sexes ; économies et entreprises résilientes ; et marchés bien intégrés et connectés. En outre, il comporte un niveau supplémentaire pour la performance financière et pour le cadre de ressources (dépenses et investissements efficaces).
