Efficacité

Cette section a examiné la question « Dans quelle mesure le CMR a atteint ses objectifs stratégiques, à savoir être un outil de redevabilité, de prise de décisions et d’apprentissage pour la Banque ? »

• Mesure dans laquelle le CMR a servi à mieux suivre les résultats de développement et été un outil de gestion pour la mise en œuvre du MDPS, et influence la prise de décisions et l’apprentissage par les parties prenantes pertinentes par le biais de son utilisation

Constatation 6 : Le CMR 2016–2025 de la Banque s’est révélé un outil efficace pour la redevabilité et a amélioré la communication de la performance de l’institution. Toutefois, il n’a pas pleinement été mis à profit pour l’apprentissage et la prise de décision.

En général, quatre objectifs majeurs sont associés à la Gestion axée sur les résultats (GAR), à savoir : la redevabilité, la communication, la prise de décision et l'apprentissage. Le CMR contribue efficacement à la fonction de redevabilité d'une manière méthodologique qui est mise en évidence par des indicateurs spécifiques. L'étude comparative montre que les informations générées par les systèmes de GAR sont utilisées principalement à des fins de reddition des comptes et de communication, plutôt que pour la prise de décision et l'apprentissage, et qu'il est nécessaire de les améliorer et de les développer en permanence. La BAD a établi des cibles aux quatre niveaux de son CMR (à l'exception du Niveau 1, depuis 2020), et suit les performances par rapport à ces cibles pour aider la Direction à s'assurer que la Banque respecte ses engagements en matière de développement et maintient ses réformes institutionnelles sur la bonne voie. En définissant des cibles quantifiées et assorties de délais pour tous les indicateurs que la Banque suit, le niveau souhaité d'impact et de prestation de services a été établi. Le cadre de résultats a permis à la BAD de noter et de publier ses performances par rapport à des objectifs préétablis dans les RAED. Cela a aidé la BAD à renforcer sa responsabilité en matière de résultats. En outre, la qualité de la présentation des rapports sur l'efficacité du développement, notamment l'utilisation de la visualisation, a amélioré la communication de la BAD avec les principales parties prenantes concernant son travail, ses performances et ses efforts pour améliorer son efficacité en matière de développement. Le document est largement diffusé par différents canaux de communication tels que les sites web et les médias sociaux. MapAfrica est également un outil de responsabilisation utile, bien qu'il ne contienne que des données limitées sur les résultats et l'impact, qui pourraient fournir des informations plus éclairantes sur les résultats et, par exemple, aider à mettre en valeur les exemples de réussite.

« La RAED ne contient pas seulement des indicateurs et des données, mais présente aussi des informations intéressantes sur les personnes qui se cachent derrière les chiffres et tout cela. Je pense que c'est un outil de communication utile, notamment pour les parties prenantes externes ». Informateur clé, BAD.

L'évaluation a révélé que le CMR contribue dans une certaine mesure à la prise de décision, mais le lien de causalité n'est pas aussi clair sur le plan programmatique. Généralement, la prise de décision n'est pas caractérisée par la réalisation d'un indicateur spécifique qui éclaire les décisions, mais plutôt par l'influence qu'exerce la somme des produits sur la réalisation des résultats attendus à moyen terme. Par exemple, au niveau du rapport d’évaluation ex-ante de projet (REP), il existe un niveau ascendant d'association avec le CMR (en particulier avec les High 5), mais le lien est formel et pas nécessairement directement attribuable. Le CMR identifie un petit ensemble d'indicateurs et de cibles stratégiques tirés des stratégies approuvées par le Conseil d'administration. Certains indicateurs sont inclus dans plus d'un groupe lorsque leur objectif est pertinent pour différents groupes.

Le CMR contribue à promouvoir l'apprentissage, mais pas au point où les enseignements tirés soient mis à profit pour les futures opérations. De nombreuses références font état d’une focalisation excessive sur l'approbation des projets, en négligeant la qualité, la mise en œuvre et les résultats. Les résultats ont été principalement mesurés à travers les intrants et les produits/extrants, l'achèvement des activités, la passation de marchés, les décaissements et de la rapidité d'exécution, plutôt que de mesurer le changement. Par ailleurs, il y a une incohérence, car les projets approuvés font référence aux indicateurs du CMR, mais ne sont pas spécifiquement contraints d'utiliser ces indicateurs comme outil de gestion. Toutefois, l'introduction récente des nouvelles instructions opérationnelles du cadre de résultats des projets devrait permettre de résoudre ce problème.

BDEV a évalué les processus de revue de la qualité (QA) de la Banque, avec pour objectif ultime d'accroître la mesure dans laquelle la chaîne de revue de la qualité contribue à l'apprentissage et à l'impact sur le développement. Trois évaluations autonomes ont été réalisées : i) la qualité à l'entrée (QaE) ; ii) la qualité de la supervision et à la sortie, et iii) le système et les processus d'auto-évaluation (SESP). Les constatations tirés des évaluations récentes de la Banque sur la qualité des programmes font apparaître une faiblesse dans l'application de l'apprentissage, dans la mesure où les problèmes semblent persister malgré les efforts déployés pour les résoudre. La Réponse de la Direction à l'évaluation de la QaE des opérations de la Banque fait observer ce qui suit :

Au cours des dernières années, la Banque a fait des progrès marqués en matière de mesure des résultats et de présentation des rapports, avec la Revue annuelle sur l’efficacité du développement. Toutefois, les incitations actuelles et les indicateurs de performance clés organisationnels continuent de mettre l’accent sur les objectifs en matière de prêts et de décaissements. Dans le cadre des opérations, les incitations du personnel restent orientées sur la valorisation des nouvelles approbations de prêts et sur le volume des prêts. Il est ensuite indiqué que la Direction « reconnaît que le travail visant à convertir la culture de l’approbation en une culture qui encourage et met l’accent sur les résultats et l’efficacité du développement dans les PMR est une tâche inachevée. Néanmoins, il est essentiel de s’assurer que tous les projets mettent l’accent sur la qualité des produits et des résultats plutôt que sur le volume des prêts. Pour renforcer ce message, la Direction adoptera de nouveaux indicateurs clés de performance qui mettront l’accent sur la qualité et les résultats, et intégrera en outre la qualité dans les évaluations de la performance du personnel et de l’encadrement ».²⁵

Si la performance des projets dépend dans une large mesure de la performance des gouvernements, des partenaires et des parties prenantes locales du PMR, ainsi que de facteurs externes, le SESP est entièrement sous le contrôle de la Banque, ainsi que de sa capacité à adopter et à mettre en œuvre des recommandations.

L'évaluation a constaté que les rapports sur le CMR de la Banque sont principalement destinés à un public de parties prenantes externes, plutôt qu'au processus de gestion interne visant à améliorer les performances et obtenir de meilleurs résultats. L'étude comparative a également noté des défis similaires parmi les comparateurs. Dans un récent document, le Groupe indépendant d'évaluation (GIE) de la Banque mondiale fait valoir que le système de résultats, tout en accordant la priorité aux rapports et à la redevabilité ascendante, a été déconnecté du cycle critique de rétroaction, d'apprentissage et d'amélioration.²⁶

• Incitations ou obstacles contribuant à l’utilisation ou la non-utilisation du CMR

Constatation 7 : L'évaluation a révélé divers facteurs qui favorisent ou entravent l'utilisation (ou la non-utilisation) du CMR. Ces facteurs sont liés à : i) l'accent stratégique de la Banque sur les High 5 ; ii) la fréquence des rapports ; iii) l'incapacité à saisir les éléments « immatériels » du soutien de la Banque, tels que les opérations hors prêt ; iv) le système de communication et

25 Évaluation indépendante de la qualité à l’entrée des opérations du Groupe de la Banque africaine de développement (2013–2017).

26 The Results Agenda Needs a Steer—What Could Be its New Course? | Independent Evaluation Group (worldbankgroup.org)

d’établissement des rapports des résultats ; (v) la mesure de l'impact de la BAD, et vi) l'évaluation de l'attribution par rapport à la contribution.

Entre autres, l’évaluation a mis en évidence les facteurs clés ci-après qui favorisent ou entravent l’utilisation (ou la non-utilisation) du CMR :

La focalisation stratégique de la Banque sur les High 5 comprend une attention accrue portée sur les facteurs de la performance opérationnelle à tous les niveaux. Il s'agit notamment de : i) l'introduction de nouvelles méthodologies qui permettront à la Banque de mieux évaluer l'impact de ses opérations sur le développement ; ii) l'adoption d'une politique de financement axée sur les résultats qui permet de fournir un soutien financier et technique flexible, tout en liant les décaissements à l'obtention de résultats et en aidant les pays à réaliser des réformes structurelles de leur économie ; iii) l'utilisation de constatations d'évaluation pour améliorer la qualité et l'impact des prêts, et le suivi de la mise en œuvre des recommandations d'évaluation convenues chaque trimestre, à l'aide du système d'enregistrement des actions de la Direction ; iv) le renforcement des processus opérationnels afin d'accroître la capacité de la Banque à suivre et à rendre compte de son impact sur le développement, ce qui a permis d'introduire une approche permettant de saisir et d'exploiter l'impact sur le développement de ses opérations dans le secteur privé ; v) la réduction des retards dans la préparation des projets afin d'atteindre l'efficacité du développement en temps voulu, et vi) le soutien au CMR par des incitations au niveau des départements, y compris des indicateurs clés de performance actualisés qui soient mieux alignés sur les priorités de la Banque. Il importe de noter que tous ces éléments ont été identifiés dans le cadre des entretiens avec les informateurs clés et les enquêtes comme des aspects qui ne sont pas correctement pris en compte par les approches et les outils actuels de suivi et d’établissement de rapports.

La fréquence des rapports sur les indicateurs de niveau 1 doit être claire et cohérente avec les paramètres de la source de données. L'objectif principal des indicateurs de niveau 1 est de suivre les progrès du développement des PMR. Les cibles actuelles du CMR de la BAD pour ces indicateurs sont basées sur des cibles ambitieuses à long terme, liées à de multiples programmes et guidées par les High 5. Ce qui a été établi au cours de l'évaluation, c'est qu'au niveau 1, la BAD (comme toutes les BMD) choisit de manière sélective ce qu'il faut communiquer à partir des preuves disponibles pour démontrer la performance et sa contribution au développement de l'Afrique aux plus hauts niveaux (tableau A3.1, annexe 3 des annexes techniques de ce rapport). Les indicateurs de base sont tirés de la liste de la BAD et alignés sur leur contribution respective aux High 5 (tableau A3.2, annexe 3 des annexes techniques de ce rapport). La logique de cette approche est que la profondeur du changement recherché (c'est-à-dire les résultats) est multidimensionnelle et complexe, et que la base de sélection semble fournir une représentation équitable (mais non exhaustive) des réalisations au plus haut niveau, avec une validation quantitative. Les progrès sont mesurés par rapport aux aspects les plus pertinents et en accord avec les objectifs fixés (c'est-à-dire les High 5 ou l'Agenda 2063 de l’UA, etc.).²⁷ Il est généralement admis que cela n'est pas suffisant pour démontrer un progrès complet et qu'il faut donc le compléter par une explication qualitative et représentative (niveau panafricain, régional ou thématique). En conséquence, depuis 2020, la Banque a cessé de rendre compte des objectifs du niveau 1.

L'analyse effectuée dans le cadre de l'exercice de comparaison a confirmé la nécessité d'une représentation qualitative ou de modèles/exemples pour fournir une représentation plus holistique des progrès. Cela se reflète dans plusieurs nouveaux cadres de résultats institutionnels (CRI) adoptés par les BMD en 2020, ainsi que dans la Revue de l’efficacité sur le développement (RED) 2020, la Revue de l’efficacité sur le développement 2020 de la BAsD, le Plan d'action de la Banque mondiale pour intégrer la dimension genre dans le développement (GAP) et les rapports annuels produits en 2020.

Les approches stratégiques actuelles au niveau des BMD fournissent une description narrative des contributions basée sur des exemples de réussite, qui fournissent des preuves à l'appui pour valider la réalisation (ou les progrès vers la réalisation) des objectifs et démontrer les contributions de la Banque.

En tant que tels, les rapports et mesures de Niveau 1 sont présentés comme (et sont en grande partie) une représentation de ce qui est réalisé. La logique veut que cela nécessite un effort consolidé de collecte de données à plusieurs niveaux (c'est-à-dire continental, régional, national, provincial, sociétal) qui tienne compte des facteurs clés ayant un impact à tous les niveaux, c'est-à-dire transversaux (genre,

27 Un problème clé constaté est que les données utilisées pour la RAED relatives à l’atteinte des cibles proviennent de sources extérieures fiables (par exemple la Banque mondiale) et non de la Banque.

changement climatique et environnement, gouvernance, fragilité), sur une longue période pluriannuelle afin de saisir les données de manière efficace et précise. En fin de processus, cela se produit, généralement à la fin d'un cycle.

En outre, étant donné l'obligation de rendre compte des progrès réalisés sur les indicateurs de Niveau 1 du CMR sur une base annuelle, il est extrêmement difficile (et non économique) de produire des rapports sur les progrès à long terme accomplis chaque année. Au lieu de cela, il est plus efficace de les présenter une ou deux fois dans le cycle du CMR. Par exemple, le Groupe interaméricain de développement (BID) a présenté des données agrégées sur ses réalisations et ses progrès dans sa Revue de l'efficacité sur le développement 2020 dans le contexte du Cadre de résultats institutionnels pour la période 2017-2020.

Les indicateurs actuels du CMR reflètent principalement les résultats et les performances qui sont mesurables par des paramètres quantitatifs, et ne parviennent donc pas à saisir l'intégralité de la contribution de la Banque au développement en Afrique, notamment les éléments

« immatériels » du soutien de la Banque, tels que les opérations hors prêts. À titre d’exemple, on peut citer l'utilisation d'indicateurs inadéquats ou la mesure insuffisante des résultats des opérations de la Banque autres que les prêts, notamment le dialogue sur les politiques, la gestion des connaissances et des études économiques et sectorielles. Il convient d'apprécier davantage l'importance des rapports qui rendent compte des progrès et du développement, ou des rapports sur les aspects qualitatifs des efforts et des investissements de la Banque. En outre, le CMR de la Banque peut être encore amélioré par des descriptions narratives supplémentaires afin de garantir une présentation complète du programme de travail et des réalisations de la Banque. La RAED 2020 a démontré des améliorations et des progrès notables dans ce domaine, et est par conséquent beaucoup plus informative.

Les rapports sur les résultats de la BAD au niveau de l'institution peuvent être mieux complétés par des analyses et des rapports proactifs sur les cadres de résultats régionaux/pays et sectoriels/des High 5, afin de renforcer l'efficacité de la gestion axée sur les résultats. Comme indiqué dans de multiples références, le système institutionnel existant est soutenu par des revues thématiques et nationales de l'efficacité du développement. Au cours de la période 2016-2019, la Banque a entrepris une revue thématique de l'agriculture et des revues pays de l'Éthiopie, de la Sierra Leone, du Cameroun, de la Tanzanie, de l'Égypte, du Mozambique, de la Guinée et du Maroc, les revues du Niger, de l'Ouganda et du Ghana étant en cours. Cependant, les thèmes et les pays à couvrir ne sont pas planifiés de façon stratégique, mais reposent plutôt sur la réponse aux demandes des pays.

L’établissement de rapports à l’échelle de l’institution est nécessairement limité dans le niveau de profondeur qu'il peut atteindre. Un rapport plus systématique et détaillé des résultats au niveau national/régional/sectoriel/High 5/thématique²⁸, pour compléter le rapport du CMR institutionnel, renforcerait la base de l'apprentissage et la gestion axée sur les résultats.

Le rapport phare sur les résultats de la Banque, la RAED, est structuré autour du CMR de la BAD et contribue à démontrer comment les opérations de l'institution ont un impact sur l'efficacité du développement dans les PMR. Chaque édition de la RAED a représenté une amélioration par rapport à la précédente, et des efforts continus sont déployés pour améliorer le contenu et la présentation, en particulier la visualisation. Si la RAED rend effectivement compte d'un certain nombre d'indicateurs à différents niveaux de la chaîne des résultats, l'évaluation de la Sixième augmentation générale de capital (AGC), du FAD-12 et du FAD-13 a révélé que « ... tant la Direction de la Banque que le Conseil d'administration et, par conséquent, le personnel, se concentrent sur la réalisation des produits, en accordant moins d'attention au suivi de la mise en œuvre et donc à l'obtention des résultats escomptés »²⁹. Depuis le rapport du Réseau d'évaluation de la performance des organisations multilatérales (MOPAN), des mesures importantes ont été prises pour améliorer le contenu et la présentation de la RAED. Par exemple, l’édition de 2020 a été restructurée et présente un résumé utile des progrès réalisés au cours des trois années précédentes, ainsi qu'une présentation thématique, sectorielle et par rapport aux High 5, tout en mettant en avant des exemples forts de résultats obtenus dans des PMR spécifiques.

28 Par exemple, l’établissement de rapports sur les objectifs du Nouveau pacte pour l’énergie en Afrique, dans le cadre du Rapport sur la grande priorité « éclairer l’Afrique et l’alimenter en énergie ».

29 MOPAN 2015–16, Évaluations de la Banque africaine de développement (BAD) – Rapport d’évaluation institutionnelle.

La RAED peut être complétée par une augmentation des rapports, sous différentes formes et dans différents domaines, en utilisant différents mécanismes, avec une clarté des responsabilités en matière d’établissement de rapports sur les résultats. Le renforcement des rapports sur les résultats de la Banque dans les pays améliorera l'utilisation et, par extension, la qualité des données. Les postes vacants dans les bureaux nationaux ont entravé les progrès dans ce domaine, selon l'Évaluation indépendante de la mise en œuvre du Modèle de développement et de prestation de services du Groupe de la Banque africaine de développement (mai 2019).

D'autres BMD ont constaté qu'une meilleure communication des progrès réalisés par rapport aux objectifs des ODD contribue à une appropriation plus forte, et nécessite un meilleur suivi et des meilleures rapports établis de la part des gouvernements. Les efforts de la BAsD offrent une perspective intéressante sur cet aspect.

« L’élaboration de la RAED est une tâche assurée par un département, mais qui est le résultat du travail combiné de la BAD. Elle est similaire à la Revue de l’efficacité sur le développement (RED) de la BAsD, qui s'appuie sur des données produites par un certain nombre de ses départements, dont plusieurs produisent également leurs propres rapports plus complets et analytiques, tels que le Rapport annuel d'évaluation établi par le Département d'évaluation indépendante sur les taux de réussite des opérations achevées, l'APPR établi par le Département de la gestion des achats, du portefeuille et des finances (PPFD) sur les taux de décaissement et les attributions de contrats, et le rapport sur les Indicateurs clés pour l'Asie et le Pacifique rédigé par le Département de la recherche économique et de la coopération régionale (ERCD) sur les ODD. Certaines informations sont extraites ou liées au Programme de travail et cadre budgétaire (WPBF) coordonné par SPD et au Budget de la BAsD, tel que

« L’élaboration de la RAED est une tâche assurée par un département, mais qui est le résultat du travail combiné de la BAD. Elle est similaire à la Revue de l’efficacité sur le développement (RED) de la BAsD, qui s'appuie sur des données produites par un certain nombre de ses départements, dont plusieurs produisent également leurs propres rapports plus complets et analytiques, tels que le Rapport annuel d'évaluation établi par le Département d'évaluation indépendante sur les taux de réussite des opérations achevées, l'APPR établi par le Département de la gestion des achats, du portefeuille et des finances (PPFD) sur les taux de décaissement et les attributions de contrats, et le rapport sur les Indicateurs clés pour l'Asie et le Pacifique rédigé par le Département de la recherche économique et de la coopération régionale (ERCD) sur les ODD. Certaines informations sont extraites ou liées au Programme de travail et cadre budgétaire (WPBF) coordonné par SPD et au Budget de la BAsD, tel que