Efficience

Cette section a examiné la question : « Dans quelle mesure et comment le CMR a-t-il été optimal dans la réalisation de ses objectifs ? » ³⁷

• Mesure dans laquelle les indicateurs de performance et les informations du CMR sont crédibles, fiables et valables, et raisonnablement faciles à collecter en temps voulu

Constatation 8 : Les données du Niveau 2 rapportées dans la RAED présentaient des lacunes liées à la qualité des données d'auto-évaluation (RAP/RSE) utilisées, et pour lesquelles les pratiques visant à indiquer les sources de données probants sont inadéquates, ainsi qu'à la qualité de la gestion et de l'analyse des données.

Qualité des données communiquées

Dans la RAED, les opérations financées par la Banque (indicateurs de Niveau 2) sont mesurées pour les opérations achevées. Cependant, la Banque utilise des données de résultats provenant non seulement des rapports d'achèvement de projets (RAP) pour les opérations souveraines (OS) et des rapports de supervision élargie (RSE) pour les opérations non souveraines (ONS), mais aussi des rapports d'évaluation ex-ante (pour les OS) et des ADOA (pour les ONS). En tant que produits d'auto-évaluation, l'utilisation des RAP et des RSE, ainsi que des REP et des ADOA, pour rendre compte des résultats compromet dans une certaine mesure la qualité des données déclarées, pour diverses raisons.

Le CMR est pour le moins aussi bon que l'auto-évaluation. Les instructions opérationnelles de la Banque de 2021 sur le renforcement de la planification et du suivi des résultats dans ses opérations ont mis en évidence certains indicateurs problématiques souvent observés dans le passé, notamment : i) le non-alignement avec les indicateurs CMR ou du portail des opérations non souveraines de la Banque, et ii) les indicateurs provenant d'une source non fiable.

Ce constat souligne des préoccupations générales concernant la qualité des RAP/RSE, en particulier lorsqu'il s'agit de fournir des preuves adéquates pour étayer les réalisations et les résultats attribués aux projets. Par exemple, près de la moitié des 52 RAP/RSE de 2019 examinés par BDEV ont obtenu une mention « insatisfaisante » ou « très insatisfaisante » pour ce qui de « l'adéquation des preuves accessibles ». Ce constat a également été fait par les exercices de validation des RAP et des RSE des années précédentes. En résumé, les pratiques de référencement des sources de données rapportées peuvent être améliorées. Pour la clarté de l'observation et la validation des rapports de la Banque, une décision devrait être prise sur l'utilisation des RAP et des RSE validés par BDEV, qui devrait aller au-delà de la validation de la notation en évaluant également les données de résultats rapportées à travers l'auto-évaluation.

Il ressort de l'analyse comparative qu’à la Banque mondiale, chaque projet est suivi par le biais du rapport sur l'état d'avancement et les résultats de la mise en œuvre (ISR), qui comprend une mise à jour des indicateurs spécifiques du CMR. Le rapport d'achèvement et de résultats de la mise en œuvre

35 Commission européenne. 2013. Étude des résultats. Direction générale de la coopération internationale et du développement - EuropeAid.

36 AsDB. 2016. Review of the Results Framework. Manila.

37 Les sous-questions comprennent : i) Dans quelle mesure les indicateurs de performance et les informations du CMR sont-ils crédibles, fiables, précis et valides, et sont-ils raisonnablement faciles à collecter en temps voulu

? ii) Dans quelle mesure les ressources, les rôles et les responsabilités assignés à la mise en œuvre du CMR sont-ils appropriés ? (iii) Dans quelle mesure le CMR est-il rentable ? Dans quelle mesure le CMR permet-il de suivre la contribution du secteur privé au développement ?

(ICR) enregistre les réalisations par rapport aux objectifs de développement du projet. Chaque ICR est validé par le Groupe indépendant d’évaluation (GEI) et ses notes sont incluses dans les rapports du Groupe. À la Banque asiatique de développement (BAsD), l'évaluation de l'avancement des résultats clés obtenus par les opérations de la BAsD est basée sur les preuves d’évaluation tirées des travaux d'évaluation thématique, institutionnel, national et sectoriel (c'est-à-dire les évaluations de haut niveau menées annuellement par IED). Le rapport annuel sur l'efficacité (RAE) met en correspondance les principaux résultats obtenus avec les sept priorités opérationnelles de la Stratégie 2030. Enfin, le Rapport annuel sur les résultats et l'impact des opérations du FIDA (ARRI) est publié par le Bureau indépendant d'évaluation du FIDA et examine chaque année la performance globale du programme du Fonds. Il s'agit du principal outil de responsabilité externe du FIDA et permet aux parties prenantes de contrôler l'efficacité de ses interventions.

Les examens des RAP/RSE ont noté une tendance à attribuer la mention « satisfaisante » aux résultats des RAP (par exemple, 94 % des projets en 2019 ont été jugés satisfaisants). En ce qui concerne les RSE, on note 89 % pour la durabilité économique et 91 % pour le développement du secteur privé. Cela pose la question de la qualité des données dans les RAP/RSE et laisse entrevoir que la supervision du processus par la Direction ne fonctionne pas efficacement. Les évaluations entreprises par BDEV (BDEV, 2019 ; BDEV, 2020) ont également relevé divers problèmes, notamment le retard dans la production des RSE (67 % pour les opérations non souveraines approuvées au cours de la période 2011-2014) et un manque de sincérité dans les auto-évaluations, en particulier dans les rapports sur l’état d'avancement de l’exécution (EER)/rapports annuels de supervision (RAS) et les RAP/RSE, qui peuvent s'expliquer, entre autres, par l’inexistence d’un mécanisme d'incitation approprié.

Les auto-évaluations sous-tendent l'ensemble des systèmes d'établissement de rapports de la BAD et sont censées combler stratégiquement les lacunes en matière de connaissances, soutenir l'élaboration de cadres permettant de saisir les enseignements tirés de l'évaluation et d'y donner suite, suivre les projets à l'aide de cadres de résultats de haute qualité et tester des approches permettant de répondre aux besoins de redevabilité et d'apprentissage. Cette approche a été complétée par les entretiens avec les informateurs clés et les rapports de BDEV.³⁸ Cela est généralement reconnu et, par conséquent, une plus grande importance est accordée à l'analyse de BDEV, qui est considérée comme plus objective, et plus axée sur l'apprentissage et moins sur la conformité. L'auto-évaluation de la BAD pourrait être renforcée en faisant un meilleur usage institutionnel des connaissances générées. Le plan en matière de qualité de la Banque abordera cette question. Cela pourrait nécessiter un deuxième plan qualité de la Banque pour intégrer l'aspect apprentissage, qui n'est pas couvert par le plan actuel.

La revue de la qualité des données (DQA) entreprise dans le cadre de cette évaluation a relevé certains problèmes quant aux données rapportées dans la RAED, en lien avec la méthode de la moyenne mobile sur trois ans. L'utilisation d'une moyenne mobile lisse les tendances en éliminant les valeurs aberrantes ou extrêmes, notamment celles dues à la saisonnalité ou aux cycles économiques. Pour évaluer l'impact de la Banque sur le développement pour chaque année, la RAED fournit des données sous la forme d'une moyenne mobile sur trois ans afin d'éviter la volatilité des données. Par exemple, pour déterminer l'impact de la Banque sur le développement en 2019 (rapporté dans la RAED 2020), les données des indicateurs respectifs représentent des moyennes pour 2017-2019, et 2016-2018 pour évaluer la contribution de la Banque au développement pour 2018. Les données rapportées dans les RAED 2017-2020 calculées à l'aide d'une moyenne mobile sur trois ans diffèrent considérablement des valeurs des indicateurs calculées annuellement pour les mêmes années. Ce qui apparaît, c'est que les données annuelles ont tendance à être meilleures pour évaluer les résultats annuels, car elles peuvent être utilisées pour concentrer l'attention sur les domaines problématiques, tandis que les moyennes triennales peuvent être utiles pour identifier les tendances à plus long terme. Ainsi, étant donné que la RAED sert le double objectif de redevabilité et de facilitation de la prise de décision par l'apprentissage, il est conseillé à la Banque d'examiner attentivement l'approche méthodologique la plus appropriée pour chaque indicateur, en fonction de l'usage qui en sera fait. D'autres BMD utilisent différentes méthodes pour différents indicateurs. L'utilisation de la moyenne mobile plutôt que des valeurs réelles pour certains indicateurs peut impliquer l'absence d'informations importantes liées aux changements survenus au fil du temps, y compris les changements dans les résultats. Cela peut être révélé par l'utilisation de graphiques de contrôle statistique des processus, qui aident à identifier et à mettre en évidence une série de tendances typiques (en plus de la tendance progressive) dans les résultats de la performance.

38 Notamment l’Évaluation des systèmes et processus d’auto-évaluation du Groupe de la Banque – Page 4.

Le CMR a connu des problèmes en ce qui concerne l’établissement des rapports d'achèvement, avec les risques que cela comporte. Les RAP constituent une source importante pour l’analyse des risques censée éclairer les opérations futures. Aussi, retarder leur préparation peut signifier une occasion manquée d'apprentissage pour améliorer la conception et la mise en œuvre des projets, et potentiellement une analyse des risques et une stratégie d'atténuation limitées et sous-éclairées. Un cinquième des RAP de 2019 examinés par rapport au respect du calendrier ont été préparés tardivement. Sept des 34 RAP examinés pour l’année 2019 (21 %) ont obtenu de mauvaises notes pour le respect de calendrier. De tels retards signifient non seulement un accès limité à des données opportunes pour éclairer la RAED, mais, surtout, peuvent également signifier une prise de décision retardée.

Constatation 9 : Il ressort de l’analyse de la qualité des données (DQA) qu’un degré appréciable d'attention a été accordé à la désagrégation des données, particulièrement en ce qui concerne les femmes, le FAD et les situations de transition. L'évaluation a constaté quelques problèmes de qualité des données ventilées par sexe. Des taux élevés de cohérence et d'exhaustivité des données ont été observés.

Les RAED 2017-2020 fournissent un niveau de détail considérable pour les indicateurs sensibles au genre. Le principal défi est celui de la qualité des données. Sur les 49 éléments de données sur les femmes bénéficiaires vérifiés par l'évaluation, il a été confirmé que neuf (18 %) font l'objet d'un examen plus approfondi. Sur ces neuf, sept sont des approximations (composition par sexe au niveau national ou autres méthodes d'approximation) et deux sont des erreurs de saisie de données. Dans le cas de l'utilisation du genre au niveau national, les compositions sont utilisées comme données de substitution pour déterminer la proportion de femmes qui ont bénéficié d'une opération particulière. Bien que cela soulève également des préoccupations quant aux meilleures pratiques, une documentation appropriée de ces pratiques pourrait être utile. De même, le genre dans le CMR fait référence aux

« femmes », ce qui est illustré par la présentation d'une sous-catégorie « dont les femmes... » pour décrire le genre. S'il est vrai que les femmes sont les plus vulnérables dans la plupart des cas, une approche holistique présentant les deux sexes serait plus instructive pour mettre en évidence les disparités existantes, sauf pour les indicateurs spécifiques ciblant les femmes. Il convient de noter que toutes les statistiques de genre ne sont pas catégorisées en tant qu'hommes et femmes. Certains indicateurs généraux décrivent directement les disparités entre les sexes en raison des rôles sexospécifiques définis par la culture.

De même, les données désagrégées pour la RAED ont été amplement fournies, tant au niveau des agrégats que des bases de données. En particulier, la RAED 2020 va au-delà de la ventilation par sexe et par cycle du FAD pour intégrer des données sur les situations de transition. Cela dit, la RAED a davantage de marge de manœuvre pour rendre compte des données détaillées. La RAED devrait être en mesure de saisir le nombre de projets qui aboutissent à des valeurs agrégées pour les indicateurs du CMR. Cela est important à des fins de vérification et d'évaluation. Jusqu'à présent, cette donnée n'est pas clairement saisie dans les RAED évaluées (à l'exception de la RAED 2020).³⁹

Sur une note plus positive, des taux élevés de cohérence et d’exhaustivité des données ont été observés pour toutes les années sous revue. La cohérence des données rapportées par la RAED était de 100 % pour tous les indicateurs au cours de la période examinée. Les 10 indicateurs sélectionnés ont tous obtenu des taux de cohérence de 100 % en termes d'approche utilisée pour obtenir les valeurs rapportées. Ces résultats sont valables pour les données ventilées par sexe, tant au niveau global qu'au niveau des projets. En termes d'exhaustivité, au niveau des projets, les 76 valeurs des 10 indicateurs sélectionnés qui auraient dû être rapportées dans la base de données de la RAED pour l’édition 2020 ont été dûment complétées. Cela donne un taux d'exhaustivité de 100 %, bien que près de 10 % (8 valeurs) aient été obtenues à partir de sources autres que les RAP/RSE, telles que les ADOA et les rapports d'évaluation de projet, en particulier dans les situations où les données sur le bénéficiaire du projet rapportées dans les RAP/RSE sont jugées « inadéquates ». La pratique consistant à extraire certaines valeurs d'indicateurs de sources autres que les RAP/RSE a suscité des inquiétudes quant à la qualité et à la gestion des données. Elle a également été interprétée comme un signal de la nécessité d'améliorer la qualité des RAP et des RSE.

39 RAED. 2020, p. 66.

Près de 97 % des valeurs des indicateurs saisies dans la base de données de la RAED pour la RAED 2020 ont été jugées exactes lorsqu'elles ont été comparées aux données déclarées dans le cadre de l'auto-évaluation. Sur les 76 projets rapportés pour la RAED 2020 (en utilisant les 10 indicateurs sélectionnés), 74 projets (soit 97 %) ont été saisis avec précision. Cela signifie que seules deux valeurs déclarées (soit 3 %) se sont révélées inexactes, avec toutefois une marge d'erreur inférieure à 1 % dans les deux cas. Il s'agit principalement d'erreurs de saisie et de problèmes de gestion des données liés à l'utilisation d'Excel, comme l'a souligné l’audit du suivi et de la communication des résultats de la Banque.

• Mesure dans laquelle les ressources, les rôles et les responsabilités assignés à la mise en œuvre du CMR sont appropriés

Un Département dépositaire des résultats et de l'assurance qualité (ORQR) de la BAD a été créé en 2008 pour soutenir l'ambition de la Banque de passer d'une organisation axée sur le volume et les objectifs à une organisation qui fait sienne la gestion axée sur les résultats. ORQR a été transformée en systèmes de mesure des résultats, en tant que Département de la prestation de services, de la gestion de la performance, et des résultats (SNDR), à la suite de la mise en place du Modèle de développement et de prestation de services (MDPS). SNDR est chargé d'articuler et de mesurer les résultats du développement avec les départements opérationnels et dispose d'un contrôle central de la qualité. L'évaluation n'a pas trouvé de document décrivant les rôles et responsabilités des principales parties prenantes affectées à la mise en œuvre du CMR pour les principales parties prenantes.

Néanmoins, l'évaluation a souligné le fait que l'appropriation du CMR reste assez limitée, avec des perceptions globales de l'appartenance du CMR au SNDR, et donc l'unité de résultats devrait en être responsable.

• Mesure dans laquelle le CMR est capable de suivre la contribution du secteur privé au développement

Si le système d'établissement de rapports du CMR rend compte de manière satisfaisante de la contribution du secteur privé de la Banque au développement par le biais, par exemple, de l'ADOA et des RSE au niveau des projets, certaines faiblesses doivent être corrigées. Par exemple, bien que les RSE jouent un rôle important dans le suivi des intermédiaires et du nombre de PME qui bénéficient de la gamme d'interventions de la Banque dans le secteur privé, telles que les lignes de crédit, son mécanisme actuel d’établissement de rapports ne permet pas de saisir systématiquement les bénéficiaires au niveau des PME. Cette situation entraîne une sous-communication de la contribution de la Banque. Cela soulève clairement des inquiétudes quant à la complexité de la mesure de ces opérations et à la nécessité de trouver la bonne combinaison d'approches méthodologiques pour garantir une mesure optimale de la contribution du secteur privé de la Banque au développement.

Une autre faiblesse majeure dans le suivi de la contribution du secteur privé de la Banque au développement concerne en partie la série d'indicateurs de résultats. L'actuel CMR manque d'indicateurs de résultats qui permettent de suivre la manière dont les efforts de la Banque dans le secteur privé, par le biais par exemple de l'appui budgétaire et des efforts de réforme, contribuent à l'environnement commercial plus large dans les PMR.

• Mesure dans laquelle le CMR présente un bon rapport coût/efficacité

Constatation 10 : Le nombre relativement élevé d'indicateurs du CMR entraîne des conséquences importantes sur le rapport coût-efficacité.

Alors que le nombre moyen d'indicateurs pour les cinq institutions comparées (y compris la BAD) est de 84, la BAD a 21 indicateurs de plus. Pour la BAD, cela signifie plus d'efforts sont nécessaires en termes de temps et de coûts pour collecter, réunir, traiter et diffuser des données et informations significatives. Il est donc nécessaire de rationaliser le pool actuel d'indicateurs pour atteindre un niveau garantissant un bon rapport coût-efficacité sans compromettre la qualité des données et du processus d’établissement de rapports. En effet, dans son CMR 2016-2025, la Banque a réduit le nombre de ses indicateurs, les ramenant à 105 actuellement, contre 111 dans le CMR précédent (tableau A3.3, annexe 3 des annexes techniques du présent rapport). Toutefois, du point de vue du rapport coût-efficacité, il serait utile d'envisager de réduire davantage le nombre actuel d'indicateurs.

La nécessité d’avoir un bon rapport coût/efficacité en ce qui concerne le CMR de la Banque a également été soulignée lors des entretiens avec les informateurs clés. Les uns et les autres ont souligné le besoin de se concentrer sur les indicateurs qui comptent, tout en veillant à ce que les coûts associés à la mesure de ces indicateurs soient raisonnables. Un répondant a déclaré ce qui suit :

« ... Je pense que nous devons également rationaliser les indicateurs pour ce qui est du nombre en gardant à l'esprit la capacité de soutien de la Banque ».

Il ressort de la comparaison avec les organisations homologues et de la consultation des publications générales sur la gestion axée sur les résultats que parmi les BMD, chacune a réduit et affiné ses indicateurs de performance. La BAsD a réduit le nombre d'indicateurs dans son cadre de résultats transitoire pour la période 2017-2020, de 91 à 85, afin de se concentrer sur les priorités stratégiques de la mesure des résultats. La BID a révisé son cadre de résultats et réduit ses principaux indicateurs à 60 (contre 84 dans le cadre précédent) pour se concentrer sur les priorités stratégiques clés.

Constatation 11 : La Banque a identifié le Système d’établissement de rapports sur les résultats (SERS) comme un outil de rapport potentiellement efficace lié à des données de résultats de qualité, bien que sa mise en œuvre ait été retardée. L'amélioration du système d'information de la BAD devrait renforcer l'efficacité et l'efficience du CMR.

L'évaluation de la qualité des données de la RAED fournit des preuves que le niveau le plus pertinent pour la BAD est le Niveau 2. C'est à ce niveau que davantage d'efforts doivent être déployés et que la convergence des objectifs clés de la gestion axée sur les résultats et les preuves de conformité, d'apprentissage et de redevabilité peuvent être clairement démontrées, récoltées, utilisées et rendues

L'évaluation de la qualité des données de la RAED fournit des preuves que le niveau le plus pertinent pour la BAD est le Niveau 2. C'est à ce niveau que davantage d'efforts doivent être déployés et que la convergence des objectifs clés de la gestion axée sur les résultats et les preuves de conformité, d'apprentissage et de redevabilité peuvent être clairement démontrées, récoltées, utilisées et rendues