Une synthèse des validations de RAP IDEV. Rapport de synthèse sur la validation de Rapports d achèvement de projet de 2019.

(1)

Rapport de synthèse sur la validation de Rapports d’achèvement de projet de 2019

Septembre 2021

Une synthèse des validations de RAP IDEV

(2)

Les différents produits qui servent à atteindre les objectifs stratégiques

de l’évaluation indépendante

Évaluation thématique Évaluation groupée de projets

Évalua

tion de stra tégie

d’intégra

tion régionale

Synthèse des valida tions des RAP et RSE Évalua

tion d’impact

Évalua

tion de la performance

des projets

Évalua tion de stra

tégie pays Synthèse d’évalua

tion

Évalua tion institutionnelle

Évalua tion sectorielle

Synthèse des v

alidations

de RAP et RSE

(3)

Rapport de synthèse sur la validation de Rapports d’achèvement de projet de 2019

Septembre 2021

(4)

Rapport de synthèse sur la validation de Rapports d’achèvement de projet de 2019 Synthèse des validations de RAP IDEV ; Septembre 2021

Exclusion de responsabilité

Sauf indication contraire expresse, les constatations, interprétations et conclusions exprimées dans cette publication sont celles de ses divers auteurs et ne correspondent pas nécessairement aux vues de la direction de la Banque africaine de développement (la « Banque ») et du Fonds africain de développement (le « Fonds »), de leurs Conseils d’administration, Conseils des gouverneurs ou des pays qu’ils représentent.

Le lecteur consulte cette publication à ses seuls risques. Le contenu de cette publication est présenté sans aucune sorte de garantie, ni expresse ni implicite, notamment en ce qui concerne la qualité marchande de l’information, son utilité à telle ou telle fin et la non-violation de droits de tierce-parties. En particulier, la Banque n’offre aucune garantie et ne fait aucune déclaration quant à l’exactitude, l’exhaustivité, la fiabilité ou le caractère « actualisé » des éléments du contenu. La Banque ne peut, en aucun cas, notamment en cas de négligence, être tenue pour responsable d’un préjudice ou dommage, d’une obligation ou d’une dépense dont on ferait valoir qu’ils sont consécutifs à l’utilisation de cette publication ou au recours à son contenu.

Cette publication peut contenir des avis, opinions et déclarations provenant de diverses sources d’information et fournisseurs de contenu. La Banque n’affirme ni ne se porte garante de l’exactitude, l’exhaustivité, la fiabilité ou le caractère « à jour » d’aucun d’entre eux ni d’aucun autre élément d’information provenant d’une source d’information quelconque ou d’un fournisseur de contenu, ni d’une autre personne ou entité quelle qu’elle soit. Le lecteur s’en sert à ses propres risques.

À propos de la BAD

Le Groupe de la Banque africaine de développement a pour objectif premier de faire reculer la pauvreté dans ses pays membres régionaux en contribuant à leur développement économique durable et à leur progrès social. À cet effet, il mobilise des ressources pour promouvoir l’investissement dans ces pays et leur fournit une assistance technique ainsi que des conseils sur les politiques à mettre en œuvre.

À propos de l’Évaluation Indépendante du Développement (IDEV)

L’évaluation indépendante du développement a pour mission de renforcer l’efficacité des initiatives de développement de la Banque dans ses pays membres régionaux par l’exécution d’évaluations indépendantes et influentes et par des partenariats pour l’échange de connaissances.

Évaluation indépendante du développement (IDEV) Groupe de la Banque africaine de développement Avenue Joseph Anoma 01 BP 1387, Abidjan 01 Côte d’Ivoire Tél : +225 27 20 26 28 41

Courriel : idevhelpdesk@afdb.org idev.afdb.org

Conception graphique : Créon – www.creondesign.net Crédits Photos: Compte Flickr BAD

Langue originale : Anglais-Traduction : Département des services linguistiques de la BAD REMERCIEMENTS

Chef de projet : Clément BANSE, Chargé d’évaluation en chef

Membres de l’équipe : Venceslas KOUAKOU KOUAME, Consultant junior ; Souleymane DIEYE, Assistant supérieur de la base de données d’évaluation

Consultant : Stephen CUNNINGHAM

Pairs évaluateurs internes : Joseph MOUANDA (Chargé d’évaluation en chef), Andson NSUNE (Chargé d’évaluation principal),

Judith OFORI (Consultante supérieure), Tesfaye TEKLU (Consultant supérieur), Clement MENSAH (Consultant) Pair évaluateur externe Hubert PAULMER, Consultant

Gestion des connaissances et

de la communication : Raky GASSAMA, Chargée supérieure de la gestion des connaissances ; Dieter GIJSBRECHTS, Chargé principal de la gestion des connaissances ; Foteh YOUSSOUF, Consultante junior gestion des connaissances et commmunication

Autre assistance : Myrtha DIOP, Assistante budgétaire et administrative supérieure ; Henda AYARI, Assistante d’équipe et Ruby ADZOBU-AGYARE, Secrétaire

Chef de division : Rufael FASSIL

Évaluateur général (par intérim) : Karen ROT-MUNSTERMANN

(5)

Sigles et abréviations v

Résumé analytique 1

Introduction 7

Le contexte 7

L’objectif, la méthodologie et les limites 7

La structure du rapport 9

Les projets ayant fait l’objet de RAP en 2019 11 La performance des projets 13

La performance des résultats des projets 13

La performance des parties prenantes (la Banque, l’emprunteur et les autres) 16

La qualité des RAP de 2019 19

Les notes attribuées pour la qualité des RAP 19

L’écart entre les notations des RAP et des NERAP 21

La qualité du suivi et de l’évaluation (la conception, la mise en œuvre et l’utilisation) 24

La conformité du RAP avec les directives de la Banque 25

Les conclusions et les enseignements tirés

de la revue des RAP de 2019 27

Les conclusions générales 27

Les enseignements tirés de la revue des RAP de 2019 28

Annexes 31

Table des matières

(6)

Liste des figures

Figure 1 RAP de qualité satisfaisante avec une marge d’amélioration (%), 2016–2019 20 Figure 2 L’écart des notations attribuées par la Direction et celles octroyées

par IDEV pour la performance des projets à l’achèvement (%) 22 Figure 3 L’amélioration du score de la qualité du suivi et de l’évaluation

de projet, 2016–2019 24

Liste des tableaux

Tableau 1 Echelle de notation 8

Tableau 2 L’échantillon du RAP de 2019 à examiner par secteur et par région (nombre) 11 Tableau 3 Liste des projets avec les notes globales des NERAP

les plus élevés et les plus bas 13

Table des matières

(7)

Sigles et abréviations

ACB Analyse coût-bénéfice

ACFA Facilité de cofinancement accéléré pour l’Afrique

AEPAR Approvisionnement en eau potable et assainissement en milieu rural BAD Groupe de la Banque africaine de

développement

CER Communautés économiques régionales EVRD Base de données des résultats d’évaluations FFBC Fonds forestier du bassin du Congo FAD Fonds africain de développement FAE Facilité africaine de l’eau

FAPA Fonds d’assistance au secteur privé africain FEF Facilité en faveur des États fragiles IDEV Évaluation indépendante du développement

NERAP Note d’évaluation du rapport d’achèvement de projet

OAP Opération d’appui aux programmes ODP Objectif de développement de projet PIAQ Plan intégré d’assurance qualité PRI Pays à revenu intermédiaire RAP Rapport d’achèvement de projet REE Rapport sur l’état d’exécution et sur les

résultats S&E Suivi et évaluation

SNOQ Département du Secrétariat du Comité des opérations et de l’assurance qualité ZLT Zone de libre-échange tripartite ZimFund Fonds fiduciaire multi-donateurs pour le

Zimbabwe

(8)

(9)

1 Résumé analytique

Résumé analytique

Le cadre général

Chaque année, le Groupe de la Banque africaine de développement (ci-après dénommé la BAD ou

« la Banque ») entreprend des auto-évaluations de ses opérations souveraines achevées au moyen de rapports d’achèvement de projets (RAP) préparés par les départements opérationnels compétents.

Le Département de l’Évaluation indépendante du développement (IDEV) de la Banque valide ces rapports et rédige des notes d’évaluation des RAP (NERAP) ainsi qu’un rapport de synthèse sur lesdites notes.

Spécifiquement, ce présent rapport de synthèse résume :

❙ les principaux résultats des NERAP de 2019 en mettant l’accent sur la qualité des RAP et la performance des projets, de la Banque et des emprunteurs ; et

❙ les principaux enseignements pour améliorer la qualité des RAP et la performance des résultats des projets.

Le présent rapport de synthèse à l’instar de celui de 2018 ne formule aucune recommandation, car celles figurant dans les rapports de synthèse des NERAP de 2016 et de 2017 sont toujours valables et sont en cours d’application dans le cadre du Plan intégré d’assurance qualité (PIAQ) pour la période 2019–2021 de la Banque, en particulier, celles concernant la révision des directives du RAP.

Les conclusions tirées de la présente revue (2019) devraient être portées à la connaissance du Conseil d’administration, de la Direction et du personnel de la Banque, et diffusées auprès du public par le biais de discussions, d’ateliers, d’activités d’IDEV, ainsi qu’à travers le site internet de la Banque.

La méthodologie

Les principales sources de preuves pour ce rapport de synthèse sont le rapport technique NERAP de 2019 et les 65 NERAP préparés par IDEV. Cela a été complété par des preuves provenant d’une revue documentaire des documents pertinents. Des NERAP ont été préparés pour 65 RAP, conformément au programme de travail 2020 d’IDEV. Les 65 RAP ont été choisis à l’aide d’un échantillonnage aléatoire stratifié des 89 opérations souveraines de la Banque pour lesquelles des RAP ont été préparés en 2019. Cela représente un taux de couverture de 73 pour cent.

Conformément à la « Note d’orientation du personnel en matière de préparation des rapports d’achèvement de projet et de notation » (2012), chaque RAP a été préparé en se fondant non seulement sur des critères de performance des projets (pertinence, efficacité, efficience et durabilité) et sur la performance des parties prenantes (Banque, emprunteur et autres intervenants), mais également sur une échelle de notation à quatre points. L’échelle de notation définit une performance satisfaisante comme un score de 2,5 ou plus sur un maximum de 4. De façon spécifique, cette échelle à quatre niveaux se présente comme suit : 1,00–1,49 (très insatisfaisant) ; 1,50–2,49 (insatisfaisant) ; 2,50–3,49 (satisfaisant) ; 3,50–4,00 (très satisfaisant).

La performance de chaque projet de l’échantillon est évaluée et se voit attribuer une note globale basée sur la moyenne des notes attribuées aux quatre critères de performance, à savoir la pertinence, l’efficacité, l’efficience et la durabilité. Chaque critère est noté en fonction d’un certain nombre de sous-critères pertinents.

Chaque RAP a été validé à partir de critères d’évaluation et suivant l’échelle de notation à quatre

(10)

2 Rapport de synthèse sur la validation de Rapports d’achèvement de projet de 2019

points susmentionnés. Le RAP a également été évalué en fonction des quatre critères de qualité ci-après :

❙ La qualité du RAP est évaluée à partir de neuf aspects, à savoir la qualité et l’exhaustivité des éléments de preuve et de l’analyse du RAP ; l’objectivité de l’évaluation du RAP; la cohérence interne des notes d’évaluation qui lui ont été attribué ; l’identification et l’évaluation des facteurs clés et des effets non intentionnels ayant une incidence sur la conception et la mise en œuvre ; l’adéquation du traitement des questions de sauvegarde, fiduciaires et de l’alignement et de l’harmonisation ; la solidité du processus de production des données et leur analyse (y compris les taux de rentabilité) à l’appui de l’évaluation du RAP ; l’adéquation des preuves accessibles dans leur globalité (à partir du RAP, des annexes et les autres données fournies) ; les enseignements (et des recommandations) clairs et fondés sur des preuves ainsi que la clarté et l’exhaustivité générales du RAP.

❙ L’écart entre les notations sur la performance du projet, défini comme étant la différence entre les notes attribuées dans le RAP et celles figurant dans la NERAP ;

❙ La qualité du suivi et de l’évaluation qui porte sur la conception, la mise en œuvre et l’utilisation.

❙ Le respect des directives relatives au RAP, en particulier en ce qui concerne l’établissement du RAP dans les délais prescrits ; la participation des parties prenantes à la préparation du RAP et la fourniture des annexes requises.

La qualité du suivi et de l’évaluation et du RAP ainsi que la conformité du RAP ont été évaluées à l’aide de l’échelle de notation à quatre points des RAP susmentionnée, du jugement évaluatif des sous- critères et de la moyenne pour ce qui est des critères.

Les données quantitatives et qualitatives ont été extraites des NERAP et du rapport technique. Elles ont ensuite été résumées et présentées sous forme

de tableaux et de figures. Pour évaluer la qualité du RAP, les notes attribuées dans le RAP et le NERAP, respectivement ont été comparées. Les notes du NERAP ont servi à l’évaluation des performances.

La principale limite était le nombre de NERAP, qui permettait certes d’évaluer la performance globale, mais qui limitait les conclusions sur la performance des projets par secteur et par région.

Les constatations

La performance des projets ayant fait l’objet de RAP en 2019

Le principal constat est que la performance globale des projets de la cohorte de 2019 a été satisfaisante au regard des critères combinés que sont la pertinence des objectifs de développement et la conception du projet, l’efficacité, l’efficience et la durabilité. Selon les NERAP, 72 pour cent de l’échantillon constitué de 65 projets ont été jugés satisfaisants. Cependant, cette performance était en légère baisse par rapport au 74 pour cent obtenu en 2018¹.

Même si les éléments probants sont peu nombreux en raison de la modicité de la taille de l’échantillon, les projets de la région Nord ont obtenu la note moyenne la plus élevée et les projets multirégionaux, les notes les plus faibles. Les performances par secteur sont plus inégales, allant d’un score de 2,75 (sur 4) pour les secteurs de l’énergie et de l’environnement à 3,19 pour le multisectoriel. Dans l’ensemble, les régions et les secteurs ont néanmoins obtenu une note proche ou supérieure à 3 (le point médian de la catégorie « satisfaisant »).

La performance des projets a été meilleure s’agissant de la pertinence des objectifs et de la conception (avec une moyenne de 3,68), et faible en ce qui concerne l’efficience et l’efficacité (avec des scores moyens de 2.83 et 2.86 respectivement) tout en restant satisfaisant. Les objectifs de la quasi-totalité des projets (98 %) étaient pertinents et de ce fait, bien alignés sur les priorités de développement du

(11)

pays ainsi que sur les stratégies pertinentes de la Banque. La pertinence de la conception des projets était satisfaisante, contrairement à la qualité des cadres de résultats desdits projets qui a été faible.

L’efficacité et l’efficience des projets étaient satisfaisantes. Néanmoins, l’efficience des projets a été limitée par d’importants retards dans l’exécution et des dépassements de coûts. La durabilité du projet a été aussi jugée satisfaisante et s’est avérée forte sur le plan de l’appropriation, des sauvegardes et des aspects institutionnels, mais faible pour ce qui est des aspects financiers.

La performance des principales parties prenantes (la Banque, les emprunteurs et les autres partenaires de développement) a contribué à la performance des projets et a été, dans l’ensemble, satisfaisante.

Les services de la Banque et des autres partenaires de développement ont été meilleurs que ceux des emprunteurs. La performance la plus faible demeure celle des emprunteurs. La performance a été plus forte en ce qui concerne la qualité de la supervision par la Banque et la réactivité des autres partenaires de développement aux demandes des clients. Toutefois, cette performance a été la plus faible pour ce qui est de : i) la réponse des clients aux recommandations des supervisions ; ii) l’appui de la Banque en matière de conception, de mise en œuvre et de l’utilisation du suivi et évaluation et iii) l’assurance par l’emprunteur de la durabilité des retombées positives des projets.

La qualité des RAP de 2019 de la Banque Une qualité satisfaisante, mais perfectible. Dans l’ensemble, la qualité des RAP pour l’année 2019 a été satisfaisante, même si inégale. 77 pour cent (50) des 65 RAP ont été jugés satisfaisants ou très satisfaisants. La note globale attribuée à la qualité des RAP s’est établie en moyenne à 2,8, au regard d’un ensemble normalisé de neuf critères. Ce score, qui était le même pour les RAP 2018 et 2016 avec une modeste amélioration en 2017 (3,0), reste loin du score maximum de 4, indiquant qu’il existe une marge d’amélioration considérable. Certains aspects

doivent être améliorés, notamment les notations des RAP, les leçons, les recommandations, le S&E et le respect des directives du RAP. Toutefois, la qualité globale des RAP s’est améliorée sur la période 2016–2019 : le pourcentage de RAP de qualité satisfaisante ou très satisfaisante est passé de 59 pour cent en 2016 à 77 pour cent en 2019.

Le critère qui continue d’être le plus mal noté est la présentation des preuves à l’appui des notes attribuées au projet par le RAP, qui n’était que partiellement satisfaisante dans l’ensemble, puisque près de 50 pour cent des RAP ont été jugés « insatisfaisant » ou « très insatisfaisant ».

Cette absence de preuves (par exemple le RAP devrait mettre à la disposition des évaluateurs le tout dernier rapport sur l’état d’exécution et des résultats, mais ce n’est souvent pas le cas) pose de sérieux problèmes aux évaluateurs des NERAP, qui sont, de facto, contraints de s’appuyer sur les rapports de résultats du RAP dans une plus grande mesure que prévu.

Les écarts des notations entre les RAP et les NERAP

L’écart entre les notes figurant dans le RAP et celles attribuées dans les NERAP réside dans la différence entre le pourcentage de projets ayant fait l’objet d’une évaluation positive (satisfaisante ou plus) octroyée par IDEV dans les NERAP. Les notes attribuées pour l’efficacité globale par le RAP montrent un écart relativement important entre celles de la direction et celles de IDEV (23 points de pourcentage) ce qui met en évidence une différence entre la façon dont la Direction et IDEV perçoivent l’efficacité des projets de la Banque dans les 65 projets validés. La seconde différence la plus marquée, porte sur l’évaluation de la durabilité globale des projets de la Banque, qui fait état d’un écart de 17 points de pourcentage entre les auto-évaluations et les évaluations indépendantes.

Enfin, les notations de l’efficacité globale et de la pertinence des objectifs, ainsi que celles sur la conception présentent toutes deux un écart de 15 et de 3 points de pourcentage respectivement.

(12)

Le suivi et l’évaluation

En ce qui concerne la qualité du suivi et de l’évaluation, elle s’est améliorée au cours de la période 2016–2019, même si elle demeure l’aspect le plus faible. La conception du suivi et de l’évaluation était de meilleure qualité, mais son point faible résidait dans l’adéquation des données de référence, la pertinence des indicateurs, sa mise en œuvre et son utilisation.

Le rapport sur l’état d’avancement des produits a été satisfaisant dans l’ensemble, mais celui concernant les effets a été moins bons.

L’évaluation des systèmes de suivi et de l’évaluation demeure un exercice difficile pour les évaluateurs du NERAP. Les rapports d’évaluation, ainsi que les autres documents des projets et des RAP lui-même contiennent très peu d’informations sur le système.

Même lorsque des systèmes de suivi et d’évaluation existent, les évaluations donnent à penser qu’ils ne sont pas mis en œuvre et exploités comme il se doit.

Il semble que les systèmes de suivi et d’évaluation sont considérés comme des éléments extérieurs aux projets plutôt que comme un outil essentiel permettant de suivre les progrès accomplis, de corriger les trajectoires des projets le cas échéant et d’étayer l’efficacité de l’élaboration du projet.

Conformité des RAP aux directives des RAP La conformité du RAP (en termes de respect des délais, de participation des parties prenantes à la préparation du RAP et de fourniture des annexes requises) a été satisfaisante, avec une note moyenne globale de 3,05 pour les projets 2019. Cela représente une légère amélioration par rapport aux années précédentes (2018 – 2,80 ; 2017 – 3,00 ; et 2016 – 2,80).

Ce résultat a été déterminé par l’indicateur de ponctualité, qui est basé sur un système de notation quelque peu inhabituel selon lequel les RAP sont notés soit 4 (Très Satisfaisant) s’ils sont à l’heure, soit 1 (Très Insatisfaisant) s’ils ne le sont pas. Comme 54 des 65 RAP ont été livrés conformément au calendrier, la moyenne pour ce sous-critère était de 3,45.

L’évaluation de l’étendue de la participation des parties prenantes à la préparation du RAP a continué d’être problématique. Le score moyen était de 2,46, mais il était basé sur seulement 48 des 65 projets.

Les enseignements tirés des RAP de 2019 et de leur validation

La qualité des principaux enseignements et des recommandations formulés dans le RAP était satisfaisante. Toutefois, la note de 2,70 était inférieure à celle attribuée en 2018 (2,80) et en 2017 (3,10).

De multiples enseignements ont été recensés, reformulés et validés à partir des RAP de 2019 et de leur validation. Ces enseignements étaient en grande partie pertinents et certains d’entre eux étaient similaires à ceux tirés des examens des RAP de 2016, 2017 et 2018. Ces enseignements étaient pour la plupart communs à tous les secteurs d’intervention, à toutes les régions et à tous les instruments de la Banque. De façon générale, ces enseignements portent sur des détails relatifs à des projets spécifiques plutôt que sur des questions ayant trait à des questions stratégiques ou de programmes.

Au total, 64 projets ont permis de tirer 306 enseignements. Seul un projet n’a tiré aucun enseignement, ni formulé de recommandation.

Toutefois, la qualité et la pertinence des enseignements varient.

Les précédents rapports de synthèse ont soulevé le problème suivant : certains auteurs de RAP avaient du mal à faire la distinction entre les enseignements et les recommandations. Ce problème a également été constaté dans les RAP de 2019.

L’objectif des enseignements varie considérablement, car certains RAP estiment que leur rôle se limite à fournir des enseignements se rapportant directement au projet, tandis que d’autres s’efforcent de tirer des leçons plus générales à partir de l’expérience du projet. En se fondant sur ces enseignements, le rapport de synthèse a retenu les leçons ci-après :

(13)

La préparation et la conception des projets 1. Il est essentiel de s’appuyer sur les enseignements

précédents pour garantir une conception de projet de haute qualité.

2. Les projets ont plus de chances de réussir si les indicateurs clés de performance sont définis de façon claire et mesurable pendant la phase de conception, plutôt que d’être considérés comme une tâche relevant de la mise en œuvre.

3. La phase de conception est une étape essentielle pour la réussite du projet. Les lacunes de la conception ont tendance à entraîner des surcoûts et des retards.

4. Un projet a plus de chances de réussir si la phase de conception est utilisée pour susciter la participation des parties prenantes en les associant au maximum.

5. Les projets qui concernent plusieurs pays et plusieurs secteurs sont généralement ceux qui posent le plus de problèmes et qui nécessitent par conséquent une définition claire et en temps opportun des rôles et des responsabilités.

Les modalités d’exécution et les performances

1. Il est essentiel de veiller à ce que l’équipe de gestion du projet dispose des compétences techniques requises.

2. Si le financement de tous les bailleurs de fonds prévus est mis à disposition en temps voulu, conformément à la planification du projet, alors, les retards et les dépassements de coûts peuvent être évités.

3. Un système efficace de suivi et d’évaluation, notamment la planification des missions de supervision et les revues des projets, est un outil essentiel de gestion de projet.

4. Maintenir l’implication des acteurs identifiés dès la phase de conception permet de s’assurer de l’appropriation du projet et de ses résultats.

5. Une planification financière appropriée est primordiale pour assurer la durabilité des résultats du projet.

Les trois enseignements et questions de portée plus générales

1. L’évaluation d’un projet sans tenir compte de son contexte historique peut aboutir à des résultats fallacieux. Lors de l’évaluation d’un projet, on obtiendra plus facilement une appréciation judicieuse de ses performances et surtout de sa durabilité probable, si on le place dans son contexte en le comparant aux projets précédents qui ont porté sur la même question.

2. Certains projets obtiennent de mauvais résultats parce qu’ils n’atteignent pas leur objectif clé indiqué dans le cadre logique. Ils peuvent encore produire des résultats utiles, qui peuvent être tardifs ou légèrement différents de ceux attendus. Évaluer le projet par rapport à son cadre logique axé sur les résultats peut ne laisser aucun doute sur sa performance, mais l’évaluer par rapport à l’ensemble de ses réalisations, y compris les effets inattendus, pourrait conduire à une évaluation plus favorable. La principale leçon est que le processus d’évaluation lui-même doit être réglé pour saisir les effets inattendus, les relations et les conséquences indirectes du projet. Ces informations peuvent être utiles pour éclairer les futures décisions de financement et la conception des projets.

3. Pour que les directives de la Banque concernant l’élaboration des RAP soient utiles dans la pratique, les critères de notation, leurs interprétations ainsi que la pertinence de la note globale doivent y être clairement définis pour garantir que les résultats réels et potentiels soient conformes et utiles pour éclairer la prise de décision et mesurer le succès des projets.

(14)

(15)

7 Introduction

Introduction

Le contexte

Le Groupe de la Banque africaine de développement (ci-après dénommé la « BAD » ou la « Banque ») évalue ses opérations au moyen d’un système qui associe auto-évaluation et évaluation indépendante. Pour les opérations souveraines, l’auto-évaluation revêt la forme d’un rapport d’achèvement de projet (RAP), qui est établi immédiatement après l’achèvement du projet par le département opérationnel qui a géré la conception et la mise en œuvre du projet.

L’’évaluation indépendante du développement (IDEV) de la Banque valide un certain nombre de RAP chaque année et prépare des notes d’évaluation des RAP (NERAP). Un échantillon aléatoire stratifié composé de 65 RAP a été sélectionné, et les notes d’évaluation des RAP choisis servent de fondement à un rapport technique et un rapport de synthèse sur les résultats des NERAP (le présent rapport). Le présent rapport de synthèse porte sur les NERAP des 65 RAP retenues parmi les 89 établies en 2019.

L’objectif, la méthodologie et les limites

L’Objectif. La validation du RAP permet de procéder à une revue indépendante sur la base documentaire de la performance et des résultats du projet par rapport à un ensemble de critères définis. Elle examine également la performance de la Banque, de l’emprunteur et des autres parties prenantes et évalue la qualité des RAP eux-mêmes.

Le principal objectif de la validation de RAP et du présent rapport de synthèse est d’aider la Direction et le personnel opérationnel de la Banque à améliorer :

❙ la gestion des projets en cours ;

❙ la conception et la mise en œuvre des projets futurs et

❙ la qualité des futurs RAP et l’établissement de rapports sur l’efficacité du développement.

À cet égard, le présent rapport synthétise des preuves crédibles tirées des 65 PCREN sur la performance des projets et la qualité des RAP et présente les principaux enseignements de la cohorte 2019 des RAP.

Plus précisément, ce rapport de synthèse aborde les principaux aspects suivants :

❙ Les résultats des NERAP de 2019 relatifs à la performance des projets, de la Banque et des emprunteurs, ainsi que sur la qualité des RAP et

❙ les enseignements à tirer en vue d’améliorer la performance des résultats des projets et la qualité des RAP.

Le rapport de synthèse devrait être largement diffusé auprès des membres du Conseil d’administration, de la Direction et du personnel de la Banque, et communiqué au public par le biais de discussions, d’ateliers, de rapports imprimés, d’activités d’IDEV et du site internet de la Banque.

La méthodologie. Le présent rapport de synthèse relatif aux NERAP se fonde sur l’analyse des 65 NERAP issus de la validation des 65 RAP. Ces RAP constituent un échantillon représentatif de 89 RAP (les RAP de 2019) au total que la Banque a préparé en 2019². Les RAP de l’année 2019 portent sur 102 opérations, représentant un investissement total d’environ 4 milliards d’UC (en termes de décaissement). Ils concernent des projets multisectoriels (gouvernance, social, finances), les projets d’infrastructures

(16)

(électricité, transport, approvisionnement en eau et assainissement), ainsi que les projets dans les secteurs de l’agriculture et de l’environnement.

Les 65 RAP examinés ont été retenus au moyen d’un échantillonnage aléatoire stratifié des RAP de 2019 (89) en tenant compte de la proportion de ces RAP dans chacun des secteurs et des régions de la Banque.

Cet échantillon de 65 RAP porte sur 77 opérations de la Banque dont les fonds décaissés s’élèvent au total à environ 3,5 milliards d’UC ainsi que sur l’ensemble des secteurs et des régions où la Banque intervient (pour plus de détails, voir la section 2 ci-après).

L’échantillonnage a consisté à calculer la fréquence relative des RAP par rapport à la population, et ce par secteur et à la multiplier par 65 pour obtenir la taille d’échantillon appropriée par secteur. Les projets ont ensuite été répertoriés par secteur et se sont vu attribuer un indice généré de manière aléatoire. Les indices les plus faibles ont été éliminés pour obtenir le nombre requis de projets pour chaque secteur. Le taux de couverture des 65 RAP est de 73 pour cent et 87 pour cent pour ce qui est du nombre d’opérations et du décaissement en leur faveur, respectivement.

Sur l’échantillon constitué de 65 RAP, 39 étaient rédigés en anglais et 26, en français. À l’instar des validations précédentes, le processus des NERAP de 2019, a adopté la démarche en matière d’évaluation prescrite par le document intitulé « Note d’orientation du personnel en matière de préparation des rapports d’achèvement de projet et de notation » de la Banque (2012). Cette note à l’intention du personnel précise la manière dont il convient d’évaluer la performance des projets en s’appuyant sur des critères d’évaluation internationaux à savoir la pertinence, l’efficacité, l’efficience et la durabilité, ainsi que la performance

de la Banque, de l’emprunteur et des autres parties prenantes du projet.

Les lignes directrices définissent une échelle de notation à quatre points (Tableau 1). Chaque critère est évalué en combinant un ensemble de sous-critères ; chacun d’entre eux est évalué séparément, les résultats sont ensuite combinés pour produire une note globale.

Ces échelles de notation, pour l’attribution de la note globale et les sous-critères, ont été appliquées à l’évaluation de la performance des parties prenantes.

Alors que les notations des sous-critères étaient fondées sur un jugement évaluatif, les notations globales étaient des moyennes calculées. La performance d’un projet était satisfaisante si la note obtenue était d’au moins 2,50.

Le modèle de validation du RAP utilise les mêmes critères d’évaluation et les mêmes échelles de notation que ci–dessus. Il comprend également les critères de qualité ci-après :

❙ L’évaluation de la qualité du RAP est fondée sur neuf critères, notamment :

■ La qualité et l’exhaustivité des éléments de preuve et de l’analyse du RAP ;

■ L’objectivité de la note d’évaluation du RAP ;

■ Le niveau de cohérence interne des notes d’évaluation du RAP ;

■ L’identification et l’évaluation des principaux facteurs et des effets non prévus touchant la conception et la mise en œuvre ;

■ L’adéquation du traitement des mesures de sauvegarde, des questions fiduciaires et de

Tableau 1 : Echelle de notation

Echelle de notation Sous-critères Critères/note globale

Très satisfaisant 4 3,50- 4

Satisfaisant 3 2,50-3,49

Insatisfaisant 2 1,50-2,49

Très insatisfaisant 1 1-1,49

Source : Note d’orientation du personnel en matière de préparation des RAP et de notation, 2012

(17)

9 Introduction

l’alignement et de l’harmonisation ;

■ La qualité du processus de production et d’analyse des données (y compris les taux de rentabilité) à l’appui de l’évaluation du RAP ;

■ L’adéquation globale des données factuelles accessibles (issues du RAP, y compris l’annexe et les autres données fournies) ;

■ La mesure dans laquelle les enseignements tirés (et les recommandations) sont clairs et fondés sur l’évaluation du RAP (données factuelles et analyse) et

■ La clarté et l’exhaustivité globales du RAP.

❙ Une appréciation de la qualité du suivi et de l’évaluation en ce qui concerne sa conception, et son ’utilisation dans la mise en œuvre des projets.

❙ Une évaluation de la conformité des RAP avec le document d’orientation du personnel en se concentrant sur : i) le respect des délais prescrits pour l’établissement du RAP ; ii) la participation des parties prenantes à la préparation des RAP et iii) la fourniture des annexes requises.

❙ Enfin, ce document de synthèse examine la mesure dans laquelle il existe un écart entre les évaluations de la performance des projets par le RAP et le NERAP.

Pour préparer les NERAP de 2019, il a fallu extraire des éléments de preuve sur les plan quantitatif et qualitatif en procédant à une revue documentaire relative aux projets et aux programmes concernés et consulter d’autres documents, afin de remplir un modèle type de NERAP pour chaque RAP. Une équipe d’experts internationaux en évaluation spécialisés dans les disciplines pertinentes, ainsi que certains membres du personnel de la Banque et d’IDEV, ont préparé les 65 NERAP de l’année 2019.

Ces documents ont fait l’objet d’une revue par les pairs au sein d’IDEV et des consultants internationaux.

Des données quantitatives et qualitatives ont été extraites des 65 NERAP pour établir le présent rapport de synthèse. L’ensemble des données quantitatives a été analysé et les résultats sont présentés sous forme de tableaux et de graphiques récapitulatifs dans les

autres parties du présent rapport de synthèse. Les analyses effectuées à partir des données qualitatives ont permis d’étayer les résultats quantitatifs et de tirer des enseignements. Les résultats ont été comparés à ceux figurant dans les précédents rapports de synthèse. Le rapport de synthèse de 2019 a fait l’objet d’une revue par les pairs au niveaux interne et externe.

Les limites. L’élaboration du présent rapport de synthèse et des analyses qui l’accompagnent s’est heurtée aux contraintes ci-après :

❙ L’absence d’annexes (par exemple, le dernier rapport sur l’état d’exécution et des résultats des projets) qui devraient accompagner les RAP semble être un problème croissant qui peut avoir contraint un certain nombre d’évaluateurs du NERAP à se fier de manière excessive à l’opinion des auteurs des RAP ;

❙ L’échantillon de NERAP est limité et ne permet pas de faire des conclusions robustes sur la performance des projets par secteur et par région ;

❙ L’exercice de synthèse identifie les problèmes, mais l’analyse approfondie sur les causes est en dehors de son champ d’application.

La structure du rapport

La suite du présent rapport est organisée comme suit :

❙ La section 2 présente les projets de 2019 ;

❙ La section 3 traite de la performance des projets telle qu’évaluée par les NERAP ;

❙ La section 4 examine la qualité des RAP et discute notamment des écarts entre les évaluations des RAP et des NERAP, la qualité du système de suivi et d’évaluation, la conformité des RAP avec les directives du personnel ; et

❙ La section 5 conclut le rapport et présente les principaux enseignements des NERAP en ce qui concerne l’amélioration de la qualité des projets.

(18)

(19)

11 Les projets ayant fait l’objet de RAP en 2019

Les projets ayant fait l’objet de RAP en 2019

Cette partie présente la population de 89 RAP préparés en 2019 par rapport à l’échantillon des 65 RAP au titre du rapport de synthèse. Les projets ayant fait l’objet du RAP de l’année 2019 ont porté sur l’ensemble des secteurs et des régions d’intervention de la Banque (tableau 2). Comme le montre l’annexe 1, le profil de ces projets ayant fait l’objet d’un RAP en 2019 a varié en fonction de la région et de la catégorie de pays, du secteur et de l’âge (nombre d’années qui se sont écoulées entre l’approbation et l’achèvement).

Par secteur. La composition sectorielle selon le nombre de projets a montré qu’environ 34 pour cent des projets étaient du secteur social et celui de l’eau et l’assainissement, suivis par l’électricité et les transports (29,2 pour cent), le multisectoriel (20 pour cent), l’agriculture et l’environnement (12,3 pour cent). Le secteur financier, qui occupe souvent une place prépondérante dans le portefeuille de la Banque, représentait environ 5 pour cent des projets figurant dans le RAP. Toutefois, leur

classement diffère lorsque la composition sectorielle est classée en fonction de la part du montant total des décaissements de la Banque. Le multisectoriel occupait la première place, avec 49 pour cent du montant décaissé, suivi par l’électricité et les transports (35,1 pour cent), le secteur social et celui de l’eau et l’assainissement (12 pour cent) et l’agriculture et l’environnement (3,4 pour cent).

La pondération en fonction du montant décaissé a accru de manière substantielle l’importance des projets multisectoriels des projets figurant dans le RAP de 2019 (Tableau A1.1, annexe 1).

Par région. Les projets examinés dans le cadre du RAP de 2019 étaient repartis dans toutes les régions et certains d’entre eux couvraient plusieurs régions. La répartition en fonction du nombre était plus homogène entre les régions que la répartition en fonction de la part du montant décaissé, bien que l’Est soit un peu sous-représenté et le Sud quelque peu surreprésenté. Le Sud, l’Ouest et

Tableau 2 : L’échantillon du RAP de 2019 à examiner par secteur et par région (nombre)

Région Secteurs

Agric & Envir. Finance Électricité Social Transport Eau/

assainissement Multisectoriel Tous les secteurs

Centre 2 1 2 1 2 8

Est 2 1 2 3 5 2 15

Nord 1 1 2 3 3 10

Sud 2 4 3 2 4 3 18

Ouest 2 1 2 2 4 11

Multi-

régions 1 1 1 3

Toutes les

régions 8 3 7 10 12 12 13 65

Source : Base de données des résultats des évaluations (EVRD) de IDEV.

(20)

le Nord figuraient dans le peloton de tête pour ce qui est du nombre de projets, tandis que le Nord représentait un peu moins de la moitié du total des décaissements dans les RAP de 2019 (45,3 pour cent) et les NERAP de 2019 (44,6 pour cent). Les pays bénéficiaires du FAD représentaient plus de la moitié des 65 projets.

Les pays de la BAD représentaient environ un tiers du nombre de projets et environ deux tiers du montant décaissé au titre des projets (Tableau A1.2 de l’annexe 1).

Par instrument. On a eu recours à 125 instruments financiers et non financiers au total pour financer les projets du RAP en 2019, certains projets ayant plus d’une ligne d’appui budgétaire. Les cinq principaux instruments de financement des projets sont les suivants par ordre d’importance (volume) : la Banque africaine de développement, le Fonds africain de développement ; la Facilité pour les États fragiles, le Programme mondial pour l’agriculture et la sécurité alimentaire et la Facilité africaine de l’eau (tableau A1.3a de l’annexe 1).

(21)

13 La performance des projets

La performance des projets

Cette partie résume les résultats des 65 NERAP pour 2019. La performance globale des projets, à la lumière des critères combinés à savoir la pertinence des objectifs de développement et de la conception du projet, l’efficacité, l’efficience et la durabilité, a été satisfaisante, les NERAP ayant attribué la mention

« satisfaisant » à 72 pour cent de l’échantillon de 65 projets. Cette performance a été associée à celle de la Banque, de l’emprunteur, des autres partenaires de développement et du suivi et de l’évaluation. Toutefois, cette performance a connu une légère baisse, passant de 74 pour cent en 2018 à 72 pour cent en 2019³.

La performance des résultats des projets

La performance globale des projets

Au regard des quatre critères (pertinence des objectifs et de la conception, efficacité, efficience et durabilité), la performance des projets a été satisfaisante. La revue des RAP révèle que quatorze et quatre projets ont obtenu respectivement la performance très satisfaisante (TS) et insatisfaisante. Comme nous

l’avons vu à la section 1.2, le système de notation a un pouvoir discriminatoire limité : les quatorze projets jugés très satisfaisants tandis que les NERAP ont tous obtenu une note globale de 3,50. Pour les distinguer, le score moyen a été calculé à partir des notes attribuées aux différents critères. Ce processus a permis recenser les cinq projets examinés dans cette section qui ont obtenu les notes les plus élevées, à savoir la catégorie « Très satisfaisant » (Tableau 3).

Il est à noter à partir de l’analyse détaillée de ces projets selon les 4 critères principaux (Annexe 2) que tous les projets les mieux notés ont obtenu un score TS à la fois pour la pertinence et l’efficacité. Mais les projets obtiennent de moins bons résultats sur les deux autres critères d’efficience et de durabilité, les principaux problèmes étant liés à la ponctualité et à la durabilité financière.

Concernant les projets ayant eu une note globale insatisfaisant, la caractéristique la plus importante et qui est commune à tous ces projets est sans doute leur mauvaise conception. Au moins certains des principaux défauts de conception devraient sauter aux yeux avant que les projets ne soient financés. Cette leçon se

Tableau 3 : Liste des projets avec les notes globales des NERAP les plus élevés et les plus bas

N° Titre du Projet Region/Pays Note Globale du

NERAP 1 Projet d'aménagement de la route Arusha-Holili/Taveta-Voi Est Kenya– Tanzanie) Très satisfaisant 2 Assistance technique pour l'étude sur la croissance inclusive et l'emploi Nord/Algérie Très satisfaisant 3 Projet d'adduction d'eau potable et d'assainissement dans huit centres

d’enseignements secondaires Ouest/Tchad Très satisfaisant

4 Projet d'appui à la gestion des investissements publics Ouest/Mauritanie Très satisfaisant 5 Station de traitement des eaux usées de Gabal El-Asfar – Projet Phase II Phase II Nord/Egypte Très satisfaisant 6 Projet d'interconnexion NELSAP (Interconnexion des réseaux électriques

des pays des lacs équatoriaux du Nil) - Portée de l'Ouganda Est/Ouganda Insatisfaisant 7 Projet de soutien à l'enquête sur le questionnaire sur les indicateurs de

bien-être de base Centre/RDC Insatisfaisant

8 Projet d'Appui à la Promotion de l'Emploi des jeunes et des Femmes (PAPEJF) Ouest/Senegal Insatisfaisant 9 Projet tripartite de renforcement des capacités COMESA-EAC-SADC (TCBP) Multi regions Insatisfaisant

(22)

dégage clairement des projets les plus faibles où il y la nécessité d’un examen complet de la conception, avant que le financement ne soit engagé, pour éviter d’intégrer dès le départ des risques d’échec.

Les projets les mieux notés montrent qu’un projet a de bonnes chances de réussir s’il est bien conçu, et qu’il convient par la suite de se concentrer sur la performance post-projet pour veiller à ce que les retombées positives dudit projet soient durables, même dans le cas des projets les plus performants.

La pertinence. En moyenne, la pertinence (i) des objectifs de développement et (ii) de la conception du projet a été jugée satisfaisante (3,68) à travers les 77 projets des 65 RAP. La performance a été meilleure en ce qui concerne la pertinence des objectifs de développement que pour la pertinence de la conception. La pertinence des objectifs de développement a été très satisfaisante (3,8), ce qui représente une amélioration par rapport aux années 2016 (3,13) et 2018 (3,70). La quasi-totalité des projets (98 pour cent) ont obtenu une note satisfaisante ou supérieure pour la pertinence de leurs objectifs, ce qui dénote un bon alignement sur les priorités de développement du pays et les stratégies pertinentes de la Banque (Tableau A2.1 de l’annexe 2).

Pour ce qui est de la pertinence de la conception du projet, la performance est satisfaisante, avec une note moyenne de 2,95 ; la performance de 78 pour cent des projets (40 de 64)⁴ a été jugée satisfaisante ou meilleure.

La note moyenne de 2,95, traduit une amélioration par rapport à 2016 (2,69) et 2018 (2,90), mais avec 14 des projets notant insatisfaisant ou très insatisfaisant sur la pertinence de la conception du projet, il est possible d’améliorer la qualité. La pertinence de la conception du projet a été principalement remise en cause par des lacunes dans les cadres de résultats du projet (y compris des logiques causales imprécises et une identification limitée des effets imprévus), et le manque de conceptions techniques adéquates pour déterminer avec précision les coûts.

L’efficacité. Dans l’ensemble, l’efficacité a été satisfaisante et a obtenu un score moyen de 2,86

(tableau A2.2 de l’annexe 2). Un peu plus des deux tiers des projets (70 pour cent), ayant bénéficié de 51 pour cent des décaissements de la Banque, ont affiché des performances satisfaisantes ou meilleures en ce qui concerne le niveau de réalisation des objectifs de développement du projet, indiquant que la réalisation des résultats de développement souhaités reste parfois un défi. La performance des produits (notée 2,8) a obtenu une note plus élevée que la performance des résultats (2,5), un résultat logique en ce sens que la réalisation des produits devrait être une condition nécessaire, mais pas nécessairement suffisante pour atteindre les résultats. Quatre-vingt-douze pour cent des projets ont obtenu des produits satisfaisants ou supérieurs. Le pourcentage était plus faible pour la performance des résultats (72 pour cent), ce qui a réduit l’efficacité globale du développement.

L’efficience. Les performances enregistrées dans ce domaine, qui portent sur (i) le respect des délais, (ii) l’efficacité de l’état d’avancement, (iii) l’efficacité de l’utilisation des ressources et (iv) l’analyse coûts-bénéfices, sont en moyenne satisfaisants (Tableau A2.3 de l’annexe 2). Le critère « efficience » a été jugée satisfaisante. La note moyenne globale qui s’établit à 2,83 s’est améliorée par rapport aux notes attribuées en 2018 (2,70) et 2016 (2,73). Soixante- quinze pour cent des projets, qui représentaient 80 pour cent du montant décaissé par la Banque, ont obtenu des résultats satisfaisants ou meilleurs en ce qui concerne l’efficience globale des projets.

En moyenne, le sous - critère « efficacité de l’utilisation des ressources » a été jugé satisfaisant.

Comme en 2018 (2,90) et 2016 (3,05), c’est un des sous - critères qui s’est vu attribuer la meilleure note, en s’améliorant pour s’établir à 3,25. Étant donné que ce sous-critère permet d’évaluer le taux de réalisation des résultats par rapport à l’engagement budgétaire, les projets de 2019 ont utilisé très efficacement les ressources disponibles.

Le sous-critère d’analyse des coûts-bénéfices a été aussi jugé satisfaisant. Le résultat le plus surprenant concerne l’amélioration substantielle du sous- critère

« analyse du coût-bénéfice ». Ce sous - critère avait

(23)

obtenu la note de 2,85 en 2016 et a ensuite baissé pour s’établir à 2,5 en 2018. La hausse à 3,10 en l’occurrence est tout à fait remarquable. Il convient de noter que ce sous-critère est fondé sur un nombre limité de projets (29 sur 65) et que dans les cas où le NERAP n’est pas en mesure d’attribuer une note à un projet, celui-ci est exclu du calcul de la note moyenne.

Le sous-critère relatif à l’état d’avancement de la mise en œuvre a été jugé satisfaisant avec la note de 2,74, qui est relativement proche de celle des années précédentes (2016 à 2,67 et 2018 à 2,60).

Le sous-critère relatif au respect des délais a été jugé insatisfaisant. La note de 2,25 attribuée en 2019 était encore plus faible qu’en 2018 (2,40) et 2016 (2,45).

L’incapacité générale des projets à respecter les délais d’achèvement initialement prévus nécessite que l’on mène une enquête pour savoir si le problème principal réside dans la conception ou la mise en œuvre. Les deux éléments jouent sans aucun doute un certain rôle.

La durabilité. Dans l’ensemble, la performance en matière de durabilité - qui prend en compte, (i) la durabilité financière, (ii) la capacité institutionnelle et le renforcement (iii) l’appropriation et la durabilité des partenariats, ainsi que (iv) la durabilité environnementale et sociale - est satisfaisante. Sa note moyenne était de 2,83 ; et 78 pour cent des projets ont eu des retombées positives susceptibles d’être durables. Le score moyen global de 2,83 est une amélioration par rapport aux années précédentes (2018 à 2,70 et 2016 à 2,63). Il s’agit d’une amélioration importante car, comme discuté ci-dessus, les projets 2019 les mieux classés suggèrent que le principal problème à résoudre concerne la durabilité des résultats.

La perspective de durabilité, pour chacun de ces quatre sous-critères, était satisfaisante, mais elle était plus pour les sous critères institutionnels et de capacité, d’appropriation et de partenariat, et de durabilité environnementale et sociale (Tableau A2 de l’annexe 2).

La durabilité viabilité environnementale et sociale était probable dans environ 75 pour cent des projets. Les performances en matière d’appropriation et de durabilité des partenariats ont mis en évidence une proportion

similaire. La Banque a été associée à de nombreux accords de partenariat avec d’autres partenaires de développement et a travaillé d’arrache-pied pour établir des accords concernant des projets entre plusieurs pays. Il n’a pas été facile de tirer des enseignements quant à l’efficacité de ces accords, étant donné la prise en compte limitée de cet aspect dans les RAP.

L’élément aberrant demeure la durabilité financière.

Celui-ci n’est pas seulement resté le sous-critère qui s’est vu attribuer la plus faible note, mais également le seul qui n’a guère amélioré sa note par rapport à 2018, restant à 2,60 bien qu’il s’agisse d’une meilleure performance par rapport à 2016 où il avait obtenu un score de 2,45. Néanmoins, il est assez préoccupant que, dans un contexte caractérisé par une amélioration générale de la performance enregistrée pour les projets 2019, la durabilité financière n’ait connu aucune amélioration. Il subsiste, semble-t-il, une marge considérable pour améliorer ce sous-critère, en particulier dans la phase de conception des projets.

La performance globale du projet par région⁵ Le tableau A2.5 de l’annexe 2 présente la note moyenne attribuée par le NERAP, par région, ainsi que la répartition des projets entre les catégories

« très satisfaisant », « satisfaisant » et « insatisfaisant » (aucun projet n’a été jugé « très insatisfaisant »). Pour donner plus de précision, la catégorie « satisfaisant » est divisée en deux parties : « satisfaisant 1 », qui comprend les projets dont la note est comprise entre 3,0 et moins de 3,5, et « satisfaisant 2 », ceux dont la note est comprise entre 2,5 et moins de 3,0.

Dans l’ensemble, les performances des projets sont relativement similaires dans toutes les régions, comme le montrent à la fois la note moyenne par région comparée à la moyenne de l’ensemble des projets, et le classement des projets par catégorie.

Toutefois, trois caractéristiques se distinguent.

Premièrement, la région Nord affiche un taux de réussite supérieur à celui de toutes les autres régions. Deuxièmement, les projets concernant plusieurs régions sont moins bien notés que la moyenne. Enfin, la région centrale présente le plus

(24)

large éventail de résultats, mais compte moins de projets que toute autre région.

L’impression que donne le tableau A2.5 de l’annexe 2 en ce qui concerne l’existence d’une corrélation entre la notation du NERAP et la région a été confirmée par un test du chi carré sur l’indépendance de deux variables catégorielles. Ce test a montré l’existence d’une corrélation très significative sur le plan statistique⁶. La cellule où la différence entre les valeurs observées et attendues était la région Nord-TS- ce qui signifie qu’il y a un plus grand nombre de projets considéré comme « très satisfaisant » dans cette région que ce à quoi on pourrait s’attendre s’il n’y avait pas une corrélation entre la région et la performance du projet.

La deuxième différence la plus marquante concerne les régions multiples-Satisfaisant 2, dont la fréquence est également plus élevée que prévu.

La note générale par secteur

Concernant la performance par secteur, les données (table A2.6 de l’annexe 2) indiquent qu’en 2019, les projets relevant des secteurs de l’électricité, de l’environnement et de l’agriculture ont enregistré des performances insuffisantes. Aucun secteur ne se distingue par des performances nettement supérieures à celles des autres, même si les projets multisectoriels semblent enregistrer les meilleurs résultats. Un test du Khi-deux n’a révélé aucune association entre la note globale et le secteur⁷. Il convient cependant de noter que tant le secteur agricole-satisfaisant 2- que le secteur multisectoriel-très satisfaisant- présentaient des fréquences plus élevées que prévu.

La performance des parties prenantes (la Banque, l’emprunteur et les autres)

La performance des différentes parties prenantes au projet a une incidence sur les résultats du projet. Chaque NERAP comprend une évaluation de la performance des différents groupes de parties prenantes. Dans l’ensemble, leur performance demeure satisfaisante et n’a pas affiché de réelle tendance au cours de la

période 2016–2019⁸. La performance la plus faible demeure celle de l’emprunteur.

La performance de la Banque

La performance globale de la Banque a été jugée satisfaisante, car elle l’a été dans 85 pour cent des 65 projets. Cette performance s’est établie à 2,97 en moyenne pour les projets de 2019, ce qui représente une amélioration par rapport aux 2,80 enregistrés en 2018, mais similaire à 2016.

La performance de la Banque est évaluée par le NERAP à l’aune d’une série de sept sous-critères ci-après :

❙ La détermination et la résolution proactives des problèmes à différentes étapes du cycle du projet ;

❙ La mise en application des enseignements tirés des opérations antérieures lors de la conception et de la mise en œuvre ;

❙ La promotion de la participation des parties prenantes pour renforcer l’appropriation ;

❙ La mise en application des exigences de sauvegarde et fiduciaires ;

❙ La conception et la mise en œuvre d’un système de suivi et d’évaluation ;

❙ La qualité de la supervision de la Banque (diversité des compétences au sein des équipes de supervision, etc.).

❙ La promptitude des réponses aux demandes.

Les résultats sont présentés dans le tableau A2.7 de l’annexe 2. Il convient de noter que tous les NERAP n’ont pas été en mesure de présenter de façon détaillée leur évaluation, en se fondant sur une appréciation globale de la performance, similaire à celle donnée dans les RAP, même si tous les projets disposent de données sur la notation globale. Cet état de fait explique pourquoi les critères individuels n’ont été notés que pour 46 à 52 projets.

(25)

Le tableau A2.7 de l’annexe 2 montre également que la performance de la Banque est satisfaisante pour l’ensemble des critères. Le point le plus faible a trait à la conception et à la mise en œuvre de systèmes de suivi et d’évaluation pour ses projets. La prompte réponse aux demandes témoigne d’une certaine amélioration, mais elle reste l’un des indicateurs de performance les plus faibles. En revanche, l’identification des problèmes s’est nettement améliorée.

La performance de l’emprunteur

La performance globale de l’emprunteur a été jugée satisfaisante. Elle était satisfaisante ou meilleure pour 74 pour cent des 65 projets. La performance de l’emprunteur s’est améliorée au cours de la période 2018–2019 (Tableau A2.8 de l’annexe 2).

La performance de l’emprunteur est évaluée par les NERAP en se fondant sur les six critères ci-après (Tableau A2.8 de l’annexe2) :

❙ La qualité de la préparation et de la mise en œuvre ;

❙ Le respect des engagements, des accords et des mesures de sauvegarde ;

❙ La mise à disposition des fonds de contrepartie en temps voulu ;

❙ La réactivité aux recommandations de la supervision ;

❙ Les mesures prises pour établir les bases de la durabilité du projet ; et

❙ Le respect des délais de préparation des demandes.

Comme dans le cas de la performance de la Banque, certains NERAP n’ont donné qu’une appréciation globale, le nombre de projets par critère est par conséquent inférieur au total. Bien que le tableau A2.8 de l’annexe 2 montre que la performance de l’emprunteur s’est améliorée, passant de 2,6 en 2018 à 2,84 en 2019, la note octroyée pour la performance était relativement similaire à celle de 2016, soit 2,87.

Ainsi, sur toute la période 2016–2019, il n’y a guère eu de signes d’amélioration.

Il a été constaté une faiblesse relative des critères se rapportant aux finances, en particulier la mise à disposition des fonds de contrepartie en temps voulu et la prise de mesures visant à garantir la durabilité des résultats du projet (ces derniers ne sont pas seulement financiers, bien entendu, mais comme on l’a vu ailleurs, la durabilité financière est la question centrale). Et, malgré l’amélioration générale, la célérité dans la préparation des demandes s’est en fait légèrement réduite.

La performance des autres parties prenantes La performance des autres parties prenantes a été satisfaisante, mais elle n’a subi aucun changement notable au cours de la période 2016–2019.

S’agissant des 33 projets qui ont été évalués, la performance des autres parties prenantes a été au moins satisfaisante pour 73 pour cent des projets.

La note moyenne attribuée pour la performance des autres parties prenantes était de 2,91, 2,90 et 2,97 en 2016, 2018 et 2019 respectivement (Tableau A2.9 de l’annexe 2).

La performance des autres parties prenantes est évaluée par les NERAP en fonction d’un ensemble de cinq critères comme suit :

❙ La célérité des décaissements par les co-financiers ;

❙ Le fonctionnement des accords de collaboration ;

❙ La qualité du dialogue politique avec les co-financiers (pour les OAP uniquement) ;

❙ La qualité du travail des prestataires de services ;

❙ La réactivité aux demandes des clients.

Un nombre moins nombreux de projets a été évalué pour les parties prenantes autres que la Banque et l’emprunteur, notamment parce que, dans certains cas, les évaluateurs du NERAP ne disposaient pas de suffisamment d’informations pour évaluer la performance des autres parties. Les résultats figurent dans le tableau A2.9 de l’annexe 2.

(26)