Une Synthèse des validations de RAP IDEV. Rapport de synthèse sur la validation de Rapports d achèvement de projet de 2018.

(1)

Rapport de synthèse sur la validation de Rapports d’achèvement de projet de 2018

Décembre 2020

Une Synthèse des validations de RAP IDEV

(2)

Évaluation thématique Évaluation groupée de projets

Évalua

tion de stra

tégie d’intégra tion

régionale

Valida

tion et évalua

tion de projets individuels (secteur public) Évalua

tion d’impact

Valida

tion et évalua

tion de projets individuels (secteur privé)

Évalua tion stra

tégie pays Synthèse d’évalua

tion

Évalua tion institutionnelle

Évalua tion sectorielle

Synthèse des v

alidations

des RAP et RSE

Les différents produits qui servent à atteindre les trois objectifs

de l’évaluation indépendante

(3)

Rapport de synthèse sur la validation de Rapports d’achèvement de projet de 2018

Décembre 2020

(4)

REMERCIEMENTS

Chefs de projet : Foday Turay, Chargé d’évaluation en chef, IDEV.1 (retraité) Clément Bansé, Chargé d’évaluation en chef, IDEV.1

Membres de l’équipe : Tesfaye Teklu, Consultant, IDEV.1 ; Kouame Yamoi Venceslas Kouakou, Consultant junior, IDEV.1 ; Souleymane Ben Daouda Dieye, Chargé supérieur de la base de données d’évaluation, IDEV.3

Consultant : Centennial International Group

Pair évaluatrice interne : Judith Ofori, Consultante, IDEV.1

Pair évaluateur externe : Hubert Palmer, Evaluateur du développement international, consultant Chargées de la gestion des connaissances

et communication : Jayne Musumba, Chargée principale de la gestion des connaissances, IDEV.3 ; Aminata Kouma Moulod, Assistante des connaissances en évaluation, IDEV.3 ; et Olive Bonga, Consultante en communication, IDEV.3

Autres appuis fournis par : Myrtha Diop, Assistante administrative supérieure, IDEV.0 ; Henda Ayari, Assistante d’équipe, IDEV.1 ; Ruby Adzobu-Agyare, Secrétaire, IDEV.0 ; et Clement Mensah, Consultant, IDEV.1

Chef de division : Rufael Fassil

Évaluateur général : Karen Rot-Münstermann (par intérim) ; Roland Michelitsch (ancien)

Rapport de synthèse sur la validation de Rapports d’achèvement de projet de 2018 Une synthèse des validations de RAP d’IDEV, Décembre 2020

Exclusion de responsabilité

Sauf indication contraire expresse, les constatations, interprétations et conclusions exprimées dans cette publication sont celles de ses divers auteurs et ne correspondent pas nécessairement aux vues de la direction de la Banque africaine de développement (la « Banque ») et du Fonds africain de développement (le « Fonds »), de leurs Conseils d’administration, Conseils des gouverneurs ou des pays qu’ils représentent.

Le lecteur consulte cette publication à ses seuls risques. Le contenu de cette publication est présenté sans aucune sorte de garantie, ni expresse ni implicite, notamment en ce qui concerne la qualité marchande de l’information, son utilité à telle ou telle fin et la non-violation de droits de tierce-parties. En particulier, la Banque n’offre aucune garantie et ne fait aucune déclaration quant à l’exactitude, l’exhaustivité, la fiabilité ou le caractère « actualisé » des éléments du contenu. La Banque ne peut, en aucun cas, notamment en cas de négligence, être tenue pour responsable d’un préjudice ou dommage, d’une obligation ou d’une dépense dont on ferait valoir qu’ils sont consécutifs à l’utilisation de cette publication ou au recours à son contenu.

Cette publication peut contenir des avis, opinions et déclarations provenant de diverses sources d’information et fournisseurs de contenu. La Banque n’affirme ni ne se porte garante de l’exactitude, l’exhaustivité, la fiabilité ou le caractère « à jour » d’aucun d’entre eux ni d’aucun autre élément d’information provenant d’une source d’information quelconque ou d’un fournisseur de contenu, ni d’une autre personne ou entité quelle qu’elle soit. Le lecteur s’en sert à ses propres risques.

À propos de la BAD

Le Groupe de la Banque africaine de développement a pour objectif premier de faire reculer la pauvreté dans ses pays membres régionaux en contribuant à leur développement économique durable et à leur progrès social. À cet effet, il mobilise des ressources pour promouvoir l’investissement dans ces pays et leur fournit une assistance technique ainsi que des conseils sur les politiques à mettre en œuvre.

À propos de l’Évaluation Indépendante du Développement (IDEV)

L’évaluation indépendante du développement a pour mission de renforcer l’efficacité des initiatives de développement de la Banque dans ses pays membres régionaux par l’exécution d’évaluations indépendantes et influentes et par des partenariats pour l’échange de connaissances.

Évaluation indépendante du développement (IDEV) Groupe de la Banque africaine de développement Avenue Joseph Anoma 01 BP 1387, Abidjan 01, Côte d’Ivoire Tél : +225 20 26 28 41

Courriel : idevhelpdesk@afdb.org idev.afdb.org

Crédits Photos : Compte Flickr BAD

Langue originale : Anglais - Traduction : Département des services linguistiques de la BAD Conception graphique : Créon – www.creondesign.net

(5)

Sigles et Abréviations v

Résumé analytique 1

Introduction 9

Contexte général 9

Objectif, méthodologie et limites 9

Structure du rapport 11

Projets ayant fait l’objet d’un RAP en 2018 13

Qualité des RAP établis en 2018 15

Note de qualité des RAP 15

Décalage entre les notations des RAP et des NERAP 17

Qualité du suivi et évaluation (conception, mise en œuvre et utilisation) 19

Performances des projets 23

Performance des parties prenantes (performances de la Banque,

de l’emprunteur et des autres parties prenantes) 26

Conclusions et enseignements tirés de la validation

des RAP de 2018 29

Conclusions générales 29

Enseignements tirés de la validation des RAP de 2018 30

Annexes 35

Table des matières

(6)

Table des matières

Liste des figures

Figure ES.1 RAP avec une qualité satisfaisante (%) 2

Figure ES.2 Score de conformité de la qualité des RAP 3

Figure ES.3 Niveau de qualité du S&E du projet 3

Figure ES.4 Projets jugés satisfaisants (%) 4

Figure ES.5 Note de performance des parties prenantes du projet, 2016–2018 4 Figure 1 Qualité satisfaisante des RAP, avec une marge d’amélioration, 2016–2018 16 Figure 2 Score de conformité satisfaisant du RAP, 2016–2018 17 Figure 3 Amélioration de la qualité du S&E des projets, 2016–2018 19 Figure 4 Performance des projets satisfaisante (%), RAP 2016-2018 23 Figure 5 Performance des parties prenantes des projets, 2016–2018 26

Liste des tableaux

Tableau 1 Échelle de notation 10

Tableau 2 Échantillon de RAP de 2018 à valider par secteur et par région (nombre) 13 Tableau 3 Instruments financiers utilisés dans l’échantillon de 65 projets

ayant fait l’objet d’un RAP 14

(7)

Sigles et Abréviations

ACB Analyse coût-bénéfice

BAD Banque africaine de développement CEP Cellule d’exécution de projet CPP Cellule de coordination de projet E&M Exploitation et maintenance EVRD Base de données des résultats

d’évaluation

FAD Fonds africain de développement

IDEV Évaluation indépendante du développement NERAP Note d’évaluation de rapport

d’achèvement de projet OD Objectif de développement

PAAQ Plan d’amélioration de l’assurance qualité PRI Pays à revenu intermédiaire

RAP Rapport d’achèvement de projet

S&E Suivi et évaluation Une Synthèse des validations de RAP IDEV

(8)

(9)

1 Résumé analytique

Résumé analytique

Contexte général

Le Groupe de la Banque africaine de développement (« BAD » ou la Banque) entreprend des auto-évaluations de ses opérations souveraines par le biais de rapports d’achèvement de projet (RAP) préparés par les départements opérationnels compétents. Le département de l’Évaluation indépendante du développement (IDEV) de la Banque valide les RAP et prépare des notes d’évaluation des RAP (NERAP) et un rapport de synthèse sur les NERAP de chaque année.

Ce rapport de synthèse présente les résultats issus de la validation de 65 RAP préparés en 2018. IDEV s’est engagé dans son programme de travail à valider ces 65 RAP.

Le présent rapport résume plus particulièrement :

❙ Les principaux résultats des NERAP pour l’année 2018 en mettant l’accent sur la qualité des RAP et la performance des projets, de la Banque et des emprunteurs ;

❙ Les principaux enseignements à tirer pour améliorer la qualité des RAP et la performance des projets en termes de résultats.

Ce rapport ne contient pas de recommandations, car celles formulées dans le rapport de synthèse des NERAP de 2016 et 2017 sont toujours valables et en cours de mise en oeuvre, et n’ont pas encore d’effets perceptibles sur la qualité des RAP. Le plan d’amélioration de l’assurance qualité (PAAQ) 2019–2021 de la Banque comprend des actions répondant aux recommandations issues de l’examen des NERAP pour la période 2016 et 2017.

Les conclusions de cette revue (2018) devraient être transmises au Conseil d’administration, à

la Direction et au personnel de la Banque. Elles devraient également être communiquées au public par le biais de discussions, d’ateliers, d’activités d’IDEV et du site Internet de la Banque.

Méthodologie

Les principales sources des données factuelles utilisées pour ce rapport sont le rapport technique sur les NERAP de 2018 et les 65 NERAP préparées par le cabinet de consultants Centennial International Group. Ces sources ont été complétées par des éléments tirés d’un examen des documents pertinents. Ces NERAP ont été préparées à partir des 65 RAP approuvés dans le programme de travail 2019 d’IDEV¹. Les 65 RAP ont été sélectionnés sur la base d’un échantillonnage aléatoire stratifié des 99 projets souverains de la Banque, pour lesquels les RAP ont été achevés en 2018². Conformément à la « Note d’orientation du personnel en matière de préparation des rapports d’achèvement de projet et de notation » (2012), chaque RAP a été préparé sur la base des critères de performance des projets (pertinence des objectifs et de la conception, efficacité, efficience et durabilité) et de performance des parties prenantes (Banque, emprunteur et autres parties prenantes), ainsi que d’une échelle de notation à quatre points. Selon l’échelle de notation, une performance satisfaisante est définie par une note de 2,5 ou plus sur un maximum de 4. Plus précisément, l’échelle de notation à quatre points comprend les notes suivantes : 1,00–1,49 (très insatisfaisant) ; 1,50–2,49 (insatisfaisant) ; 2,50–3,49 (satisfaisant) ; 3,50–4,00 (très satisfaisant).

Chaque RAP a été validé suivant les critères d’évaluation et l’échelle de notation à quatre points susmentionnée. Il a également été évalué sur la base des quatre critères de qualité ci-dessous :

(10)

2 Rapport de synthèse sur la validation de Rapports d’achèvement de projet de 2018

❙ La qualité du suivi et évaluation (S&E) couvrant la conception, la mise en œuvre et l’utilisation du S&E ;

❙ La qualité du RAP, évaluée à partir de neuf critères : qualité et exhaustivité des données et de l’analyse du RAP ; objectivité de l’évaluation du RAP ; cohérence interne des notes d’évaluation du RAP ; identification et évaluation des principaux facteurs et des effets involontaires affectant la conception et la mise en œuvre ; adéquation du traitement des mesures de sauvegarde, des questions fiduciaires et de l’alignement et de l’harmonisation ; qualité du processus de génération et d’analyse des données (y compris les taux de rendement) à l’appui de l’évaluation du RAP ; qualité globale des données factuelles accessibles (issues du RAP, notamment les données fournies en annexe et autres) ; des enseignements (et des recommandations) clairs et fondés sur des données factuelles ; clarté et exhaustivité globales du RAP ;

❙ L’écart entre les notations sur la performance du projet, défini comme étant la différence entre les notes attribuées dans le RAP et celles figurant dans la NERAP ; et

❙ Le respect des directives relatives au RAP, en particulier sur la production du RAP dans les délais requis ; la participation des parties prenantes à la préparation du RAP ; et la fourniture des annexes requis.

La qualité du S&E, la qualité du RAP et la conformité du RAP ont été évaluées selon l’échelle de notation à quatre points des RAP fournie ci-dessus, de même que le jugement évaluatif concernant les sous-critères et la moyenne en ce qui concerne les critères.

Des données quantitatives et qualitatives ont été extraites des NERAP et du rapport technique, puis synthétisées et présentées sous forme de tableaux et de figures. Pour évaluer la qualité des RAP, les notes des RAP et des NERAP ont été comparées.

Les notations des NERAP ont été utilisées pour l’évaluation des performances. La principale limite était le nombre de NERAP, qui est suffisant pour évaluer la performance globale, mais qui limite les conclusions sur la performance des projets par secteur et par région.

Constatations

Qualité des RAP de 2018 de la Banque Qualité satisfaisante avec une marge d’amélioration : la qualité des RAP de 2018 était, en général, satisfaisante, bien qu’ayant des disparités, avec 78% (51) des 65 RAP jugés satisfaisants (figure ES.1) et le reste (22%) insatisfaisant. Le score global de qualité du RAP était en moyenne de 2,8, bien en dessous du maximum de 4. Certains aspects doivent être améliorés, notamment les notes du RAP, les leçons, les recommandations, le suivi et l’évaluation (S&E) et le respect des directives du RAP. La qualité globale des RAP s’est améliorée sur la période 2016–2018 : le pourcentage de RAP de qualité satisfaisante est passé de 59 en 2016 à 78 en 2018 (figure ES.1).

En général, les RAP avaient tendance à évaluer la performance des projets nettement plus élevée que les NERAP. En outre, les RAP montraient des Figure ES.1 : RAP avec une qualité satisfaisante (%)

40 50 60 70 80 90 100

2018 2017

2016 59%

81% 78%

(11)

lacunes dans la qualité des preuves, des leçons, des recommandations, du S&E et du respect des directives de la Banque. Les critères de qualité les plus faibles des RAP étaient : (i) la solidité de la génération des données et la fourniture de données et de preuves pour étayer les conclusions connexes, et (ii) la qualité / objectivité de l’analyse.

Si 80% des leçons et recommandations des RAP étaient pertinentes, la plupart d’entre elles n’ont pas été correctement identifiées et formulées, ce qui indique la nécessité de renforcer les compétences des chefs de projet dans la préparation des RAP pour améliorer la qualité des RAP.

Le score de conformité de la qualité des RAP, bien qu’en moyenne satisfaisant, était bien inférieur au score maximum de 4 (Figure ES.2).

Concernant la qualité du S&E, elle s’est améliorée sur la période 2016–2018 et son score moyen pour 2018 a été satisfaisant (Figure ES.3). Il était plus solide dans la conception du S&E mais plus faible en termes d’adéquation des données de base et de pertinence des indicateurs, ainsi que de sa mise en œuvre et de son utilisation. Les rapports sur l’état d’avancement de la réalisation des produits étaient généralement satisfaisants, mais ceux des résultats étaient plus faibles.

Performance des projets ayant fait l’objet d’un RAP en 2018

La revue a évalué la performance (i) des projets (en termes de pertinence des objectifs et de la conception, d’efficacité / réalisation des objectifs de développement, d’efficience et de durabilité) et (ii) des parties prenantes.

Performance satisfaisante des projets avec une marge d’amélioration : la performance globale des projets a été satisfaisante pour les critères combinés de la pertinence des objectifs de développement des projets et de la conception, de l’efficacité, de l’efficience et de la durabilité. Elle a toutefois légèrement diminué, passant de 77 % en 2015 à 74 % en 2018 (figure ES.4). Les 26 % de projets restants ont eu des performances insatisfaisantes, mais aucun n’a été jugé très insatisfaisant. La performance du projets était la plus forte sur la pertinence des objectifs et la conception, mais la plus faible sur l’efficacité.

Les projets étaient, pour la plupart, très pertinents par rapport à leurs objectifs, ce qui indique qu’ils sont bien en phase avec les priorités de développement des pays et les stratégies pertinentes de la Banque.

La pertinence de la conception des projets était satisfaisante, mais la qualité des cadres de résultats des projets était faible. L’efficacité des projets était insatisfaisante, puisque 48 % seulement des Figure ES.2 : Score de conformité de la qualité

des RAP

1 2 3 4

2018 2017

2016 2,8

3,0

2,8

Figure ES.3 : Niveau de qualité du S&E du projet

1 2 3 4

2018 2017

2016 2,0

2,4

2,6

(12)

65 projets ont atteint leurs principaux objectifs de développement. Les projets ont obtenu de meilleurs résultats en termes de produits que de réalisation des effets. Bien que l’efficacité de certains projets ait été globalement satisfaisante, elle a été limitée par des retards d’exécution importants et des dépassements de coûts. La durabilité des projets était forte en ce qui concerne l’appropriation et les mesures de sauvegarde, mais faible sur les aspects financiers et institutionnels. Les projets présentant un niveau élevé de participation communautaire avaient le plus souvent des retombées durables.

La performance des principales parties prenantes (Banque, emprunteurs et autres partenaires de développement) a contribué à la performance des projets. Elle était en moyenne satisfaisante (figure ES.5). Elle était meilleure en ce qui concerne les services de la Banque et des autres partenaires de développement que celles des emprunteurs. La performance était la plus forte en ce qui concerne la qualité de la supervision de la Banque et la réponse des autres partenaires au développement aux demandes des clients, mais la plus faible en termes de : (i) réponse des clients aux recommandations issues des missions de supervision, (ii) soutien de la Banque à la conception, à la mise en œuvre et à l’utilisation du S&E, et (iii) d’assurance par l’emprunteur de la durabilité des résutats des projets.

Enseignements tirés des RAP de 2018 et leur validation

La Banque accorde de l’importance à la qualité de ses RAP et des résultats des projets. Dans son souci d’obtenir des RAP de qualité et pertinents et d’assurer l’efficacité des projets en termes de développement, la Banque est en train de mettre en œuvre un plan d’amélioration de l’assurance qualité (PAAQ) pour la période 2019–2021.

Ce Plan est une réponse aux enseignements et recommandations de plusieurs études diagnostiques et évaluations d’IDEV, au nombre desquelles figure la validation des RAP pour la période 2016–2017.

Les RAP de 2018 et leur validation a permis de tirer de nombreux enseignements, qui ont été identifiés, reformulés et validés. Ces enseignements étaient globalement pertinents, et certains d’entre eux étaient similaires à ceux des revues des RAP pour la période 2016–2017. La plupart de ces enseignements étaient communs à tous les secteurs d’intervention, régions et instruments de la Banque. Les enseignements qui ressortent des RAP portent généralement sur des éléments spécifiques aux projets plutôt que sur des questions stratégiques ou de programme.

Figure ES.5 : Note de performance des parties prenantes du projet, 2016–2018

Performance des autres parties

prenantes Performance

de l'emprunteur Performance

de la Banque

2016 2017 2018

2,8 2,8

2,6 2,6

2,7 2,9

2,8 2,9

2,9

1 2 3 4

Figure ES.4 : Projets jugés satisfaisants (%)

50 60 70 80 90 100

2018 2017

2016 2015 (Référence)

77 78

76 74

(13)

Les enseignements pertinents identifiés dans les RAP de 2018 (65) et validés dans les NERAP de 2018, mettent en évidence les aspects suivants qui ont une incidence sur la qualité : (i) de la préparation et la conception du projet ; (ii) des modalités de mise en œuvre et l’exécution ; et (iii) de la durabilité à différents niveaux (renforcement des institutions et des capacités, et appropriation). Les enseignements communs par thème sont présentés ci-dessous.

Préparation et conception des projets

❙ L’intégration des enseignements tirés des projets précédents est nécessaire pour une conception de projet de qualité, mais elle n’est pas toujours réalisée de manière systématique.

❙ La préparation des projets nécessite suffisamment de temps et de ressources. Si ces dispositions sont prises à la hâte en raison de pressions politiques ou dans des contextes d’urgence, la sélectivité et les réalisations risquent d’être insuffisantes.

❙ Il est important d’assurer des consultations plus larges des parties prenantes afin de recueillir efficacement les points de vue des communautés locales lors de la conception et de la formulation des programmes.

❙ Les projets dont les risques et les mesures d’atténuation sont correctement identifiés et évalués ont plus de chances d’être exécutés avec succès.

❙ La mise en œuvre des projets est susceptible d’être rapide et efficace lorsque les partenaires qui y collaborent sont clairement identifiés et que leurs rôles et responsabilités sont bien définis lors de l’évaluation et du lancement des projets.

❙ Les projets multinationaux et régionaux sont généralement complexes et nécessitent plus de temps pour leur préparation. La structure d’exécution doit refléter les limites budgétaires et les contraintes en matière de ressources humaines des pays participants.

❙ Des conceptions détaillées, réalistes et pertinentes sont des conditions préalables essentielles pour éviter les dépassements de délais et de coûts dans les projets.

❙ L’intégration de l’exploitation, de la maintenance et du budget associé dans la conception du projet est importante pour le succès de la mise en œuvre et la qualité des résultats des projets

Modalités d’exécution et performances

❙ Le maintien en place du même chef de projet et de l’équipe est un facteur important pour le succès d’un projet.

❙ Il est important de s’attaquer d’emblée aux problèmes de retards dans le décaissement des fonds de contrepartie, car ces retards peuvent entraîner une augmentation des coûts.

❙ Une mise en œuvre inadéquate du cadre de S&E d’un projet peut limiter drastiquement les informations disponibles sur le projet pour évaluer les performances et tirer des leçons de l’expérience.

❙ La mise en place de systèmes efficaces de S&E des projets nécessite un capital humain adéquat de même que les aptitudes et les compétences appropriées, des fonds, des mécanismes institutionnels, des ressources matérielles et un engagement de la Direction à utiliser les résultats du S&E.

❙ Les missions de supervision des projets sont des sources d’information précieuses pour améliorer la qualité de la mise en œuvre. Elles permettent de prendre des mesures correctives pour éliminer ou gérer toute menace à la réalisation des objectifs du projet.

❙ Les revues à mi-parcours des projets sont nécessaires pour une mise en œuvre satisfaisante et doivent être effectués à l’étape la plus appropriée du cycle du projet ; par exemple, une revue à mi-parcours précoce est essentiel en cas de problèmes persistants liés à la mise en œuvre.

(14)

❙ Les projets multinationaux nécessitent des structures de coordination communes fortes et efficaces.

❙ Le développement des produits du savoir et leur diffusion efficace sont nécessaires pour faciliter le changement de comportement et pour guider la conception et la bonne exécution des projets ultérieurs.

Renforcement des institutions et des capacités, et appropriation

❙ L’implication des organismes gouvernementaux et des organisations de la société civile nationales

concernés dès le début du cycle du projet est essentielle pour améliorer la durabilité des résultats du projet.

❙ La participation effective de la communauté (à la conception et à la mise en œuvre) est essentielle pour pérenniser les retombées du projet, en particulier dans des environnements opérationnels très difficiles.

❙ Avec la participation effective de prestataires de services indépendants, les réseaux de distribution d’eau sont plus susceptibles d’être durables.

(15)

(16)

(17)

9 Introduction

Introduction

Contexte général

Le Groupe de la Banque africaine de développement (« BAD » ou la Banque) entreprend des auto- évaluations de ses projets par le biais de rapports d’achèvement de projet (RAP) préparés par les départements opérationnels compétents. Le Bureau de l’Évaluation indépendante du développement (IDEV) de la Banque valide les RAP et prépare des notes d’évaluation des RAP (NERAP) et un rapport de synthèse sur les NERAP de chaque année. Le présent rapport de synthèse couvre les NERAP de 65 RAP préparés en 2018³.

Objectif, méthodologie et limites

Objectif. L’objectif principal de cette synthèse est d’aider la Direction et le personnel opérationnel de la Banque à améliorer la qualité des futurs RAP, la conception et la mise en œuvre des projets, ainsi que les rapports sur l’efficacité du développement, en synthétisant des données crédibles sur la qualité des RAP, la performance des projets et les principaux enseignements à prendre en compte.

Plus précisément, ce rapport résume :

❙ Les principaux résultats des NERAP de 2018, en mettant l’accent sur la qualité des RAP et la performance des projets, de la Banque et des emprunteurs ; et

❙ Les principaux enseignements relatifs à l’amélioration de la qualité des RAP et à la performance des projets en termes de résultats.

Les résultats de la validation devraient être largement communiqués au Conseil d’administration, à la Direction et au personnel de la Banque, et partagés

avec le public par le biais de discussions, d’ateliers, de rapports imprimés, d’activités d’IDEV et du site internet de la Banque.

Méthodologie. Ce rapport de synthèse des NERAP est basé sur le rapport technique (sur l’échantillon de 65 NERAP) produit par le cabinet Centennial International Group, ainsi que sur une analyse documentaire et des analyses complémentaires.

Les 65 NERAP portent sur les 65 RAP de la cohorte de 2018 qu’IDEV s’est engagé à valider dans son programme de travail 2019. Pour 2018, la Banque avait prévu de livrer 108 RAP pour les 108 projets pouvant faire l’objet d’une autoévaluation (annexe 1).

Toutefois, d’après les sources de données pertinentes de la Banque, celle-ci n’a réalisé que 99 des 108 RAP prévus ; les 9 RAP restants n’ayant pas été réalisés. Un échantillonnage aléatoire stratifié a été effectué sur les 65 (66 %) des 99 RAP achevés, compte tenu des proportions de RAP achevés par secteur et région de la Banque⁴. Cet échantillon de 65 projets représentant un engagement total d’environ 3,2 milliards d’UC couvre tous les secteurs et régions d’intervention de la Banque (tableau 2 et annexe 1). Le document « Note d’orientation du personnel en matière de préparation des rapports d’achèvement de projet et de notation » (2012) de la Banque et le modèle de validation des RAP ont guidé la préparation des NERAP de 2018. Ces directives à l’intention du personnel portent sur la manière d’évaluer la performance du projets (selon les critères d’évaluation internationaux liés à la pertinence, l’efficacité, l’efficience et la durabilité) et celles des parties prenantes du projets (comprenant la Banque, l’emprunteur et d’autres acteurs). Les directives à l’intention du personnel appliquent une échelle à quatre points (Tableau 1).

Ces échelles de notation applicables à la notation globale et aux sous-critères ont été appliquées

(18)

pour l’évaluation de la performance des parties prenantes. Alors que les notations des sous-critères étaient basées sur un jugement évaluatif, les notations globales étaient des moyennes calculées.

La performance d’un projet était satisfaisante si la note obtenue était d’au moins 2,50.

Le modèle de validation du RAP utilise les mêmes critères d’évaluation et les mêmes échelles de notation que ci–dessus. Il comprend également les critères de qualité suivants :

❙ La qualité du suivi et évaluation (S&E) couvrant la conception, la mise en œuvre et l’utilisation du S&E ;

❙ La qualité du RAP est évaluée sur neuf axes (niveau de qualité et d’exhaustivité des données et de l’analyse du RAP ; le degré d’objectivité de la note d’évaluation du RAP ; le niveau de cohérence interne des notes d’évaluation du RAP ; le degré d’identification et d’évaluation des principaux facteurs et des effets involontaires affectant la conception et la mise en œuvre ; l’adéquation du traitement des mesures de sauvegarde, des questions fiduciaires, et de l’alignement et de l’harmonisation ; qualité du processus de production et d’analyse des données (y compris les taux de rendement) à l’appui de l’évaluation du RAP ; l’adéquation globale des données factuelles accessibles (issus du RAP, y compris l’annexe et les autres données fournies) ; la mesure dans laquelle les enseignements tirés (et les recommandations) sont clairs et fondés sur l’évaluation du RAP

(données factuelles et analyse) ; et la clarté et l’exhaustivité globales du RAP) ;

❙ L’écart entre les notations attribuées dans le RAP et celles figurant dans la NERAP en ce qui concerne la performance des projets ; et

❙ La conformité avec les directives relatives aux RAP, notamment en ce qui concerne : i) la production des RAP dans les délais ; ii) la participation des parties prenantes à la préparation du RAP ; et iii) la fourniture des annexes requises.

La qualité du S&E, la qualité et la conformité des RAP ont été évaluées en utilisant l’échelle de notation à quatre points des RAP ci-dessus ; le jugement évaluatif pour les sous-critères et la moyenne pour les critères.

La préparation des NERAP de 2018 a nécessité l’examination de données quantitatives et qualitatives par l’examen de la documentation pertinente des projets et des programmes et d’autres documents afin de remplir un modèle type de NERAP pour chaque RAP⁵. Une équipe d’experts internationaux en évaluation dans les disciplines concernées a préparé les NERAP de 2018, qui ont fait l’objet de revue par les pairs au niveau interne (IDEV) et externe.

A la suite de la préparation des 65 NERAP, des données quantitatives et qualitatives ont été extraites de chacun des 65 NERAP par un examen des documents pertinents. Les données quantitatives ont été analysées et présentées dans des tableaux et figures récapitulatifs. Les analyses tirés des données qualitatives ont servi à étayer les résultats Tableau 1: Échelle de notation

Échelle de notation Sous-critères Critères/note globale

Très satisfaisant 4 3,50–4,00

Satisfaisant 3 2,50–3,49

Insatisfaisant 2 1,50–2,49

Très insatisfaisant 1 1,00–1,49

Source : Note d’orientation du personnel en matière de préparation des rapports d’achèvement de projet et de notation, 2012.

(19)

11 Introduction

quantitatifs et l’identification des enseignements.

Les résultats de synthèse des NERAP 2018 ont également été comparés à ceux des NERAP de 2016 et de 2017. Le rapport de synthèse a été soumis à une revue par les pairs interne et externe.

Limites. L’évaluation s’est heurtée aux limites suivantes :

i. Le nombre de NERAP a limité la capacité à faire des analyses concluantes sur les performances des projets par secteur et par région.

ii. Bien que les RAP sélectionnés soient représentatifs des RAP achevés en 2018, tous les projets sous-jacents n’ont pas réellement quitté le portefeuille de la Banque en 2018.

Trois des projets pour lesquels des RAP ont été livrés en 2018 ont en fait été achevés en 2017. Malgré cette légère réduction de l’échantillon de 65 RAP permettant de

déduire les performances des projets sortis du portefeuille de la Banque en 2018, l’échantillon était toujours représentatif des projets de 2018 pouvant faire l’objet d’un rapport d’achèvement.

iii. Les documents manquants lors de la revue de certains des RAP ont pu affecter la qualité des NERAP concernées.

Structure du rapport

Le contenu du rapport est organisé en quatre grandes sections : i) les projets ayant fait l’objet d’un RAP en 2018 ; ii) la qualité des RAP (couvrant la note de qualité des RAP, l’écart entre le RAP et la NERAP, et la qualité du système de S&E) ; iii) la performance des résultats des projets en utilisant les notes des NERAP ; et iv) la conclusion et les enseignements à tirer pour améliorer la qualité des projets.

(20)

(21)

13 Projets ayant fait l’objet d’un RAP en 2018

Projets ayant fait l’objet d’un RAP en 2018

Les projets ayant fait l’objet d’un RAP en 2018 couvraient tous les secteurs et toutes les régions de la Banque (tableau 2). Comme le montre l’annexe 1, le profil des projets ayant fait l’objet d’un RAP en 2018 varie selon la région et la catégorie de pays, le secteur et l’âge (nombre d’années entre l’approbation et la sortie).

Par secteur : La composition sectorielle en termes de nombre de projets a montré qu’environ 34 % des projets étaient multisectoriels (principalement des opérations programmatiques), suivis par l’électricité et les transports (24,7 %), le secteur social, y compris l’eau et l’assainissement (19,7 %), et l’agriculture et l’environnement (16,9 %). Le secteur Finance, qui a souvent occupé une place importante dans le portefeuille de la Banque, représentait environ 5 % des projets ayant fait l’objet d’un RAP.

L’ordre est resté le même lorsque le classement selon la composition du secteur a été établi en fonction de la part du montant total décaissé par la Banque. Le multisecteur reste le premier secteur, avec 57 % du montant décaissé, suivi par l’énergie et les transports (19,2 %), le secteur social, y compris

l’eau et l’assainissement (11,8 %), et l’agriculture et l’environnement (7,3 %). La pondération par le montant décaissé a fortement renforcé l’importance des projets multisectoriels dans les projets ayant fait l’objet d’un RAP en 2018.

Par région : Les projets ayant fait l’objet d’un RAP en 2018 étaient dispersés dans toutes les régions et quelques-uns dans plusieurs régions.

La répartition selon le nombre était plus équilibrée entre les régions que la répartition selon la part du montant décaissé. Le sud, l’ouest et le nord se sont classés dans le peloton de tête pour le nombre de projets, mais le nord et l’ouest représentaient 75 % du montant décaissé par la Banque. Les pays FAD représentaient plus de la moitié des 65 projets.

Les pays BAD représentaient environ un tiers du nombre de projets, et environ deux tiers du montant décaissés au titre des projets.

Par instrument : Au total 84 instruments financiers et non financiers ont été utilisés pour soutenir les projets ayant fait l’objet d’un RAP en 2018 : opérations d’appuis programmatiques, subventions d’appui institutionnel et de réhabilitation, prêt

Tableau 2: Échantillon de RAP de 2018 à valider par secteur et par région (nombre)

Région Secteurs

Agric. et

envir. Finance Électricité Social Transports Eau/

Assainissement Multisecteur Tous les secteurs

Centre 1 1 3 5

Est 1 3 1 3 2 10

Nord 2 1 3 1 1 3 11

Sud 3 2 2 7 14

Ouest 2 3 1 3 7 16

Multirégions 3 1 1 1 3 9

Toutes les régions 11 3 9 5 7 8 22 65

Source : Base de données des résultats d’évaluation d’IDEV (EVRD)

(22)

d’investissement, garantie, financement de cycle de projet, assistance technique (Fonds des pays à revenu intermédiaire, Facilité africaine de l’eau), Facilité d’appui à la transition et Facilité pour la préparation des projets (Fonds stratégique pour le climat) (tableau 3). Des subventions d’appui institutionnel et de réhabilitation, et une partie de l’assistance technique ont été associés aux opérations programmatiques.

Année d’approbation : Les projets ayant fait l’objet d’un RAP en 2018 ont été approuvés à différents moments entre 2004 et 2016, s’étendant ainsi sur 13 exercices financiers. En termes de nombre de projets, 74 % ont été approuvés au cours de la période 2004–2013. Toutefois, les projets les plus récents (approuvés entre 2014 et 2016) représentaient la plus grande part du montant décaissé par la Banque (64 %) (annexe 1).

Tableau 3 : Instruments financiers utilisés dans l’échantillon de 65 projets ayant fait l’objet d’un RAP⁶

Instrument financier Nombre

Prêt 18

Don pour le cycle des projets 14

Ajustement structurel 17

Don Appui institutionnel et réhabilitation 12

Ajustement sectoriel 8

Assistance technique (Fonds des pays à revenu intermédiaire) 5

Facilité d’appui à la transition 4

Assistance technique (Facilité africaine de l’eau) 3

Facilité pour la préparation des projets (Fonds stratégique pour le climat) 2

Garantie 1

Total 84

Source : Données recueillies à partir de la base de données des projets de la Banque.

(23)

15 Qualité des RAP établis en 2018

Qualité des RAP établis en 2018

Cette section présente des données factuelles relatives au niveau de qualité des RAP de 2018.

Comme ce fut le cas pour la validation des RAP de 2017, et comme indiqué dans la méthodologie, la qualité des RAP a été évaluée à différents niveaux : i) la note de qualité (basée sur neuf critères), définie dans le modèle de validation des RAP d’IDEV⁷ ; ii) la conformité du RAP avec les directives de la Banque ; iii) l’écart entre les notes attribuées dans les RAP et NERAP⁸ ; et iv) la qualité du S&E.

La qualité des RAP de 2018 était, en général, satisfaisante bien que comportant des disparités et des lacunes. En moyenne, la qualité des RAP était légèrement inférieure à celle de la cohorte de RAP pour 2017. Le pourcentage de RAP de qualité satisfaisante ou plus était de 78 pour 2018 et 81 pour 2017.

Le reste des RAP de 2018 (22 %) présentaient des scores de qualité insatisfaisants, indiquant ainsi une marge d’amélioration. La qualité des RAP a également été remise en question : i) le fait que les notes des RAP sont en général sensiblement plus élevées que celles des NERAP correspondantes ; ii) les lacunes en ce qui concerne les enseignements tirés, les recommandations, le S&E et le respect des directives de la Banque.

Note de qualité des RAP

La NERAP a utilisé neuf critères pour évaluer la qualité des RAP (figure 1 ) et une échelle de notation à quatre points ; une note de qualité de 2,5 ou plus sur un maximum de 4 était considérée comme satisfaisante.

Selon cette évaluation, la qualité des RAP était, en moyenne, satisfaisante. La note de qualité des RAP pour les neuf critères était en moyenne de 2,8, allant de 2,7 à 3,1 (figure 1). Cinquante et un (51) des 65 RAP (78 %) étaient jugés satisfaisants. Les 14 RAP restants

(22 %) étaient de qualité insatisfaisante, ce qui indique qu’il est possible d’améliorer la qualité des RAP.

La note moyenne pour chacun des neuf critères était supérieure à 2,5 (le niveau minimum satisfaisant).

Ses notes les plus faibles ont été obtenues pour deux critères,notamment l’objectivité du RAP et le niveau de qualité du processus de génération et d’analyse des données. Ces aspects représentaient également une source de difficultés pour la cohorte de RAP de 2017. La note de qualité des RAP de 2018 (2,8) (figure 1), était légèrement inférieure à celle des RAP de 2017 (2,9) indiquant ainsi une baisse de la qualité sur quatre des neuf critères. De 2017 à 2018, la note de qualité des RAP ne s’est améliorée que sur un seul des neuf critères de qualité.

La qualité moyenne des RAP variait considérablement selon les régions et les secteurs d’intervention de la Banque. Elle était supérieure au point médian de l’échelle de notation dans toutes les régions et tous les secteurs, allant de 2,6 (région sud) à 3,2 (région centrale), et de 2,6 (secteurs de l’électricité et de l’environnement) à 3,0 (finances, et eau et assainissement). Il convient de prendre ces résultats avec prudence, étant donné la variation et le petit nombre de RAP par région et par secteur.

La qualité des enseignements tirés des RAP et recommandations : La qualité des principaux enseignements et recommandations issus des RAP de 2018 a été jugée, en moyenne, satisfaisante (2,8), bien qu’elle puisse être améliorée. La qualité des RAP de 2018 (2,8) s’est détériorée par rapport à ceux de 2017 (3,1). Cinquante-neuf des 65 RAP ont généré 282 enseignements et 258 recommandations, mais les six autres RAP n’ont fourni ni enseignements ni recommandations. L’analyse approfondie des 282 enseignements et des 258 recommandations a révélé des faiblesses au niveau de la pertinence et de l’identification. Environ 20 % des enseignements et

(24)

recommandations proposés dans les RAP n’étaient pas pertinents et fondés sur des données probantes.

Sur les 80 % restants, bien que pertinents, près de 80 % d’entre eux ont été mal identifiés. Les enseignements proposés se composent d’un mélange de constatations, de conclusions, de leçons et de recommandations. La responsabilité relative à certaines des recommandations n’était pas clairement définie.

Conformité des RAP avec les directives de la Banque : La conformité du RAP (en termes de rapidité et de participation des parties prenantes à la préparation du RAP) était satisfaisante, même si des améliorations étaient possibles. La conformité au RAP de 2018 était en moyenne de 2,8, ce qui indique une baisse marginale par rapport à 2017 (figure 2). La notation de la ponctualité des RAP⁹

(sur la base des RAP achevés dans le délai de six mois après 98 % du décaissement du projet) s’est détériorée, passant de 2,9 pour les RAP de 2017 à 2,6 pour les RAP de 2018. Bien que le score de participation des parties prenantes à la préparation du RAP se soit amélioré par rapport à celui de 2017, il n’était pas clair dans les RAP dans quelle mesure l’emprunteur, les autres parties prenantes et le personnel de la Banque en poste dans les bureaux pays (le cas échéant) ont contribué à la préparation du RAP. Dans la plupart des RAP, cet aspect a été ignoré et il était souvent difficile de le déduire des informations disponibles. Les lignes directrices et le modèle devraient aborder cette question plus directement; par exemple, on pourrait demander à l’équipe du RAP quelles parties ont spécifiquement fourni des conseils ou des contributions.

Figure 1 : Qualité satisfaisante des RAP, avec une marge d’amélioration, 2016–2018

1,0 1,5 2,0 2,5 3,0 3,5 4,0

2018 2017 2016

Étendue de la qualité et de l’exhaustivité des preuves et de l’analyse du RAP Niveau d’objectivité du score de l’évaluation du RAP Niveau de cohérence interne des notations des évaluations du RAP Étendue de l’identification et de l’évaluation des facteurs clés et des effets inattendus affectant la conception et la mise en œuvre Adéquation du traitement des sauvegardes, des questions fiduciaires et de l’alignement et de l’harmonisation Niveau de solidité du processus de production et d’analyse des données (y compris le taux de rentabilité) à l’appui de l’évaluation du RAP Adéquation globale des preuves accessibles (provenant du RAP, y compris l’annexe et d’autres données fournies) Mesure dans laquelle les leçons apprises (et les recommandations) sont claires et basées sur l’évaluation du RAP (preuves et analyse) Étendue de la clarté et de l’exhaustivité globale du RAP Score de qualité RAP moyen Score de qualité RAP maximum

Source : Données tirées de l’EVRD d’IDEV

(25)

Décalage entre les notations des RAP et des NERAP

L’écart entre les notes attribuées dans le RAP et dans la NERAP, défini comme étant la différence entre la note du RAP et celle de la NERAP, était important pour tous les critères/dimensions d’évaluation des projets : pertinence, efficacité, efficience, durabilité et performance des partenaires au développement. En général, les notes attribuées aux projets dans les RAP étaient plus élevées que dans les NERAP (annexe 2).

Les notes du RAP pour les critères d’évaluation étaient, en général, plus élevées que celles des NERAP correspondants. Les RAP ont évalué la performance globale (en termes de moyenne des critères pertinence, efficacité, efficience et durabilité) de 94 % de la cohorte de projets de 2018 comme satisfaisante ou plus, tandis que les NERAP ont validé la performance de seulement 74 % de cette même cohorte de projets comme satisfaisante ou plus.

La plupart des projets ont été notés dans toutes leurs dimensions d’évaluation, à quelques exceptions près, telles que l’analyse coût-bénéfice (ACB). Les écarts entre les notes du RAP et celles de la NERAP étaient importants dans tous les tests t par paire considérés à 5 % ou moins (annexe 2). Les écarts entre les notes des RAP et celles des NERAP étaient importants

sur des dimensions telles que « la pertinence de la conception du projet, la réalisation des résultats, et les estimations de l’ACB ». S’agissant de la conception du projet, le RAP surestimait le plus souvent la capacité de l’emprunteur. En ce qui concerne l’efficacité des projets, l’un des problèmes constatés était la surestimation des résultats, particulièrement ceux qui n’avaient pas été pleinement réalisés. Quant à l’analyse coût-bénéfice, le RAP a fourni des données et des informations méthodologiques insuffisantes.

En revanche, l’écart entre les notes des RAP et celles des NERAP était plus petit en ce qui concerne la pertinence des objectifs de développement des projets, le respect du calendrier de mise en œuvre et l’efficacité de l’utilisation des ressources.

Pertinence des objectifs et de la conception du projet : Bien que les RAP et les NERAP aient tous deux jugé satisfaisante la pertinence de l’objectif et de la conception du projet, la différence moyenne de 0,30 entre les notes des RAP et des NERAP de 2018 était statistiquement significative (au niveau de 1 %).

En outre, la différence entre les notes des RAP et des NERAP était plus prononcée et significative en ce qui concerne la pertinence de la conception du projet (0,48) que pour la pertinence des objectifs du projet (0,13) (annexe 2). C’est une indication probable de la grande importance accordée à la pertinence de l’objectif du projet, qui est un élément essentiel pour décider s’il faut ou non financer le projet en premier lieu. Une faible note en ce qui concerne la pertinence de l’objectif du projet soulèverait des questions sur la raison pour laquelle le projet a été financé.

Dans la cohorte de 2018, le score moyen pour la pertinence des objectifs de développement était de 3,86 dans les RAP et de 3,73 dans les NERAP (tous deux très satisfaisants). En d’autres termes, la plupart des projets étaient, en moyenne, très pertinents au regard de leurs objectifs, ce qui signifiait qu’ils étaient bien alignés sur les priorités de développement du pays et sur les stratégies pertinentes de la Banque.

Cependant, la pertinence de la conception des projets (en particulier la qualité du cadre de résultats) était un sujet de préoccupation. La note moyenne en ce Figure 2 : Score de conformité satisfaisant du RAP,

2016–2018

1 2 3 4

2018 2017

2016

2,8 3,0 2,8

(26)

qui concerne la conception de tous les projets était de 3,34 dans les RAP et de 2,86 dans les NERAP (la différence moyenne de 0,48 était significative à 1 %), cette dernière indiquant un argument plus solide en faveur de la nécessité d’améliorer la conception des projets. Le reproche le plus fréquent reste l’absence d’études techniques suffisantes pour déterminer les coûts avec un degré de précision raisonnable.

Efficacité : En moyenne, les RAP ont attribué au degré de réalisation de l’objectif de développement (OD) du projet ; en termes de produits et résultats, une note plus élevée que les NERAP, ce qui donne une différence moyenne de 0,63, qui est statistiquement significative (au niveau de 1 %).

Bien que les RAP aient jugé l’OD satisfaisant en moyenne, la NERAP a jugé l’OD des projets insatisfaisant. L’écart entre les notes des RAP et celles des NERAP ne concernait pas tant les produits (différence moyenne de 0,37) que les résultats des projets (différence moyenne de 0,49).

La plupart des projets ont réalisé le travail physique requis, mais les résultats tels qu’ils ont été formulés étaient un peu trop optimistes, ce qui a entraîné des cas où les résultats n’ont pas nécessairement été atteints dans les délais prévus.

Efficience : La note moyenne pour l’efficience globale était satisfaisante, avec 2,95 dans les RAP et 2,65 dans les NERAP, mais l’écart entre les notes des RAP et celles des NERAP (la différence moyenne de 0,3) était aussi statistiquement significatif. Le décalage le plus notable entre les mesures de l’efficience était la note de l’ACB, qui était en moyenne de 0,68 bien qu’elle ne couvre que 14 des 65 projets. Les RAP manquaient de détails concernant les hypothèses, les données et la méthodologie de l’ACB.

Les problèmes courants concernant les analyses coût-bénéfice étaient les suivants :

❙ La méthodologie n’était pas clairement indiquée dans le rapport d’évaluation ou le RAP ;

❙ Dans de nombreux cas, le rapport d’évaluation ou le RAP ne contenait aucune annexe indiquant

comment les calculs avaient été effectués ou quelles hypothèses avaient été utilisées, et notamment les sources des données ;

❙ Il y a eu un double comptage des bénéfices (par exemple, en comptant comme bénéfices le prix que les usagers étaient prêts à payer pour l’eau ainsi que les bénéfices en termes de santé et de commodité de l’eau courante propre) ;

❙ Le système de suivi et évaluation ne fournissait pas des informations directes sur le nombre d’utilisateurs du projet ; et

❙ Les retombées sociales n’ont pas fait l’objet d’un suivi.

Durabilité : Malgré un écart important entre les notations des RAP et des NERAP (la différence moyenne de 0,46 étant statistiquement significative au niveau de 1 %), les RAP et les NERAP ont jugé la durabilité globale, en moyenne, satisfaisante (annexe 2). Avec une différence moyenne de 0,52 entre le RAP et la NERAP, la viabilité financière était la plus remarquable (en termes d’écart) parmi les critères de durabilité (annexe 2). Plus d’un tiers des RAP ont fourni des informations insuffisantes sur la durabilité environnementale et sociale et sur l’efficacité des accords de partenariat pour la réalisation des projets.

Performance de la Banque, de l’emprunteur et des autres parties prenantes : sur ces critères, les écarts entre les notes des RAP et celles des NERAP étaient importants. Les RAP ont attribué des notes plus élevées que celles des NERAP (annexe 2). L’écart des notations était le plus notable sur la performance des emprunteurs, en particulier sur deux sous-critères: les mesures prises pour établir les bases de la durabilité du projet et la réactivité aux recommandations de supervision (Annexe 7). Cela pourrait être dû à la manière dont la notation de la performance des emprunteurs a été effectuée dans les RAP. Les RAP n’étaient pas en grande partie

(27)

critiques et évaluaient souvent la performance de l’emprunteur comme satisfaisante, même dans les cas où elle était manifestement médiocre. En ce qui concerne la performance de la Banque, l’écart de la notation RAP-NERAP a été plus prononcée sur trois de ses sept sous-critères, à savoir l’identification proactive et la résolution des problèmes; l’application des exigences de sauvegarde et fiduciaires; et la conception et la mise en œuvre du système de S&E.

Qualité du suivi et évaluation (conception, mise en œuvre et utilisation)

La qualité du système de S&E porte sur la conception, la mise en œuvre et l’utilisation. La qualité du S&E des RAP s’est améliorée au fil du temps, passant d’un score de 2 en 2016 à 2,4 en 2017 et 2,6 en 2018, une note satisfaisante (Figure 3). La figure 3 montre la performance du

S&E du projet pour la période 2016–2018, avec une ventilation pour 2018 en trois composantes, la conception du S&E, la mise en œuvre et l’usage / utilisation. En 2018, la qualité du S&E était meilleure dans la conception du S&E (2,8), mais plus faible en termes de mise en œuvre (2,4) et d’utilisation (2,6).

Le cadre de résultats du suivi et évaluation des projets était souvent en deçà des attentes, et des problèmes de conception, de mise en œuvre et d’utilisation du suivi et évaluation ont été constatés. Moins d’un quart des projets présentaient des cadres de résultats robustes comportant quelques lacunes, tandis que la majorité d’entre eux présentaient des cadres insuffisants avec des informations de base limitées et des indicateurs qui n’étaient manifestement pas mesurables ou n’étaient pas directement liés aux projets. Néanmoins, les indicateurs de suivi et le plan de suivi ont été dûment mis en place et approuvés.

Figure 3 : Amélioration de la qualité du S&E des projets, 2016–2018

Note de la qualité du S&E des projets

1 2 3 4

Utilisation2018 Mise en œuvre2018

Conception2018 2018Note

2017Note 2016Note

maximumNote 4.0

2.0

2.4

2.6

2.8

2.4

2.6

(28)

Les rapports sur l’état d’avancement des produits étaient généralement satisfaisants.

Cependant le suivi et évaluation des réalisations était moins efficace, sauf dans les opérations programmatiques, où il était généralement satisfaisant. Certaines réalisations étaient larges et n’étaient pas spécifiquement liées au projet.

Lorsque les réalisations sont définies de manière trop élargie, il est très difficile de conclure de façon crédible que le projet a atteint les objectifs fixés.

Les RAP et les documents de projet ne fournissaient pas nécessairement une évaluation détaillée des systèmes de S&E, ce qui a généralement débouché sur une note satisfaisante par défaut qui n’était peut-être pas justifiée. Les informations ventilées par sexe n’étaient parfois que des suppositions faute de données précises.

Dans plusieurs cas, il n’y avait aucune discussion dans le RAP expliquant clairement les sources des estimations des bénéficiaires réels. Dans certains cas, il est apparu que des formules indirectes étaient utilisées plutôt que des estimations basées sur des mesures directes ou à partir d’un échantillon d’utilisateurs. Les RAP doivent discuter et évaluer de manière critique la méthodologie pour déterminer le nombre réel de bénéficiaires.

Ils devraient également discuter de la manière dont les avantages diffèrent entre les différentes catégories de bénéficiaires.

Lorsque les informations de S&E étaient collectées régulièrement, il n’y avait pas toujours de preuves fournies pour montrer que l’emprunteur les suivait et les utilisait pour la prise de décision liée au projet. Cela pourrait être dû au fait que les termes de référence des RAP et des missions de supervision ne portaient pas spécifiquement sur cet aspect. Le RAP accordait peu d’attention au suivi et évaluation, notamment aux enseignements ou aux recommandations concernant les lacunes en la matière. Cela est peut-être révélateur du peu de sérieux que de nombreux chefs de projet chargés du RAP accordent à la mise en œuvre effective du S&E et à l’utilisation des résultats du S&E. La mise en œuvre du S&E était souvent inadéquate, mais cela a été mal rapporté dans les RAP, en partie à cause du manque d’informations. Le S&E était aussi parfois effectué mécaniquement sans comprendre comment le système pouvait être utile pour améliorer les opérations. Cela était probablement dû à un manque d’appropriation du cadre de résultats du projet, ainsi qu’à l’inadéquation des systèmes de reporting et à l’absence de systèmes de S&E sectoriels appropriés avec lesquels relier le projet. Étant donné que le RAP a une fonction de redevabilité, l’emprunteur a un rôle clé dans la préparation du RAP sur lequel les missions du RAP devraient mettre l’accent au moment de la préparation. Dans l’ensemble, un défi majeur était la disponibilité d’un investissement initial adéquat dans le S&E de qualité afin de garantir la fourniture de capacités et de bases de référence appropriées.

(29)

(30)

(31)

23 Performances des projets

Performances des projets

Cette section synthétise les résultats des 65 NERAP pour 2018. La performance globale des projets, à travers les critères combinés de pertinence des objectifs de développement du projet et de la conception, d’efficacité, d’efficience et de durabilité, a été satisfaisante, 74 % des projets de 2018 ayant obtenu un résultat satisfaisant ou plus¹⁰. Cette performance était associée à celle de la Banque, de l’emprunteur, des autres partenaires de développement et du S&E.

Elle était cependant inférieure à celle de la cohorte de projets de 2017 et à la référence de 77 %.

Performances des projets

Performance globale des projets. Sur les quatre

dimensions (pertinence des objectifs et de la conception, efficacité, efficience et durabilité), la performance des projets était satisfaisante (figure 4).

La performance globale des projets a été évaluée, en moyenne, à 2,8, ce qui est inférieur au niveau maximum de 4. Cette performance, bien que similaire à celle de la cohorte de projets de 2017 (2.9), a révélé une marge d’amélioration. Environ 74 % des 65 projets ont obtenu la note « satisfaisante » ou une note supérieure pour leur performance globale. Les autres projets de 2018 ont eu des performances insatisfaisantes. La performance des projets en termes de résultats a été la plus forte en ce qui concerne la pertinence des objectifs et la conception, mais la plus faible en ce qui concerne l’efficacité (figure 4).

Figure 4 : Performance des projets satisfaisante (%), RAP 2016-2018

(n = 65)

0 20 40 60 80 100

Durabilité2018 Efficience2018

Efficacité2018 Pertinence2018

Global Global 2018

Global 2017 Référence 2016

(2015)

77 78 76 74

98

48

65 65

% des projets jugés satisfaisants