L’écart entre les notes attribuées dans les RAP et dans les NERAP se définit comme la différence entre
le pourcentage de projets ayant reçu une note positive (satisfaisante ou plus) de la part de la Direction de la Banque dans les RAP et la proportion de projets auxquels IDEV a attribué une note positive (satisfaisante ou supérieur) dans les NERAP. À l’instar des années précédentes, les notes moyennes attribuées dans le RAP ont eu tendance à être supérieures à celles figurant dans les NERAP. Cette section présente les différences entre les notes moyennes par critère. Elle vérifie également si ces différences sont significatives sur le plan statistique.
À cet effet, un test unilatéral a été utilisé pour évaluer la différence entre les deux moyennes, les résultats ayant été signalés comme très significatifs (1 pour cent) ou significatifs (5 pour cent) ou pas significatifs dans tous les autres cas. La note moyenne générale dans les RAP était de 3,34 (écart-type 0,36, n = 65), tandis que dans les NERAP, elle s’établissait à 3,04 (écart-type 0,34, n = 65). La différence entre ces deux moyennes (de la note générale) est très significative d’un point de vue statistique.
La figure 2 montre que les notes attribuées à l’efficacité globale des RAP présentent un écart assez important entre les notes attribuées par la Direction et celles octroyées par IDEV (23 points de pourcentage).
Cette situation indique qu’il existe un écart entre la façon dont la Direction, d’une part, et l’Evaluation Indépendante, d’autre part, considèrent l’efficacité des projets de la Banque dans les 65 projets validés. Le deuxième écart le plus important concerne l’évaluation de la durabilité globale des projets de la Banque ; il y a un écart de 17 points de pourcentage entre l’autoévaluation et l’évaluation indépendante. Enfin, les notations de l’efficience globale, de la pertinence des objectifs et de la conception affichent des écarts de 15 et 3 points de pourcentage, respectivement.
La pertinence des objectifs et de la conception du projet
Bien que les RAP et les NERAP aient tous été jugés satisfaisants en ce qui concerne la pertinence des objectifs et de la conception des projets, la note moyenne attribuée à la conception des projets dans leur ensemble était de 3,45 dans les RAP et de 2,95 dans les NERAP (la différence moyenne de 0,5 était
22 Rapport de synthèse sur la validation de Rapports d’achèvement de projet de 2019
significative à 1 pour cent). Ce dernier chiffre indique qu’il est plus important d’améliorer la conception des projets (Tableau A3.4 de l’annexe 3). Le reproche le plus courant demeure l’absence de conceptions techniques appropriées pour déterminer les coûts avec un degré de précision raisonnable. Comme le montre le tableau A3.4 de l’annexe 3, la note moyenne attribuée aux objectifs de développement du projet est la même dans le RAP et le NERAP, soit 3,80 chacun.
Par conséquent, il n’y a de toute évidence pas d’écart dans ce cas. Ce résultat est réjouissant dans la mesure où il démontre que, de manière générale, les projets étaient bien en adéquation avec les priorités nationales de développement et pertinents relativement aux stratégies de la Banque. Mais étant donné que les projets ne seraient probablement pas financés s’ils n’étaient pas ainsi alignés, ce résultat remet une fois de plus en question la pertinence de la prise en compte de ce premier sous-critère dans le processus d’évaluation des projets.
Si l’on examine le deuxième sous-critère, la pertinence de la conception du projet, on constate
un écart hautement significatif sur le plan statistique (p<0,0001)9 , les RAP obtenant un score plus élevé que les NERAP. Selon ces derniers, les RAP ont eu tendance à être trop optimistes sur la qualité de la conception du projet, notamment dans des domaines clés tels que la définition d’indicateurs de performance mesurables (en particulier par rapport au calendrier du projet), l’estimation de coûts réalistes du projet (et à partir de là, l’établissement de bases de référence et d’attentes réalistes pour les analyses avantages-coûts), et le calcul d’une durée de projet crédible. En raison du sous-critère des objectifs du projet, l’écart global n’est statistiquement significatif qu’au niveau de 5 pour cent (p = 0,445).
L’efficacité
Au niveau global du critère « Efficacité », telle que mesurée par l’objectif en matière de développement, il existe un écart très significatif sur le plan statistique (p<0,0001) entre les évaluations du RAP et du NERAP concernant la réalisation de cet objectif, le premier étant trop optimiste (tableau A3.5 de l’annexe 3). Cet
Figure 2 : L’écart des notations attribuées par la Direction et celles octroyées par IDEV pour la performance des projets à l’achèvement (%)
0 20 40 60 80 100
Durabilité Efficience
Efficacité Pertinence
100 97
92
69
89
74
94
77
Pourcentage
-3%
-23% -15% -17%
Note auto-évaluation Notes validées
23 La qualité des RAP de 2019
Une synthèse des validations de RAP IDEV
écart concerne également l’évaluation des produits et des résultats.
Il y a, semble-t-il, une certaine surestimation de l’écart au niveau général car ces résultats laissent supposer qu’un certain nombre de RAP ne se sont pas conformés aux lignes directrices pour le calcul de leur score en ce qui concerne l’objectif de développement.
Ce dernier devrait être le plus faible des deux scores - celui du produit ou celui du résultat - mais le score global ne peut être supérieur à l’un ou à l’autre. C’est le cas pour le score du NERAP, mais pas pour le RAP, dont le score global de 3,35 est supérieur au score des résultats qui s’établit à 3,29. Si les directives sont respectées, ce résultat ne devrait pas être possible, bien qu’il convient de noter que tous les RAP ne font pas état de scores indépendants pour les résultats et les produits, certains ne rapportant qu’un score global de l’objectif de développement. Toutefois, étant donné le nombre de projets concernés, il paraît peu probable qu’il s’agisse d’une explication suffisante et il faudra veiller à l’avenir à ce que les auteurs de RAP comprennent parfaitement la manière dont le score relatif à l’objectif de développement doit être calculé.
L’efficience
Après le critère de pertinence, le critère de l’efficience montre le moins d’écart. Même si, dans l’ensemble, les RAP semblent attribuer de scores plus élevés que les NERAP, l’écart n’est significatif sur le plan statistique qu’au taux de 5 pour cent (Table A3.6 de l’annexe 3). En effet, à l’exception de l’état d’avancement de la mise en œuvre, les écarts entre les autres sous-critères ne sont pas significatifs sur le plan statistique, même s’ils évoluent tous dans le même sens. S’agissant de la ponctualité et de l’utilisation des ressources, la concordance relative entre les notations des RAP et ceux des NERAP est moins surprenante car ces deux sous -critères évaluent l’utilisation des intrants de manière assez objective, ce qui réduit les possibilités de désaccord.
En 2016 comme en 2018, les NERAP ont été très critiques à l’égard des résultats de l’analyse coût-bénéfice du RAP car les évaluateurs ont considéré que
cette analyse était souvent mal réalisée ou du moins mal documentée. Mais cette fois-ci, il n’y a aucune différence statistiquement significative entre ces deux aspects. Ce résultat peut constituer une véritable amélioration, mais il se peut aussi que, contrairement à la situation antérieure, les évaluateurs de la NERAP acceptent plus facilement les résultats de l’analyse coût-bénéfice du RAP. Malheureusement, cette dernière conclusion reste dans l’ordre des possibilités car les RAP contiennent souvent très peu de données sur la manière dont les calculs de l’analyse coût-bénéfice ont été effectués ou sur les hypothèses utilisées.
La durabilité
L’écart entre les scores du RAP et du NERAP concernant le critère de « durabilité » est très significatif, tant en ce qui concerne la durabilité globale des projets que les différents sous-critères qui composent ledit critère. Dans le cas de l’appropriation et du partenariat, l’écart n’est significatif qu’à 5 pour cent (Tableau A3.7 de l’annexe 3).
Ce résultat est le même que ceux obtenus au cours des années antérieures. Les évaluateurs des RAP continuent d’être beaucoup trop optimistes quant aux performances post-projet, et cela semble être le principal domaine qui nécessite une attention particulière à l’heure actuelle, du moins comme le montrent les projets de 2019. Même si les niveaux d’écarts sont similaires pour l’ensemble des sous-critères, il convient de noter que c’est le sous-critère de viabilité financière qui obtient les scores les plus faibles pour les RAP et les NERAP. De par sa nature même, il s’agit d’un aspect auquel la Banque pourrait être amenée à s’intéresser.
La performance de la Banque de
l’emprunteur et des autres parties prenantes Au cours des années précédentes, les RAP ont de façon régulière et significative attribués aux performances de la Banque, de l’emprunteur et des autres parties prenantes des notes plus élevées que celles octroyées par les NERAP. On peut constater une certaine amélioration comme le montre le tableau
24 Rapport de synthèse sur la validation de Rapports d’achèvement de projet de 2019
A3.8 de l’annexe 3. Dans le cas des autres parties prenantes, les notes sont plus ou moins similaires et il n’y a aucune différence significative entre elles.
Toutefois, dans le cas de l’emprunteur et de la Banque, les RAP continuent d’attribuer des notes beaucoup plus élevées que celles les NERAP, avec un écart de 14 et 15 points de pourcentage respectivement.