L’évaluation a utilisé trois approches analytiques complémentaires pour aborder de façon appropriée et complète tous les aspects du travail de la BAD en Ouganda, tout en assurant la validation et la triangulation.
Approche 1 : analyse descriptive, explicative, quantitative et qualitative
Au plus haut niveau, l’équipe d’évaluation a adopté une approche analytique descriptive, explicative, qualitative et quantitative. Cette approche a garanti la fiabilité des informations et a augmenté la qualité et la crédibilité des constatations et des conclusions de l’évaluation. Des détails sur chaque analyse et la manière dont elle a été utilisée sont fournis ci-après.
❙ Analyse descriptive et explicative. Les descriptions du contexte du pays, de la logique d’intervention de la BAD, des DSP, du portefeuille de la Banque en Ouganda et des résultats obtenus en matière de développement dans le cadre des deux DSP ont permis à l’équipe d’évaluation de comprendre comment les résultats ont été atteints et dans quelles conditions. Sur la base de l’analyse, l’équipe a pu tirer des conclusions sur les questions clés étudiées dans l’évaluation, notamment la pertinence, l’efficacité, la durabilité, l’efficience et la performance au niveau des programmes et des projets. Grâce également à l’analyse, l’équipe a pu observer les tendances dans les données, comprendre les schémas de performance et mettre en évidence les forces et les limites de l’approche globale.
❙ Analyse quantitative. Les documents relatifs au portefeuille de la BAD ont fait l’objet d’une analyse quantitative visant à mettre en lumière les grandes tendances des données. L’analyse a passé en revue les indicateurs de performance clés du portefeuille en ce qui concerne la qualité au départ, la qualité au moment de la mise en œuvre et la qualité à la sortie afin de dégager une vue d’ensemble de la composition et de la mise en œuvre du portefeuille.
❙ Analyse qualitative. Les documents, les informations issues des entretiens et les notes des échanges de vues au sein de groupes de discussion ont été soumis à une analyse de contenu qualitative afin de déterminer les tendances, les thèmes et les modèles communs dans les données. Une analyse de contenu interprétative a également été utilisée pour signaler les points de vue divergents et les tendances opposées sur certaines questions.
Approche 2 : regroupement, notation et agrégation
Les stratégies analytiques de regroupement, de notation et d’agrégation ont été utilisées dans le cadre de l’approche multi-niveaux adoptée pour la présente évaluation. Des détails sont fournis ci-après sur chaque stratégie et sur la manière dont elle a été utilisée.
❙ Regroupement. Les projets financés par la BAD dans le cadre des deux DSP sont de natures différentes : opérations de prêt, travaux d’analyse et de conseil hors prêt, etc. De ce fait, tous les projets ne pouvaient pas être évalués de la même manière, d’où la nécessité de les regrouper selon leurs différentes caractéristiques et de les évaluer en conséquence.
❙ Notation. L’équipe d’évaluation s’est servie d’une échelle de notation pour attribuer une note à la performance des interventions de la BAD. L’échelle a été appliquée à chaque critère et question du cadre
Ouganda : Évaluation de la stratégie et du programme pays de la BAD (2011–2021) – Rapport de synthèse 68
d’évaluation au moment d’évaluer les résultats des projets, d’analyser le portefeuille, de procéder aux études de cas et aux analyses thématiques, et d’évaluer la contribution globale des DSP aux résultats escomptés sur le plan du développement. Une échelle de notation garantit une évaluation qualitative solide et cohérente des données recueillies auprès de différentes sources. L’échelle de notation comporte quatre niveaux allant de 1 (insatisfaisant) à 4 (très satisfaisant). Le Tableau A2.2 explique l’échelle de notation.
❙ Agrégation. L’agrégation a été utilisée pour effectuer l’analyse thématique (pilier) et l’analyse stratégique.
L’agrégation permet d’analyser les complémentarités entre les secteurs, de déterminer dans quelle mesure les résultats sectoriels ont contribué aux résultats des piliers, et d’observer comment les résultats au niveau des piliers contribuent de manière synergique aux résultats à l’échelon de la stratégie. Des analyses similaires ont été effectuées pour déterminer comment et dans quelle mesure les instruments d’appui (instruments de prêt et instruments hors prêt) ont interagi pour influencer les résultats.
Approche 3 : triangulation
La triangulation était au cœur du processus d’analyse des données. La triangulation garantit la fiabilité des informations et augmente la qualité, l’intégrité et la crédibilité des constatations et des conclusions d’une évaluation. Dans la mesure du possible, l’équipe d’évaluation a fondé les constatations individuelles sur plusieurs sources de données : revues documentaires, consultations des parties prenantes (entretiens et échanges de vues au sein de groupes de discussion), évaluations des résultats des projets, analyse du portefeuille et visites sur le terrain. La triangulation a permis à l’équipe de filtrer l’analyse et de retenir les constatations les plus pertinentes et les plus crédibles afin de dégager des conclusions, des enseignements et des recommandations solides.
Les principes de triangulation ont été appliqués tout au long du processus d’évaluation, à chaque niveau d’analyse.
Tout d’abord, les données et les informations ont été triangulées à partir de différentes sources d’informations documentaires. Les informations secondaires recueillies lors de la revue documentaire ont été validées lors d’entretiens, d’échanges de vues au sein de groupes de discussion et de visites sur le terrain. Ensuite, les données qualitatives issues des entretiens, des groupes de discussion et des observations directes sur le terrain ont été triangulées avec les données probantes ou les connaissances globales. Enfin, une triangulation a eu lieu entre les experts intervenant dans le processus d’évaluation, entre les outils complémentaires utilisés pour recueillir les données, et en comparant les thèmes, les secteurs et les types de parties prenantes à l’origine des données.
69 Annexes
Une évaluation de stratégie pays IDEV
Tableau A2.2 : Échelle de notation en quatre points de l’évaluation
Échelle 1
❙Pertinence ❙ Très faible, conception très inappropriée et
❙Cohérence ❙ Synergie très faible
❙ Coordination très faible
❙ Synergie faible
❙ Coordination faible
❙ Synergie forte
❙ Coordination forte
❙Pratique optimale pour la création de synergie et la coordination
❙Efficacité ❙ Les produits escomptés ne sont pas réalisés dans la plupart des cas
❙ Niveau nul ou très
❙ Peu de résultats ciblés sont atteints
❙ Les produits escomptés sont réalisés dans la plupart des cas
❙ La plupart des résultats ciblés sont atteints
❙Les produits escomptés sont entièrement réalisés
❙Tous les résultats ciblés sont atteints
❙Efficience ❙ Écart très important entre le TRE et le coût d’opportunité du capital
❙ Écart très important entre le calendrier de mise en œuvre prévu et réel
❙ Écart important entre le TRE et le coût d’opportunité du capital
❙ Écart important entre le calendrier de mise en œuvre prévu et réel
❙ Écart modéré entre le TRE et le coût d’opportunité du capital
❙ Écart modéré entre le calendrier de mise en œuvre prévu et réel calendrier de mise en œuvre prévu et réel
❙Durabilité ❙ Les mécanismes garantissant la sociale) ne sont pas assurés.
TRE = taux de rentabilité économique
Ouganda : Évaluation de la stratégie et du programme pays de la BAD (2011–2021) – Rapport de synthèse 70