La méta évaluation: Approches méthodologiques et critères
d’évaluation de la qualité des rapports
Initiative Ivoirienne pour l’Evaluation
I
Evaluation Lab 2022
I
Contenu
1
Méta évaluation: Le concept2
Importance et objectifs de la méta évaluation3
Type de méta évaluation4
Les critères pour la réalisation d'une méta évaluation5
Evaluation de la qualité des produits d’IDEVMéta évaluation: Le concept
Michael Scriven,
« The Thesaurus of Evaluation »
« L'évaluation des évaluations - indirectement, l'évaluation des
évaluateurs - représente à la fois une obligation éthique et scientifique Lorsque le bien-être des autres est en jeu »
Comité mixte sur les normes sur les évaluations pédagogiques
« L'évaluation elle-même doit être formativement et sommativement
évaluée par rapport à ces normes et à d'autres normes pertinentes, afin que sa conduite soit guidée de manière appropriée de sorte qu’à la fin, les parties prenantes peuvent examiner de près ses forces et ses faiblesses ».»
Michael Q, Patton « L'évaluation de l'évaluation basée sur une série de normes et de principes professionnels»
Cooksky & Caracelli « Des revue systématiques des évaluations pour déterminer la qualité de leurs processus et résultats »»
Agence Française de développement’ (AFD)
« Evaluation conçue comme une synthèse des constatations tirées de plusieurs évaluations. Le terme est également utilisé pour désigner l'évaluation d'une évaluation en vue de juger de sa qualité et/ou d'apprécier la performance des évaluateurs. »»
Méta évaluation vs Synthèse d’évaluation
Synthèse d’évaluations Méta évaluation
• Synthétiser les RÉSULTATS d'évaluation (dont la méta-analyse est un type)
• la méta-analyse fait référence à l'analyse des analyses ... l'analyse statistique d’une vaste collection des résultats d'analyse d'études
individuelles dans le but d'intégrer les résultats"
• L'accent est mis sur les interventions et les politiques
• Évaluation des PROCESSUS d'évaluation
(comment l'évaluation est conçue, réalisée et utilisée)
• L'accent est mis sur l'évaluation de ces interventions et politiques
Source: Bustelo, M. (2002) Meta-evaluation as a tool for the improvement and development of the
evaluation function in public administrations, Paper presented at the European Evaluation Society Biennial Conference at Sevilla, Spain, October 2002.
Importance et objectifs de la méta évaluation
▪ La méta-évaluation, telle que définie ici - c'est-à-dire l'évaluation de l'évaluation, différent de la synthèse d'évaluation - a une première signification en tant que contrôle de la qualité de l'évaluation
.Il s’agit de
contrôler le biais de l'évaluateur et d'assurer la crédibilité d'évaluations
.▪ Le deuxième sens ou rôle que peut jouer
une méta-évaluation est celui de décrire,
analyser et évaluer des études ou des
processus d'évaluation
.Importance et objectifs de la méta évaluation
▪ Choix des résultats d'évaluation pouvant être synthétisés. La connaissance de la
qualité des évaluations que la méta
évaluation génère peut être utilisé pour aider à la prise de décision concernant quelles
études inclure dans la synthèse d'évaluation.
▪ Identification des besoins de formation en évaluation. Le méta évaluation de
plusieurs études aide à identifier les points
forts et faiblesses de la pratique évaluative
pour développer programmes de capacité
d'évaluation.
Types de méta évaluation
▪ Selon le rôle joué par la méta évaluation
➢ Formative: La méta évaluation est utilisés comme un instrument
d’amélioration de changement de la conception et de la mise en œuvre d’une évaluation en cours, afin d’améliorer la conception d’une évaluation en
cours, pour éclairer et contrôler le biais dan l’évaluation. L’approche formative réfère ainsi aux efforts visant à assurer la qualité des évaluations pendant leur réalisation.
➢ Sommative: une méta-évaluation sommative est effectuée lorsque le rôle à jouer est celui de la récapitulation de l'ensemble du processus d'évaluation, c'est-à-dire l'évaluation de l'étude ou du processus d'évaluation est effectuée.
Ainsi, l’approche sommative s’intéresse seulement aux rapports finaux et ceux- ci sont évalués dans une perspective de reddition de comptes et de
responsabilisation plutôt que d’amélioration.
Types de méta évaluation
▪ Selon le moment ou la méta évaluation est conduite
➢ Ex-ante: La méta évaluation est réalisée avant que le processus d’évaluation soit mis en œuvre.
➢ Ex-post: La méta évaluation est réalisée lorsque l’évaluation est déjà conduite.
▪ Selon l’agent qui conduit la méta évaluation
➢ Interne: La méta évaluation est conduite par les évaluateurs eux-mêmes, comme contrôle interne. (Auto-méta évaluation).
➢ Externe: La méta évaluation est réalisée par celui ou celle qui n’a pas été
impliquée dans le processus d’évaluation, étant un contrôle externe.
Types de méta évaluation
▪ Selon le contenu ou la phase de la méta évaluation
➢ Méta évaluation sur la conception: Se focalise sur le plan, la structure d’une étude d’évaluation (conception, la justification, le, les objectifs,
l’adéquation de la cohérence interne, la portée, l’identification des parties prenantes, les attentes sur l’utilité de l’évaluation, les termes de
référence)
➢ Méta évaluation sur le process: Se focalise sur la mise œuvre de
l’évaluation, comment l’étude est conduite (stratégies de mise en œuvre
incluant une implication effective des parties prenantes, les procédures
permettant d’assurer le contrôle qualité de l’évaluation, le réalisme du
calendrier prenantes-efficacité, les difficultés de mise en œuvre, la prise
en compte des questions d’éthique).
Types de méta évaluation
▪ Selon le contenu ou la phase de la méta évaluation
➢ Méta évaluation sur les résultats:
Pour les extrants/produits d’études d’ évaluation: Elle se concentre sur la qualité des conclusions et des informations produites par le l'étude
d'évaluation et comment cette information est reflétée dans les rapports d'évaluation.
Pour les effets d’études d’évaluation: Elle se concentre sur les effets
potentiels de l'évaluation, y compris aider à la prise de décision et
faciliter l'apprentissage organisationnel,
Les critères pour la réalisation d'une méta évaluation
▪ À l’instar de tout autre type d’évaluation, la réalisation d’une méta évaluation nécessite le recours à divers critères normatifs.
Quatre types de critères sont généralement utilisés dans le cadre de méta évaluations :
➢ les standards d’évaluation de programme du Joint Committee on Standards for Educational Evaluation (1994),
➢ les principes directeurs de l’American Evaluation Association (2004),
➢ les critères méthodologiques traditionnels des sciences sociales, et
➢ les critères dits émergents (Cooksy & Caracelli, 2007)
Les critères pour la réalisation d'une méta évaluation
▪ CONTRÔLE QUALITÉ
Utiliser une MÉTHODOLOGIE ADÉQUATE Obtenir de JUSTES ET BONNES CONCLUSIONS
• Cohérence entre niveaux épistémologique, méthodologique, technique
• Adéquation au contexte et à l'objet d'évaluation.
Pertinence
• Établissement préalable de critères d'évaluation
• Cohérence technique entre les critères d'évaluation, la manière dont les informations sont collectées et analysés, et le jugement ultérieur selon ces critères
• Coût-bénéfice et coût-efficacité de l'étude d'évaluation
• Adéquation au calendrier et timing réels et disponibles
• Validité et fiabilité des techniques utilisées pour la collecte et l'analyse des informations
• Participation et implication des parties prenantes dans le processus d'évaluation
▪ Cohérence entre les conclusions, les interprétations, les jugements et les recommandations
▪ Bonnes conclusions, données et preuves collectées :
√ pertinence
√ fiabilité
√ suffisance
√ représentativité
√ ponctualité
▪ Bonnes interprétations : analyse correcte et suffisante
▪ Bons jugements : conformes et cohérents avec les critères d'évaluation, et avec des valeurs absolues et normes et standards relatifs, qui doivent être tirés de résultats empiriques
▪ Bonnes recommandations : elles doivent être basées sur des constatations précédentes, interprétations
Les critères pour la réalisation d'une méta évaluation
▪ COMPRÉHENSION DES PROCESSUS D'ÉVALUATION
(meilleure compréhension et connaissance des politiques publiques)
• Rôle de l'évaluation dans les politiques publiques
• Appréciation de la fonction d'évaluation : L'évaluation est-elle intégrée dans les politiques publiques, organismes et
institutions ?
• Utilité de l'évaluation pour l'amélioration, la responsabilisation et l'éclaircissement des Stratégies
Source: María Bustelo, « Méta évaluation as a tool for the improvement and development of the evaluation function in Public administrations” – Traduit par ction de l’auteur.
Les critères pour la réalisation d'une méta évaluation
▪ Au plan opérationnel, de nombreux critères de qualité sont mis en avant dans la littérature pour caractériser la qualité du
processus évaluatif.
➢ Scriven (2010) retient les 6 critères suivants : la validité, la clarté, la crédibilité, l'éthique, le ratio coût-utilité et la capacité à généraliser les résultats.
➢ Le Conseil Supérieur de l'Evaluation (CSE, 1996) propose les 5
critères suivants : Utilité-pertinence, Fiabilité, Objectivité, Possibilité
de généralisation et Transparence.
Les critères pour la réalisation d'une méta évaluation
▪ Plus généralement, les standards d’évaluation, checklists et Directives
utilisées dans les méta évaluation sont:
Evaluation de la qualité des produits d’IDEV
Résumé de la méta évaluation
• Evaluateur: Firme internationale - Universalia
• Portée: évaluations produits entre 2009 et 2012 et 2015-2017
• Echantillon: 22 évaluations sur 47 éligibles (48%)
• But: L'appréciation a été élaborée pour respecter les normes de qualité de l'OCDE-CAD relatives aux
évaluations et aux bonnes pratiques d'évaluation
normalisées du Groupe de coopération pour l'évaluation.
• Standards utilisés: 26 critères d'appréciation de la qualité, organisés en quatre groupes selon des normes
internationales avec un échelle à 4 points:
➢ le contexte, l'objet, la finalité, les objectifs et la portée de l'évaluation (groupe 1) ;
➢ la conception et la méthodologie (groupe 2) ;
➢ le processus (groupe 3) ; la clarté et la fiabilité des
Evaluation de la qualité des produits d’IDEV
Résumé de la méta évaluation
• Processus: Le processus d'appréciation de la qualité comportait trois étapes :
l'appréciation individuelle de chaque évaluation par deux évaluateurs ; l'élaboration d'une seule appréciation pour chaque évaluation ; et
l'harmonisation de toutes les
appréciations par l'équipe entière (comprenant trois membres) pour assurer la cohérence et la qualité de l’ensemble. Des techniques d'analyse quantitatives et qualitatives ont été utilisées pour préparer les résultats de l'appréciation de la qualité.
Evaluation de la qualité des produits d’IDEV
Principales constations
• La majorité des critères d'appréciation de la qualité ont reçu la note «Satisfaisant» et «Très satisfaisant».
• Amélioration de la qualité des évaluations au fil du temps de 2009-2012 à 2015-2017.
• Parmi les sept critères liés au contexte, à l'objet, à la finalité, aux objectifs et à la portée de l'évaluation, la description de l'objet de l'évaluation et la portée de l'évaluation sont les critères les mieux notés, à l'opposé des questions transversales qui sont les moins bien loties dans les deux périodes considérées.
• Au sein du groupe comprenant la conception et la méthodologie, la collecte de données, l'analyse et l'échantillonnage constituent le critère le mieux noté, puisqu'aucune évaluation n'a reçu une note « Très insatisfaisant » sur ce critère, et l'alignement des questions d'évaluation avec les critères et les indicateurs dans une matrice d'évaluation est le critère le moins bien noté, bien qu'on enregistre une amélioration significative de ce critère dans les évaluations de la deuxième période.
• L'échelle de notation utilisée par les évaluations d'IDEV a également été jugée problématique.
• Les liens entre les produits d'évaluation pour chaque évaluation étaient logiques dans l'ensemble.
• La grande majorité des rapports d'évaluation étaient bien structurés
Evaluation de la qualité des produits d’IDEV
Principales constations
• La grande majorité des rapports d'évaluation étaient bien structurés et comprenaient un résumé analytique concis, présentaient des constatations fondées sur des données probantes, respectaient les critères et les questions d'évaluation et introduisaient des recommandations pertinentes. Cependant, ils n'identifiaient pas toujours explicitement les sources des données utilisées.
• Toutes les évaluations ont démontré des liens clairs entre les preuves, les constatations, les conclusions, les leçons apprises et les recommandations générales, malgré le manque de distinction parfois notable entre les éléments que chacune devait aborder. Dans près de la moitié des rapports examinés, les questions transversales n'ont pas bien été reprises dans les constatations et les conclusions.
• Les éventuelles leçons apprises n'ont pas été incluses ou n'ont pas été correctement présentées en tant qu'enseignements dans la moitié des rapports, en particulier ceux de la deuxième période. Les
recommandations, bien que globalement pertinentes, ne prévoyaient souvent pas de calendrier pour leur mise en œuvre.
Evaluation de la qualité des produits d’IDEV
Recommandations
1. Envisager l'ajout d'une cartographie des parties prenantes.
2. Définir les thèmes transversaux à hiérarchiser en se basant sur ce que la politique de la BAD a identifié comme important et spécifier les thèmes pertinents pour chaque type d'évaluation.
3. Veiller à ce que les principes d'évaluation de l'OCDE-CAD et de la BAD-IDEV, relatifs à l'indépendance, à l'impartialité, à l'éthique, au partenariat, à la coordination et au renforcement des capacités soient
clairement et explicitement stipulés et expliqués dans les différents produits d'évaluation – de la
conception au rapport final – et considérés comme faisant partie intégrante du processus d'évaluation.
4. Envisager de renommer l'intitulé des notes de l'échelle de notation à quatre points pour créer une perspective qui reflète plus positivement un certain progrès vers une performance satisfaisante. Nous recommandons de remplacer les notes existantes par les termes « Insatisfaisant », « Partiellement
insatisfaisant », « Satisfaisant » et « Très satisfaisant ».
Evaluation de la qualité des produits d’IDEV
Recommandations
5. Identifier clairement les éléments de base que doit contenir chaque produit d'évaluation et clarifier les circonstances dans lesquelles les TdR, les documents d'orientation et les rapports de démarrage doivent être rédigés
6. Élaborer des lignes directrices pour les évaluateurs avec des définitions claires des termes clés de
l'évaluation, pour bien distinguer le type d'information à inclure dans les différentes sections du rapport d'évaluation, par exemple les constations de l'évaluation, les conclusions, les leçons apprises et les
recommandations.
7. S'assurer que les recommandations sont systématiquement débattues avec les sections opérationnelles pertinentes de la Banque et clairement classées par ordre de priorité ou selon un calendrier concordant pour aider à la prise de décision. Tout en évitant la formulation de recommandations trop prescriptives, IDEV devrait identifier les sujets de préoccupation dans les recommandations afin de les relier plus
spécifiquement aux résultats des évaluations.
8. Veiller à ce que les annexes du rapport de démarrage comprennent les outils de collecte de données et que les annexes du rapport de synthèse contiennent une matrice d'évaluation abrégée, c’est-à-dire un outil d'évaluation clé qui relie la portée de l'évaluation à la méthodologie de l'évaluation.
