SMART TOOLKIT
DES OUTILS POUR L’ÉVALUATION
DES PROJETS, PRODUITS ET
SERVICES D’INFORMATION
Document publié par :
Centre technique de coopération agricole et rurale ACP-UE (CTA) Postbus 380, 6700 AJ Wageningen, Pays-Bas
cta@cta.int / www.cta.int Royal Tropical Institute (KIT)
PO Box 95001, 1090 HA Amsterdam, Pays-Bas library@kit.nl / www.kit.nl
Institut international pour la communication et le développement (IICD) Raamweg 5, PO Box 11586, 2502 AN La Haye, Pays-Bas
information@iicd.org / www.iicd.org
© CTA, KIT, IICD 2010
ISBN (CTA) : 978 92 9801 458 0 ISBN (KIT) : 978 94 6022 122 4
Traduction :Stéphane Cabre, France
Préparation du texte aux fins d’édition :Jacques Bodichon, France Relecture technique : Yawo Assigbley,Togo
Mise en page :Kay Sayce,Words at Work, Royaume-Uni Illustrations : Auke Herrema, Pays-Bas
Création graphique (couverture) :Anita Mangan, Londres, Royaume-Uni Impression : KIT Publishers,Amsterdam, Pays-Bas
Sources :sauf indication contraire, les tableaux, figures et graphiques sont attribués au Smart Toolkit
Citation : CTA, KIT, IICD (2010) Smart Toolkit – Des outils pour l’évaluation des projets, produits et services d’information, CTA, KIT, IICD, Pays-Bas
Tous droits réservés. Les informations contenues dans ce produit d'information peuvent être reproduites ou diffusées à des fins éducatives et non commerciales sans autorisation préalable du détenteur des droits d'auteur à condition que la source des informations soit clairement indiquée. Ces informations ne peuvent toutefois pas être reproduites pour la revente ou d'autres fins commerciales sans l'autorisation écrite du détenteur du copyright. Les demandes d'autorisation devront être adressées au CTA, KIT ou IICD.
Avant-propos
vRemerciements
viIntroduction à la seconde édition
viiÀ propos du toolkit
viiiPARTIE 1 : Le contexte de l’évaluation
1Le contexte 2
La participation des parties prenantes 3
L’apprentissage 5
Le cycle de projet 8
Le plan de projet 10
Le suivi 16
L’évaluation 18
L’évaluation d’impact 21
La mise au point d’un système de suivi, d’évaluation et d’évaluation d’impact 24
PARTIE 2 : Le processus d’évaluation
29Introduction 30
La préparation des termes de référence de l’évaluation 32
La conception du système d’évaluation 46
La mise en œuvre de l’évaluation 58
Le suivi de l’évaluation 61
PARTIE 3 : Les outils d’évaluation
65Introduction 66
Les outils de planification de projet 67
Les outils de planification de l’évaluation 99
Les outils de mise en œuvre de l’évaluation 106
L’application des résultats de l’évaluation 163
PARTIE 4 : Directives pour l’évaluation
175Introduction 176
Cours de formation 177
Bulletin d’information 191
Site Web 205
Service questions-réponses 219
Petite bibliothèque / centre de ressources 231
Communauté virtuelle 243
Radio rurale 255
Base de données 268
Diffusion sélective de l’information (DSI) 281
SOMMAIRE
iv
Annexes
2931 Contexte du toolkit 294
2 Principaux collaborateurs 295
3 Participants aux ateliers 298
4 Sources d’information 300
5 Glossaire 313
Sigles et abréviations
316Index
318Avant-propos
v Le CTA, l’IICD et le KIT travaillent en étroite collaboration pour améliorer la qualité des produits et
services d’information en faveur des pays en développement. Dans un monde saturé d’informations où de nombreuses questions restent sans réponse, la tâche s’annonce difficile. Le suivi et l’évaluation sont des outils essentiels pour y parvenir.
Parmi les innombrables défis qui se posent aux agences de développement, deux sont liés en particulier au suivi et à l’évaluation. Le premier défi consiste à renforcer les capacités d’apprentissage dans tous les secteurs du développement. Il apparaît essentiel de partager les leçons tirées de l’expérience et les meilleures pratiques pour améliorer les performances et éviter ainsi la perpétuelle réinvention de la roue. L’évaluation est essentielle à l’apprentissage. Le second défi à relever concerne la transparence. La « redevabilité » est à l’ordre du jour dans la plupart des forums internationaux pour le développement, non seulement la
« redevabilité verticale » – celle envers les décideurs politiques et les donateurs – mais aussi la
« redevabilité horizontale », vis-à-vis des bénéficiaires des pays du Sud et des contribuables des pays donateurs. Encore une fois, l’évaluation joue ici un rôle essentiel.
L’apprentissage et la redevabilité sont les deux faces d’une même pièce et la mise en place d’un système de suivi-évaluation constitué d’outils efficaces aura une incidence bénéfique pour les deux. Les agences de développement devront tirer les leçons des expériences passées et montrer l’impact de leurs efforts.
Cela est particulièrement vrai pour les professionnels de l’information intervenant dans le secteur du développement, dans la mesure où l’univers des technologies de l’information et de la communication (TIC) offre de nouvelles opportunités mais fait également surgir de nouveaux défis. En outre, l’accès à l’information est crucial pour le suivi-évaluation. L’absence d’information pertinente rendrait impossibles l’apprentissage et la redevabilité. À bonne information, bonne évaluation.
Au cours de ces dernières années, le discours sur l’évaluation a changé. Si l’accent était initialement mis sur les résultats, puis sur les objectifs, il porte davantage aujourd’hui sur l’impact. Les donateurs et le grand public souhaitent désormais être mieux informés sur la contribution des activités de développement à l’amélioration des conditions de vie et des moyens de subsistance dans les pays en développement. De toute évidence, il est particulièrement difficile de mesurer l’impact des produits et services d’information. Comment peut-on démontrer au moyen d’indicateurs vérifiables, par exemple, la contribution des systèmes d’information à la réalisation des Objectifs du Millénaire pour le développement ? Cet ouvrage ne prétend pas apporter toutes les réponses, mais se propose de donner aux professionnels de l’information un aperçu des outils d’évaluation pouvant être utilisés dans le cadre des activités d’information et pour mesurer l’impact de ces activités.
La première édition du Smart Toolkit – Des outils pour l’évaluation des projets, produits et services d’information a été publiée en 2005, principalement pour accompagner la formation et faciliter la remontée de
l’information.Alors que cette première édition a reçu un accueil favorable et que la demande reste forte, des améliorations ont été souhaitées. Le CTA, le KIT et l’IICD se sont donc penchés sur la possibilité de produire une version révisée, mise à jour et augmentée du Smart Toolkit. Cette initiative a nécessité la mise en place d’un processus de concertation participatif mobilisant de nombreux partenaires des pays du Sud.
Nous espérons que cette seconde édition permettra aux professionnels de l’information de mieux
appréhender les évolutions des outils dont ils ont besoin afin d’évaluer les produits et services d’information pour le développement.
AVANT-PROPOS
Mr Michael Hailu Dr Jan Donner Mme Caroline Figuères
Directeur, CTA Président, KIT Directrice générale, IICD
Smart Toolkit – Des outils pour l’evaluation des projets, produits et services d’information
vi
Cette seconde édition du Smart Toolkitillustre les efforts déployés par de nombreux acteurs présents sur le terrain du développement dans les pays ACP et de l’UE. Si elle joue un rôle important dans la gestion et l’efficacité des services d’information, l’évaluation n’est pas souvent considérée comme une activité banale. Nous souhaitons à ce titre remercier les nombreux auteurs et relecteurs critiques qui ont accepté volontiers d’apporter leur contribution pour transformer ce document en une ressource enrichissante dont sauront tirer profit les individus et les organisations évoluant dans le domaine de l’information.
Nous tenons à remercier tout particulièrement nos partenaires pour leur contribution de qualité à l’élaboration de ces travaux. Le soutien inébranlable de la direction du CTA, du KIT et de l’IICD à toutes les initiatives visant à faciliter ce partenariat et à produire cette édition entièrement révisée duSmart Toolkit mérite également notre profonde reconnaissance et nos remerciements.
Dr Ibrahim Khadar, CTA Harry Heemskerk, KIT Riet Nigten, IICD
REMERCIEMENTS
Introduction
vii Publiée en 2005, la première édition du Smart Toolkit – Des outils pour l’évaluation des projets, produits et
services d’informationa clairement répondu aux besoins de directives exprimés par les professionnels de l’information concernant la mise en œuvre du processus d’évaluation et les outils appropriés à cet effet.
Les suggestions sur les possibilités d’amélioration de la première édition, émanant aussi bien des utilisateurs sur le terrain que des participants à l’atelier de Bonn, en Allemagne, organisé spécialement pour évaluer le toolkit,nous ont encouragé à produire cette seconde édition entièrement révisée et mise à jour.
Cette seconde édition – tout comme la première – met l’accent sur l’apprentissage. L’importance de l’évaluation dans la promotion de l’apprentissage organisationnel est largement reconnue dans toute la littérature sur les questions de développement. Sans cet apprentissage, articulé autour d’évaluations soigneusement planifiées et mises en œuvre, les organismes de développement ne parviendront vraisemblablement pas à renforcer leurs capacités pour répondre efficacement aux besoins évolutifs de leurs groupes cibles. En d’autres termes, ils n’auraient pas suffisamment d’impact tangible. Dans son livre intitulé The Fifth Discipline(1994, voir annexe 4), Peter Senge, un partisan avéré de l’apprentissage organisationnel, écrit :
« Une organisation apprenante est une organisation dont les membres peuvent sans cesse développer leurs capacités à atteindre les résultats qu’ils recherchent, où de nouveaux modes de pensée sont mis au point, où les aspirations collectives ne sont pas freinées et où les gens apprennent en permanence comment apprendre ensemble. »
De plus en plus souvent, les professionnels de l’information exigent d’évaluer eux-mêmes leurs produits et services, à des fins d’apprentissage ou de redevabilité, pour ne pas dépendre des évaluations externes qui sont bien souvent rien de plus que l’approbation à l’aveuglette de décisions déjà prises. Ce qui manque dans ce genre d’évaluation, c’est un fondement solide – sa place dans le cycle de projet, qui impliquer dans sa planification et sa mise en œuvre, comment la planifier, comment et quand la mettre en œuvre, comment et quand procéder à son suivi, et, surtout, comment en tirer parti. Dans leur ouvrage intitulé Evaluating Capacity Development (2003 ; voir annexe 4), Horton et al.écrivent ce qui suit concernant les avantages d’une « auto-évaluation » de projets :
« … au personnel responsable de la gestion et des activités de l’organisation, ainsi qu’aux intervenants connaissant bien celle-ci et s’y intéressant, de comprendre en profondeur ce qui fonctionne bien et pourquoi, et de savoir ce qui est à améliorer. Forts de cette connaissance, ils se trouvent très bien préparés à procéder aux changements nécessaires par des moyens pratiques. »
Le Smart Toolkit arrive donc à point nommé. Il permettra aux praticiens de l’information de mieux comprendre la procédure à suivre pour auto-évaluer leurs produits et services dans le but d’améliorer le processus d’apprentissage et, en définitive, de réaliser l’impact. Il vise à dépasser les limites de la littérature existante sur l’évaluation de l’information et doit être perçu comme un travail en cours d’exécution, dont les résultats pourront être intégrés dans les prochaines éditions en vue d’affiner nos connaissances dans ce domaine.
INTRODUCTION À LA SECONDE ÉDITION
Smart Toolkit – Des outils pour l’evaluation des projets, produits et services d’information
viii
À qui s’adresse-t-il ?
Ce toolkit est destiné avant tout aux professionnels de l’information des organismes de développement – ceux qui travaillent au sein des communautés notamment – qui participent au processus de planification et de gestion des projets d’information et contribuent effectivement à la génération de nouvelles
connaissances dont il est possible de tirer des enseignements majeurs. Bon nombre de ces professionnels reconnaissent volontiers qu’ils « ne sont pas experts » en matière d’évaluation et qu’ils ne possèdent ni les connaissances ni les concepts fondamentaux pour pouvoir encadrer l’évaluation de projets
d’information.
Le domaine de la gestion de l’information et de la communication (GIC), dopé au cours de ces dernières années par l’essor spectaculaire des technologies de l’information et de la communication (TIC) et le potentiel qu’elles représentent pour le développement, joue désormais un rôle central dans la plupart des théories du développement.Toutefois, la littérature met en lumière une lacune évidente lorsqu’il s’agit d’identifier des méthodes et outils d’évaluation susceptibles d’être appliqués, de manière spécifique et efficace, aux projets d’information. Le toolkit cherche, dans une certaine mesure, à combler cette lacune et à encourager les professionnels à contribuer à cet effort.
Ce toolkit pourrait également être utilisé par les directeurs de projet, en général, les agences de financement et les autres parties prenantes œuvrant dans le domaine de la production et de la diffusion des produits et services d’information.
Le Smart Toolkit est utilisé pour l’évaluation de projets, produits et services d’information orientés vers l’apprentissage. Il met l’accent sur l’évaluation dans le contexte du cycle de vie global d’un projet, depuis sa planification et sa mise en œuvre jusqu’au suivi, à l’évaluation et à l’évaluation d’impact de celui-ci. Il s’intéresse également au processus même de l’évaluation, aux outils utilisés ainsi qu’aux exemples liés à leur application. Il reprend inlassablement le même leitmotiv :
L’évaluation participative orientée vers l’apprentissage et l’impact
L’accent est mis sur l’évaluation interne – ou « auto-évaluation » – plutôt que sur l’évaluation externe.
L’évaluation interne contribue à l’apprentissage organisationnel et reflète un changement d’orientation significatif par rapport à l’évaluation traditionnelle, réalisée généralement par les donateurs afin de répondre aux exigences de transparence et de conformité. Ainsi, avec comme objectifs ultimes, l’amélioration de l’apprentissage et la réalisation de l’impact, l’évaluation doit être appliquée en toute confiance, de manière systématique et cohérente.
Pourquoi « smart » ?
Un groupe de travail, composé de professionnels de l’information issus de divers organismes de développement, a été créé en 2001 sous l’égide du CTA, du KIT et de l’IICD pour produire un manuel destiné à aider les professionnels de l’information dans le processus d’auto-évaluation de projets. À l’occasion de leur première réunion, le terme anglais « smart » a été utilisé pour mettre en exergue le concept de « meilleure pratique » et faire également allusion aux indicateurs SMART (spécifiques, mesurables, réalisables, réalistes et réalisables dans le temps), souvent utilisés dans la littérature sur l’évaluation.
À PROPOS DU TOOLKIT
À propos du toolkit
ix
Qui devrait lire ce manuel, et pourquoi ?
z Assurez-vous la gestion d’un projet, produit ou service d’information (bibliothèque, bulletin d’information, radio rurale, atelier de formation ou site Web) ?
z Concevez-vous des produits et services d’information destinés au grand public ? z Travaillez-vous dans le domaine de la dissémination d’informations ?
z Avez-vous déjà été confronté au défi que constitue l’évaluation de projets, produits et services d’information ?
z Vous arrive-t-il de vous demander ce que vous pourriez faire de plus pour répondre aux besoins de vos groupes cibles, et si vous leur fournissez ou pas des informations « appropriées » ?
z Vous êtes-vous déjà demandé :
– pourquoi vos chercheurs et vos scientifiques n’ont pas accès à des informations crédibles et actualisées ?
– pourquoi ne trouve-t-on pas suffisamment de rapports provenant de ministères et d’instituts de recherche dans les bibliothèques ?
– comment inciter davantage de personnes à utiliser vos services d’information ? – pourquoi votre site Web ne diffuse pas les informations appropriées ?
– pourquoi ne trouvez-vous pas les informations dont vous avez besoin ? Si vous avez répondu ouià certaines de ces questions, ce toolkit vous est destiné.
À quoi sert ce toolkit ?
Si vous n’avez encore aucune expérience, ce toolkit vous aidera à faire vos premiers pas dans le domaine de l’évaluation. Il vous aidera à bien organiser vos pensées et vous orientera pour trouver réponse, par exemple, aux questions suivantes :
z Quel est le niveau de performance du produit ou service d’information ? z Les choses se font-elles de façon appropriée ?
z Pourquoi les résultats obtenus ont-ils été satisfaisants ?
z Pourquoi les résultats obtenus n’ont-ils pas été jugés satisfaisants ?
z Comment puis-je utiliser ces résultats pour améliorer la performance et l’impact de ce projet et de projets futurs ?
Ce toolkit vous oriente, étape par étape, dans le processus d’évaluation – pourquoi procéder à une évaluation, qui faut-il impliquer dans le processus, comment le planifier et comment assurer son suivi – et décrit les outils disponibles pour l’évaluation d’un large éventail de produits et services d’information. Il prévient des embûches qui vous guettent et montre que l’évaluation peut être utilisée pour stimuler et responsabiliser, mais surtout pour promouvoir l’apprentissage et déterminer l’impact.
Nous espérons que ce toolkit :
z viendra compléter le corpus de connaissances destiné à l’évaluation de projets, ceux liés en particulier aux produits et services d’information ;
z contribuera au renforcement des capacités des organismes de développement pour leur permettre d’évaluer les produits et services d’information ;
z permettra aux professionnels de l’information de développer une culture d’évaluation pour les projets d’information.
x
Smart Toolkit – Des outils pour l’evaluation des projets, produits et services d’information
Que contient ce toolkit ?
La première partiedonne un aperçu général du cadre de l’évaluation de projets, produits et services d’information dans le contexte du cycle de projet et de la gestion de projet. Elle met l’accent sur deux aspects essentiels de l’évaluation – la participation des parties prenantes et l’apprentissage –, décrit les particularités de l’évaluation et montre dans quelle mesure elle fait le lien entre le suivi et l’évaluation d’impact.
Ladeuxième partiedécrit le processus d’évaluation appliqué aux projets, produits et services d’information. Elle explique comment préparer les termes de référence d’une évaluation et couvre des aspects décisionnels concernant sa portée, sa méthodologie, ses sources de données et son plan de travail.
Elle aborde ensuite la manière de concevoir et de mettre en œuvre une évaluation, de communiquer les résultats pour les traduire en actions concrètes.
Dans la troisième partie, nous ouvrons le toolkit pour vous présenter une gamme d’outils susceptibles d’être utilisés tout au long du processus d’évaluation, depuis la planification et la mise en œuvre d’un projet d’information jusqu’à la communication des résultats et au suivi. Les méthodes d’application de ces outils dépendront des ressources, de l’environnement dans lequel est menée l’évaluation et du type d’évaluation.
Laquatrième partiepropose des directives spécifiques permettant d’évaluer neuf produits et services d’information sélectionnés, comprenant un cours de formation, un bulletin d’information, un site Web, un service questions-réponses, une petite bibliothèque, une communauté virtuelle, une radio rurale, une base de données et un service de dissémination de l’information. Pour chaque produit et service, les aspects suivants seront examinés : concept et objectifs, besoins en matière de données et participation des parties prenantes, priorités de l’évaluation et indicateurs, collecte et analyse de données, et plan de communication des résultats de l’évaluation.
La figure ci-dessous illustre la structure de ce toolkit sous la forme d’un ensemble intégré, assorti de directives destinées à l’évaluation.
Outils de planification de projet
Outils de mise en œuvre de l’évaluation
Outils de planification de l’évaluation
Outils de communication des résultats de l’évaluation OUTILS D’ÉVALUATION PRODUITS : bulletin
d’information, site Web, base de données, communauté virtuelle, radio rurale
SERVICES : dissémination sélective de l’information (DSI), cours de formation, service questions-réponses (SQR),
petite bibliothèque / centre de ressources DIRECTIVES POUR
L’ÉVALUATION
Le Smart Toolkit – contexte, processus et outils d’évaluation dans un ensemble intégré, avec des directives permettant d’évaluer les produits et services d’information sélectionnés
CONTEXTE DE L’ÉVALUATION Participation
des parties prenantes et apprentissage
Suivi, évaluation et évaluation d’impact Cycle de projet et planification
Préparation
Mise en œuvre
Conception
Suivi PROCESSUS D’ÉVALUATION
A propos du toolkit
xi L’élaboration de ce toolkit, dont l’idée a été lancée en 2001, repose sur un processus très participatif que
nous souhaitons conserver. Nous encourageons tous ceux qui l’utilisent à nous faire part de leurs remarques pour que nous puissions continuellement le réviser et le mettre à jour. À ce titre, les utilisateurs sont invités à participer au débat sur le site www.smarttoolkit.net.
Vous trouverez également en annexe des informations utiles sur la manière dont ce toolkit a été élaboré et qui a participé à son élaboration, ainsi qu’une liste exhaustive de différentes sources d’information (publications et sites Web) sur l’évaluation et un glossaire des termes utilisés.
