Approches d’évaluation de projet

Cette partie expose les approches traditionnelles d’évaluation de projets, mais également les approches théoriques et pratiques d’évaluation de projets de la Banque mondiale et de l’organisation de coopération et de développement économiques (OCDE).

3.1.2.1. Approches traditionnelles de l’évaluation

Dans l’histoire de l’évolution des projets, la vision, les savoirs faire, les stratégies de réponses des praticiens et des théoriciens face aux questionnements sur l’évaluation ont été considérablement influencées par des courants de pensée ou paradigmes (Riddle et Dagenais, 2012). Par conséquent, les croyances, les convictions, les intérêts et les valeurs du chercheur comme du praticien concourent aux choix théoriques et à la méthodologie qui vont déterminer le processus d’évaluation. Ce qui nécessite que le chercheur se questionne sur les paradigmes en évaluation de projets en vue d’opter un positionnement épistémologique. Dans son ouvrage ‘’The Structure of Scientific Revolutions’’ cité par Nadeau (1995), Ridlle et Dagenais (2012), Kuhn considère qu’un paradigme regroupe au sein d’une même discipline, une grande partie de personnes qui partage un même système de valeurs et de croyances.

L’émergence des paradigmes épistémologiques a permis de regrouper les penseurs et a favorisé un discours scientifique efficace et précis. Chaque paradigme constitue, pour ses tenants, un cadre d’orientation qui les guide dans le choix des questions, de la méthodologie et des méthodes de recherche, de la stratégie d’analyse et d’interprétation des données collectées. De ce point de vue, « un paradigme sert de phare ou de guide qui délimite, en quelque sorte, un cadre normatif à partir duquel des groupes concernés formulent des questions qu’ils croient légitimes, identifient et mettent au point des techniques et des stratégies qu’ils jugent appropriées, attribuent un sens aux résultats atteints et aux solutions émergeantes » (Gendron, 2001: 33). Ce concept se décline en quatre axes

interreliés: méthodologie, épistémologie, ontologie et axiologie (Guba et Lincoln, 1994; Lincoln et Guba, 2000). L’axe méthodologique oriente le choix des approches et techniques de l’évaluateur dans sa quête de connaissance de la réalité étudiée. L’épistémologie apporte à l’évaluateur une façon de voir la réalité étudiée, mais aussi procure une légitimité et une validité de l’analyse produite. Il focusse sur la subjectivité ou l’objectivité du chercheur par rapport à sa relation avec l’objet de la recherche. L’axe ontologique prend en compte autant la nature de la réalité que la conception du chercheur, évaluateur de la construction de l’objet de la recherche. L’axiologie explique le rôle fondamental de l’éthique de l’évaluateur par rapport aux finalités de la recherche. Sur ce dernier point, il faut signaler que Gendron (2001) précise que l’axiologie n’explique pas les finalités de la recherche en soi, mais donne un cachet éthique aux limites de la recherche. Elle peut donc être considérée comme un élément de l’épistémologie. Elle est différente de la téléologie dans la mesure où cette dernière donne une explicitation des finalités de la recherche, rassemble toutes les questions inhérentes aux intentions du chercheur-évaluateur, mais aussi aux finalités de l’étude.

Le positionnement paradigmatique influence l’évaluateur-chercheur dans les techniques prônées pour administrer le questionnaire et/ou le guide d’entretien aux personnes concernées par l’étude. Le positiviste met plus l’accent sur la notion d’efficacité du projet. Il compare les effets ou impacts comme une expérience de laboratoire. Le constructiviste considère les impacts du projet comme étant indissociables de son environnement. Il met l’accent sur une approche plus basée sur les interrelations, tout en assumant son jugement subjectif. Le chercheur-

évaluateur réaliste s’inscrit quant à lui dans une perspective intermédiaire où la réalité peut être appréhendée au-delà d’une construction humaine, par les sens. Selon Guba et Lincoln (1987) cité par Riddle et Dagenais (2012), tout au long de sa trajectoire historique avec les différentes perspectives épistémologiques, l’évaluation a connu quatre générations. Les deux premières générations ressortent de la tradition de l’audit et les deux dernières s’inspirent de la tradition des sciences sociales. La tradition de l’audit est une sorte de mesure de l’action ou d’un projet orientée vers l’investigation et la comptabilité. L’auditeur cherche à voir si le projet est réalisé selon les prévisions, si la gestion financière du projet a respecté les règles et procédures de l’entreprise.

Cette approche met beaucoup l’accent sur la comptabilité et la conformité. L’approche de l’audit remonte « à la fin du XIXème siècle ou au début du XXème et plus particulièrement à l’adoption de la Loi du revenu consolidé et de la vérification (1931) qui normalisait la comptabilité en prévoyant un système d’autorisation des dépenses publiques » (Jacob, 2006: 517). Son orientation vers l’investigation impose le choix d’auditeurs externes et indépendants du programme et ces derniers doivent maintenir une relation d’indépendance vis-à- vis du gestionnaire du projet. L’audit de la performance a connu une évolution depuis l’audit traditionnel. Cette nouvelle approche de l’audit tente de suivre les traces du projet afin de s’assurer de l’opportunité du projet, sa conformité avec la planification budgétaire et les objectifs. Le plus souvent, les cibles fixées sont liées aux livrables et extrants du projet, plutôt qu’aux effets et impacts.

Cependant, le passage des questions de conformité aux questions sur l’impact d’un projet, des techniques usitées en sciences sociales ont été incorporées dans le dispositif d’évaluation des projets. Ces questions concernent les changements immédiats et à long terme. Elles incluent les conséquences imprévues ainsi que celles qui étaient intentionnelles. Les sciences sociales ont proposé des outils et techniques d’évaluation concourant à élucider les causes et les effets d’un projet à l’aide des processus d’enquêtes.

Pour les besoins d’une rétroaction rapide et pertinente (à un coût raisonnable), l’évaluation de projet a surtout évolué vers des approches qui sont rapides, flexibles et participatives. La finalité de l’évaluation de projets a changé d’orientation d’un simple jugement de réussite ou d’échec à une orientation de compréhension et d’apprentissage continu. Dans ce sens, Demarteau (2007: 29) considère l’évaluation comme « un processus d'apprentissage de l'action et l'évaluateur un acteur du programme dont le rôle premier est de soutenir ce processus d'apprentissage. Comme dans une situation éducative, l'évaluation et l'évaluateur ne sont utiles que s'ils renforcent cet apprentissage. L'appropriation de l'évaluation par les acteurs est l'élément fondamental de l'utilisation de celle-ci ». Cette évolution s’illustre clairement dans la figure 9.

Figure 9. Évolution de l’évaluation des projets

3.1.2.2. Pratiques d’évaluation des projets des organismes internationaux

Les pratiques d’évaluation de projets traitées dans cette partie sont celles de la Banque mondiale (BM) et de l’Organisation de Coopération et de Développement Économique (OCDE).

La Banque Mondiale met l’accent plus sur la notion d’efficacité du projet et compare les effets ou impacts des projets mis en œuvre conformément à la conception expérimentale ou quasi expérimentale. De ce fait, la conception expérimentale fait recours le plus souvent à la simulation aléatoire pour choisir la démarche de traitement, mais aussi les groupes témoins. La sélection des groupes cibles et témoins est faite de sorte qu’ils soient comparables et statistiquement équivalents avec les tailles d’échantillon adéquates. Dans le choix des groupes témoins qui doivent participer à l’étude, aucune différence ne doit être signalée, surtout en termes d’attente entre le groupe bénéficiaire du programme et l’autre groupe non bénéficiaire. Cet état de fait est difficile à obtenir en raison des possibilités d’erreurs d’échantillonnage. Cependant, le recours à un échantillon de grande taille peut amoindrir la marge d’erreur. Le principe de cette approche « est

la simplicité dans l’interprétation des résultats, l’impact du programme sur le résultat que l’on évalue par la différence entre les moyennes des échantillons du groupe cible et le groupe témoin » (BM, 2000: 3).

La conception quasi expérimentale utilise également « l’harmonisation des méthodes ou vérifications construites » dans le but de faire des comparaisons correspondantes « au groupe de traitement d’une enquête généralisée ». L’harmonisation du score de propension est la méthode la plus utilisée, en raison de la mise en relation sur « la base d’un jeu de caractéristiques observées entre le groupe de référence et le groupe de traitement ». La mise en relation peut être aussi opérée par l’utilisation du score de propension; par exemple, « la probabilité de la participation par rapport aux caractéristiques observées et plus le score de propension se rapproche, meilleure est l’harmonisation ». Les deux groupes doivent provenir « d’un même environnement économique » et être « soumis au même questionnaire ». L’avantage principal de cette méthode « est qu’elle peut partir de sources de données existantes et est ainsi souvent plus rapide et peu coûteuse à mettre en œuvre et elle peut être exécutée après qu’un programme ait été mis en œuvre, compte tenu des données existantes suffisantes » (BM, 2000: 3 et 4).

L’OCDE avec la méthode de Fracasti13_{, met l’accent sur les sources d’informations}

afin d’obtenir des données fiables qui peuvent permettre d’approximer les niveaux d’investissement R&D de pays membres de l’OCDE. Elle propose de chercher des informations sur la R&D à partir de différentes sources: « rapports annuels des

conseils scientifiques, des grandes institutions exécutantes de R&D, des entreprises ». Mais, les informations recueillies de diverses sources, ne « donnent qu’une idée approximative de l’effort de R&D » d’un pays en ce sens que, « les conceptions de la R&D peuvent changer avec le temps ». En plus, « Il est aussi extrêmement difficile d’obtenir la totalité des données dans un court temps ». C’est dans cette perspective que la méthode préconise de réaliser « des enquêtes spéciales régulières, systématiques et harmonisées pour disposer de statistiques sur la R&D » (OCDE, 2002: 144).

La méthode de Fracasti met l’accent sur une analyse du niveau d’utilisation des ressources et intrants en R&D pour évaluer la performance d’un projet de R&D. Cependant, elle donne des précisions sur la façon d’opérer des choix concernant les répondants à l’enquête, mais également, sur la manière d’administrer le questionnaire et d’analyser les données recueillies lors de l’étude.

Pour des fins de synthèse, le modèle de Fracasti est présenté au tableau 6 qui spécifie:

- La portée de l’enquête

- L’identification de la population cible et des répondants aux enquêtes - La conduite à adopter pour l’enquête

Tableau 6. Synthèse du modèle de Fracasti (OCDE, 2002)

1. Portée de l’enquête R&D

-Inventaire et mesure des ressources financières et humaines consacrées aux activités R&D (intra et extra muros);

-Suivi de l’organisme financeur

2. Identification de la population cible et des répondants aux enquêtes

- Choix des répondants;

- Enquête sur certains groupes ayant des besoins d’information différents avec des questions différentes ;

- Enquêtes auprès des entreprises, des instituts de recherche et des établissements d’enseignement supérieur;

- Méthode d’échantillonnage simple des entreprises (selon la branche d’activité et la catégorie de taille.)

3. Conduite à adopter

pour l’enquête - Le questionnaire doit compter un nombre minimal de questions fondamentales sur l’activité de R&D; - Il doit être simple, court, fait de façon logique avec des définitions et instructions claires; - Choix de la personne le mieux à même de remplir le questionnaire;

- S’assurer de la coopération de la personne qui répond à l’enquête; - Respecter la confidentialité des données;

- Offrir une assistance technique au répondant

4. Méthodes d’estimation

- Extrapolation des résultats à l’aide de diverses méthodes;

- Les carences: les non-réponses complètes et les non-réponses partielles;

- Une non-réponse complète « signifie que l’unité ne répond pas du tout. Parfois, l’organisme d’enquête ne parvient pas à joindre l’unité déclarante, ou celle-ci peut refuser de répondre ».

- Une non-réponse partielle « signifie que l’unité remplit le questionnaire, mais laisse au moins une question sans réponse, ou même, dans un cas extrême, ne répond qu’à une seule question »;

- Pour remédier à ces carences: il faut recours à de méthodes appelées « méthodes d’imputation » qui « visent à estimer les non-réponses à partir d’informations complémentaires »;

- La méthode la plus simple « consiste à utiliser la réponse qu’avait envoyée l’entreprise la fois précédente ».

- On peut aussi avoir recours à des techniques statistiques comme la « substitution à chaud » ou « la substitution à froid » :

- La « substitution à chaud » c’est-à-dire « l’utilisation de renseignements fournis dans le cadre de la même enquête »,

- La « substitution à froid » c’est-à-dire « l’utilisation de renseignements fournis dans le cadre d’enquêtes antérieures ».