Étapes de réalisation d’une évaluation

Le domaine de l’évaluation recense différentes approches évaluatives afin de mener à bien une évaluation. Ces approches peuvent différer de par les méthodologies qu’elles soutiennent, de par les visées qu’elles poursuivent ou de par l’implication des parties prenantes qu’elles préconisent. Néanmoins, indépendamment de l’approche évaluative adoptée, certaines étapes opérationnelles liées à la réalisation d’une évaluation demeurent essentielles et communes à la conduite d’une évaluation (Fiztpatrick et al., 2011). Ces étapes sont constituées des phases préévaluative et évaluative et requièrent différentes tâches (Tableau 2.3). Celles-ci sont maintenant approfondies afin de mieux comprendre les facteurs liés à l’évaluation qui permettent de mettre en place une démarche sensible au contexte et ainsi que de déployer une méthodologie de qualité.

Tableau 2.3 : Synthèse des étapes de réalisation d'une évaluation

Phases Tâches et opérations

Phase préévaluative

Familiarisation avec le contexte évaluatif Familiarisation avec le programme Détermination de l’objet d’évaluation Planification méthodologique

Phase évaluative Collecte et analyse des données Formulation des jugements et des recommandations Diffusion des résultats

2.3.1.1 Phase préévaluative

La phase préévaluative, ou la conception de l’évaluation (Daigneault et Jacob, 2012), est une étape de planification préliminaire essentielle pour le succès d’une démarche d’évaluation (Ridde et Dagenais, 2012; Spaulding, 2008). Elle consiste d’abord à saisir et mieux comprendre le contexte entourant la conduite de l’évaluation. Elle

permet aussi de réaliser une familiarisation avec le programme et l’environnement au sein duquel il se déploie (Fitzpatrick, 2012). Tout programme s’appuie sur une théorie qui permet d’expliquer et de justifier la cohérence entre les besoins de la population qu’il cible, la nature des activités et interventions prévues ainsi que les résultats et effets anticipés (Chen, 2005; Poncet, 2012). L’étape de familiarisation avec le programme implique de comprendre la logique inhérente à cette théorie du programme à évaluer, qui met en évidence les hypothèses et liens causaux et opérationnels entre les besoins de la population à laquelle le programme s’adresse, les effets attendus et les moyens mis en place afin d’y parvenir (Champagne et al., 2011d; Chen, 2005; Morra Imas et Rist, 2009; Poncet, 2012).

L’étape suivante consiste ensuite à déterminer l’objet d’évaluation et à identifier les questions auxquelles les parties prenantes désirent obtenir des réponses avec la conduite de l’évaluation (Fitzpatrick, 2012). L’objet d’évaluation peut être lié à une ou plusieurs des composantes d’un programme et sur les interrelations qui unissent ces composantes; c’est d’ailleurs ce qui détermine le type d’évaluation en présence (APPENDICE A). La détermination de l’objet d’évaluation doit également tenir compte du stade de développement du programme et du contexte dans lequel se déroule l’évaluation (temps et ressources disponibles, accessibilité aux données, critères politiques, etc.) (Fitzpatrick, 2012; Ridde et Dagenais, 2012).

La planification méthodologique vise par la suite à cibler la nature des données à collecter, les outils et instruments de collecte, les sources d’informations, les moments de collecte ainsi que les modalités liées à l’analyse et à l’interprétation des données (Morra Imas et Rist, 2009; Ridde et Dagenais, 2012). La nature des données à collecter est précisée en fonction de l’objet d’évaluation ainsi que des questions évaluatives préalablement déterminées (Fitzpatrick et al., 2011). À la lumière de cette identification des besoins informationnels à documenter, l’organisation et la structure

de la collecte des données sont établies. Le plan ou devis opérationnel qui en découle permet alors de cibler ou de bâtir l’instrumentation nécessaire, en plus de situer les moments de collecte appropriés, les sources d’informations pertinentes ainsi que les stratégies d’analyse et d’interprétation des données (Fitzpatrick et al., 2011; Ridde et Dagenais, 2012).

Une évaluation peut recourir à une méthodologie quantitative, qualitative ou mixte. Les méthodes quantitatives sont souvent observées en évaluation de programmes lors d’études d’association de facteurs (causes et effets). Elles aspirent à une généralisation par le biais d’inférences statistiques lors de l’analyse des données (Morra Imas et Rist, 2009; Pluye, 2012). Les évaluations qualitatives permettent quant à elles de fournir des descriptions détaillées liées à des phénomènes complexes, en fonction du contexte spécifique dans lequel ils se déploient, ces descriptions pouvant être théoriquement applicables dans d’autres situations similaires (Pluye, 2012). Les méthodes mixtes, comme leur nom l’indique, font appel à la combinaison d’au moins une méthode quantitative et une méthode qualitative. Ainsi, une évaluation mixte intègre « les techniques de collecte et d’analyse de données qualitatives et quantitatives pour approfondir la compréhension, ou interpréter, ou corroborer des résultats d’évaluation » (Pluye, 2012, p. 125).

2.3.1.2 Phase évaluative

La phase évaluative consiste quant à elle en l’opérationnalisation de la planification méthodologique. Elle comprend la collecte et l’analyse des données, la formulation des jugements et des recommandations ainsi que les tâches reliées à la rédaction du rapport évaluatif et à la diffusion des résultats (Daigneault et Jacob, 2012; Fitzpatrick, 2012).

Lors de la phase évaluative, l’évaluateur procède à la collecte des données de façon à documenter les questions évaluatives précédemment ciblées et entame ensuite une analyse de ces données, en fonction des méthodes reconnues (qualitatives, quantitatives et mixtes) (Fitzpatrick, 2012).

Prenant appui sur des données probantes et empiriques, l’interprétation permet de formuler les jugements, lesquels s’appuient sur une argumentation qui soutient des critères adéquats et fondés (Arens, 2006; Fitzpatrick, 2012). Ces jugements permettent aussi d’émettre des recommandations pertinentes quant à l’avenir du programme, offrant une orientation pour la prise de décisions éventuelle.

La diffusion des résultats évaluatifs constitue l’étape ultime de la réalisation de l’évaluation proprement dite. Cette diffusion doit être modulée en fonction de la nature des destinataires et utilisateurs potentiels et peut se concrétiser notamment par la publication d’un rapport ou la tenue d’une présentation (Fitzpatrick, 2012; Morra Imas et Rist, 2009).