Constats liés à la pratique en évaluation de programme

Suivant l’évolution de l’évaluation de programme vers une professionnalisation et une utilisation dans la prise de décision, le gouvernement a apporté des changements dans ses orientations. Ainsi, depuis la Loi sur l’administration publique adoptée en 2000 et l’entrée en vigueur du nouveau cadre de gestion axée sur l’atteinte des résultats dans les organisations publiques, le SCT propose l’évaluation de programme comme moyen pour répondre aux questions de ce cadre de gestion axée sur les résultats (SCT, 2002b).

Étant donné son rôle de soutien et d’orientation gouvernementale auprès des ministères et organismes paragouvernementaux, le SCT a suggéré une définition de l’évaluation de programme qui correspond sensiblement aux définitions des auteurs cités dans la littérature tout en précisant les buts poursuivis par l’évaluation de programme dans la fonction publique.

L’évaluation de programme est une démarche rigoureuse (systématique) de collecte et d’analyse d’information qui vise à porter un jugement sur un programme, une politique ou un projet pour aider à la prise de décision. Elle permet d’apprécier à la fois la pertinence du programme, l’efficacité avec laquelle ses objectifs sont poursuivis, l’efficience des moyens mis en place ou sa rentabilité, ainsi que son impact. (SCT, 2002b : 6)

Le SCT a fait valoir que l’évaluation de programme, en matière d’aide à la prise de décision, présente de nombreux avantages tels que :

 de permettre aux décideurs et aux responsables de programme de se procurer une information pertinente, fiable et crédible sur un programme;

 de porter un jugement éclairé sur la pertinence d’un programme en vue de guider les dirigeants dans leurs prises de décision, à savoir s’ils maintiennent le programme, le développent, le modifient ou l’interrompent;

 de donner à un organisme une aide opérationnelle pour la planification, la mise en œuvre et l’administration des programmes en produisant l’information qui le guidera dans la gestion des programmes et lui permettra d’en mesurer l’efficacité et d’en accroître l’efficience. (SCT, 2002b : 10)

Ces avantages devraient donc permettre d’assurer une meilleure affectation des ressources de l’organisation (surtout en contexte de rareté des ressources) ainsi que de prendre du recul, d’évaluer et d’expliquer l’impact réel d’un programme par rapport à ce qui était souhaité lors de sa planification (Fédération de la réadaptation en déficience physique du Québec, 1996; SCT, 2002a). À cet égard, l’évaluation fournira de l’information sur le programme afin de mieux l’adapter ou le modifier en conséquence. L’évaluation de programme favorise également la reddition de comptes des gestionnaires en ajoutant de la crédibilité aux résultats atteints par le programme (SCT, 2002b). L’évaluation de programme comme outil d’aide à la décision est donc une stratégie qui se veut porteuse de sens pour les gestionnaires de programme à différents niveaux.

Pour faire vivre cette pratique, autant au gouvernement provincial qu’au fédéral, des documents de références sous forme de guides ont été diffusés (SCT, 2002a-b-c; SCT Canada, 2009). Dans ceux-ci, certaines conditions de succès ont été proposées et rejoignent également celles mentionnées par Roberts-Gray et Scheirer (1988) pour évaluer l’implantation d’une intervention. La présence d’une culture organisationnelle favorable à l’évaluation de programme dans la prise de décision est une des premières conditions de succès (Roberts-Gray et Scheirer, 1988; SCT, 2002a). L’évaluation devra être une responsabilité acceptée et partagée par l’ensemble des acteurs d’une organisation dans un cycle de gestion (Audet, 1996; Roberts-Gray et Scheirer, 1988; SCT, 2002b) et dès sa planification, les acteurs devront s’interroger sur la manière dont seront reçus les résultats (SCT, 2002b). Plus loin, les lecteurs pourront voir l’utilité de cette vision dans la stratégie développée pour identifier des indicateurs de résultats pour un programme.

De plus, pour soutenir l’organisation qui veut mettre en œuvre des évaluations de programme axées sur la prise de décision, certains documents (Audet, 1996; Fortin, 2013; Roberts-Gray et Scheirer, 1988; SCT, 2002a) ont proposé des conditions de succès à mettre en place selon trois niveaux :

 au niveau décisionnel, il faut obtenir un appui ferme des dirigeants de l’organisation pour l’évaluation de programme et un arrimage entre celle-ci et la démarche de gestion axée sur les résultats; déterminer des ressources nécessaires à l’évaluation de programme dès l’affectation du budget et avoir un document officiel sur les orientations à donner à l’évaluation de programme dans l’organisation ainsi qu’une clarification des rôles de chacun des acteurs concernés;  au niveau organisationnel, il faut avoir une équipe d’évaluation de programme avec un certain leadership à tous les

niveaux de la chaîne hiérarchique; une compréhension partagée de la portée de l’évaluation entre les dirigeants, coordonnateurs, évaluateurs, professionnels et intervenants concernés dans l’élaboration et l’implantation d’un programme, dès l’acceptation du mandat d’évaluation; une circulation adéquate de l’information, autant sur les démarches d’évaluation en cours que sur les résultats de ces évaluations; un cadre et un système d’information adéquats qui assureront la qualité de l’évaluation et le fait d’avoir un porteur de dossier, autant au niveau de l’évaluation que du programme évalué, sont des conditions favorables à l’implantation d’une culture d’évaluation de programme dans une organisation;

 au niveau professionnel, certaines conditions favorables telles que du personnel en évaluation possédant l’habileté, les connaissances et l’expertise nécessaires pour réaliser les démarches d’évaluation; la participation active de tous les acteurs concernés; et en complémentarité, des formations ayant pour but de favoriser la formation continue des évaluateurs en place ou d’améliorer les connaissances et les habiletés des divers acteurs qui participent aux activités d’évaluation de programme, doivent être présentes.

Dans la pratique, étant donné les orientations du SCT, certains ministères, dont le MSSS, par leur direction de l’évaluation, ont produit des documents qui reprennent les mêmes concepts d’évaluation de programme et de gestion axée sur les résultats en les définissant par rapport à leur domaine d’activités (MSSS, 1995, 2012). On retrouve également une politique d’évaluation de programme qui permet d’expliciter les types d’évaluations qui sont faites à

26

l’interne par cette direction (MSSS, 2003). De plus, des cadres de référence ou conceptuels pour apprécier la performance du système de santé ont été développés (Contandriopoulos, 2008; ICIS, 2013; MSSS, 2012) et diffusés, ce qui a permis le développement de listes d’indicateurs de performance du système de santé (ICIS, 2006, 2010, 2013; MSSS, 2012). Toutefois, ces cadres de référence et ces guides ne sont pas nécessairement repris par toutes les organisations publiques et parapubliques du réseau de la santé. L’orientation est donnée par le SCT et chacune des organisations doit se doter de modalités de pratiques pour s’y conformer. Cependant, on constate que même si des outils et des règles pour réaliser des évaluations de programme axées sur la gestion par résultats sont élaborés et proposés, ils ne sont pas suffisants si on se fie aux résultats dans la réalité (Éditeur officiel du Québec, 2014).

De plus, toujours dans la pratique, la responsabilité de maintenir ses connaissances en évaluation revient à l’évaluateur. Ainsi, celui-ci doit s’occuper de sa formation continue en évaluation et une des possibilités qui s’offrent à lui est de devenir membre de la Société québécoise d’évaluation de programme (SQEP) et de la Société canadienne d’évaluation (SCÉ). Ces deux associations regroupent des évaluateurs, des gestionnaires et toutes personnes intéressées par l’évaluation des programmes, des politiques, des activités et des services. Il s’agit d’un lieu d’échanges et de développement de la fonction de l’évaluation au Québec et au Canada; ce qui permet à l’évaluateur d’être au courant des tendances en évaluation et de partager avec d’autres évaluateurs. Ces associations permettent d’avoir accès à la littérature dans le domaine, en diffusant des articles sur tous les aspects théoriques et pratiques de l'évaluation et des notes sur la recherche et les méthodes dans le cadre d'une ou de plusieurs études d'évaluation ainsi que des comptes rendus des activités de la SQEP (http://www.sqep.ca/).

En conclusion, malgré l’avancement des connaissances et la mise en place de directives gouvernementales sur la gestion axée sur les résultats (MSSS, 1995; SCT, 2002a; http://www.tresor.gouv.qc.ca/) qui mettent en évidence l’utilisation de l’évaluation de programme comme moyen pour y arriver et qui veulent rendre l’évaluation de programme plus opérationnelle, on remarque qu’il y a un écart entre la théorie et la pratique de la profession d’évaluateur dans la fonction publique et parapublique. Ainsi, même si l’évaluation de programme est très valorisée, les résultats d’évaluation pour soutenir la prise de décision ne sont pas encore très utilisés (Éditeur officiel du Québec, 2014). De plus, on fait souvent un reproche aux évaluateurs, soit que les résultats d’évaluation arrivent trop tard dans le processus de décision (Patton et LaBossière, 2009). Pourtant, avec les démarches d’évaluation axée sur la participation des demandeurs, ceux- ci devraient avoir accès à l’information en cours de route donc, en temps opportun, pour les soutenir dans leur prise de décision. En optimisant la démarche d’évaluation de programme en fournissant un accompagnement aux différents acteurs concernés pour les soutenir dans l’identification des indicateurs pour apprécier leur programme, il est permis de penser que l’utilisation des résultats de l’évaluation sera plus facile à intégrer lors de la prise de décision. Toutefois, cette manière de travailler doit faire partie de la culture de l’organisation et de la pratique de l’évaluateur. D’où l’intérêt pour l’organisation de s’impliquer, et pour l’évaluateur, de participer à la formation continue en évaluation pour être au courant des tendances et s’outiller pour les mettre en pratique.