Constats liés aux stratégies pour identifier et développer des indicateurs

Dans les écrits gouvernementaux, on retrouve des documents et des articles qui décrivent les stratégies ou processus mis en place pour identifier et développer des indicateurs (Annexe 3). En général, on constate que ces stratégies se rapprochent de celles mentionnées dans la littérature scientifique. On retrouve donc, au préalable, l’importance de déterminer un cadre de référence ou conceptuel (ASSS-M, 2010; Commissaire à la santé et au bien-être [CSBE], 2008; Contandriopoulos, 2008; MSSS, 1995, 2012) pour développer ou sélectionner des indicateurs les plus significatifs d’une organisation. Le cadre de référence permet de structurer et d’orienter la réflexion sur la finalité ou les objectifs poursuivis et les résultats à atteindre d’un programme ou d’une politique (SCT, 2002a) alors que le tableau de bord permet de suivre l’évolution des indicateurs par rapport aux résultats retenus dans le cadre de référence (SCT, 2002a-b-c).

Toutefois, avant de réaliser cette réflexion, la mise en place d’un groupe de travail (MSSS, 2012) pour réaliser la démarche d’identification d’indicateurs est nécessaire. Ces personnes seront responsables de réaliser une revue de littérature sur l’objet à mesurer et les indicateurs disponibles et de faire des consultations auprès des experts dans le domaine ciblé (MSSS, 2012; SCT, 2002a). Une fois une première liste d’indicateurs développée, à partir de la littérature, il faut consulter les experts concernés par le programme pour la valider et ajouter des indicateurs à privilégier pour l’apprécier, s’il y a lieu (MSSS, 1995). De plus, la documentation consultée conseille d’identifier des indicateurs à partir des banques de données disponibles et existantes (MSSS, 2012). Dans la stratégie proposée, j’ai pris en compte ces mêmes étapes mais en intégrant celles-ci à une démarche d’évaluation de programme et donc, en donnant à l’évaluateur la responsabilité d’intégrer le point de vue de tous les acteurs (les évaluateurs, analystes de l’information, analystes de données, responsables de l’implantation et de la mise en œuvre, utilisateurs tels que les parents et les enfants) concernés par un programme dans la démarche d’identification et de sélection d’indicateurs pertinents, faisables et importants pour le programme.

Il est également mentionné que la vérification de certaines caractéristiques psychométriques telles que la pertinence, la validité (de contenu, de critère et apparente), la fiabilité, la comparabilité, la faisabilité et la convivialité (MSSS, 1995), doit être faite. Selon la classification du Gouvernement du Québec (MSSS, 1995), la validité et la fiabilité sont les deux qualités qui doivent être minimalement présentes pour qu’un indicateur qualitatif ou basé sur des avis d’experts soit acceptable.

D’autres qualités, d’ordre pratique, mériteraient également d’être mesurées telles que la fidélité de reproduction, la sensibilité à percevoir les changements ainsi que la robustesse ou la capacité à résister à ce que l’on fait, la disponibilité des sources de données, l’utilité de l’indicateur pour la planification, le suivi et l’évaluation, l’intelligibilité (être compris par les non-spécialistes), la capacité de ventiler l’indicateur selon les niveaux requis de décision, la précision des instruments de mesure et l’uniformité des modes de calcul, les coûts raisonnables de collecte et de traitement des données (MSSS, 1995). Une vérification de la valeur des instruments de mesure et des sources de données ainsi que des méthodes de calcul des indicateurs, devra être faite par des experts dans le domaine (MSSS, 1995). Toutefois, il faut être conscient que cette information est disponible seulement si les indicateurs sont existants. Ainsi, si les indicateurs sont existants ou disponibles, l’information sur les caractéristiques psychométriques est incluse dans les fiches descriptives prévues à cet effet dans les différentes sources de données utilisées (MSSS, 1995). Et si l’indicateur n’est pas disponible et qu’il est

30

jugé assez pertinent et important par les différents groupes d’acteurs consultés pour l’élaborer, une réflexion avec des experts dans le domaine de la mesure et des banques de données (MSSS, 1995) s’avérera nécessaire pour le développer. Dans le cadre du présent projet, étant donné sa nature, ce sont les qualités psychométriques de pertinence, de faisabilité et d’importance accordée à l’indicateur par les acteurs qui ont été examinées.

De plus, en ce qui concerne les moyens de consultation auprès des acteurs, aucune référence n’est mentionnée dans les écrits gouvernementaux.

Conclusion du chapitre problématique

En conclusion, on constate donc que la fonction d’évaluation de programme a connu une évolution dans le temps dans son utilité de soutien pour la prise de décision. Malgré que de nouvelles directives gouvernementales sur la gestion axée sur les résultats aient été mises en place, le problème d’utilisation des résultats d’évaluation et d’identification d’indicateurs pour apprécier les programmes demeure et est souvent perçu comme l’affaire de l’évaluateur, des analystes de l’information ou des analystes de données.

On constate qu’en pratique, quand on parle d’un programme, c’est plus complexe que seulement énoncer les différentes composantes. L’exercice demande de prendre un programme particulier, de le décrire selon ses composantes et sa logique d’intervention ainsi que selon son contexte de réalisation et des résultats attendus. De plus, étant donné que plusieurs groupes d’acteurs avec des expertises différentes gravitent autour d’un programme et que le travail de chacun se passe souvent en parallèle, la compréhension du programme et des résultats attendus peut être différente et non partagée; ce qui peut avoir comme conséquence de rendre incohérentes les décisions prises pour le programme et le choix des indicateurs. Malgré que l’indicateur soit un concept relativement simple à définir, que des indicateurs soient disponibles dans les banques de données administratives (ICIS, 2013; INSPQ, 2013a; MELS, 2011, 2012, 2013) et que certains guides pour les développer existent (ICIS, 2013; Veillard et autres, 2005), la problématique quant à l’identification et à l’utilisation d’indicateurs significatifs pour un programme ou un système demeure pour les évaluateurs et gestionnaires de programme dans les organisations gouvernementales (Fortin, 2003; MSSS, 2012; SCT, 2002a-b-c). Il ressort également que des stratégies pour développer des indicateurs existent ainsi que des listes d’indicateurs par champs d’intervention dans la fonction publique. Toutefois, l’utilisation de ces indicateurs (ICIS, 2013; INSPQ, 2013a; MELS, 2011, 2012, 2013), de ces stratégies pour identifier des indicateurs (CASHC, 2012; ICIS, 2006, 2013; INSPQ, 2013a; Pronovost, 1994) et de ces cadres de référence ou conceptuels de performance (CASHC, 2012; CSBE, 2008; ICIS, 2013; Keeling, 2011; Pronovost, 1994) est faite par des groupes d’acteurs avec des fonctions différentes et, souvent, ces acteurs sont externes à la planification et à la mise en œuvre du programme. Étant donné l’expertise qui se développe à l’intérieur de chaque groupe d’acteurs, cela peut avoir comme conséquence que les indicateurs soient perçus comme l’affaire des experts de la mesure tels que les évaluateurs, les analystes de l’information ou les analystes de données des organisations et que la réflexion globale entourant un programme à tous les paliers dans les organisations gouvernementales ne puisse se réaliser.

On peut donc penser que les conséquences d’un travail en parallèle ne favorisent pas le partage d’information et la compréhension du programme, ce qui aura assurément des répercussions sur l’utilisation des résultats d’évaluation.

Ainsi, si les gestionnaires de programmes ne voient pas les liens entre les indicateurs utilisés pour apprécier leur programme, ils seront moins enclins à accepter les résultats et à les utiliser pour prendre des décisions. Plusieurs causes pourraient expliquer ces constats telles que la formation de base ou continue reçue par les évaluateurs, les analystes de l’information et les analystes de données; le fonctionnement du travail qui est organisé par directions (qui ont des domaines d’expertise spécifique et des temps de rencontres interdirections non planifiés dans les tâches) et le manque d’accompagnement pour faire du sens entre les différents champs d’expertise concernés par le programme.

Le fonctionnement du travail en parallèle de chacun des groupes d’expertise (évaluateur, analyste de l’information, analyste de données et responsable de l’implantation et de la mise en œuvre d’un programme) et le manque de soutien ou d’accompagnement pour « faire du sens » avec toute cette information afin de la sélectionner et de l’utiliser dans la pratique dans le secteur de l’administration publique sont les causes retenues dans ce projet doctoral.

Ce projet a donc pour objectif d’améliorer les façons de faire existantes en proposant l’évaluateur comme personne responsable d’intégrer l’expertise de chacun dans une stratégie qui sera utile et pertinente pour le programme et l’organisation. Ainsi, en proposant un accompagnement par l’évaluateur pour identifier et sélectionner des indicateurs de résultats cela permettra de combler ces lacunes liées au fonctionnement en parallèle et, ainsi, favoriser le travail des évaluateurs, des analystes de l’information, des analystes des données ainsi que des responsables de programme.