Constats liés à l’indicateur comme mesure d’appréciation d’un programme

Dans les écrits gouvernementaux, les définitions du concept indicateur sont relativement semblables aux définitions mentionnées dans la théorie. Ainsi, il ressort qu’un indicateur est un ensemble d’opérations empiriques, effectuées à l’aide d’un ou plusieurs instruments de mise en forme de l’information (MSSS, 1995) ou un descripteur de l’activité ou de l’état d’un système (Gouvernement du Québec, 1990, cité dans Pronovost, 1994). C’est également une mesure (nombre, ratio, pourcentage, bien livrable) significative qui permet de classer un objet dans une catégorie par rapport à une caractéristique donnée, de mesurer une dimension de la réalité, de donner une indication utile sur le phénomène étudié, d’évaluer la performance d’un système ou l’utilisation des ressources, l’état d’avancement des travaux ou le contexte externe (Gouvernement du Québec, 1990 tiré de Pronovost, 1994; MSSS, 1995; SCT, 2002a). Il est également mentionné qu’une statistique, un indice simple et un indice complexe ne constituent pas automatiquement des indicateurs. Ils ne le deviennent que s’ils fournissent, à la personne qui les consulte, une information significative par rapport à ses préoccupations (MSSS, 1995). Les indicateurs ont le mérite de simplifier une réalité complexe pour en permettre une certaine compréhension. Toutefois, ils ne sont qu’une représentation simplificatrice de la réalité (MSSS, 1995, 1999; SCT, 2009).

De plus, dans l’administration publique, un Guide sur les indicateurs a été développé par le SCT afin d’aider les organisations gouvernementales à développer des indicateurs. Ce guide pratique se veut un des outils de référence pour soutenir les différentes organisations ministérielles à intégrer la gestion par résultats. Dans ce guide, la typologie utilisée pour classer les indicateurs est selon la nature de l’indicateur (chiffré, non chiffré, qualitatif, quantitatif) et le type de mesure (nombre, ratio, pourcentage, bien livrable) (SCT, 2002c).

 Les indicateurs quantitatifs ou chiffrés s’expriment en nombre, en pourcentage ou sous forme de ratio et sont souvent considérés comme étant plus objectifs. L’utilisation d’indicateurs quantitatifs ou chiffrés permet d’avoir un suivi plus simple des résultats car l’évaluation des écarts entre la situation de départ et la cible peut se faire de façon mathématique. De plus, son utilisation facilite les comparaisons des résultats avec ceux d’autres organisations similaires. Lorsque les données sont disponibles et que les indicateurs peuvent être élaborés adéquatement et mesurés périodiquement, il demeure préférable d’utiliser des indicateurs chiffrés, car ils sont en général plus stables et plus durables (SCT, 2002c).

 Les indicateurs qualitatifs ou non chiffrés sont utilisés lorsque les objectifs ne peuvent être quantifiés ou qu’il s’agit d’objets ou de résultats intangibles (ex. : le dépôt d’une politique, la réalisation d’une évaluation ou d’une recherche, l’implantation d’un nouveau programme, etc.). Dans ces cas, l’indicateur décrit la nature du résultat attendu. Cependant, le détail ou la description des résultats souhaités permet souvent d’exprimer quantitativement une partie de l’indicateur (SCT, 2002c).

On précise également que la finalité ou l’objectif du programme va aider à déterminer le sens de la mesure, la nature de l’indicateur et le changement qu’on souhaite obtenir par l’action (diminuer, augmenter, maintenir, modifier, élaborer) et à définir la cible à atteindre pour le programme. Cette cible exprime que « la hauteur du résultat attendu par rapport à une

unité de mesure, c’est l’étalon de l’indicateur choisi. Elle donne un sens à la variation désirée, s’il s’agit d’un indicateur chiffré » (SCT, 2002c : 12). Comme la finalité est l’intention à la base du résultat attendu, celle-ci doit être claire et précise

pour l’exprimer et, ainsi, favoriser l’identification des indicateurs pour le mesurer.

Comme mentionné précédemment, la classification d’indicateurs selon les trois fonctions de gestion : planification, contrôle et évaluation, est également utilisée dans la littérature gouvernementale (MSSS, 1995; SCT, 2002a). Un des

28

documents du SCT (2002a) a amené plus loin la réflexion en détaillant les indicateurs selon les fonctions. Ainsi, par rapport aux fonctions de planification et de contrôle, on parlera :

 d’indicateurs externes, stratégiques ou opérationnels si la mesure est surtout en lien avec les effets du programme ou de l’action de l’organisme sur sa clientèle (SCT, 2002a). Ces indicateurs correspondent en général aux indicateurs d’impact et sont davantage rattachés aux objectifs stratégiques et aux objectifs d’amélioration de la qualité des services aux citoyens;

 d’indicateurs internes, de gestion ou de performance, si la mesure sert davantage pour l’orientation, l’évaluation et la gestion des activités, processus et ressources liées aux politiques ou aux programmes (SCT, 2002c). Ces indicateurs correspondent souvent à certains éléments de l’entente de gestion ou aux engagements contenus dans la déclaration de services aux citoyens (SCT, 2002a). Ils sont consignés dans les plans stratégiques, le plan annuel de gestion des dépenses et le plan d’action de l’organisme. Ce sont eux qui font l’objet de la reddition de comptes publique. Ils expriment habituellement la mesure de l’efficacité (l’impact sur la clientèle) et de l’efficience (ex. : le nombre de personnes ayant complété le programme par rapport au nombre total de personnes l’ayant entrepris). Ils constituent la matière première de la reddition de comptes interne.

En ce qui concerne la fonction d’évaluation, les indicateurs seront en lien avec les différentes composantes du programme à évaluer telles que des indicateurs d’intrants, de processus, de performance et de résultats d’extrants, d’effets ou d’impact (MSSS, 1995; SCT, 2002a-b-c).

En conclusion, on comprend qu’un indicateur a surtout un rôle de substitut d’information à un phénomène à l’étude, à une intervention ou à un programme. L’indicateur ne peut donc être défini de façon isolée, il doit nécessairement être défini par rapport à un concept, à un phénomène à l’étude, à une intervention ou à un programme particulier.

On constate également plusieurs typologies ou classifications qui mettent en évidence différentes facettes de l’indicateur telles que sa nature (simple, composite, générale, spécifique), son expression (qualitative, quantitative) et son domaine d’utilisation (enseignement, recherche, évaluation, gestion). Par ailleurs, comme les indicateurs se veulent utiles pour aider à la prise de décision autant au niveau de la planification, du contrôle que de l’évaluation, ils doivent être pertinents selon les différents acteurs ou paliers visés afin de répondre aux responsabilités et aux préoccupations de ces derniers

(Voyer, 2009). Dans le contexte du présent projet doctoral, les indicateurs pertinents seront ceux qui répondront aux

préoccupations des différents acteurs du programme tels que les intervenants, les chefs du programme, les responsables de l’implantation et la mise en œuvre du programme sur le terrain et les évaluateurs, et la nature des indicateurs à identifier et sélectionner sera surtout sous forme d’items qui donneront un indice sur le fonctionnement (intrant, activité, processus, extrant) et les résultats attendus du programme.

Ainsi, avant d’identifier l’indicateur, comme celui-ci découle directement des résultats attendus, de la finalité du programme et du contexte organisationnel dans lequel il s’inscrit, il s’avérera important de bien documenter le programme et le contexte pour optimiser l’identification des indicateurs et leur interprétation. Cependant, que ce soit en contexte de suivi des résultats, de l’appréciation de la performance ou de l’évaluation, l’indicateur doit mesurer ce qu’il prétend mesurer. C’est dans ce sens que la stratégie proposée a débuté par une consultation auprès des différents acteurs concernés par le programme pour documenter et partager la même compréhension de celui-ci avant d’identifier et sélectionner des indicateurs de résultats.