L’appréciation des caractéristiques des indicateurs par les différents groupes d’acteurs est pertinente

L’appréciation des caractéristiques des indicateurs par les différents groupes d’acteurs a été pertinente et réalisable, si on se fie aux résultats du sondage en ligne. Ainsi, les scores moyens des 45 indicateurs identifiés montrent que la stratégie d’identification d’indicateurs proposée a atteint son objectif qui était d’identifier des indicateurs pertinents, faisables et importants pour les acteurs du programme Fluppy. Même si un des indicateurs « Diminution du taux de décrochage

scolaire » obtient le plus bas score moyen (3,50; 2,57; 3,43) pour les trois caractéristiques mesurées (pertinence,

faisabilité et importance accordée), on le conserve car d’après la littérature sur le programme, celui-ci est utilisé pour répondre à cet objectif. Ainsi, comme le programme Fluppy est un programme qui se réalise au début du cursus scolaire, il se peut que les acteurs rencontrés ne voient pas les liens contributifs que celui-ci pourrait avoir à long terme. Cet

106

indicateur a d’ailleurs fait partie de questionnements de la part des intervenants Fluppy, de la responsable du programme au régional et des gestionnaires du programme en CSSS, lors de la consultation. Toutefois, il a été conservé, car cet indicateur fait partie de l’impact potentiel que l’on voudrait atteindre avec l’ensemble des programmes mis en œuvre dans les écoles, tel que le programme Fluppy. Ceci met en évidence l’importance de consulter la documentation sur le programme pour bien comprendre les objectifs poursuivis et, ainsi, évaluer les effets de celui-ci car, parfois, les acteurs sur le terrain changent et ils ne sont pas toujours au courant des prémisses de départ de l’implantation d’un programme. Par ailleurs, même si on constate que les scores moyens de faisabilité sont plus bas que ceux de pertinence et d’importance accordée aux indicateurs, et que les scores moyens selon la fonction ou le rôle des acteurs sont plus hauts en ce qui concerne l’appréciation des indicateurs de résultats que pour les indicateurs de ressources, d’activités et de processus du programme, il s’avère important de consulter les différents types d’acteurs, surtout quand on observe que les groupes d’acteurs ont identifié des indicateurs différents selon leur fonction. Par exemple, même si les chefs de programme n’ont pas répondu au sondage en ligne pour qualifier les indicateurs, ceux-ci ont surtout identifié des indicateurs de ressources, d’activités et de processus lors des entrevues. Il est donc permis de penser que pour eux, ces indicateurs sont pertinents et importants, sans toutefois savoir l’appréciation qu’ils ont par rapport à leur faisabilité. De plus, l’appréciation des caractéristiques des indicateurs auprès d’un deuxième groupe d’acteurs a permis de vérifier les similitudes entre les groupes et, ainsi, valider la pertinence, la réalisabilité et l’efficacité de la stratégie développée. Comme les deux groupes sont d’accord sur la pertinence, la faisabilité et l’importance à accorder à chacun des 45 indicateurs identifiés pour le programme Fluppy, on peut dire que la stratégie est efficace pour identifier et sélectionner des indicateurs faisant l’unanimité pour les différents acteurs concernés par le programme. Une analyse complémentaire a également été faite sur ces données, ce qui a permis d’apprécier les résultats sous une autre forme et, ainsi, appuyer les constats tirés de la première analyse. Il est ressorti également que malgré l’existence d’une variabilité dans la proportion des répondants en ce qui concerne leur haut degré d’accord par rapport à l’appréciation des trois caractéristiques, ceux-ci ressortent comme pertinents, faisables et importants à chacun des 45 indicateurs.

Il est donc permis de penser, à la lumière des résultats obtenus lors de l’expérimentation, que la stratégie d’accompagnement, selon les quatre étapes proposées pour identifier et sélectionner des indicateurs de résultats d’un programme, est pertinente, faisable et efficace pour l’atteinte de son objectif.

En terminant, il est important de préciser que suite à cette démarche d’identification et de sélection d’indicateurs avec les différents acteurs concernés par le programme, d’autres étapes supplémentaires de construction et d’appréciation des caractéristiques psychométriques seront essentielles pour compléter l’information sur un indicateur; car au-delà de la pertinence et de l’importance à accorder à un indicateur par les acteurs, il y a toutes les caractéristiques psychométriques incontournables (validité, fiabilité) ainsi que d’autres caractéristiques telles que la comparabilité dans le temps qu’il faut documenter. Ces autres étapes se feront lors du testing dans un projet d’évaluation du programme. Il y aura donc des étapes de nature méthodologique pour choisir une méthode d’association et de calcul afin de traduire l’indicateur sous forme de donnée ou d’une statistique qui permettra de mesurer l’indicateur de résultats retenu lors de la consultation. Si les indicateurs identifiés sont existants et disponibles, une vérification des caractéristiques psychométriques à partir des sources de données existantes se fera (INSPQ, 2013a) ou sinon, cela se fera par la suite. De plus, il faudra déterminer si

les indicateurs ont un poids similaire ou variable, ou si un indice global doit être fait, pour mieux apprécier le programme ou les résultats attendus du programme. C’est donc lors de l’utilisation des indicateurs identifiés que l’on pourra compléter les fiches d’indicateur existantes ou élaborer une nouvelle fiche technique si non disponible. Dans chacune de ces fiches, il est suggéré d’y retrouver le type d’indicateur (clientèle, ressources, activités, processus, résultats), la définition, la méthode de calcul, la source d’information ainsi que l’appréciation de la pertinence, de la faisabilité et de l’importance accordée pour l’indicateur et les constats liés aux résultats du sondage. Cette fiche permettra de regrouper dans un même document toute l’information pertinente en rapport avec chacun des indicateurs, ce qui en favorisera l’utilisation par les responsables du programme et les gestionnaires de données. Ces fiches techniques sont nécessaires, car chaque source de données soulève des défis particuliers, autant pour l’accès des données que pour le traitement et l’analyse dans le temps (CASHC, 2012; INSPQ, 2013a). Toutefois, comme le projet doctoral misait sur l’appréciation de la pertinence, la faisabilité et l’importance des indicateurs retenus lors de la stratégie proposée, une fiche technique concernant chacun des indicateurs pourra se faire lors de l’évaluation du programme Fluppy.