Les démarches de l’évaluation basée sur la théorie

Chen (1990b) identifie six domaines de la théorie du programme qui correspondent à six domaines de théorie; il s’agit des domaines du traitement, de l’environnement

d’implantation, des résultats (outcome), de l’impact, des mécanismes intervenants et de la généralisation. Ces différents domaines correspondent à des théories distinctes et à des modèles d’évaluations basées sur la théorie. Les théories peuvent être combinées tout comme les types d’évaluations qui leur correspondent. L’application de l’évaluation basée sur la théorie passe par plusieurs étapes. L’étape de la planification doit permettre de préciser les domaines et le type d’évaluation et l’approche d’élaboration de la théorie du programme. Les procédures et les démarches alternatives de même que les questions d’utilisation des résultats doivent être abordés. Chen préconise la prise en compte du principe de préoccupation double (celle des parties-prenantes et celles professionnelles du chercheur) et du principe de déficience du programme (les points de problème évident) pour orienter l’évaluation. A ces deux principes s’ajoutent ceux du principe formatif et sommatif qui consiste à corriger le programme à l’aide des informations fraîchement

recueillies et le principe de la contingence des méthodes qui réfute l’idée d’une méthode universellement applicable à toutes les évaluations (Chen, 1990b).

Les méthodes d’application de l’approche de l’évaluation basée sur la théorie sont variées. Selon Chen (1990b), que l’approche soit normative ou causale, la première étape est logiquement de mettre en évidence la théorie du programme. Lipsey et Pollard estiment pour leur part que si aucune théorie n’est énoncée à l’avance il est opportun en première étape de faire une recherche exploratoire orientée vers la théorie qui servira au

développement de la théorie sous-jacente (Lipsey & Pollard, 1989). Selon Weiss (1998b), il est certainement important de commencer avec une théorie simple. L’évaluateur doit par la suite utiliser le diagramme de la théorie du programme pour identifier quelles données sont à collecter. Les relations entre les différentes séquences de la chaîne causale sont ensuite vérifiées. Une approche habituelle pour savoir si c’est le programme qui produit les effets est de comparer les différents niveaux de réception du programme.

Du fait que certains programmes sont complexes, il est probable que l’évaluateur trouve difficile, selon Weiss, de suivre toutes les branches de toutes les sous-théories sous- jacentes, faute de temps et des ressources. Le choix des chaînes à analyser doit être fait en suivant certains critères. Il s’agit des critères de l’incertitude, certains liens étant plus problématiques que d’autres; parfois il n’y a pas beaucoup d’information sur leur viabilité. Il y a aussi le critère du volume, certaines activités sont plus fournies que d’autres. Il y a ensuite le critère de la centralité, certaines chaînes causales supportent plus le poids de la probabilité de succès du programme. Enfin, il y a le critère du but qui suggère d’analyser les suppositions liées au but principal de l’intervention. Donaldson et Gooler (2003) ne semblent avoir compris le premier conseil de Weiss qui est de partir de théories simples et de la notion de centralité que lors de leur expérience de Work and health Initiative. À leur tour ils conseilleront à demi-mot l’adaptation de la spécification de la théorie du

programme au contexte, de la complexité au type de programme et à la préférence des parties-prenantes pour ne pas laisser ces derniers dans la confusion (Donaldson & Gooler, 2003).

L’analyse de Coryn et al. (2011) classe les éléments qui guident la mise en œuvre de l’évaluation basée sur la théorie sous cinq principes centraux : ( 1) formuler une théorie

plausible du programme, (2) formuler et prioriser les questions d’évaluation autour de la théorie du programme, (3) guider la planification, le devis et l’exécution de l’évaluation par le programme en fonction des contingences, (4) mesurer les construis postulés dans la théorie du programme et enfin (5) déterminer les échecs, les effets pervers; déterminer l’efficacité du programme et expliquer les relations de cause–à–effet entre les construits du programme (Coryn et al., 2011, p. 7).

Pour ce qui est des démarches d’analyse, Lipsey et Pollard (1989) les considèrent liées aux formes de théories qui sont postulées. Ils distinguent quatre modèles à savoir le modèle causal qui comporte deux composantes, une conceptuelle et une autre analytique. Dans ce modèle basé sur les variables, le programme est représenté sous la forme de dimensions ou d’ensemble de dimensions ayant différents niveaux de mise en œuvre ou traitement. L’effet causal est représenté sous la forme de covariations avec les variables du traitement. Les approches d’analyse des relations structurelles linéaires, l’analyse

factorielle confirmatoire, la modélisation structurelle de variables latentes sont, entre autres, des outils d’analyse pertinents pour ce modèle. Il y a ensuite le modèle basique à deux étapes qui est une forme simplifiée du modèle causal. Il repose sur le postulat qu’il y a une variable intermédiaire entre le traitement et la mesure de l’effet. Cette variable est identifiée et mesurée. Deux suppositions sont ensuite vérifiées à savoir la relation entre le traitement et la variable intermédiaire et la relation entre la variable intermédiaire (proximale) et la mesure de l’effet (variable distale). Une mesure adéquate du niveau d’intervention

administrée permet d’aboutir à des résultats intéressants. Deux autres modèles sont fournis par les auteurs qui s’adaptent plus aux recherches en psychologie et aux sujets

biomédicaux. Il s’agit du modèle des niveaux d’état qui organise la théorie en divers niveaux progressifs ou régressifs d’état (par exemple psychologiques) qui conduisent à une issue ou du modèle substantif ou les théories présentent le traitement en diverses parties identifiées en des termes ou notions substantives.