L’évaluation du processus orientée par la théorie

L’évaluation du processus doit s’adosser à l’approche théorique, ou parfois à la

combinaison de théories (Egger, Spark, & Donovan, 2005) qui ont servi à l’intervention et qui la sous-tendent (Saunders et al., 2005; Steckler & Linnan, 2002). Malheureusement

notent les auteurs, le rôle de la théorie n’est pas explicite dans beaucoup de travaux d’évaluation du processus (Linnan & Steckler, 2002; Weiss, 1998a). Les mesures d’implantation des différentes composantes des interventions basées sur des théories doivent montrer les liens avec la théorie supposée pour améliorer la compréhension des mécanismes de changement et les améliorations (Linnan & Steckler, 2002). Cet effort a été maintenu à un niveau minimal, notamment dans les études descriptives. Celles-ci,

lorsqu’elles ont abordé les fondements théoriques des interventions, ont plus mis l’accent sur leur explication que sur leur implication dans la démarche de l’évaluation. Nous partageons avec certains auteurs l’idée que ces types de démarches ne sont pas à inclure dans les approches d’évaluation basée sur la théorie considérant toutes les applications de l’approche

Tableau-: I , (annexe 1, page ii) Application de l’évaluation basée sur la théorie. La mise en œuvre de cette démarche d’évaluation de processus orientée par la théorie nécessite la mise en place d’un processus et d’un outil qui est le cadre conceptuel de la théorie du programme. En effet, à partir du cadre conceptuel de la théorie du programme, il est aisé d’élaborer une évaluation du processus basée sur la théorie du programme qui soit plus explicite (Chen, 2005), parmi les modèles qui existent, celui proposé par Chen (2005) nous semble plus adapté à notre objectif.

En résumé, la préférence des approches de Chen et de Weiss comme fondement théorique à notre démarche est explicite. Beaucoup d’interventions ne se basent pas sur les grandes théories mais sur des logiques d’atteinte des résultats qui peuvent être mises en lumière. L’analyse de la théorie permet une autre approche de la notion de causalité que la démarche classique. Enfin le modèle du programme développé à ce propos par Chen et Rossi (1983) permet l’application de cette démarche d’analyse de l’intervention. Ce modèle nous sert d’horizon pour la schématisation de notre cadre conceptuel. (Figure 2).

Une des positions que nous défendons dans cette thèse est que des approches multiples sont nécessaires pour l’élaboration d’une démarche d’évaluation à même de satisfaire les divers buts fixés. Il s’agit de s’inspirer, d’une part, des approches réalistes de Pawson et Tilley et de Mark Henry et Julnes et d’autre part, de faire appel aux démarches initiales des évaluations basées sur la théorie comme proposée par Chen (Chen, 1990b,

2005). Cette tendance est celle qui s’impose à nous du fait de la structuration des parties de notre recherche. Mark et ses collaborateurs notaient que l’approche d’évaluation réaliste nécessite parfois, du fait des exigences et implications multiples, d’entreprendre la

recherche comme une succession d’études au lieu d’une étude unique (Mark et al., 1998). L’intervention que nous analysons n’ayant pas adopté une théorie sociale reconnue et éprouvée, la démarche générale des évaluations basées sur la théorie et des évaluations réalistes commençant par l’exploration s’impose (Chen, 1990b; Mark et al., 1998).

L’utilisation d’une pluralité d’approches en évaluation n’est pas une démarche nouvelle. Même s’il n’existe pas encore un cadre conceptuel dédié à cette approche il ressort que les combinaisons ont en général apporté des améliorations à l’évaluation (Bledsoe & Graham, 2005). Dans cette perspective de combinaison des modes de

questionnement, il est important de prendre en compte le but de l’évaluation pour s’orienter (Mark et al., 1998). Néanmoins, nous restons dans les limites conceptuelles relatives à une même famille théorico-paradigmatique, comme le conseille Creswell (1994)3 _{à savoir celle}

des évaluations basées sur la théorie qui inclut l’évaluation réaliste de Pawson et Tilley et de Mark et ses collaborateurs. Nous estimons que toutes ces démarches sont fondées sur cette position de Chen selon laquelle le mérite d’un programme social devient difficile à juger lorsqu’on ne possède pas d’informations sur les facteurs contextuels et/ou sur les intervenants qui aident à faire d’un programme un succès ou un échec (Chen, 1989, p. 392; 1990b). Nous estimons que pour mieux comprendre l’ensemble des mécanismes en action dans un programme, une analyse de l’implantation même basée sur la théorie doit

s’accompagner d’une analyse des conditions et contextes dans lesquelles l’adaptation du modèle théorique a marché en adoptant autant des approches individualistes que holistiques à l’échelle de l’intervention. Les processus principaux et alternatifs d’atteinte des résultats doivent être mis en évidence. Ce faisant diverses approches d’évaluation basées sur la théorie doivent être mises à profit pour réussir cette démarche.

Une autre position importante que nous défendons est tout autant théorique, méthodologique que pratique. Un des avantages de l’approche basée sur la théorie du programme est le fait, selon Weiss (1998b), de décomposer l’expérience du programme en petites chaînes qui sont les liens entre une étape et la suivante (p. 69). Paradoxalement, une

des limites de cette approche est justement la dissection et le charcutage de la réalité qui ramènent parfois l’intervention à une formulation théorique simple (Lipsey & Pollard, 1989). A notre sens, cela a fini par occulter une partie qui est essentielle à l’explication et à la compréhension des effets : il s’agit de l’effet d’ensemble du programme. En effet, dans des domaines comme la promotion de la santé, l’effet de masse est un marker de

changement (Ashton & Seymour, 1988). Si sa conception est ici perçue sous l’angle de l’effet d’une intervention au niveau d’ensemble de la société, dans notre cas nous l’utilisons dans une perspective plutôt ontologique en nous référant au programme comme une masse active. Une fois qu’une réalité est nommée, elle est en elle-même génératrice d’effet. Cette situation est patente dans les contextes quotidiens notamment de valorisation et de

classification. Russel (1948) notait par exemple que lorsqu’un mot est exprimé, il entraîne directement l’esprit dans une classification. Cette même idée ressort des analyses de Mill (1970) qui estime que dès qu’un nom est employé pour indiquer un attribut, le phénomène concerné qui a cet attribut est d’office constitué en classe. Malheureusement, indique–t-il, quand il y a prédiction sur le nom on prédique sur les attributs, et l’idée de classe est le plus souvent complètement omis. C’est cette situation qui survient avec l’analyse des effets des phénomènes par les attributs.

Tant en promotion de la santé que dans d’autres domaines, la nécessité d’atteindre cet objectif, à savoir faire ressortir l’effet de l’ensemble au-delà de celui des parties, n’a pas échappé aux chercheurs; cependant c’est dans la poursuite de cet objectif que les limites se sont révélées. Cette ambition est perceptible dans plusieurs travaux. Tout d’abord sur le plan des élaborations conceptuelles, nous pouvons le noter dans le travail d’envergure d’Archer (1995) qui donnait à l’ontologie du programme le rôle de concilier les approches individualistes et collectivistes. Sa proposition méthodologique nous semble cependant limitée dans sa capacité à répondre au besoin que nous exprimons ici. Sur certains aspects elle est tout simplement réductive de l’effet de l’intervention. De même, les propositions d’évaluation réalistes n’ont pas fait mieux. En effet, si ces types d’évaluations basées sur la théorie ont pris en compte la caractéristique sui generis du système social, elles ont, au mépris de la caractéristique systémique, abandonné ou réduit à sa portion congrue l’effet holistique. En général cette approche est reprise à travers l’analyse des effets de structure sur l’agence. Les propositions de Scheirer (1987), notamment la mesure de la micro implantation et de la macro implantation, sont aussi à considérer dans ce sens. Cependant,

cette approche oriente vers une appréhension des éléments en termes de grandeur sans permettre cependant d’inclure la notion d’ensemble coercitif. Un autre exemple probant en promotion de la santé que nous pouvons citer est celui de Donaldson et Gooler (2003). En effet, ces auteurs notent, dans leur recherche, que les objectifs étaient évalués en cherchant à maximiser l’impact d’ensemble de l’initiative tenant compte du fait que l’ensemble était estimé plus grand que la somme des parties. Malheureusement, les auteurs développeront une théorie pour chaque composante et renforceront cette balkanisation par peur de l’influence de potentiels facteurs environnementaux de confusion.

En considérant ces différents travaux, nous dirons que pour leur cas et pour

beaucoup d’autres la proposition selon laquelle ces démarches d’évaluation ouvrent la boîte noire de l’intervention est peut-être vérifiée mais pas suffisante à la compréhension de l’ensemble des mécanismes explicatifs des résultats de l’intervention.