Évaluation des effets

À partir de la perspective des participants, quels sont les effets réflexifs du Laboratoire?

Démarche d’investigation ou devis

L’évaluation des effets du programme regroupe un ensemble de démarches évaluatives distinctes. Par exemple, certains auteurs font une distinction entre l’analyse des effets et l’appréciation des résultats (Champagne, Brousselle et al. 2009). Pour ces auteurs, l’analyse

87

des effets est une démarche scientifique qui, à partir d’une structure de preuve comparative, s’intéresse à l’ensemble des effets produits par un programme et aux liens causaux entre le programme et les effets observés (Champagne, Brousselle et al. 2009: 161). Aussi, dans la littérature, on soutient le plus souvent que l’analyse des effets d’un programme doit reposer sur un devis expérimental ou quasi-expérimental, qui compare une situation à sa contrefactuelle (Rossi, Freeman et al. 1998; Shaw 1999; Champagne, Brousselle et al. 2009). L’appréciation des résultats, en revanche, est une démarche normative qui vise à établir la conformité des effets réels du programme en regard des effets attendus (Champagne, Brousselle et al. 2009).

Parce qu’elle vise entre autres à attester de l’atteinte des résultats visés par le programme en termes de réflexivité, la démarche présentée dans cette thèse s’apparente plutôt à l’appréciation des résultats qu’à l’analyse des effets. En effet, cette évaluation ne cherche pas à établir l’effet net du programme sur la base d’inférences causales comparatives. Elle cherche plutôt à explorer, à partir de la perspective des participants, les effets réflexifs du Laboratoire à travers une approche interprétative et une structure de preuve descriptive (Gauthier 2004: 131). Nous croyons toutefois que cette démarche évaluative se démarque d’une approche purement normative en certains points. Ainsi, en plus de faire usage des méthodes de recherches scientifiques, la démarche présentée dans cette thèse est profondément ancrée dans la théorie, qui définit les ‘normes’ sur la base desquelles sont jugés les résultats. De plus, elle s’intéresse à différents types de réflexivité ainsi qu’à l’éventail de leurs conséquences pratiques pour les professionnels.

Aussi, il faut souligner que cette analyse s’appuie sur une idée renouvelée de la causalité stimulée par le courant réaliste, qui attribue un rôle central aux significations construites par les acteurs sociaux (Shaw 1999). « The underlying reality produces actual events, of which we have empirical experiences and sense impressions » (Shaw 1999: 133). Ainsi, Pires (1993), s’appuyant sur des philosophes des sciences (Searle 1985), remet en cause l’absolutisme du principe causal de la régularité statistique – qui veut qu’un lien de cause à effet doive nécessairement faire l’objet d’une observation répétée. Pour Pires (1993: 206), la recherche qualitative est une option valable pour

88

« (…) saisir comment les gens appréhendent une situation et comment cette manière de l'appréhender peut se transformer en une action particulière chez l'individu. Les personnes sont en mesure de témoigner d'une certaine expérience de causalité et peuvent rapporter des changements dans leur perception de certains événements et des changements dans leur comportement vis-à-vis ces mêmes événements ou situations. » Suivant cette perspective, une démarche d’investigation qualitative et interprétative apparaît comme une option valable pour saisir une forme de causalité générative, qui s’intéresse à la production d’un résultat plutôt qu’à établir des liens entre des variables.

Cette démarche d’évaluation des effets procède d’une analyse descriptive de données d’entrevues. L’évaluation des effets réflexifs du programme prend comme unité d’analyse les

participants du Laboratoire de chacun des sites (équipes A et B)17. Au moment de la collecte, les participants des deux sites représentaient l’ensemble de la ‘population’ répondant au critère de représentativité des participants décrit plus bas (criterion sampling) (Patton 2002).

L’évaluation des effets s’est focalisée sur le développement de la réflexivité, un résultat individuel potentiellement identifiable par les participants dans le cadre temporel limitatif de cette thèse. En effet, après un an, il y a lieu de s’attendre à ce que les participants expérimentent de premiers changements cognitifs. En un premier temps, ce sont les

changements dans les représentations des participants quant à leur expérience professionnelle qui ont été étudiés, parce qu’indicatifs de l’émergence de réflexivité selon la

littérature. Plus important, les participants devaient attribuer ces changements à leur participation au programme et en expliquer l’origine. En un second temps, le type de

réflexivité expérimentée (s’il y a lieu), défini sur la base des catégories émergeant de la

littérature (réflexivité formative et réflexivité critique), a également été étudié.

Stratégie de collecte de données

Les données nécessaires pour informer cette analyse proviennent de l’entretien

qualitatif, conçu comme un « l’un des meilleurs moyens pour saisir le sens que les acteurs

17

89

donnent à leurs conduites (…), la façon dont ils se représentent le monde et la façon dont ils vivent leur situation, les acteurs étant vus comme les mieux placés pour en parler » (Poupart 1997: 175). Plus spécifiquement, les données ont été collectées grâce à des entrevues

qualitatives semi-dirigées, une approche particulière de l’entretien qualitatif qui mise sur une

définition précise et préalable des questions posées aux participants (Patton 2002). Tel que décrit précédemment, après un an, tous les participants du Laboratoire, réguliers et occasionnels (gestionnaires en supervision de l’équipe), ont été invités à prendre part à une entrevue qualitative semi-dirigée d’environ une heure. L’unique critère d’inclusion était de faire partie de l’équipe du Laboratoire depuis au moins six mois. Un seul participant a refusé de prendre part à l’entrevue, en raison de manque de temps. En outre, une entrevue a été discartée car le participant (occasionnel), un gestionnaire sénior en supervision de l’équipe, s’est dit incapable de répondre aux questions (équipe A). Le nombre final de participants aux entrevues est de neuf pour l’équipe A, et 11 pour l’équipe B. Des données plus détaillées sur l’ensemble des participants sont fournies dans le tableau VII. Des questions ouvertes ont été utilisées afin d’investiguer notamment comment les participants avaient expérimenté le processus, ce qu’ils avaient appris au cours de leur participation, ainsi que les changements expérimentés (s’il y en avait) dans la compréhension de leur pratique, de leur rôle professionnel et de leur environnement de travail à la suite de leur participation au programme (voir Annexes III et IV). Le guide d’entrevue a été préalablement testé auprès de participants d’une autre équipe de Laboratoire débutant le programme et non-incluse dans l’étude.

90

Tableau VII. Caractéristiques des participants aux entrevues qualitatives

Caractéristiques* Cas A (n = 9) Cas B (n = 11)

Thème du Laboratoire Santé au travail Persévérance scolaire Type de participants

Occasionnel 1 2

Régulier 8 9

Sexe des participants

Féminin 6 8 Masculin 3 3 Poste Directeur général 1 1 Directeur local 1 1 Chef d’équipe 1 1

Conseiller en santé publique 1 1 Conseiller en promotion de la santé 1 0 Organisateur communautaire 1 1 Hygiéniste dentaire 0 1 Hygiéniste du travail 2 0 Infirmier 1 2 Travailleur social 0 2 Éducateur spécialisé 0 1

Type de poste (Catégorie duale)

Gestionnaire 4 4

Professionnel 5 7

Nombre d’années d’expérience au sein du CSSS (moy) 18,3yrs 9,4yrs

Moins d’un an 2 0

De un à cinq ans 0 4

De cinq à dix ans 1 3

De dix à vingt ans 2 3

Plus de vingt ans 4 1

Durée de la participation au Laboratoire

Depuis le début du Laboratoire (12 mois) Entre 6 et 12 mois

6 3

11 0 *Le masculin est utilisé pour protéger l’anonymat des participants

Stratégie d’analyse

La stratégie d’analyse privilégiée dans cette étude de cas est l’analyse par

appariement (pattern matching), qui permet de comparer les données empiriques à un modèle

défini théoriquement (Yin 2009: 136). Pour ce faire, un système de codage a tout d’abord été élaboré à partir de la littérature et des théories de la réflexivité. Pour les fins de l’analyse, la réflexivité a été définie comme toute nouvelle compréhension de la pratique, du rôle

91

professionnel ou de l’environnement de travail développée par le participant (considérés comme trois dimensions importantes de l’expérience professionnelle). Le participant devait attribuer ces nouvelles compréhensions à son engagement dans le Laboratoire. En outre, le type de réflexivité développé par les participants (réflexivité formative ou réflexivité critique) a été défini grâce aux catégories émergeant d’une synthèse de la littérature dans ce domaine.

Ensuite, les enregistrements des entrevues ont été transcripts et organisés dans une base de données grâce au logiciel NVivo 8. Une première lecture de l’ensemble des données contenues dans la base a permis d’identifier les informations concernant les représentations de la pratique, du rôle professionnel et de l’environnement de travail des participants. Au cours de lectures successives, ces représentations ont pu être codifiées en fonction de leur nature réflexive (i.e. nouvelle compréhension attribuable au programme ou non), non réflexive (i.e. dénotant une absence de changement dans la compréhension) ou neutre (i.e. simple représentation qui ni indicative d’un changement ou d’une absence de changement). Les nouvelles compréhensions non attribuées au programme ont été écartées.

Enfin, les nouvelles compréhensions de l’expérience professionnelle attribuées au programme (réflexivité) ont été analysées sur la base des catégories de réflexivité formative et réflexivité critique. Pour chaque catégorie, la récurrence de certaines significations a permis d’identifier des fonctions plus spécifiques de chaque type de réflexivité.

En préparation du codage, deux codeurs18 ont travaillé ensemble afin de définir les différentes catégories et d’ajuster conséquemment le système de codage. L’analyse de contenu de l’ensemble du matériel a été opérée par la chercheure principale. Toutefois, un test de fiabilité, réalisé sur 10% du matériel (deux entrevues choisies aléatoirement dans les sites A et B), a été mené avec l’aide du second codeur pour s’assurer de la validité du système de codage et de la consistance de l’analyse. Les indices de fiabilité calculés à l’aide du logiciel NVivo 8 sont satisfaisants, répondants à un taux de correspondance de plus de 80% entre les codeurs (voir le tableau VIII). Les différences de codage ont été explorées et résolues par consensus.

18

L’auteure de cette thèse et une autre étudiante en santé publique de l’Université de Montréal, approchée en raison de sa familiarité avec les concepts étudiés. L’autre étudiante n’a été impliquée que dans cette étape du travail (validation du codage de l’évaluation des effets) et n’a pas contribué intellectuellement au reste de la thèse.

92

Tableau VIII. Indices de fiabilité pour les principales catégories de codage

Catégoroes Pourcentages d’aggréement entre codeurs Kappa

Représentations de la pratique 95,34 0,8169 Représentations du rôle professionnels 98,68 0,8814 Répresentations de l’environnement de travail 98,67 0,7919

Représentations réflexives 93,29 0,7122

Réflexivité formative 93,20 0,6871

Réflexivité critique 99,41 0,8727

Validité

Dans cette analyse, plusieurs stratégies ont été adoptées afin d’assurer la validité des résultats. Ainsi, en regard de la validité interne de l’analyse, il faut se souvenir que la force du lien causal entre le programme et ses résultats attendus avait été préalablement testée par l’analyse logique. Ensuite, l’engagement prolongé de la chercheure avec l’équipe de la DSPM lui a permis de développer une compréhension complexe du programme et des contextes d’implantation, facilitant l’interprétation des données. De plus, pour chaque entrevue, un résumé individuel a été élaboré et approuvé par le participant, de façon à assurer la bonne compréhension de ses propos par la chercheure. En outre, l’interprétation finale des données a été validée par les participants du Laboratoire lors d’une rencontre de groupe, durant laquelle les résultats ont été présentés et discutés. En regard de la validité externe, postulée en termes de généralisation théorique, les résultats de cette analyse ont été répliqués dans deux sites, offrant un soutien plus robuste aux définitions et catégories théoriques développées en lien avec la réflexivité. Finalement, la fiabilité du codage a été validée de façon satisfaisante avec l’aide d’un second codeur.