Développement de la capacité à offrir le programme
Triple P : point de vue du personnel d’encadrement
Mémoire doctoral
Rosalie Lavigne
Doctorat en psychologie
Docteure en psychologie (D.Psy.)
Québec, Canada
Développement de la capacité à offrir le programme
Triple P : point de vue du personnel d’encadrement
Mémoire doctoral
Rosalie Lavigne
Sous la direction de :
iii Résumé
Cette étude vise à déterminer si la capacité de deux consortiums de partenaires à offrir un programme à données probantes (PDP) se développe au cours du processus d’implantation à l’aide d’un devis prétest-posttest sans groupe de comparaison. Elle vise également à tracer un portait de la capacité des consortiums. Le programme en question est Triple P – Positive Parenting Program. Vingt membres du personnel d’encadrement impliqués dans l’offre de Triple P ont rempli un questionnaire avant l’implantation et deux ans plus tard. Ce questionnaire mesure leurs perceptions quant à diverses variables reflétant plusieurs dimensions de la capacité : les aspects organisationnels susceptibles de faciliter ou de nuire à l’implantation pour les participants, le degré de préparation des organisations à implanter Triple P, le fonctionnement du partenariat mobilisé autour de Triple P et les impacts du partenariat au niveau individuel, organisationnel et communautaire. Des analyses de variances multivariées (MANOVAs) à meures répétées ont été effectuées afin de comparer les deux temps de mesure et faire ressortir les forces et les faiblesses des consortiums. Les résultats n’indiquent pas de changement statistiquement significatif entre les deux temps de mesure. Toutefois, on remarque, pour certaines variables, des tailles d’effet de moyenne et grande amplitude, dans le sens d’un développement de la capacité. Ainsi, il est probable que le processus pour offrir Triple P ait eu un impact sur la capacité des milieux, mais le petit échantillon ferait en sorte que la puissance statistique est insuffisante pour le détecter. Un portrait de la capacité au posttest est tracé et des recommandations sur les dimensions à perfectionner sont fournies. Entre-autre, plus d’efforts sont nécessaires pour obtenir suffisamment de ressources, avoir un partenariat synergique ainsi que pour que la communication, les formations et l’environnement organisationnel soient adaptés pour offrir le programme.
iv
Table des matières
Résumé ... iii
Table des matières ... iv
Liste des figures ... v
Liste des tableaux ... vi
Remerciements ... vii
Introduction ... 1
Triple P : un programme basé sur des données probantes ... 2
L’implantation de Triple P au Québec ... 3
Le développement de la capacité ... 6 Objectifs et hypothèses ... 15 Méthodologie ... 17 Participants ... 17 Matériel ... 18 Procédure ... 25 Analyses ... 26 Résultats ... 28 Développement de la capacité ... 28
Portrait de la capacité au posttest ... 29
Discussion... 31 Conclusion ... 44 Références ... 45 Annexe A ... 69 Annexe B ... 71 Annexe C ... 73
v
Liste des figures
Figure 1. Scores moyens et écarts-types pour les aspects organisationnels susceptibles de faciliter ou de nuire à l’implantation pour les participants de Montréal au posttest. ... 61 Figure 2. Scores moyens et écarts-types pour les aspects organisationnels susceptibles de faciliter ou de nuire à l’implantation pour les participants de Québec au posttest. ... 62 Figure 3. Scores moyens et écarts-types pour le degré de préparation des organisations à implanter Triple P pour les participants de Montréal au posttest. ... 63 Figure 4. Scores moyens et écarts-types pour le degré de préparation des organisations à implanter Triple P pour les participants de Québec au posttest. ... 64 Figure 5. Scores moyens, écarts-types et zones pour le fonctionnement du partenariat mobilisé autour de Triple P pour les participants de Montréal au posttest. ... 65 Figure 6. Scores moyens et écarts-types pour le fonctionnement du partenariat mobilisé autour de Triple P pour les participants de Québec au posttest.. ... 66 Figure 7. Scores moyens et écarts-types pour les impacts du partenariat mobilisé autour de Triple P au niveau individuel, organisationnel et communautaire pour les participants de Montréal au posttest. ... 67 Figure 8. Scores moyens et écarts-types pour les impacts du partenariat mobilisé autour de Triple P au niveau individuel, organisationnel et communautaire pour les participants de Québec au posttest ... 68
vi
Liste des tableaux
Tableau 1. Dimensions conceptuelles de la capacité identifiées dans la littérature ... 54 Tableau 2. Caractéristiques socioprofessionnelles. ... 56 Tableau 3. Échelles pour chaque instrument, dimensions de la capacité évaluées, nombre d’items (N) et échelle de réponse ... 57 Tableau 4. Corrélations entre les échelles du FRPI et de l’ORC au prétest pour les 20
participants ayant répondu aux deux temps de mesures ... 59 Tableau 5. Corrélations entre les échelles du FRPI et de l’ORC au posttest pour les 20 participants ayant répondu aux deux temps de mesures ... 59 Tableau 6. Analyses de variance univariées pour les échelles Degré de préparation,
Locaux, Équipe, Objectifs, Communication, Organisme, Intervenants, Chef d’équipe, Formation. ... 60
vii
Remerciements
Tout d’abord, je tiens à remercier Marie-Hélène Gagné, ma directrice de recherche, pour sa disponibilité, son soutien et ses rétroactions constructives tout au long de ce processus. Je voulais également remercier Julie Goulet et Marjolaine Roy pour leur aide précieuse en ce qui a trait à la collecte de données et pour avoir répondu à mes nombreuses questions, et ce depuis mon arrivée à la Chaire. Merci à Hélène Paradis pour le soutien statistique. Merci également à Marie-Claude Richard d’avoir siégé sur mon comité.
Ce mémoire doctoral a été soutenu financièrement par les Instituts de recherche en santé du Canada. www.irsc-cihr.gc.ca, par les Fonds facultaires d’enseignement et de recherche de la Faculté des sciences sociales et la Chaire de partenariat en prévention de la maltraitance via sa subvention du Conseil de recherches en sciences humaines. Merci aux Instituts de recherche en santé du Canada ainsi qu’aux Fonds facultaires d’enseignement et de recherche de la Faculté des sciences sociales pour leur soutien financier. Merci à la Chaire de partenariat en prévention de la maltraitance pour son soutien logistique, ses ressources, l’inclusion dans plusieurs activités de recherche ainsi que pour son soutien financier.
Et finalement, merci à mes collègues, amis et à ma famille pour m’avoir soutenu tout au long de ce processus.
1 Introduction
Cette étude s’inscrit dans le champ de la science de l’implantation : « L’implantation est définie comme l’ensemble des activités spécifiques visant à mettre en pratique une activité ou un programme avec des dimensions connues » (Fixsen, 2005, p.5). Dans leur revue de littérature, Durlak & DuPre (2008) font état de données probantes qui soutiennent que la qualité du processus d’implantation affecte les résultats d’un programme. Un programme rigoureusement implanté a plus de probabilités de produire des effets positifs et de grande amplitude chez la clientèle cible (Durlak & DuPre, 2008).
Plusieurs études se sont penchées sur les éléments venant influencer le processus d’implantation et sa réussite (e.g., Amodeo et al., 2013; Daro, 2005; Durlak & DuPre, 2008; Hodge et al., 2016; Proctor, 2012; Schoenwald & Hoagwood, 2001; Sedlar et al., 2015). Ces éléments peuvent être englobés par le concept de capacité, définie comme l’ensemble des caractéristiques et des ressources propres aux milieux qui, lorsque combinées, améliorent l’habileté à reconnaître, évaluer et aborder des problématiques clés (Bush et al., 2002).
En plus d’être un prérequis à l’implantation d’un programme, la capacité serait également une résultante de cette démarche. En effet, des modèles théoriques de développement de la capacité et de processus d’implantation suggèrent que le fait de participer à la mise en œuvre d’un programme à données probantes (PDP)1 développerait la capacité des individus, des organisations et des communautés à offrir ce type de programme et par le fait même, à atteindre les objectifs qu’ils se sont fixés (Meyers, Durlak, & Abraham, 2012; McWilliam, Brown, Sanders, & Jones, 2016; Wandersman et al., 2006).
La présente étude a pour but de documenter le développement de différentes dimensions de la capacité à offrir un PDP, dans un contexte de partenariat communautaire
1 Un programme basé sur les données probantes est un programme aux paramètres définis (e.g., philosophie,
valeurs, système d’offre, composantes du traitement) dont l’efficacité est appuyée par la littérature (Fixsen, Naoom, Blase, Friedman & Wallace, 2005).
2
intersectoriel, du point de vue du personnel d’encadrement des diverses organisations partenaires impliquées dans sa mise en œuvre.
Le PDP qui sert de cas de figure à l’étude est le programme Triple P – Positive
Parenting Program (Sanders & Turner, 2005), qui a été expérimenté au Québec dans une
visée deprévention de la maltraitance envers les enfants. Triple P vise à soutenir les parents d’enfants de 0-12 ans dans le développement de leurs habiletés parentales. L’offre de services de Triple P aux parents québécois, en cours sur le territoire de deux Centres locaux de Services Communautaires (CLSC) depuis janvier 2015, implique une variété de partenaires dans chaque territoire et fournit les données à la présente étude, qui s’inscrit dans une recherche plus large visant à évaluer le programme en contexte québécois.
Triple P : un programme basé sur des données probantes
Depuis plusieurs années, la recherche se penche sur la pertinence de l’utilisation de pratiques basées sur les données probantes dans le domaine des services sociaux destinés aux enfants et à leur famille (Proctor, 2012). L’utilisation de PDP sur une base régulière prédirait l’efficacité des organisations à améliorer de la santé mentale des enfants (Kolko, Herschell, Costello, & Kolko, 2009).
Triple P est un PDP multiniveaux de soutien parental considéré comme un programme prometteur2 par Blueprints for Healthy Youth Development3 (« Triple P System: Fact sheet », 2016). Triple P adopte une approche de santé publique visant à rejoindre tous les parents d’une communauté pour améliorer leurs compétences parentales et réduire les pratiques parentales dysfonctionnelles (Sanders & Turner, 2005). Le programme est gradué en cinq niveaux d’intervention d’intensité croissante selon le niveau de besoin du parent : campagne médiatique, conférences publiques, coaching individuel, programme d’entraînement aux habiletés parentales, modules d’enrichissement sur diverses
2 Un programme prometteur est un programme avec des interventions spécifiques (i.e., visant des résultats,
des facteurs de risques/protecteurs et une population spécifique), qui entraîne des changements positifs tels que démontrés par des études de qualité, et qui est prêt à être disséminé (« Program Criteria », 2018).
3
Blueprints for Healthy Youth Development est une organisation qui évalue et fournit un recueil des PDP visant la santé et le bien-être des enfants et adolescents (« About Us », 2018).
3
thématiques (e.g., gestion de la colère, restructuration cognitive) (Sanders & Turner, 2005). Diverses méta-analyses réalisées avec les recherches qui ont évalué le programme montrent que Triple P améliore les compétences parentales (de Graaf, Speetjens, Smit, de Wolff, & Tavecchio, 2008b; Nowak & Heinrichs, 2008; Sanders, Kirby, Tellegen, & Day, 2014), réduit les styles parentaux dysfonctionnels (de Graaf et al., 2008b), augmente le bien-être parental (Nowak & Heinrichs, 2008; Sanders et al., 2014) et améliore les comportements des enfants (de Graaf, Speetjens, Smit, de Wolff & Tavecchio, 2008a; Nowak & Heinrichs, 2008; Sanders et al., 2014; Thomas & Zimmer-Gembeck, 2007; Wilson et al., 2012). De plus, l’étude populationnelle de Prinz, Sanders, Shapiro, Whitaker, & Lutzker (2009, 2016) montre que l’utilisation du programme aurait la capacité de réduire la maltraitance au sein de la population. En effet, l’utilisation de Triple P dans 9 comtés de Caroline du Sud aux États-Unis aurait ralenti la croissance du taux d’enquêtes des services de protection de la jeunesse concernant la maltraitance, ralenti la croissance du taux de cas de maltraitance corroboré par les services de protection de la jeunesse, mené à une baisse du taux de placement des enfants en milieu substitut et mené à une baisse du taux d’hospitalisations ou de visites à l’hôpital pour des blessures dues à la maltraitance, et ce, 2 ans (Prinz et al., 2009) et 5 ans après l’implantation du programme (Prinz et al., 2016).
L’implantation de Triple P au Québec
L’offre du programme Triple P dans deux communautés québécoises est en vigueur depuis janvier 2015. L’implantation de ce programme est effectuée selon une approche communautaire (i.e., locale) et intersectorielle (i.e., en partenariat). Les deux territoires expérimentaux sont le territoire du CLSC Mercier-Est-Anjou4 à Montréal ainsi que celui du CLSC Orléans5 à Québec. Dans chacun de ces territoires, plusieurs partenaires se sont mobilisés autour de l’implantation de Triple P (i.e., centres de la petite enfance, commissions scolaires et écoles primaires, organismes communautaires, directions du programme jeunesse et de santé publique des centres intégrés universitaires de santé et de
4 Point de services faisant maintenant partie du Centre intégré universitaire de santé et de services sociaux
(CIUSSS) de l’Est-de-l’île-de-Montréal.
4
services sociaux [CIUSSS]6). Un dispositif d’évaluation a été mis en place afin de documenter l’implantation du programme et ses effets. Dans l’optique d’accompagner les partenaires au cours de l’implantation de Triple P, des rétroactions leurs sont régulièrement offertes, notamment lors des réunions des comités locaux d’implantation et du forum annuel de la Chaire de partenariat en prévention de la maltraitance, qui chapeaute le projet dans son ensemble. Les partenaires sont également informés des résultats préliminaires de recherche au fur et à mesure que ceux-ci sont disponibles.
Le processus d’implantation de Triple P au Québec a été guidé par le Quality
Implementation Framework (QIF; Meyers et al., 2012). Ce modèle d’implantation a été
privilégié puisqu’il a été conçu suite à la synthèse de 25 modèles préexistants. Il comporte quatre grandes phases : (1) considération du contexte, (2) création d’une structure d’implantation, (3) implantation proprement dite, (4) acquis pour de futures applications.
La première phase du QIF propose d’effectuer une analyse approfondie du contexte et de préparer l’implantation. Il s’agit de s’assurer que le milieu est disposé à offrir le programme et capable de le faire. Dans le cas présent, les besoins, les ressources et le degré de disposition à agir (community readiness) pour prévenir la maltraitance ont d’abord été évalués dans les territoires cibles (Gagné et al., 2016; Thomas, 2018). De plus, une analyse de différentiation de Triple P par rapport aux autres programmes de soutien à la parentalité offerts au Québec a été effectuée (Gagné, Richard, & Dubé, 2015). Ces analyses ont permis de situer Triple P par rapport aux programmes et services existants, d’identifier des arrimages possibles, et d’apprécier la valeur ajoutée de Triple P dans une visée de prévention de la maltraitance.
6 La direction du programme jeunesse des CIUSSS couvre à la fois la mission de première ligne (CLSC) et
l’application des mesures de protection de la jeunesse dans le cas des enfants dont le développement ou la sécurité est jugé compromis, deux services impliqués dans la démarche.
5
La seconde phase du QIF propose la création d’une structure d’implantation. Dans le cas présent, deux coordonnatrices locales d’implantation7 ont effectué un travail de démarchage et de mobilisation auprès des établissements et organismes desservant les familles de chaque territoire, afin de solliciter leur engagement à titre de partenaires. Les gestionnaires des diverses organisations mobilisées ont été invités à siéger sur le comité d’implantation de leur territoire qui se rencontre toutes les six à huit semaines. Ces comités locaux d’implantation, composés des divers partenaires (i.e., gestionnaires, intervenants, chercheurs) et animés par la coordonnatrice locale, sont des lieux de concertation servant à planifier la mise en œuvre de Triple P sur leur territoire. L’élaboration d’un plan de formation pour le personnel d’intervention a également fait partie du mandat des comités locaux. La formation des intervenants a constitué le trait d’union entre les phases 2 et 3 du QIF (Delawarde et al., 2017; Gagné et al., 2017).
La troisième phase du QIF est la mise en œuvre proprement dite du programme. Plusieurs éléments contextuels peuvent faciliter ou nuire à cet objectif (Daro, 2005). D’ailleurs, Hodge et al. (2016) proposent d’évaluer les éléments qui peuvent inhiber ou faciliter la mise en œuvre d’un programme et ainsi influencer la capacité d’implantation. Le partenariat pourrait être un facilitateur clé, dans l’optique où il permet un partage des responsabilités nécessaires à l’implantation (Crisp et al., 2000).
Finalement, la quatrième phase du QIF suggère qu’au cours du processus, les partenaires impliqués tirent des leçons et développent leur capacité à mettre en œuvre des programmes. Dans le cadre de l’implantation de Triple P, cette phase sous-entend le développement de la capacité des partenaires à offrir (et éventuellement maintenir) le programme, et le transfert des compétences acquises à l’implantation d’autres programmes.
Le QIF présente l’implantation comme un processus cyclique puisque ce qui est acquis par une communauté lors de la mise en œuvre d’un PDP servira de base à une
7 Une coordonnatrice d’implantation fut embauchée dans chaque territoire. Celles-ci avaient pour tâches de
mobiliser les acteurs de la communauté et de soutenir les partenaires ainsi que le personnel clinique dans l’implantation de Triple P.
6
expérience ultérieure. Ainsi, l’implantation d’un PDP est censée améliorer la capacité d’une communauté à implanter ce PDP, ainsi que d’autres PDP dans le futur (Meyers et al., 2012). Wandersman et al. (2006) proposent aussi que la capacité d’une communauté s’améliore au cours du processus d’implantation. Selon ces auteurs, l’évaluation du processus et des retombées de l’implantation permettrait d’offrir des rétroactions à la communauté dans une optique de perfectionnement (Wandersman et al., 2006).
Wandersman et al. (2006) ajoutent que chaque communauté disposerait au départ d’un certain niveau de capacité lui permettant d’effectuer une implantation plus ou moins réussie d’un programme. Selon Miller et Shinn (2005), une non-adéquation entre les exigences d’un programme et la capacité du milieu à y répondre pourrait mener à un échec d’implantation et de dissémination. Bref, la capacité semble être à la fois un élément prérequis à l’implantation et une résultante du processus d’implantation, dans la mesure où la capacité peut se développer avec l’expérience.
Le développement de la capacité
Simmons et al. (2011) ont effectué une revue de littérature des définitions du « développement de la capacité communautaire » dans le domaine de la promotion de la santé des années 1990 à 2006. À l’issue de cette démarche, les auteurs proposent de définir comme suit la capacité: « un ensemble de composantes servant à atteindre un objectif ». Lorsque l’on sonde la littérature définissant et évaluant la capacité, ainsi que celle modélisant le processus d’implantation, de multiples composantes de la capacité sont nommées (e.g., Crisp et al., 2000; Foster-Fishman, Berkowitz, Lounsbury, Jacobson, & Allen, 2001; Labonte & Laverack, 2001; Liberato et al., 2011; NSWHD, 2001; Simmons et al., 2011; Wandersman et al., 2006). Bien que riche sur le plan conceptuel, cette littérature est difficile à synthétiser, car les nombreux construits proposés se chevauchent conceptuellement. Pour la présente étude, afin de mieux conceptualiser la capacité, une analyse de cette littérature a été effectuée. Elle a consisté à regrouper les composantes référant à un concept similaire afin de raffiner le nombre d’entre elles. Huit composantes principales sont ressorties de cette analyse : (1) les attitudes envers l’innovation, (2) les forces des individus et des milieux (i.e., les compétences), (3) le soutien aux apprentissages,
7
(4) l’environnement organisationnel, (5) le leadership, (6) les ressources, (7) les partenariats, et, finalement, (8) la participation communautaire. Le Tableau 1 propose une définition pour chacune de ces composantes, ainsi qu’un inventaire des construits associés.
La capacité est, la plupart du temps, évaluée en récoltant les points de vue des différents acteurs impliqués dans l’implantation (e.g., gestionnaires, intervenants) sur une ou plusieurs des huit dimensions opérationnalisées dans le Tableau 1. Ces points de vue permettent d’obtenir de précieux renseignements sur le processus de mise en œuvre d’un PDP (Breitkreuz et al., 2011) et d’obtenir une bonne compréhension de l'adhésion de ces acteurs à un programme parental et de l’utilisation qu’ils en font (Asgary-Eden & Lee, 2012). Il serait d’autant plus intéressant d’obtenir le point de vue des cadres, puisque ceux-ci ont des conceptions des PDPs concordant avec les définitions de la littérature (Proctor et al., 2007). De plus, ils auraient une perspective plus large que les intervenants par rapport aux caractéristiques de leurs agences qui agissent comme des barrières ou des atouts pour l'implantation dans leurs organisations (Asgary-Eden & Lee, 2012). Ce serait attribuable au fait que les cadres sont concernés par l'organisation interne et externe, et ils peuvent ainsi apporter plus d'informations sur la communauté, les politiques publiques et le financement (Amodeo et al., 2013).
Des études rétrospectives suggèrent une amélioration de certaines dimensions de la capacité de partenariats à offrir des services de santé. Faust, Christens, Sparks et Hilgendorf (2015) ont sondés les membres clés (i.e., identifiés par le personnel comme pouvant représenter leur organisation) de 23 organisations offrant des soins de santé pour les mères et les enfants à l’aide d’un questionnaire maison. Les résultats d’analyses quantitatives indiquent une amélioration de la collaboration à l’intérieur du réseau d’organisations. Hillstrom, Ruelas, Peters, Gedebu-Wilson et Iverson (2014) ont sondés, à l’aide du Community Capacity-Bulding Tool, un questionnaire validé par l’Agence de Santé Publique du Canada (Maclellan-Wright et al., 2007), quatre individus impliqués dans un partenariat recherche-communauté pour réduire le diabète et l’obésité (i.e., deux diététistes, le directeur du projet et le directeur de l’équipe de recherche). Les résultats analysés de manière qualitative (et ce, malgré que ce soit des données quantitatives), indiquent un
8
développement de la participation communautaire, de l’inclusion des idées des membres de la communauté pour le financement et de la fierté de ceux-ci suite à leur participation. Lee, Chen, Powell, et Chu (2012) ont sondé cinquante-deux coordonnateurs d’un réseau de promotion de la santé dans les hôpitaux. Les données analysées de manière quantitative indiquent des améliorations sur le plan de la mission des établissements, du leadership de la part des gestionnaires, de la culture et de la structure organisationnelles, du style de gestion et de la participation des employés au programme lors de l’implantation du réseau.
Ces études sont sujettes à des biais de rappel des participants. En effet, lorsque des points de vue sont documentés à l’aide de mesures rétrospectives, il est possible que les participants se remémorent mal l’information (Konijnendijk et al., 2014) et qu’ils amplifient ou minimisent certains aspects de leur expérience. Ainsi, ces études ne mesurent pas d’une manière objective le développement de la capacité, mais ciblent plutôt des éléments qui ont été perçus par les divers répondants comme s’étant développés. Puisque le développement de la capacité est un processus (Meyers et al., 2012; McWilliam et al., 2016; Simmons et al., 2011 ; Wandersman et al., 2006), il semble nécessaire de l’évaluer à plusieurs moments distincts (Hawe et al., 1997).
Hanusaik et al. (2014) documentent à deux reprises la capacité du système de santé canadien à prévenir les maladies chroniques (i.e., 2004 et 2010). À cet effet, ils ont effectué des entrevues téléphoniques structurées avec des informateurs clés (35 en 2004 et 81 en 2010) concernant les compétences de leur organisation8 pour aborder la prévention des maladies chroniques, identifier les besoins de la population en lien avec les maladies chroniques, évaluer des programmes, planifier des activités de prévention des maladies chroniques et les implanter. Les participants ont également partagé leurs perceptions quant à la suffisance et la stabilité des ressources financières et matérielles de leur organisation ainsi que le niveau d’implication de leur organisation en prévention de problèmes de santé. Les résultats suggèrent que la capacité (i.e., les compétences et les ressources
8 Organisations canadiennes mandatées, au niveau national, provincial et régional, pour effectuer de la
prévention concernant les maladies chroniques et/ou la promotion d’une saine alimentation, de l’activité physique et du non-tabagisme. Celles-ci ont été identifiées lors d’une recherche exhaustive sur internet et de consultations avec des informateurs dans chaque province.
9
organisationnelles) est demeurée stable entre 2004 et 2010. Une hypothèse explicative est que le simple passage du temps ne suffit pas à développer la capacité, et que la mise en œuvre d’une action spécifique est nécessaire (Simmons et al., 2011), ce qui ne semble pas être le cas ici. De plus, bien que cette étude permette d’observer la capacité à deux moments distincts, elle ne peut renseigner sur son développement, puisque les participants ne sont pas les mêmes aux deux temps de mesure. En effet, l’éventualité que ce qui est observé soit dû à des différences entre les échantillons plutôt qu’au passage du temps doit être prise en compte et nuit à la validité interne des résultats.
Une critique similaire peut être faite aux études de Riggs, Block, Warr, et Gibbs (2014), Wright (2009), Raine et al. (2014), Bess (2015) et Crowley, Greenberg, Feinberg, Spoth, et Redmond (2011). Riggs et al. (2014) ont évalué l’évolution du fonctionnement d’un partenariat pour l’enseignement de l’anglais à de jeunes adultes réfugiés. Les membres de trois organisations partenaires spécialisées dans l’offre de formation et d’aide aux réfugiés ont rempli un questionnaire standardisé (i.e., VicHealth Partnership Analysis Tool) à deux temps de mesure (i.e., 15 répondants au début du partenariat et 12 répondants 18 mois plus tard). Ce questionnaire standardisé mesure le fonctionnement du partenariat en évaluant sept domaines : déterminer les besoins du partenariat, choisir des partenaires, faire en sorte que le partenariat fonctionne, planifier l'action collaborative, implanter une action collaborative, minimiser les barrières au partenariat, réfléchir sur la continuité du partenariat. Bien que seulement huit répondants aient participé aux deux temps de mesure, les données de tous les participants sont considérées dans les analyses comparatives. Les résultats, analysés de manière quantitative, ne suggèrent pas un développement de la capacité du partenariat (Riggs et al., 2014). Des entrevues semi-structurées étaient également effectuées aux deux temps de mesure (i.e., 15 participants au premier et 29 au second) pour explorer la perception des partenaires quant à la mission du partenariat, leur rôle au sein du partenariat, les forces, la pérennité et les défis du partenariat. Les données provenant des entrevues ont été analysées à l’aide d’une approche qualitative. Dans l’ensemble, les résultats suggèrent une augmentation de la collaboration au sein du partenariat. Plusieurs barrières (i.e., communication inter-organisation, compréhension des responsabilités de chacun, mécanisme de rétroactions) et facilitateurs (i.e., ressources,
10
expertise des partenaires, confiance) au bon fonctionnement du partenariat ont également été identifiés (Riggs et al., 2014). Bien que cette étude renseigne sur les barrières au bon fonctionnement du partenariat, les résultats quantitatifs et qualitatifs concernant l’évolution de la capacité sont à interpréter avec prudence. En effet, les échantillons diffèrent aux deux temps de mesure ce qui diminue la validité interne des résultats. De plus, il est possible que les résultats quantitatifs soient non significatifs par un manque de puissance statistique dû au petit échantillon. L’effet du temps sur le fonctionnement du partenariat n’a pas été rapporté par les auteurs ce qui empêche d’infirmer cette dernière hypothèse.
Wright (2009) a évalué, suite à l’implantation d’un programme sportif dans un camp de réfugiés, le développement des dimensions de la capacité communautaire mentionnées par Laverack (1999) : la participation communautaire, le leadership local, les structures organisationnelles, la capacité de résolution de problème, la mobilisation de ressources, l’habileté à remettre en question, le rôle des agents extérieurs, la gestion de programme et les liens avec les autres. Des groupes de discussion ont été effectués avec 12 informateurs clés impliqués dans le programme (e.g., enseignant, travailleur social, travailleur de la santé communautaire) à ses débuts et un an plus tard. Encore une fois, les échantillons aux deux temps de mesure diffèrent puisque seulement 4 répondants ont participé aux deux temps de mesures. Ces groupes portaient sur les dimensions de la capacité communautaire mentionnées précédemment. Les répondants devaient d’abord situer chaque dimension sur une échelle de 0 à 5 et, par la suite, justifier ce choix. Les données ordinales ont été analysées de manière quantitative alors que les justifications des participants ont été analysées de manière qualitative. Selon les individus impliqués, la capacité se serait améliorée dans tous les domaines sauf les « liens avec les autres » (Wright, 2009). Ces résultats sont à considérer avec précaution puisque l’auteur ne semble pas avoir effectué de test de signification, et ne rapporte pas de taille d’effet. Il rapporte simplement les résultats aux deux temps de mesure et constate l’augmentation dans les moyennes et des améliorations dans le discours. De plus, comme pour les études précédentes, les échantillons diffèrent aux divers temps de mesure, réduisant la validité des résultats.
11
Raine et al. (2014) ont documenté l’évolution de la capacité à prévenir les maladies chroniques d’une coalition pour la prévention du cancer en Alberta. Les perceptions de 28 membres de la coalition (i.e., individus ayant participé à au moins une rencontre de la coalition) ont été récoltées au début du travail de la coalition et celles de 37 membres vers la fin du financement de celle-ci (i.e., un an plus tard), à l’aide du Community
Capacity-Bulding Tool et de groupes de discussion. Les données recueillies dans les groupes de
discussion ont été analysées de manière qualitative. Celles recueillies pour le temps 1 ont permis l’identification de lacunes quant à la capacité de la coalition. Les résultats ressortant des groupes de discussion au temps 2 suggèrent que des actions concrètes ont été mises en place pour combler ces lacunes. Par exemple, au temps 1, les membres de la coalition ont mentionné avoir de la difficulté à diffuser l’information à propos des ressources. Au temps 2, ils ont mentionné qu’un inventaire des ressources de la coalition avait été établi. Ainsi, la capacité de la coalition se serait développée pour prévenir les maladies chroniques, en se perfectionnant dans les domaines où elle était moins efficace. Les résultats du sondage suggèrent quant à eux que la capacité, telle que perçue par les membres de la coalition, s’est améliorée de manière significative quant à impliquer de manière active les membres, avoir un leadership efficace, créer des politiques et structures aidant à atteindre les objectifs, obtenir du financement et du soutien externes, déterminer les causes de la problématique, développer et utiliser les compétences et ressources de la coalition, renforcer les liens au sein de la coalition et développer une confiance au sein de la coalition (Raine et al., 2014). Ces derniers résultats doivent, tout comme pour les études précédentes, être interprétés avec prudence puisque les échantillons sont, encore une fois, indépendants.
Bess (2015) évalue l’évolution de la capacité d’un réseau de prévention de la violence chez les enfants dans un contexte d’implantation d’une coalition entre certains membres de ce réseau. Il effectue des entrevues annuelles semi-structurées durant cinq ans avec le représentant de chacune des 99 organisations impliquées dans la prévention de la violence envers les enfants d’une communauté, dont 30 sont impliqués dans une coalition locale pour la prévention. Le nombre de participants varie d’une année à l’autre (i.e., 66 en 2017, 71 en 2008, 69 en 2009, 71 en 2010, 62 en 2011). La collaboration entre les
12
organisations et la participation de chaque organisation aux événements officiels du réseau y sont abordées. Une analyse quantitative du réseau permet de constater que l’implantation de la coalition a permis de générer de nouvelles opportunités de collaboration et d’augmenter le niveau de cohésion des membres du réseau (Bess, 2015). Encore une fois, il est possible que ces résultats soient attribuables à des divergences entre les échantillons et non à un réel changement au niveau de la capacité, puisque les répondants varient d’une année à l’autre.
Crowley et al. (2011) ont évalué l’évolution des connaissances générales quant à l’adoption et l’implantation de PDP chez 271 leaders9
membres du Promoting School-Community-University Partnership to Enhance Resilience (PROSPER). Le PROSPER n’est pas un programme en tant que tel, mais un modèle de partenariat « école-communauté-université » visant à soutenir les acteurs du milieu dans la mise en œuvre de PDP s’adressant aux jeunes et à leur famille (Iowa State University, 2018). Des entrevues annuelles ont été effectuées durant les cinq premières années d’implantation du système PROSPER auprès des 271 leaders locaux membre de PROSPER et de 151 leaders locaux témoins, provenant des mêmes secteurs d’activités, mais ne participant pas à PROSPER. Les leaders ont participé à au moins une entrevue annuelle durant cinq ans. Les auteurs ne précisent pas combien d’entrevues ont été effectuées par année, ni si certains participants ont fourni des données aux cinq entrevues. Les entrevues incluaient quatre questions ouvertes, chacune concernant un des domaines de connaissance sur les PDP (i.e., trouver des PDP, s’assurer qu’ils sont bien documentés, assurer la fidélité d’un programme, évaluer les effets). Les réponses des participants ont été codées suivant une approche qualitative. Des analyses quantitatives ont ensuite permis de comparer l’évolution des connaissances des leaders participants au système PROSPER à celle des leaders témoins. Les connaissances des leaders participant au système PROSPER se seraient améliorées davantage que celles des participants témoins quant à la sélection, l’implantation et l’évaluation des PDP. Ainsi, leur participation au système d’offre de service aurait développé leur expertise à propos des PDP, et donc amélioré leur capacité individuelle à
9 Représentants d’écoles, de coopératives de développement local, d’agences de santé mentale et d’abus de
13
mettre en œuvre de tels programmes (Crowley et al., 2011). Ces résultats font face à la même limite que les études précédentes: les échantillons à chaque temps de mesure diffèrent. Encore une fois, les résultats sont à considérer avec prudence.
Compte tenu de l’aspect multidimensionnel de la « capacité » et de la difficulté à identifier tous les mots-clés pertinents, il est difficile de recenser systématiquement toutes les études relatives à ce construit complexe. Ainsi, la présente recension ne prétend pas à l’exhaustivité. Il semble néanmoins que peu de recherches ont étudié le développement de la capacité. Parmi les études recensées, plusieurs évaluent la capacité en lien avec l’implantation d’un programme (Crowley et al., 2001; Lee et al., 2012; Riggs, 2014; Wright, 2009) ou la mise en place d’une coalition (Bess, 2015; Faust et al., 2015; Hillstrom et al., 2014; Raine et al., 2014). Hanusaik et al. (2013) évaluent quant à eux la capacité d’une communauté à réduire une problématique sans qu’il n’y ait d’intervention particulière. Aucune étude ne porte sur la capacité à offrir Triple P. Toutefois, certaines ont des objectifs similaires, par exemple la capacité à offrir des soins de santé aux mères et aux enfants (Faust et al., 2015), la capacité (i.e., connaissances acquises) suite à l’implantation de PROSPER (Crowley et al., 2011) ou encore la capacité à prévenir la violence chez les enfants (Bess, 2015).
Malgré la littérature peu abondante sur le sujet, les études ont des résultats qui convergent. Tel que proposé par les modèles mentionnés précédemment (Meyers et al., 2012; Wandersman et al., 2006), la capacité semble pouvoir se développer (Bess, 2015; Crowley et al., 2011; Hanusaik et al., 2014; Raine et al., 2014; Riggs et al., 2014; Wright, 2009) lors du processus d’implantation.
Plus précisément, la capacité semble se développer au niveau des forces des individus et des milieux (i.e., compétences), de l’environnement organisationnel, des ressources et du leadership. En effet, lors de la participation à une coalition, les individus et des milieux développeraient leurs compétences pour déterminer les causes de problématiques qui incombe au partenariat et leur utilisation des compétences du regroupement (Raine et al., 2014) alors que, lors de l’implantation d’un programme, ils
14
amélioreraient leur capacité de résolution de problème, leur habileté à remettre en question (Wright, 2009), et leurs diverses connaissances concernant la sélection, l’implantation et l’évaluation de PDP s’amélioreraient (Crowley et al., 2011). L’environnement organisationnel s’améliorerait quant à la mission des établissements, à la culture organisationnelle, au style de gestion (Lee et al., 2012), aux structures organisationnelles (Lee et al., 2012; Raine et al.,2014; Wright, 2009), à la gestion de programme (Wright, 2009) et aux politiques internes (Raine et al, 2014). Quant aux ressources, les milieux amélioreraient leur capacité à obtenir du financement et du soutien externe lors de la participation à une coalition (Raine et al., 2014), alors qu’aucune amélioration ne serait présente avec le simple passage du temps (Hanusaik et al., 2014). Le leadership, quant à lui, s’améliorerait lors de la participation à une coalition (Lee et al., 2012; Raine et al., 2014) ou encore de l’implantation d’un programme (Wright, 2009) sans que l’on précise à quel niveau.
Les résultats concernant le développement des partenariats sont plus contradictoires. Certains auteurs mentionnent, lors de la participation à une coalition, une amélioration de la collaboration (Faust et al., 2015), un renforcement des liens au sein de la coalition, le développement d’une confiance au sein de la coalition, une amélioration de la capacité à impliquer de manière active les membres (Raine et al., 2014), de nouvelles opportunités de collaboration et le développement de la cohésion des partenaires (Bess, 2015). D’autres auteurs mentionnent qu’il n’y aurait pas de développement quant à la capacité de déterminer les besoins du partenariat, choisir des partenaires, faire en sorte que le partenariat fonctionne, planifier l'action collaborative, implanter une action collaborative, minimiser les barrières au partenariat, réfléchir sur la continuité du partenariat (Riggs et al., 2014) et du lien avec les autres (Wright, 2009).
En ce qui concerne les attitudes envers l’innovation et le soutien aux apprentissages, la présente recension de la littérature ne renseigne pas au sujet de leur développement.
En plus d’être peu abondantes, les études existantes comportent plusieurs limites. Dans certaines études, l’évolution de la capacité est évaluée de manière rétrospective (i.e.,
15
Faust et al., 2015; Hillstrom et al., 2014; Lee et al., 2012). D’autres documentent le changement à divers moments, mais avec des échantillons différents en tout ou en partie, ce qui ne permet pas d’attribuer le changement à la participation à un programme ou à un partenariat (i.e., Bess, 2015; Crowley et al., 2011; Hanusaik et al., 2014; Raine et al., 2014; Riggs et al., 2014; Wright, 2009). Ainsi, aucune ne peut prétendre évaluer le développement de la capacité de manière longitudinale. Également, aucune étude recensée ne documente l’ampleur du changement (i.e., taille d’effet). Il est donc possible que les différences significatives au plan statistique ne se traduisent pas en impact tangible sur la capacité des milieux et que des différences non significatives, dues à un manque de puissance statistique, se traduisent par un impact tangible.
En résumé, des modèles théoriques suggèrent que le fait de participer au processus d’implantation d’un PDP développerait la capacité à offrir ce type de programme et par le fait même, à atteindre les objectifs du PDP (Meyers et al., 2012; Wandersman et al., 2006). Les résultats des quelques études évaluant le développement de la capacité vont dans le même sens, mais la majorité comporte des limites quant à leur méthodologie.
Dans la présente étude, l’évaluation du développement de la capacité à offrir Triple P, en deux temps de mesure, avec des mesures répétées, à l’aide d’instruments standardisés, enrichira les connaissances à propos du développement de la capacité, testant ainsi le processus cyclique d’apprentissage des connaissances proposé par Meyers et al. (2012) et Wandersman et al. (2006). De plus, le présent projet renseignera sur la capacité à offrir Triple P en contexte québécois. Ainsi, des actions pourront être mises en place pour perfectionner les dimensions de la capacité identifiées comme déficitaires.
Objectifs et hypothèses
Cette étude s’inscrit dans la démarche d’évaluation du processus d’implantation de Triple P au Québec. Elle vise à documenter le développement de la capacité à offrir Triple P dans deux communautés québécoises selon la perspective du personnel d’encadrement impliqué dans l’implantation.
16
Cette étude poursuit deux objectifs. Le premier est de déterminer si la capacité s’est développée au cours du processus d’implantation, tel que suggéré par les modèles théoriques (Meyers et al., 2012; Wandersman et al., 2006). Au regard de la littérature, il est attendu que les forces des individus et des milieux (i.e., compétences), l’environnement organisationnel, les ressources et le leadership se développent. Les analyses seront exploratoires en ce qui concerne les attitudes envers l’innovation et le soutien aux apprentissages, puisque la littérature ne fournit pas d’information sur leur développement au cours d’un processus d’implantation. Elles le seront également pour le partenariat puisque les résultats de la littérature diffèrent.
Le second objectif est d’apprécier la capacité des partenaires à offrir Triple P, au posttest, au niveau de leurs attitudes envers l’innovation et celle de leur personnel, des forces des organisations et des individus impliqués (i.e., les compétences), du soutien aux apprentissages fourni vis-à-vis de Triple P, de l’environnement organisationnel, du leadership au sein des organisations et du partenariat, des ressources disponibles et du fonctionnement du partenariat, dans l’optique d’élaborer des recommandations pour le futur.
17 Méthodologie
Cette étude prend la forme d’un devis prétest-posttest sans groupe de comparaison, soit une prise de mesure avant l’implantation de Triple P (automne 2014) et une deux ans plus tard (automne 2016). La mise en œuvre de Triple P a été effective dès janvier 2015 dans les deux communautés étudiées.
Participants
L’échantillon comprend 28 répondants au prétest et 30 répondants au posttest provenant de 21 organisations différentes10. Il est composé de membres du personnel-cadre dans les diverses organisations partenaires (e.g., directeur, chef de programme/de service/d’équipe). Il inclut également des spécialistes en activités cliniques ou des coordonnateurs cliniques, que l’on retrouve surtout en établissements (CIUSSS) et dont le travail consiste à apporter un soutien clinique aux intervenants dans leur tâche. Pour être éligibles à l’étude, les individus devaient être impliqués dans l’offre de Triple P (i.e., détenir un pouvoir décisionnel sur l’offre du programme dans leur organisation, participer à leur équipe locale d’implantation, ou être le supérieur immédiat ou le superviseur clinique d’au moins un intervenant ayant suivi la formation Triple P).
La composition de l’échantillon a considérablement changé entre les deux temps de mesure. Compte tenu du roulement de personnel-cadre au sein des organisations impliquées, certains répondants au prétest n’ont pu être rejoints au posttest, alors que de nouveaux gestionnaires ou spécialistes cliniques se sont joints au projet entre temps et ont participé uniquement au posttest. Ce roulement est en partie attribuable à la fusion des établissements québécois de santé et des services sociaux survenue en avril 2015, soit quelques mois après le prétest. Cette fusion a entraîné une restructuration majeure des structures de direction des établissements, entraînant plusieurs départs et déplacements de personnel d’encadrement, ce qui n’avaient pas été anticipé au début du projet. Ainsi, seulement 20 participants ont répondu aux deux temps de mesure. Sur ces 20 participants, neuf sont considérés comme des gestionnaires, quatre comme des spécialistes en activités
10 Dont le CIUSSS de-l'Est-de-l'Île-de-Montréal et le CIUSSS de la Capitale-Nationale, considéré chacun
18
clinique et sept comme ayant changé de poste entre les deux temps de mesure (i.e., en passant d’intervenant à gestionnaire/personnel d’encadrement clinique ou l’inverse).
Le Tableau 2 présente les données socioprofessionnelles des participants du présent projet. Au prétest, les 28 participants rapportent avoir en moyenne 17,2 (ET=7,7) années d’expérience dans leur domaine de formation et 13,5 (ET=8,3) années d’expérience dans leur organisation actuelle. Au posttest, les 30 participants rapportent avoir en moyenne 17,2 (ET=8,9) années d’expérience dans leur domaine de formation et 16,3 (ET=8,6) années d’expérience dans leur organisation actuelle.
Matériel
Les données ont été recueillies par l’entremise de questionnaires pré et post implantation. Le concept multidimensionnel de capacité est évalué grâce à diverses échelles tirées de cinq instruments de mesure standardisés, couvrant sept des huit dimensions décrites au Tableau 1: le Factor Related to Program Implementation (FRPI; Mihalic & Irwin, 2003), le Organisation Readiness for Change (ORC; Lehman, Greener, & Simpson, 2002), le Community Impacts of Research Oriented Partnerships (CIROP; King et al., 2005), le Partnership Self-Assessment Tool (PSAT; Center for the Advancement of Collaborative Strategies in Health, 2007), et le Trust Scale (Échelle de confiance; Jones & Barry, 2011). Seule la dimension « participation communautaire » n’est pas évaluée puisque l’échantillon n’inclut pas de membres de la population des territoires étudiés, et que le seul point de vue du personnel de gestion est jugé incomplet pour évaluer cet aspect.
Les instruments originaux ont été traduits en français et adaptés au contexte d’implantation de Triple P au besoin. Par exemple, « Adhésion/soutien des intervenants vis-à-vis du programme » est devenue « Adhésion/soutien des intervenants vis-à-vis de Triple P ». Le Tableau 3 résume les variables mesurées par les diverses échelles de chaque instrument, le nombre d’items associés à chacune, les échelles de réponses ainsi que les dimensions de la capacité évaluées par chaque échelle.
19
Les neuf gestionnaires ont répondu à tous les instruments, alors que les quatre spécialistes en activités cliniques ont répondu uniquement aux échelles du FRPI et de l’ORC. La position de ces derniers dans le projet les rend moins disposés à observer les dynamiques du partenariat, puisqu’ils ne faisaient pas partie des comités locaux d’implantation de Triple P. Pour ce qui est des sept participants ayant été considérés comme changeant de poste en cours de route, ceux-ci ont rempli, à l’un des temps de mesure, une version « intervenant » du questionnaire. Cette version était utilisée dans le cadre de l’étude plus large dans laquelle se situe le présent projet. Elle comprenait des échelles provenant de plusieurs instruments, dont celles du FRPI.
CIROP. Le CIROP (King et al., 2005) comprend quatre échelles. L’échelle
Connaissances personnelles (5 items) renseigne quant aux changements qui se sont oppérés
chez les individus, au cours de leur participation au partenariat, au niveau de leur compréhension de certains enjeux (e.g., augmentation de leur connaissances sur un thème, des modifications de leurs croyances à l’égard d’une intervention ou d’une approche, de la confirmation de leurs intuitions quant à l’importance de certains enjeux spécifiques, de l’augmentation de leur confiance en leur pratique professionnelle ou encore amélioration de leur accès à de l’informations à jour). L’échelle Habiletés de recherche personnelles (6 items) renseigne sur les impacts de la participation au partenariat quant aux habiletés de recherche des individus partenaires (e.g., formuler de meilleure question de recherche, savoir où trouver l’information de recherche). L’échelle Accès et utilisation de
l’information (10 items) renseigne sur les impacts de la participation au partenariat quant à
l’accès et l’utilisation d’informations leur permettant d’approfondir leurs connaissances et nuancer leurs croyances sur un thème ou des enjeux spécifiques (e.g., connaissances sur un sujet, accès à l’information à jour). L’échelle Organisationnel et communautaire (12 items) renseigne sur les impacts perçus de la participation au partenariat quant aux connaissances et aux habiletés de recherche de l’organisation ou de la communauté impliquée. Ces quatre échelles réfèrent à la dimension Compétence de la capacité telle que décrite dans le tableau 1. King et al. (2009) rapportent une excellente cohérence interne pour ces échelles, avec des alpha de Cronbach allant de .92 à .95 et une fidélité test-retest (sur 4 semaines) entre acceptable et pauvre selon les échelles (i.e., corrélations allant de .21 à .72). Pour la
20
présente étude et en dépit d’un échantillon très limité, la cohérence interne est excellente, pour chaque échelle, avec des alphas de Cronbach au T1 allant de .81 à .94. La validité de construit du CIROP a été établie d’après la capacité de l’instrument à distinguer les degrés d’implication des différents répondants selon leurs réponses. En effet, les individus plus actifs au sein du partenariat rapportaient des niveaux plus élevés de développement de leurs habiletés de recherches personnelles et d’accès et d’utilisation de l’information que les répondants étant moins impliqués (King et al., 2009).
Échelle de confiance. L’Échelle de confiance (14 items) (Jones & Barry, 2011) renseigne sur la confiance qui règne au sein du partenariat mobilisé autour de Triple P et réfère à la dimension Partenariat de la capacité telle que décrite dans le Tableau 1. Jones et Barry (2011) rapportent une très bonne cohérence interne pour l’Échelle de confiance avec un alpha de Cronbach de .91. Pour la présente étude, la cohérence interne de l’Échelle de
confiance est excellente au T1, avec un alpha de Cronbach de .93. La validité de contenu de
cet instrument a été établie par 36 partenaires d’expérience lors d’un groupe de discussion (Jones & Barry, 2011).
PSAT. Le PSAT (Center for the Advancement of Collaborative Strategies in Health, 2007) évalue le fonctionnement du partenariat mobilisé autour de Triple P à l’aide de neuf échelles. Il fournit un barème pour interpréter les résultats de son questionnaire. Celui-ci renseigne les partenaires quant au fonctionnement de leur partenariat. Le PSAT fournit un barème pour interpréter ses scores et indiquer si le partenariat se situe dans la
zone de danger, la zone de travail, la zone de progression, ou zone cible. La zone cible
(scores de 4,5 à 5) signifie que les partenaires excellent et qu’ils ont simplement besoin de maintenir ce haut niveau. La zone de progression (scores de 4 à 4,5) signifie que le partenariat fonctionne bien dans ce domaine, mais il a le potentiel de fonctionner encore mieux. La zone de travail (scores de 3 à 3,9) signifie que plus d’efforts sont nécessaires pour maximiser le potentiel de collaboration du partenariat. Finalement, la zone de danger (score 1 à 2,9) signifie que beaucoup d’améliorations sont nécessaires à ce niveau. Ce barème permet de cibler les éléments à maintenir et ceux qui sont à travailler davantage. Le
21
modèle propose d’ailleurs, pour chaque échelle, des pistes d’actions à mettre en place afin d’atteindre la zone cible.
L’échelle Synergie (9 items), définie comme l’ampleur avec laquelle le partenariat peut effectuer des actions communes plus importantes que la somme attendue des résultats individuels de chacun des partenaires, réfère à la dimension Partenariat de la capacité telle que définie au Tableau 1. La validité de construit de cette échelle a été établie par une comparaison avec une autre échelle évaluant la performance de la collaboration au sein d’un groupe (Chrislip & Larson, 1994, cité dans Weiss et al. 2002). La cohérence interne de cette échelle au T1, pour la présente étude, est excellente avec un alpha de Cronbach de .90.
L’échelle Leadership (11 items) s’intéresse au leadership promouvant les interactions productives entre les individus et organisations au sein du partenariat. Tel que son nom l’indique, cette échelle réfère à la composante Leadership de la capacité définie au Tableau 1. La cohérence interne de cette échelle au T1, pour la présente étude, est excellente, avec un alpha de Cronbach de .91.
L’échelle Coordination et gestion (9 items), définie comme la capacité à coordonner, organiser et gérer les différentes activités et la communication au sein du partenariat, réfère à la composante Environnement organisationnel de la capacité définie au Tableau 1. La cohérence interne de cette échelle au T1, pour la présente étude, est excellente, avec un alpha de Cronbach de .93.
L’échelle Efficience (3 items) est définie comme le niveau avec lequel le partenariat optimise l’implication, les ressources et le temps des partenaires. Elle réfère à la composante Ressources de la capacité définie au Tableau 1. La cohérence interne de cette échelle au T1, pour la présente étude, est excellente, avec un alpha de Cronbach de .91.
L’échelle Ressources financières et matérielles (3 items) définie comme les locaux, le matériel, l’équipement et l’argent dont dispose le partenariat pour soutenir leurs activités. Cette échelle réfère, tout comme la précédente, à la composante Ressources de la capacité
22
définie au Tableau 1. En raison d’une cohérence interne insuffisante, les items de l’échelle
Ressources financières et matérielles seront analysés séparément : Ressources matérielles
(2 items) et Ressources financières (1 item).
L’échelle Ressources non financières (9 items) est définie comme les contributions non-financières des partenaires telles que leurs habiletés, expertises, données, informations, relations avec les populations. Cette échelle réfère également à la composante Ressources de la capacité définie au Tableau 1. La cohérence interne de cette échelle au T1, pour la présente étude, est très bonne avec un alpha de Cronbach de .88.
L’échelle Satisfaction (5 items) renseigne sur le niveau de satisfaction des partenaires en lien avec leur participation au partenariat et réfère à la composante Partenariat de la capacité définie au Tableau 1. La cohérence interne de cette échelle au T1, pour la présente étude, est très bonne, avec un alpha de Cronbach de .85.
L’échelle Bénéfices et inconvénients à la participation (16 items) renseigne sur les bénéfices et inconvénients perçus par les partenaires suite à leur participation au partenariat. Cette échelle réfère à la composante Partenariat de la capacité définie au Tableau 1. La cohérence interne de cette échelle au T1, pour la présente étude, est bonne, avec un alpha de Cronbach de .76.
L’échelle Prise de décision (3 items) renseigne sur la satisfaction des partenaires vis-à-vis du processus de prise de décision au sein du partenariat. Elle réfère à la composante Environnement organisationnel de la capacité définie au Tableau 1. La cohérence interne de cette échelle pour la présente étude est assez faible mais acceptable avec un alpha de Cronbach de 0.61. L’échelle est tout de même conservée comme telle puisque la cohérence interne lors de l’élaboration du questionnaire était très bonne (Weiss, Anderson & Lasker, 2002). En effet, Weiss et al. (2002) rapportent que le questionnaire a une bonne cohérence interne pour toutes les échelles avec des alpha de Cronbach variant entre .82 et .97. Il mentionnent également que la moyenne des réponses individuelles pour chaque échelle du PSAT est un bon indicateur de l’état de l’ensemble du partenariat lors de
23
la National Study of Partnership Functionning comprenant 815 répondants membres de 63 partenariats répartis dans 28 états des États-Unis (Weiss et al., 2002).
FRPI. Le FRPI vise à identifier des facteurs facilitants et nuisibles à la mise en oeuvre de Triple P au sein des organisations à l’aide de quatre échelles. Mihalic et Irwin (2003), rapportent une bonne cohérence interne pour toutes les échelles du FRPI avec des alphas de Cronbach entre .69 et .88.
L’échelle Organisme (13 items) liste des caractéristiques propres aux organisations (e.g., leadership, prise de décision, cohésion, structure hiérarchique, installations, soutien financier) pouvant être des atouts ou des obstacles pour mettre en œuvre Triple P. Cette échelle réfère à plusieurs dimensions de la capacité décrites dans le Tableau 1 : Leadership, Environnement organisationnel, Ressources et Partenariat. Puisque la présente étude s’inscrit dans une recherche plus large où des intervenants formés pour offrir Triple P ont également rempli les échelles du FRPI, la cohérence interne a été calculée à partir de cet échantillon augmenté. Ainsi, la cohérence pour l’échelle Organisme est excellente avec un alpha de Cronbach, au T1, de .91.
L’échelle Intervenants (7 items) liste des caractéristiques propres aux intervenants (e.g., leur adhésion vis-à-vis de Triple P, leurs habiletés et connaissances vis-à-vis de Triple P, le bassin d’intervenants disponibles pour l’embauche, la communication entre les intervenants et leur équipe) pouvant être des atouts ou des obstacles pour mettre en œuvre Triple P. Cette échelle réfère à plusieurs dimensions de la capacité décrites dans le Tableau 1 : Attitudes, Compétences, Ressources et Partenariat. La cohérence interne pour l’échelle
Intervenants, lorsque calculée auprès de l’échantillon augmenté au T1, est très bonne avec
un alpha de Cronbach de .89.
L’échelle Chef d’équipe (4 items) liste des caractéristiques propres aux chefs d’équipes (e.g., leur adhésion vis-à-vis de Triple P, leur habiletés et compétences vis-à-vis de Triple P, le temps accordé pour coordonner Triple P) pouvant être des atouts ou des obstacles pour mettre en œuvre Triple P. Cette échelle réfère à plusieurs dimensions de la
24
capacité décrites dans le Tableau 1 : Attitudes, Compétences, Ressources. La cohérence interne pour l’échelle Chefs d’équipe, lorsque calculée auprès de l’échantillon augmenté au T1, est excellente avec un alpha de Cronbach de .93.
L’échelle Formation Triple P (3 items) liste des caractéristiques propres aux intervenants (e.g., qualité des formations Triple P) pouvant être des atouts ou des obstacles pour mettre en œuvre Triple P. Cette échelle réfère à la dimension Soutien aux apprentissages de la capacité telle que décrite dans le Tableau 1. La cohérence interne pour l’échelle Formation Triple P a également été calculée auprès de l’échantillon augmenté au T1. Cette échelle comprenant seulement 2 items, l’alpha de Cronbach de .66 peut être considéré comme une corrélation élevée.
ORC. L’ORC (Lehman, Greener, & Simpson, 2002) renseigne sur le degré de préparation organisationnelle perçue à offrir Triple P à l’aide de cinq échelles.
L’échelle Communication renseigne sur les voies de circulation au sein de l’organisation et leur efficacité. Elle renseigne aussi sur l’ouverture des gestionnaires à écouter les idées du personnel. Cette échelle réfère aux dimensions Environnement organisationnel et Attitudes de la capacité telles de décrites au Tableau 1. La cohérence interne de cette échelle est bonne avec un alpha de Cronbach de .73 au T1.
L’échelle Installations et locaux renseigne sur la disponibilité et l’adéquacité des installations pour offrir le Triple P. Cette échelle réfère à la dimension Ressources de la capacité telle que définie par le Tableau 1. Des intervenants formés pour offrir Triple P ont également rempli les échelles Installations et locaux ainsi que l’échelle Équipe de l’ORC dans le cadre de la recherche plus large dans laquelle s’inscrit la présente étude. La cohérence interne pour l’échelle Installations et locaux est très bonne avec un alpha de Cronbach de .80 lorsque que calculé avec l’échantillon augmenté au T1.
L’échelle Équipe renseigne sur l’adéquacité (en terme de quantité et de compétences) des intervenants au sein des organisations pour offrir le Triple P. Cette
25
échelle réfère aux dimensions Ressources et Compétences de la capacité telles que décrites au Tableau 1. Malgré l’utilisation de l’échantillon augmenté pour calculer la cohérence interne, un alpha de Cronbach de .55 est obtenu au T1. Elle n’a pu être améliorée en enlevant un item et a donc été conservée telle quelle.
L’échelle Degré de préparation (Readiness) fournit un score général quant à la disposition de l’organisation à offrir le programme (i.e., ressources nécessaires, ouverture aux nouvelles idées, niveau de résistance des acteurs clés). Cette échelle réfère aux dimensions Attitudes et Ressources de la capacité telle que décrite dans le Tableau 1. La cohérence interne de cette échelle est reflétée par un alpha de Cronbach acceptable de .62 au T1.
L’échelle Objectifs informe sur la concordance entre la mission et les caractéristiques organisationnelles et les objectifs du Triple P. Cette échelle réfère à la dimension Environnement organisationnel de la capacité telle que décrite au Tableau 1. La cohérence interne de cette échelle n’a pas pu être améliorée en retirant un item, et obtient donc un alpha de Cronbach de .56 au T1.
Bien que certaines échelles aient des cohérences internes variant de .55 et .62, dans la présente étude, Lehman et al. (2002) en rapportent de meilleure avec des alphas de Cronbach entre .67 et .78 au T1. C’est pourquoi les échelles intégrales sont utilisées.
Procédure
À l’automne 2014, soit juste avant la tenue des formations Triple P et avant que le programme ne soit offert aux parents, des invitations à remplir le questionnaire préimplantation ont été envoyées par la poste à tous les membres du personnel d’encadrement concernés (voir Annexe A). À cette invitation étaient joints un feuillet d’information (Annexe B), le questionnaire et une enveloppe préaffranchie pour le renvoi du questionnaire. Dans le feuillet d’information, il est spécifié aux participants qu’en remplissant le questionnaire ils consentent à participer librement à la recherche. Les participants intéressés pouvaient renvoyer leur questionnaire rempli par la poste ou le
