Méthodologie de l’étude de validation - Élaboration et validation d'un outil de mesure bref et

Après avoir effectué une étude de validation préliminaire du QIAT-DS et du QIAT- SG et apporté les modifications nécessaires aux questionnaires, nous avons procédé à une étude de validation exhaustive de ces nouvelles versions. Comme ces deux versions ont des utilités et des fonctions légèrement différentes, la version « suivi global » étant surtout utile en recherche, et la version « dernière séance » ayant été entre autres élaborée pour son utilisation dans les thérapies informées par la rétroaction (TIR), il s’avère essentiel de les inclure toutes les deux dans ce processus, afin notamment d’en étudier les similitudes et les distinctions.

Pour ce qui est du QIAT-SG, six objectifs ont été fixés. (1) Premièrement, nous avons procédé à l’étude des propriétés psychométriques du questionnaire à l’aide de la théorie classique des tests (TCT) et à une analyse factorielle exploratoire et (AFE) pour sélectionner les meilleurs items formant la version finale du QIAT-SG. (2) Deuxièmement, la structure factorielle de la version finale a été testée par analyse confirmatoire, l’hypothèse étant, en accord avec les modèles théoriques proposés dans la littérature et les études empiriques sur le sujet (Elvins, 2008; Hatcher, 1996; Horvath, 2018; Krause, 2011), que le modèle à deux facteurs corrélés (lien socioémotionnel et collaboratif) serait le mieux ajusté aux données. (3) Troisièmement, la validité de construit a été explorée en étudiant la convergence du score total du QIAT-SG avec le questionnaire d’alliance thérapeutique le plus populaire et considéré comme la mesure étalon dans la littérature, soit la WAI-SR (Hatcher & Gillaspy, 2006); un lien positif d’intensité relativement fort était attendu, mais avec des distinctions suffisantes pour justifier la pertinence de son existence. (4) Quatrièmement, l’absence d’influence de la désirabilité sociale, du niveau de détresse psychologique, de certaines caractéristiques du traitement (type de suivi et d’approche psychothérapeutique), des participants (âge, sexe, niveau d’éducation, motif principal de consultation) et des intervenants (sexe, concordance du sexe avec client type de professionnel) a été vérifiée afin d’étayer la validité discriminante de l’échelle. (5) Cinquièmement, la validité critériée concourante a été explorée en étudiant la relation du QIAT-SG avec la satisfaction des soins reçus (un lien positif d’intensité modéré à fort étant attendu; Doran et al., 2016; McCabe & Priebe, 2004) et le niveau de dysfonctionnement de la personnalité (un lien négatif d’intensité

léger à modéré étant attendu, surtout avec la composante interpersonnelle; Doran et al., 2016; Muran, Segal, Samstag, & Crawford, 1994). (6) Sixièmement, une étude comparative avec le WAI-SR a été menée afin d’étayer sa validité incrémentielle. À cet effet, leurs effets plafond respectifs, leur variance, la qualité de leur structure factorielle, leur degré de redondance avec la satisfaction des soins reçus et leur niveau de pertinence en fonction du nombre de séances ont été comparés.

Pour ce qui est du QIAT-DS, le but principal était créer une version « ultra-brève » du questionnaire (quatre à six items maximum) afin qu’il puisse être adapté à son utilisation prévue dans les TIR. (1) Le premier objectif visait à faire une sélection finale se basant sur une analyse exhaustive et comparative des propriétés psychométriques des items et visant à minimiser les lacunes observées dans les autres mesures d’alliance déjà existantes ainsi que d’en maximiser la plus-value, la spécificité et la pertinence, peu importe la durée du traitement. (2) Ensuite, différentes structures factorielles ont été testées sur la version finale ultra-brève en analyse confirmatoire afin d’identifier celle qui était le mieux ajustée aux données. (3) Puis, la validité convergente a été explorée en étudiant la force du lien entre le QIAT-DS et le SRS (Duncan et al., 2003), un questionnaire ultra-bref de l’alliance thérapeutique couramment utilisé dans les TIR (Lambert & Shimokawa, 2011), ainsi qu’avec le SAI (Falkenström, Hatcher, Skjulsvik, Larsson, & Holmqvist, 2015), une version ultra- brève à six items issus du WAI-SR. Un lien positif d’intensité relativement fort, mais suffisamment distinct pour justifier l’existence de nouveau questionnaire, était attendu. Finalement, après avoir complété les mêmes analyses de validité discriminante (4) et concourante (5) que pour la QIAT-SG, une étude comparative avec le SRS et le SAI (Falkenström et al., 2015) a complété cette portion de l’étude afin d’en démontrer la validité incrémentielle (6).

Participants et procédure

Un total de 223 canadiens maitrisant la langue française (196 femmes, 22 hommes, quatre non binaires et un transgenre) âgés entre 18 et 73 ans (M = 35.1 ans, É.T. = 12.3 ans) et ayant un suivi individuel actif avec un intervenant, au moins une fois par mois, pour des motifs reliés à la santé mentale et/ou au bien-être psychologique, ont été inclus dans l’étude. Les participants ont été recrutés par le biais de médias sociaux, de groupes de discussion en

ligne et de courriels institutionnels de l’Université Laval (Québec, Canada) où ils étaient invités à remplir des questionnaires, de façon anonyme, sur une plateforme sécurisée en ligne (LimeSurvey). Le recrutement s’est déroulé de novembre 2019 à mai 2020. Les caractéristiques des participants, des intervenant ainsi que du type de suivi rapporté sont présentés au Tableau 8.

Tous les participants ont donné leur consentement à ce que les données recueillies soient utilisées dans le cadre de cette recherche et ils avaient l’option à la fin de la passation des questionnaires de fournir leur consentement pour que leurs données soient conservées dans une autre banque de données régit par un cadre de gestion détenue par la directrice de recherche et ayant reçu l’aval du comité d’éthique à la recherche intersectoriel en neurosciences et santé mentale du Centre intégré universitaire de santé et de services sociaux de la Capitale-Nationale. Un incitatif était également fourni sous la forme de trois carte- cadeaux Amazon d’une valeur de 50$ qui ont été tirées au hasard à la fin de la période de recrutement pour les participants de l’échantillon communautaire qui désiraient participer au tirage. Cette étude a été approuvée par le comité d’éthique de l’Université Laval.

Mesures

Un bref questionnaire sociodémographique a été élaboré aux fins de cette étude (Annexe 6). Les participants devaient y indiquer leur âge, leur sexe, leur pays d’origine, leur occupation, leur niveau de scolarité, leur motif principal de consultation, le sexe et le titre professionnel de leur intervenant (avec le type d’approche psychothérapeutique si applicable), ainsi que le nombre de séances écoulées depuis le début de leur suivi et la fréquence de ce dernier.

Le Working Alliance Inventory – Short Form Revised (WAI-SR; Hatcher & Gillaspy, 2006) est la version courte la plus récente de la Working Alliance Inventory (WAI; Horvath & Greenberg, 1989), l’outil de mesure de l’alliance le plus utilisé en recherche (Hatcher et Gillapsy, 2006), spécifiquement élaboré à partir du modèle théorique tripartite de l’alliance de travail de Bordin. Il a été conçu pour mesurer 3 dimensions : le lien affectif, le consensus sur les objectifs et l’entente concernant les tâches thérapeutiques. Il mesure l’alliance globale telle que perçue par le patient depuis le début de la thérapie. La version WAI-SR est composée de 12 items choisis à partir des 36 items de la version originale à l’aide d’analyses

exploratoires et confirmatoires ainsi que de la théorie des réponses aux items. Il utilise des choix de réponse de type likert en 5 points, variant entre (1) « rarement » et (5) « toujours ». Dans cette étude, la version française (Bottemine, 2017) utilisée a démontré des indices de cohérence interne (alphas de Cronbach) de .94 pour l’échelle globale et de .86, .90 et .91 pour les trois dimensions citées dans l’ordre ci-haut. Dans cette étude, des modifications légères ont été apportées à certains énoncés de cette version afin d’homogénéiser l’outil au contexte québécois et d’en augmenter la cohérence avec la version anglophone originale. La version ultra-brève à six items de la WAI-SR, le Session Alliance Inventory (SAI; (Falkenström et al., 2015), élaborée pour en favoriser l’utilisation répétée de séance en séance, a également été utilisée pour fin de comparaison dans cette étude (α=.88).

L’échelle d’évaluation des résultats de la séance ou SRS (Session Rating Scale; Duncan et al., 2003; ) est une échelle ultra-brève et autoadministrée en fin de session, qui est destinée à mesurer les trois dimensions de l’alliance thérapeutique correspondantes au modèle de Bordin (1979). Elle est formée de quatre questions avec ancrages de type échelle visuelle analogue mesurant dix centimètres et associée à des énoncés de valeur opposée, permettant un score total maximum de 40 points (la cotation se fait en additionnant le score des quatre questions en arrondissant au dixième de centimètre près). Les items mesurent respectivement la relation entre le patient et le thérapeute, l’entente sur les buts et objectifs de la thérapie, l’entente sur les tâches thérapeutiques, et une quatrième question est destinée à mesurer la qualité globale de la séance. Il a été conçu spécifiquement pour être utilisé de façon répétée à chaque séance, priorisant ainsi la faisabilité clinique sur les propriétés psychométriques, et est adapté pour les besoins du traitement informé par la rétroaction (Duncan et al., 2003). La version française de l’échelle (Cazauvieilh, 2018) a été utilisée pour cette étude et a démontré un indice de cohérence interne de .88.

Le questionnaire de satisfaction du consommateur (CSQ-8; Sabourin, Pérusse, & Gendreau, 1989) est une traduction française de la version abrégée du questionnaire original de 18 questions mesurant la satisfaction des clients à l’égard d’un service rendu (Larsen, Attkisson, Hargreaves, & Nguyen, 1979). Il regroupe les huit items ayant les coefficients de saturation les plus élevés sur le seul facteur retenu du questionnaire à 18 questions (CSQ-8;

pour chacun des énoncés selon une échelle de réponse de type Likert en quatre points dont les libellés varient selon les énoncés. Dans cette étude, la cohérence interne a été évaluée à .94.

L'indice de détresse psychologique (ISP-14;, Boyer, Préville, Légaré & Valois. 1993) est une version française abrégée du Psychological Symptom Index (PSI), développé par Ilfeld (1976) lors d'une étude sur le stress et les stratégies d'adaptation. La version originale du questionnaire comporte 29 items qui mesurent quatre dimensions corrélées entre elles et souvent associées aux troubles affectifs et anxieux: 1'anxiété, la dépression, 1'irritabilité et les problèmes cognitifs. Le questionnaire évalue différents symptômes dont le répondant doit évaluer la fréquence au courant des sept derniers jours allant de « jamais » (0) à « très souvent » (3). Le seuil « clinique » de détresse psychologique a été établi à 23/42 (cinquième quintile) dans une étude normative populationnelle au Québec; c’est ce seuil qui sera utilisé dans la présente étude pour départager les patients présentant une détresse cliniquement significative, reconnaissant que l’ISP-14 n’est pas un outil diagnostic des maladies psychiatriques, mais qu’il s’agit d’un bon indicateur d’avoir consulté (rapport de cote =5) ou d’avoir été hospitalisé (rapport du cote=6) pour un problème de santé mentale dans la dernière année (Guyon & Lavasseur, 1987). La cohérence interne de l’échelle est de .92 dans la présente étude.

L’échelle sur le fonctionnement personnel et interpersonnel (EFPI; Gamache, Savard, Leclerc et Côté, 2019) est un instrument de 24 items qui vise à évaluer le fonctionnement de la personnalité selon quatre dimensions, soit l’identité, l’autodétermination l’empathie et l’intimité. Les deux premières dimensions peuvent être regroupées ensemble pour former la dimension intra-personnelle du dysfonctionnement de la personnalité et les deux suivantes, sa dimension interpersonnelle. Chaque item est répondu à l’aide d’une échelle de type Likert à cinq points allant de 0 (« Ceci ne me décrit pas du tout ») à 4 (« Ceci me décrit totalement). L’EFPI a été validé auprès d’échantillons cliniques et provenant de la population générale dans une étude de Gamache et al. (2019) qui démontre que les dimensions possèdent une excellente cohérence interne et que l’instrument a une excellente capacité à discriminer et à prédire la présence de perturbation sur le plan de la personnalité. À ce titre, le seuil clinique proposé pour l’échelle globale est de 36,48/96 avec une sensibilité de .80, une spécificité de

.82 et un rapport de cote de 18.60 pour détecter un diagnostic de trouble de personnalité (Gamache et al., 2019). C’est ce seuil qui sera utilisé dans cette étude pour départager les patients atteints de trouble de personnalité de ceux qui n’en sont pas atteints. La cohérence interne a été évaluée, dans la présente étude, à .91 pour l’échelle globale, à .87 pour la dimension personnelle (self) et à .84 pour l’interpersonnelle.

Le Balanced Inventory of Desirable Responding (BIDR; Paulhus, 1984) est un des questionnaires les plus utilisés pour évaluer la désirabilité sociale. Il est composé de deux échelles, soit l'autoduperie, la tendance à se décrire de façon honnête, mais biaisée positivement, et l'hétéroduperie, qui est la tendance à présenter une image favorable de soi à autrui. Dans cette étude, la version abrégée de 21 items validée en français par D’Amours- Raymond (2011) a été utilisée. L’individu doit se prononcer sur son niveau d’accord un utilisant une échelle de type Likert en sept points allant de « Totalement faux » (1) à « Totalement vrai » (7). Suite aux recommandations de D’Amours-Raymond et al. (2011), les réponses obtenues ont été recodées de manière dichotomique, les valeurs 6 et 7 indiquant la présence de désirabilité sociale (coté 1) et les valeurs 1 à 5 en signalant son absence (coté 0). Dans la présente étude, les coefficients de cohérence interne ont été évalués à .71 pour l’échelle globale et .60 et .67 respectivement pour les dimensions de l’autoduperie (8 items) et de l’hétéroduperie (13 items).

Analyses statistiques QIAT-SG

D’abord, les propriétés des items ont été analysées à l’aide de la théorie classique des tests : moyennes (les plus centrées possibles et avec distribution adéquate) et écarts-type (moyennement élevés), corrélations inter-items (r entre = 0.10 et 0.90), corrélations items total corrigées (r > 0.30) et alphas de Cronbach (α > .70 = acceptable; >.80 = appréciable) pour caractériser la qualité des échelles globales ainsi que de leur sous-dimensions. Ces analyses ont également été réalisées à l’aide du logiciel SPSS (version 26).

Puis, l’analyse factorielle exploratoire a été menée à l’aide du logiciel SPSS (version 26) en utilisant une méthode d’extraction par analyse en composante principale avec rotation oblique de type promax afin de tenir compte de la corrélation anticipée entre les facteurs. Les facteurs ont été retenus si leur valeur propre étaient supérieures à un. Les items, quant à eux,

ont été retenus si leur saturation sur un facteur était supérieure à .40 et qu’ils n’avaient pas de saturation croisée supérieure à .30 (Tabachnick & Fidell, 2013).

Par la suite, considérant les différents modèles théoriques de l’alliance thérapeutique et les résultats des études empiriques évaluant les outils de mesure tentant de les opérationnaliser (Elvins, 2008; Hatcher, 1996; Horvath, 2018; Krause, 2011), cinq modèles de structure factorielle ont été envisagés et si possible testés l’aide d’analyses factorielles confirmatoires : un modèle à un facteur (Modèle 1), une solution à deux facteurs corrélés (lien socioémotionnel et lien collaboratif; Modèle 2); une solution à trois facteurs corrélés, (séparant en deux facteurs le lien socioémotionnel pour former le lien émotionnel et social, avec le lien collaboratif comme troisième facteur; Modèle 3); un modèle de deuxième ordre avec les deux facteurs de premier ordre (lien socioémotionnel et collaboratif) reliés à un facteur général d’alliance thérapeutique (modèle 4); et un modèle bifactoriel avec un facteur général d’alliance et deux facteurs spécifiques, les lien socio-émotionnel et collaboratif (Modèle 5). Aussi, si le modèle exploratoire obtenu était différent de ces derniers, celui-ci a également été testé. Les analyses ont été effectuées à l’aide du logiciel EQS (version 6.4). Une estimation par maximum de vraisemblance avec option robuste a été utilisée. Les cas aberrants ont été éliminés selon leur degré de contribution relative au coefficient d’acuité (kurtosis) normalisé multivarié. Pour déterminer le modèle s’ajustant le mieux aux données, le critère d’information d’Akaike corrigé (CAIC avec la valeur la plus faible possible), le non-normed fit index (NNFI >.90 = acceptable, >.95 = appréciable), le comparative fit index (CFI >.90 = acceptable, >.95 = appréciable) et le root mean square error of approximation (RMSEA<.08 = acceptable, <.05 = appréciable) ont été utilisés (Byrne, 2006). Une fois le meilleur modèle identifié, le test de Wald a été utilisé afin de s’assurer que tous les paramètres estimés étaient significatifs et le test de Lagrange a par la suite permis d’identifier de potentielles modifications pour améliorer le modèle, si une justification théorique raisonnable pouvait y être associée.

Pour étayer la validité de construit, des corrélations bivariées ont été réalisées entre les scores totaux et les dimensions de la QIAT-SG et de la WAI-SR pour la validité convergente, ainsi que ceux de la BIDR-21 (désirabilité sociale) et de l’ISP-14 (détresse psychologique) pour la validité discriminante. Dans la même visée, des séries d’ANOVAs

pour données non paramétriques (Kruskal-Wallis) ont été réalisées avec les scores totaux au QIAT-SG comme variable dépendante et différentes caractéristiques des participants (sexe, âge, niveau de scolarité, type d’occupation, nationalité, motif principal de consultation), des thérapeutes (sexe, concordance avec le sexe des participants, titre professionnel), et du traitement (type d’approche utilisée, type de suivi) comme variables indépendantes. Des tests non paramétriques ont été privilégiés pour la comparaison de groupes étant donné que, pour la plupart des variables indépendantes testées, certains groupes étaient constitués de moins de 30 participants.

Pour tester la validité critérielle concourante, des corrélations bivariées ont été effectuées entre les scores totaux du QIAT-SG et ceux du CSQ-8 (satisfaction des soins) ainsi que ceux du EFPI (dysfonctionnement de la personnalité) et de ses sous-dimensions.

Finalement, pour tester la validité incrémentielle du QIAT-SG par rapport au WAI- SR, les scores moyens par item et leurs écarts-types ont été comparés à l’aide de tests t pour échantillons appareillés et de d de cohen (taille d’effet), afin d’étudier les effets plafond et la variabilité respective de ces échelles. Ces analyses ont également été effectuées en fonction du nombre de séances écoulées depuis le début du suivi (1-5, 6-12, 13-30 et plus de 30 séances) afin de comparer la variabilité des scores totaux selon les phases du traitement. Puis, les statistiques d’ajustement du meilleur modèle identifié en analyse factorielle confirmatoire ont été comparées, de même que leurs indices de cohérence interne pour l’échelle complète et celle de chacune de leurs dimensions. Pour déterminer si la valeur du coefficient de corrélation bivarié entre les questionnaires d’alliance et celui sur la satisfaction des soins (CSQ-8) différaient, des scores résiduels ont été créés en régressant les scores des échelles complète et de chacune de leur dimension avec leur homonyme (Gamache, Savard, & Maheux-Caron, 2018; Maples, Lamkin, & Miller, 2014). Par exemple, le lien émotionnel du QIAT-SG-10 a été entré comme variable indépendante pour prédire la dimension du lien affectif du WAI-SR (variable dépendante). Ainsi, chaque score résiduel représente la variance de chaque échelle ou sous-échelle qui n’est pas partagée avec l’autre : la variance unique. Ces scores résiduels ont ensuite été corrélés avec les scores totaux au CSQ-8. Les corrélations ont finalement été comparées en utilisant une transformation r à z de Fisher pour échantillon dépendant (p<.05, unilatéral). Pour calculer la taille d’effet d’une éventuelle

différence significative entre ces corrélations, le q de Cohen a été calculé (<.1 = pas d’effet, .1 à .3 = petit effet, .3 à .5 =moyen effet et >.5 = grand effet). Ces analyses ont été réalisées avec le logiciel web VassarStats (Lowry, 2001).

QIAT-DS

Plusieurs critères ont été utilisés pour sélectionner les items formant la version « ultra- brève » du QIAT-DS. Pour chacun de ces critères, un score (0 = non satisfaisant, 1 = partiellement satisfaisant, 2 = satisfaisant) a été attribué par l’auteur pour chaque item, lesquels ont été additionnés pour former un score total par item. Les items avec le score le plus élevé ont été sélectionnés pour la version finale. Nous visions un minimum de quatre énoncés et un maximum de six. D’abord, les propriétés des items ont été analysées à l’aide de la théorie classique des tests. Les items avec les moyennes les plus centrées (1), les écart- types les plus grands (2) et la corrélation item-total corrigée la plus élevée avec l’échelle totale (3) et leur dimension (4) se sont vus attribués les meilleurs scores. Puis, les écarts-types des items ont été comparés en fonction du nombre de séances écoulées depuis le début du suivi (1-5, 6-12, 13-30 et plus de 30 séances) afin de déterminer ceux qui permettaient une bonne variabilité et ce, même dans les phases avancées du suivi (5). Ensuite, des corrélations bivariées ont été effectuées entre le score de chaque item du QIAT-DS et celui de son homonyme du QIAT-SG pour les suivis ayant terminé la phase initiale du traitement (plus de cinq séances). Les corrélations les plus faibles se sont vu attribuer les meilleurs scores, ces dernières étant interprétées comme un signe de variabilité (et de pertinence) des items peu importe le moment du suivi (6). En effet, il est considéré souhaitable qu’un item mesurant par exemple l’empathie de l’intervenant lors de la dernière séance ne soit pas trop parfaitement le reflet de l’empathie de l’intervenant depuis le début du suivi; sinon, il est peu

Dans le document Élaboration et validation d'un outil de mesure bref et modernisé de l'alliance thérapeutique : le Questionnaire Intégratif de l'Alliance Thérapeutique (QIAT) (Page 60-71)