Validité de conséquences

Enfin, une analyse de variance multivariée des scores obtenus permet d’apporter une preuve supplémentaire de réponse aux changements de l’instrument de mesure. À long terme, l’augmentation des connaissances des participants constitue une conséquence positive de l’usage du questionnaire sur les répondants (Messick, 1994). Il peut en être autrement si la complétion du questionnaire entraîne chez le répondant un niveau de stress trop élevé ou quelque autre complication. Dans ce cas, les conséquences négatives du test surpasseraient les conséquences positives. Une ANOVA à mesure répétées comparant les temps de mesure permet de déterminer si une différence significative des résultats est présente d’un temps à l’autre, avant et/ou après l’intervention éducative. Pour le QCA-PA, les analyses suivantes ont été retenues puisqu’elles sont celles qui sont les plus présentes dans la littérature pour ce genre de recherche. L’analyse du coefficient de cohérence interne, l’indice de discrimination des items, l’indice de difficulté, la reproductibilité, l’analyse par le modèle de Rasch et les AFC ont été retenus comme preuves de validité de la structure interne. L’analyse de la validité concomitante du QCA- PA a constitué quant à elle une preuve de la relation avec d’autres variables. Le Questionnaire de connaissances sur l’asthme en langue française (QCALF) (Nguyen et al., 2003), le seul autre questionnaire en français évaluant le même concept et ayant déjà recueilli certaines preuves de validité, a été utilisé comme mesure étalon. Cependant, comme le QCA-PA se veut une amélioration par rapport aux instruments de mesure déjà existants, un coefficient entre 0,4 et 0,8 a été jugé acceptable pour démontrer une bonne validité concomitante (Streiner et Norman, 1995). Une analyse de variance (ANOVA) à mesures répétées a finalement été effectuée sur les scores du QCA-PA à chacun des quatre temps de mesure. Elle avait pour but d’établir la fiabilité du QCA-PA, mais également sa validité de conséquences.

La section qui suit présente un article scientifique reprenant l’essentiel de la méthodologie présentée de même que les résultats des analyses de validité du QCA-PA.

19

Présentation de l’article

Les pages qui suivent présentent un article soumis à la Revue des maladies respiratoires, revue officielle de la Société de pneumologie de langue française (SPLF). Depuis 1887, cette revue publie des articles originaux, des éditoriaux, des recommandations d’experts et des fiches techniques en lien avec les pathologies pulmonaires sous forme de 10 fascicules réguliers par année et en ligne. L’article qui suit présente la méthode de développement et de validation utilisée pour l’élaboration du QCA-PA. Il poursuit deux objectifs. Premièrement, offrir aux professionnels de la santé un nouvel instrument de mesure des connaissances de leurs patients asthmatiques sur leur maladie afin d’augmenter l’efficacité de leurs interventions éducatives. Deuxièmement, proposer une méthode simple et rigoureuse de développement d’instruments de mesure applicable à plusieurs autres domaines de la santé.

21

Article scientifique

Développement et validation d’outils de mesure des connaissances du

patient : le modèle du Questionnaire de connaissances sur l’asthme

destiné aux patients adultes (QCA-PA)

Université Laval

Département des fondements et pratiques en éducation 2320, des Bibliothèques, TSE 446

Université Laval Québec, Canada, G1V 0A6 Courriel : daniel.beaurivage.1@ulaval.ca

Eric Frenette Université Laval,

Département des fondements et pratiques en éducation 2320, des Bibliothèques, TSE 454

Université Laval Québec, Canada, G1V 0A6 Courriel : eric.frenette@fse.ulaval.ca

Tél. : 418-656-2131 #3759

Louis-Philippe Boulet

Institut de cardiologie et de pneumologie de Québec (IUCPQ) 2725, chemin Sainte-Foy

Québec, Canada, G1V 4G5 Courriel : lpboulet@med.ulaval.ca

Tél : 418 656-4747 Marie-Ève Boulay

Institut de cardiologie et de pneumologie de Québec (IUCPQ) 2725, chemin Sainte-Foy

Québec, Canada, G1V 4G5

Courriel : marie-eve.boulay@criucpq.ulaval.ca Tél : 418 656-8711 #2617

22

Résumé

Introduction : Chez le patient asthmatique, une mauvaise connaissance de sa maladie est une des causes d’un mauvais contrôle de cette dernière. L’éducation du patient est prioritaire, mais requiert au préalable une bonne évaluation de ses connaissances.

But : Décrire une méthode d’élaboration de questionnaires de connaissances par l’exemple du Questionnaire de connaissances sur l’asthme destiné aux patients adultes (QCA-PA).

Méthodes : Le QCA-PA a été développé et validé selon sept étapes proposées par Dussault, Valois et Frenette (2007) et comporte 54 items « vrai/faux/ne sais pas ». Un total de 101 adultes asthmatiques a répondu au questionnaire à quatre reprises lors de trois visites en milieu hospitalier sur une période d’environ un mois. À la deuxième visite, il était complété avant et après une session d’enseignement individualisée sur l’asthme.

Résultats : Le QCA-PA démontre diverses preuves de validité : apparente et de contenu, processus de réponse, structure interne, relations avec d’autres variables et conséquences. Il serait représenté par une structure unidimensionnelle et le niveau de consistance interne est considéré satisfaisant.

Conclusions : Le QCA-PA est un questionnaire de connaissances développé et validé de manière rigoureuse et basé sur les recommandations internationales les plus récentes. Il permettra de mieux cibler les interventions éducatives offertes au patient asthmatique. Mots-clés :

23

Abstract

Introduction: Poor asthma knowledge of asthmatic patients contributes to poor control of the disease. Education is a priority, but needs a good patient’s knowledge assessment. Aim: To give a patient’s knowledge questionnaire development method using the example of the Questionnaire de connaissances sur l’asthme destiné aux patients adultes (QCA-PA).

Methods: The QCA-PA was developed according to Dussault, Valois and Frenette (2007) seven steps. It includes 54 “true/false/don’t know” items. A total of 101 asthmatic adults completed the questionnaire four times during three visits over a period of about one month. It was answered twice on the second visit, before and after an individualized education session on asthma.

Results: QCA-PA shows different proofs of validity: face and content, response process, internal structure, relationship to other variables and consequences of testing. It is represented by a unidimensional factor structure and its internal consistency appears to be satisfying.

Conclusions: QCA-PA is a new validated knowledge questionnaire which could help health professionals to better target their educational interventions with asthmatic patients.

Key words:

24

Introduction

L’asthme est une des maladies chroniques les plus répandues dans le monde et les coûts qui y sont associés sont élevés (FitzGerald et al., 2014; Masoli et al., 2004). Les conséquences de l’asthme peuvent être minimisées par un bon contrôle de la maladie et l’éducation du patient est considérée comme un des éléments les plus importants pour optimiser le contrôle. Malheureusement, l’asthme est souvent mal contrôlé (Bateman et al., 2001; Boulet et al., 2006). Parmi les raisons expliquant cette situation, on retrouve le manque de connaissances du patient sur sa maladie et les critères de contrôle de celle-ci (Boulet, Phillips, O’Byrne et Becker, 2002; Soriano et al. 2003). Par exemple, Soriano et al. (2003) ont montré que lorsqu’ils étaient questionnés sur les causes et le traitement de l’asthme, seuls 7,8 % des patients asthmatiques mentionnaient l’inflammation des voies respiratoires et seulement 17,6 % savaient que les corticostéroïdes inhalés étaient la médication la plus efficace pour réduire l’inflammation bronchique.

Des connaissances de base de la maladie et de son traitement sont essentielles pour permettre au patient de développer ses capacités d’autocontrôle et une plus grande autonomie dans la gestion de son asthme. Une méta-analyse de 17 études effectuées auprès de 7442 patients atteints de maladies chroniques comme l’asthme ou la maladie pulmonaire obstructive chronique (MPOC) a conclu que des programmes d’éducation basés sur l’autocontrôle amélioraient à court terme le sentiment d’autoefficacité des participants, l’autoévaluation de leur état de santé et la gestion de leur anxiété face à leurs symptômes (Gibson et al., 2003). De plus, ces programmes d’éducation contribuaient à augmenter la fréquence de leurs activités physiques.

Les bénéfices de l’éducation sur l’asthme ont été démontrés, mais trop peu de patients asthmatiques profitent d’interventions éducatives adéquates (Cowie, Cicutto et Boulet, 2001; Gibson et al., 2003). Dans le but d’améliorer l’efficacité des interventions des professionnels de la santé, il convient d’abord d’évaluer les connaissances du patient sur sa maladie, afin de lui fournir l’information la plus appropriée sur laquelle les bases des suggestions sur les changements de comportement seront établies.

25 Pour être de qualité, un instrument de mesure de connaissances des patients, tel un questionnaire, doit présenter diverses preuves de validité de contenu, du processus de réponse, de la structure interne, des relations avec d’autres variables et de conséquences (Downing, 2003; Messick, 1994). Ces preuves sont accumulées tout au long du processus d’élaboration et de validation et elles permettent de juger du niveau de validité des inférences pouvant être tirées des réponses au questionnaire (Messick, 1990).

Plusieurs questionnaires de connaissances sur l’asthme ont été développés et certaines preuves de validité ont été obtenues (Pink et al., 2009), mais ils s’avèrent souvent complexes ou adaptés à des populations particulières. De plus, ils apparaissent souvent désuets et ne s’appuient pas toujours sur les lignes directrices nationales ou internationales. Dans une revue systématique portant sur 18 questionnaires de connaissances sur l’asthme, des auteurs ont montré qu’aucun de ces questionnaires n’obtenait une note satisfaisante pour chacune des preuves de validité retenues (validité de contenu, validité de construit, cohérence interne et reproductibilité) (Pink et al., 2009). De plus, selon les recommandations des Standards for Educational and Psychological Testing, tout outil de mesure doit faire l’objet d’un processus de développement et de validation rigoureux basé sur les finalités auxquelles on le destine (AERA et al., 2014). Le but du présent article est de présenter les étapes de développement et de validation d’outils d’évaluation des connaissances des patients, en prenant pour exemple le Questionnaire de connaissances sur l’asthme destiné aux patients adultes (QCA-PA), basé sur les plus récents rapports du Global Initiative for Asthma (GINA) (FitzGerald et al., 2014). Cet article se veut aussi un guide méthodologique pour les chercheurs et les professionnels de la santé désirant développer de nouveaux instruments de mesure respectant les normes élevées de qualité.

26 1. Détermination de l’objet de mesure - Validité de contenu 2. Génération d’items - Validité de contenu 3. Détermination du format de mesure - Validité du processus de réponse 4. Vérification de la clarté des items - Validité du processus de réponse (apparente) - Validité de contenu 5. Prétest - Validité de la structure interne - Validité du processus de réponse 6. Analyse d’items - Validité de la structure interne 7. Preuves de validité de construit (et concomitante, fiabilité) - Validité de la structure interne - Validité de la relation avec d’autres variables - Validité de conséquences

Phase de développement

Phase de validation

Figure 1 : Développement et de validation de questionnaire (Dussault et al., 2007) et preuves de validité associées

27

Méthodologie

Dussault et al. (2007) proposent une méthode simple et rigoureuse de développement et de validation de questionnaire en sept étapes inspirée de DeVellis (2003), tel qu’illustré à la figure 1. Les cinq premières correspondent au développement et les deux dernières, au processus de validation : 1- détermination de l’objet de mesure à la lumière d’une revue de littérature, 2- génération d’items, 3- détermination d’un format de mesure, 4- vérification de la clarté des items, 5- prétest, 6- analyse d’items, 7- preuves de validité de construit auxquelles seraient ajoutées celle de validité concomitante, de reproductibilité et de réponse aux changements.

Phase de développement

1. Détermination de l’objet de mesure à la lumière d’une revue de

littérature

Avant d’entreprendre tout travail de développement d’un outil de mesure, il convient d’abord de circonscrire ce qui sera et ne sera pas évalué (DeVellis, 2003). Dans cette optique, une revue de la littérature pertinente au sujet traité doit être effectuée afin de différencier les concepts abordés. La population cible doit également être déterminée à cette étape.

Dans le cas du QCA-PA, un spécialiste du domaine étudié était responsable du projet. Ses connaissances sur l’asthme et son expérience clinique ont fourni les bases théoriques du questionnaire. De plus, la consultation des documents de l’organisme GINA sur les connaissances que tout patient asthmatique devrait posséder a fortement inspiré l’élaboration du QCA-PA (FitzGerald et al., 2014). Les auteurs se sont donc attardés aux recommandations émises pour les asthmatiques adultes et ont ciblé les cinq dimensions proposées par GINA, soit biomédical, facteurs déclenchants, diagnostic et contrôle, traitements ainsi que connaissances générales.

La revue systématique de Pink et al. (2009) a ensuite permis de consulter 18 questionnaires de connaissances sur l’asthme dans le but de prendre connaissance des

28

instruments de mesure déjà existants. Aucun questionnaire ne respecte l’ensemble des preuves de validité à accumuler. Un seul questionnaire en français existant et répondant à certaines preuves de validité, soit le Questionnaire de connaissances sur l’asthme en langue française (QCALF) (Nguyen et al., 2003) sera utilisé comme mesure étalon dans le cadre de l’analyse de validité concomitante de l’étape 7. Il comporte 38 items à l’origine, mais l’un de ces items s’adressant à une population française a été retiré. Comme le QCA-PA, il se présente sous la forme de questions « vrai ou faux » et l’option « Ne sais pas » est également présente. Ce questionnaire se veut une synthèse des connaissances sur l’asthme, mais certains éléments semblent manquant par rapport au consensus international.

2. Génération d’items

Une fois que les concepts abordés dans le questionnaire sont bien établis, la création d’items est possible, mais doit suivre plusieurs règles de base. Tout d’abord, tous les items doivent être en lien avec les objectifs de l’évaluation (DeVellis, 2003). Ils doivent également être concis, présenter un niveau de langage adapté à la population cible et ne comporter qu’une seule idée. Il convient aussi d’éviter les multiples négations et les pronoms ambigus (Lakhal et Frenette, sous presse). Par exemple, l’item de type « vrai ou faux » suivant comporte plusieurs erreurs : « Le patient asthmatique devrait toujours suivre les conseils de son médecin puisqu’il est la personne la mieux placée pour connaître les actions les plus efficientes à poser ». En effet, cet item est trop long et utilise un niveau de langage trop élevé pour l’ensemble de la population. Il comporte également deux affirmations séparées par « puisqu’il » et ce dernier pronom peut être compris comme faisant référence aussi bien au patient asthmatique qu’au médecin.

En respectant les différentes règles de base, une banque de 52 items inspirés du rapport GINA a été construite pour le QCA-PA. Elle regroupait des questions se rattachant aux cinq regroupements théoriques proposées par GINA, soit : biomédical, facteurs déclenchants, diagnostic et contrôle, traitements ainsi que connaissances générales.

29

3. Détermination d’un format de mesure

La détermination de la forme que prendront les réponses doit faire l’objet d’une réflexion par rapport aux buts d’évaluation poursuivis dans le questionnaire. Un questionnaire de connaissances et un questionnaire d’attitudes ne comportent pas le même type de questions. Il convient, à cette étape, de choisir le format de mesure le plus approprié au questionnaire souhaité, telles les questions de type « vrai ou faux », les questions à choix multiples, les échelles de type Thurstone ou Likert (DeVellis, 2003; Tousignant et Morissette, 1989).

Comme le QCA-PA est un questionnaire qui vise à informer le professionnel de la santé des connaissances du patient sur sa maladie (fonction pronostique), des items de type « vrai ou faux » ont été privilégiés. Ce type de questionnaire s’avère plus rapide à compléter et plus simple à comprendre et à analyser par le professionnel de la santé en situation clinique. L’option « ne sais pas » faisait partie des choix de réponse pour toutes les questions afin de réduire le nombre de données manquantes. Au moment de l’analyse, elle était considérée comme une mauvaise réponse puisqu’elle ne montrait pas une connaissance acquise par le patient.

4. Vérification de la clarté des items

La vérification de la clarté des items comporte deux éléments qui s’ajoutent aux preuves de validité d’un instrument de mesure. La validité apparente et de contenu constituent un premier test pour les items créés. La validité apparente consiste à présenter les items à un échantillon représentatif de la population ciblée par l’évaluation. Elle vise à recueillir les commentaires quant à l’adéquation entre les concepts abordés, la formulation des items par rapport aux buts poursuivis par le questionnaire et la compréhension du vocabulaire et du niveau de langage utilisés (DeVellis, 2003). La validité de contenu diffère de la validité apparente par la composition du groupe auquel sont présentés les items. Dans ce cas-ci, le questionnaire est présenté à un groupe d’experts du domaine abordé par le questionnaire. L’objectif de la validité de contenu est de s’assurer qu’aucun aspect des concepts abordés n’a été négligé en fonction des bases théoriques propres à ce domaine. Les commentaires obtenus auprès de l’échantillon de la population cible et du groupe

30

d’experts permettent au chercheur de modifier ou de supprimer les items problématiques et d’en ajouter d’autres au besoin (DeVellis, 2003).

Le QCA-PA a été développé initialement après consultation auprès de nombreux spécialistes de l’asthme. Des preuves de validité apparente ont par la suite été obtenues auprès d’un groupe de 20 patients asthmatiques fréquentant la clinique spécialisée de pneumologie de l’Institut universitaire de cardiologie et de pneumologie de Québec (IUCPQ). Des preuves de validité de contenu ont ensuite été cumulées grâce à un groupe de trois pneumologues, trois éducatrices en asthme, un psychologue, un pharmacien et deux médecins généralistes qui se sont penchés sur les items du questionnaire. Les commentaires des patients et des spécialistes, portant surtout sur la terminologie utilisée, ont permis de modifier la formulation de divers items. Le nombre d’items et les catégories sont toutefois demeurés inchangés. Le QCA-PA a ensuite pu être soumis à un prétest.

5. Prétest

Le prétest consiste à tester le questionnaire auprès d’un nouvel échantillon représentatif de la population cible. Il a pour but de vérifier que chacun des items est pertinent dans le questionnaire. Le prétest donne des indications sur les items qui nécessitent d’être modifiés ou complètement supprimés. Il peut également servir à vérifier si les regroupements théoriques (aussi appelés catégories, dimensions ou facteurs) sont retrouvés lors de l’analyse des données (DeVellis, 2003). Le nombre de participants à inclure dans le prétest fait l’objet de plusieurs discussions. Plus il est élevé, plus la puissance des analyses est élevée et plus il est facile d’éviter les erreurs de mesure. Il faut donc chercher à obtenir le ratio participants-items le plus élevé en autant que les conditions de recherche le permettent (DeVellis, 2003).

La version préliminaire du QCA-PA a été complétée par des patients asthmatiques adultes présentant divers niveaux de sévérité de la maladie lors d’une visite dans l’un des trois groupes de médecine familiale (GMF) participants de la région de Québec. Un total de 31 hommes et 53 femmes, âgés en moyenne de 46 ans (É.T. = 16 ans), ont répondu au questionnaire papier une première fois. Puis, une session d’enseignement individuelle sur

31 l’asthme couvrant l’ensemble des concepts abordés dans le QCA-PA leur a été donnée par une thérapeute respiratoire (inhalothérapeute). Entre quatre et six semaines plus tard, 29 de ces hommes et 47 de ces femmes ont complété le questionnaire une seconde fois afin de mesurer la réponse aux changements, qui s’est avérée satisfaisante puisqu’une augmentation significative au résultat total au questionnaire était perçue entre les deux temps de mesure. Des analyses d’items (indice de discrimination et ajustement au modèle de Rasch) (Bond et Fox, 2007) ont permis d’identifier des items à modifier ou à retirer pour éviter la redondance. Les analyses factorielles confirmatoires suggéraient un meilleur ajustement à un modèle unidimensionnel plutôt que les cinq catégories de GINA.

L’apport du spécialiste du domaine dirigeant l’étude a aidé à guider les modifications. La décision a aussi été prise d’ajouter une série de questions sur les conséquences d’un asthme mal contrôlé à la suite d’une suggestion des inhalothérapeutes qui ont administré le questionnaire aux participants. Ces modifications ont porté le nombre d’items de 52 à