Évaluation de la perception des visiteurs quant à l’utilisation de la méthodologie des traceurs dans le programme Qmentum d’Agrément Canada

Évaluation de la perception des visiteurs quant à

l’utilisation de la méthodologie des traceurs dans le

programme Qmentum d’Agrément Canada

Mémoire

Olivier Jean

Maîtrise en agroéconomie - consommation

Maître ès sciences (M. Sc.)

Québec, Canada

Résumé

Dans son programme Qmentum, Agrément Canada utilise la méthodologie des traceurs pour procéder à l’évaluation des établissements de santé au Canada. Adaptée à partir du modèle du Joint Commission aux États-Unis, cette méthode est utilisée depuis 2008. En se basant sur le Modèle synergique des qualités évolutives de Plante et Bouchard (2002), cette enquête a permis d’interroger les visiteurs d’Agrément Canada afin de déterminer quelle est, selon leur perception, la qualité de la méthodologie des traceurs sous l’angle de cinq qualités transversales et de déterminer quelles sont ses forces et ses faiblesses. La cohérence ainsi que la synergie s’avèrent être les deux qualités transversales dont les indicateurs ont un effet significatif sur la qualité de l’information obtenue. La contrainte du temps quant à elle est la plus grande faiblesse dans l’application de la méthodologie des traceurs et ce, à plusieurs niveaux.

Abstract

As part of the Qmentum program, Accreditation Canada uses the tracer methodology to evaluate the quality of services in Canada’s health care institutions. Based on the model used by the Joint Commission in the United States of America, the tracer methodology is in place since 2008. Based on the MSQE from Plante et Bouchard (2002), this study allowed to question Accreditation Canada’s surveyors to determine, according to their perception, the tracer methodology’s quality in terms of five transversal qualities and to determine what are its strengths and weaknesses. Consistency and synergy are the two transversal qualities that significantly affect the tracer methodology’s effectiveness. Meanwhile, the time constraint is its biggest weakness, affecting various aspects of it.

Table des matières

Résumé ... iii

Abstract ... v

Table des matières ... vii

Liste des tableaux ... ix

Liste des figures ... xi

Remerciements ... xv

1. Contexte de l’étude, problématique et objectifs de recherche ... 1

1.1 Agrément Canada ... 2

1.2 Programme d’agrément ... 2

1.2.1 Contenu détaillé du programme Qmentum ... 3

1.3 Le cycle d’agrément ... 4

1.3.1 Auto-évaluation ... 5

1.3.2 Visite d’agrément ... 5

1.3.3 Type d’agrément ... 10

1.3.4 Évaluation des progrès ... 10

1.4 Problématique et objectifs de recherche ... 11

2. Concepts clés et modèle d’analyse ... 15

2.1 Clarification de la terminologie ... 15

2.3.1 Sélection des objets et des qualités à évaluer ... 25

3. Démarche méthodologique ... 29

3.1 Le questionnaire ... 29

3.2 Échelle de mesure utilisée ... 29

3.3 Validation du questionnaire ... 30

3.4 La collecte de données ... 30

4. Résultats ... 31

4.1 Description des répondants ... 31

4.2 Les qualités transversales ... 31

4.3 Les qualités singulières ... 35

4.4 Importance des qualités transversales et singulières au regard de l’efficacité de la méthodologie des traceurs ... 36

4.4.1 Importance des indicateurs de synergie au regard de l’efficacité ... 37

4.4.3 Importance de l’ensemble des indicateurs de cohérence au regard de l’efficacité ... 39

4.5 Analyse des indicateurs à l’aide des scores Z ... 42

4.6 Analyses qualitatives ... 45

4.6.1 Processus prioritaires ... 45

4.6.2 Commentaires généraux ... 51

5. Discussion ... 57

5.1 Réponse au premier objectif de recherche ... 57

5.1.1 La cohérence ... 58

5.1.2 L’à-propos ... 59

5.1.3 La synergie ... 60

5.1.4 La flexibilité ... 60

5.1.5 L’efficacité ... 61

5.2 Réponse au deuxième objectif de recherche ... 61

5.2.1 Les forces de la méthodologie des traceurs ... 62

5.2.2 Les faiblesses de la méthodologie des traceurs ... 63

6. Conclusion ... 65

6.1 Principaux constats ... 65

6.2 Limites de l’étude ... 66

6.3 Voies de recherches suggérées ... 67

Références ... 69

Annexe 1 : Questions, objets et qualités ... 73

Annexe 2 : Questionnaire (version francophone) ... 77

Annexe 3 : Questionnaire (version anglophone) ... 83

Annexe 4 : Sorties SPSS complémentaires ... 89

Liste des tableaux

Tableau 1. Liste des processus prioritaires d'Agrément Canada ... 6

Tableau 2. Objets à évaluer et indicateurs retenus ... 25

Tableau 3. Résultats détaillés par qualité transversale (n=245)... 32

Tableau 4. Statistiques descriptives pour l'utilisation du canevas de questions (n=245) ... 35

Tableau 5. Statistiques descriptives pour les qualités singulières (n=245) ... 35

Tableau 6. Résultats de l'analyse de régression multiple (OLS): Variable dépendante « Efficacité » ; variables indépendantes « qualités transversales agrégées » (n=245) ... 37

Tableau 7. Résultats de l'analyse de régression multiple (OLS): variable dépendante « Efficacité » ; variables indépendantes « questions synergie » (n=245) ... 37

Tableau 8. Résultats de l'analyse de régression multiple (OLS): variable dépendante « Efficacité » ; variables indépendantes « questions cohérence » (n=245) ... 38

Tableau 9. Résultats de l'analyse de régression multiple (OLS): variables dépendantes « Obtention d’information utile », « Obtention d’information crédible » et « Obtention d’information fiable »; variables indépendantes « Autres énoncés » (n=245) ... 40

Tableau 10. Principales forces de la méthodologie des traceurs ... 44

Tableau 11. Principales faiblesses de la méthodologie des traceurs ... 44

Tableau 12. Processus prioritaires semblant moins bien répondre aux objectifs de la méthodologie des traceurs ... 46

Tableau 13. Thèmes principaux des commentaires à propos des processus prioritaires ... 47

Tableau 14. Thèmes principaux et sous-thèmes des commentaires généraux ... 52

Tableau 15. Effets de la contrainte de temps sur la méthodologie des traceurs ... 59

Liste des figures

Figure 1. Cycle de quatre ans du programme Qmentum ... 4

Figure 2. Activités liées à un traceur ... 8

Figure 3. But de la méthodologie des traceurs ... 12

Figure 4. Modèle synergique des qualités évolutives ... 19

Figure 5. Points de vue de la qualité ... 20

Figure 6. Méthodologie des traceurs selon le MSQE ... 24

Remerciements

Déjà, mais enfin à la fois. Il n’y a certes aucun doute que l’ambitieux projet de ce mémoire est celui de la plus grande envergure que j’aie réalisé jusqu’à maintenant. Ce travail représente de nombreuses heures autant à rechercher, à m’instruire sur un sujet qui était nouveau pour moi que d’y réfléchir à tout moment du jour ou de la nuit. Malgré tout, au terme de cet intense processus, j’ai le sentiment du devoir accompli et j’en ressens une grande fierté.

Il ne m’aurait jamais été possible de réaliser ce mémoire sans l’aide, le soutien et les connaissances de ma directrice, Chantal Bouchard, que je remercie sincèrement. L’agrément était un sujet nouveau pour moi il y a à peine plus d’un an et grâce à sa patience, j’ai pu développer un fort intérêt pour ce domaine de recherche. Merci énormément pour cela. J’en profite aussi pour remercier l’ensemble de nos professeurs en sciences de la consommation. Vous avez, à plusieurs reprises, su trouver les mots pour me garder motivé lors de moments plus laborieux. Vos encouragements m’ont également fortement influencé à entreprendre des études graduées alors que j’étais encore au baccalauréat.

Je dois bien évidemment remercier mes parents pour leur soutien et leurs encouragements sous toutes leurs formes. Vous m’avez toujours encouragé et soutenu dans chacune de mes décisions de vie et pour cela je vous en suis extrêmement reconnaissant. Je tiens aussi à souligner la patience et la compréhension de mes amis à qui j’ai consacré moins de temps que je ne l’aurais voulu au cours de mes études universitaires. Finalement, je ne pourrais passer sous silence l’influence qu’a eu Caroline, ma copine, lorsque j’ai décidé d’entreprendre un retour aux études et de m’inscrire à l’université. Sans ton support moral constant et ton indulgence, j’aurais difficilement trouvé la motivation nécessaire à entreprendre un tel projet. Merci infiniment!

1. Contexte de l’étude, problématique et objectifs

de recherche

Il faut remonter au début du 20e _{siècle afin de connaître les origines de l’agrément, alors que deux médecins}

américains songeaient aux premiers balbutiements de ce principe. C’est en 1917 que le Joint Commission est né aux États-Unis (Roberts, Coale et Redman, 1987, pp.936, 937). L’évolution de ce mouvement s’est poursuivie et depuis, de nombreux autres pays dont le Canada y ont adhéré. Faisant maintenant partie des pratiques courantes de la médecine moderne, ce mouvement volontaire persiste afin d’assurer des pratiques de soins de santé de qualité (Roberts et al., 1987, p.940). D’ailleurs, dans le cadre de leur étude, Braithwaite et al. (2010, p.18) ont trouvé une corrélation positive entre l’agrément et les performances cliniques.

Aujourd’hui, chaque pays dispose d’une procédure d’agrément dans le domaine de la santé. L’ISQua (International Society for Quality in Health Care), l’agence qui accrédite les organismes d’agrément en soins de santé dans le monde, donne la définition suivante de l’agrément (ISQua, 2000) :

« L’agrément est une démarche d’autoévaluation et d’évaluation externe menée par des pairs utilisées par des organisations de la santé pour évaluer leur niveau de performance par rapport à des normes préétablies et pour implanter des moyens pour s’améliorer sur une base continue (traduction libre) ».

Au Canada, les établissements de soins de santé du Québec et de l’Alberta ont l’obligation d’obtenir l’agrément d’un organisme d’accréditation reconnu. Dans la province de Québec, la Loi sur les Services de Santé et les Services Sociaux (LSSSS) spécifie à l’article 107.1 que « tout établissement doit obtenir l'agrément des services de santé et des services sociaux qu'il dispense auprès d'un organisme d'accréditation reconnu ». De plus, « cet agrément n’est valable que pour une durée maximale de quatre ans », ce qui signifie que tout établissement doit obligatoirement passer par le cycle d’agrément après cette période (Gouvernement du Québec, 2014). En Alberta, le Mandatory Accreditation in Alberta’s Health System stipule que « tout institut régional de santé doit obtenir et maintenir un statut d’agrément d’un organisme d’agrément reconnu satisfaisant pour le ministère (traduction libre) » (Government of Alberta, 2008). Bien que cet agrément ne soit pas une obligation légale pour les autres provinces, le Manitoba envisage de suivre l’exemple des deux autres (Agrément Canada, 2014c). Toutefois, il ne serait pas surprenant que l’agrément devienne éventuellement une obligation pour l’ensemble du Canada (Agrément Canada, 2014c, p.6). D’ailleurs, la province de l’Ontario exige déjà de ses établissements qu’ils réalisent annuellement un plan d’amélioration de la qualité (Ministère de la Santé et des Soins de longue durée, 2010, p.5) sans toutefois exiger de ceux-ci qu’ils obtiennent l’agrément.

Le programme d’Agrément Canada s’adresse aux établissements de soins de santé de l’ensemble du territoire canadien. Leur clientèle est ainsi très diversifiée et peut être « un système de santé provincial au complet, être composé de plusieurs établissements qui offrent une grande variété de soins et services ou il peut s’agir d’un organisme autonome et indépendant dont l’étendue des services est plus restreinte » (Agrément Canada, 2012b, p.4).

1.1 Agrément Canada

Agrément Canada est un organisme sans but lucratif créé en 1958. Il a pour finalité de contribuer à « l’amélioration de la qualité des soins de santé grâce au processus d’agrément » (Agrément Canada, 2013a). Celui-ci « favorise l’amélioration continue de la qualité au moyen de normes fondées sur des données probantes et d’un examen mené par des pairs indépendants » (Agrément Canada, 2013e, p.3). Il procède à l’agrément de plus de 1 200 organismes à travers le Canada, représentant au-dessus de 6 000 établissements. Le siège social se situe à Ottawa et, en 2014, Agrément Canada comptait en ses rangs plus de 500 visiteurs qui sont en forte majorité (au-dessus de 200) des infirmiers et infirmières mais sont également des administrateurs, des pharmaciens, des médecins ou ils occupent un poste connexe avec le domaine de la santé (Agrément Canada, 2010b, p.5; 2013c, p.3; 2014b). La participation exigée par Agrément Canada est de dix jours par année par visiteur. Le rôle des visiteurs est d’évaluer la conformité des établissements par rapport aux normes pancanadiennes du programme d’agrément afin qu’ils identifient les opportunités d’améliorations dans les services qu’ils offrent à la population (Agrément Canada, 2012b, p.3).

Au total, plus de 300 évaluations sont réalisées annuellement (Agrément Canada, 2010a, p.7). Selon le type et la taille de l’établissement, entre deux et cinq visiteurs en moyenne peuvent être requis pour procéder à l’évaluation d’un établissement. Agrément Canada est également présent sur le plan international depuis 1967. À cet effet, leur programme nommé « Qmentum International » a agréé des organisations dans 14 pays (Agrément Canada, 2014a).

1.2 Programme d’agrément

Le programme Qmentum d’Agrément Canada se divise en deux niveaux de reconnaissance. Un premier, celui de base, s’adresse aux nouveaux établissements ou à ceux qui, n’étant pas agréés, souhaitent introduire l’agrément de façon progressive afin d’obtenir un agrément de base (Agrément Canada, 2013d). Ce « programme d’agrément de base ne comprend qu’un ensemble de normes, mais cet ensemble très complet aide les organismes à évaluer les aspects clés de la qualité et de la sécurité et à faire la transition au Programme d’Agrément Qmentum » (Agrément Canada, 2013b). Se déroulant durant une période de 12 à 18 mois, cet agrément de base permet aux établissements se conformant aux normes et aux exigences d’obtenir un agrément pour une période de deux ans. Au cours de cette période, ces établissements doivent continuer

de travailler sur « leurs buts en matière d’amélioration de la qualité au moyen du programme Qmentum » (Agrément Canada, 2013b) puisqu’ils devront éventuellement faire la transition vers le programme complet. Mis sur pied en 2008, le nom du programme Qmentum tire son origine des mots « qualité » et « momentum » (Agrément Canada, 2012a, 2013a). Ce programme est conçu pour « mettre l’accent sur la qualité et la sécurité dans tous les aspects des services d’un organisme, de la gouvernance et du leadership jusqu’à l’infrastructure et la prestation directe de soins, et ce, pour le bienfait des usagers, des clients, des résidents, du personnel et des bénévoles » (Agrément Canada, 2013f).

1.2.1 Contenu détaillé du programme Qmentum

Le contenu du programme Qmentum (Agrément Canada, 2010a, p.21; 2013g, pp.6-7) repose sur huit dimensions de la qualité (Agrément Canada, 2010a, p.19). Deux ensembles de normes sont associés à ces dimensions : les normes relatives à l’ensemble de l’organisme (comme la gouvernance durable et l’excellence des services, par exemple) et celles relatives à des populations spécifiques, à des secteurs ou services ou à des marchés personnalisés. À partir des normes, des critères y sont rattachés (Agrément Canada, 2010a, p.21; 2013g, pp.6-7) et se divisent en deux grandes catégories : les pratiques organisationnelles requises (POR) et les processus prioritaires.

Les pratiques organisationnelles requises (POR) (Agrément Canada, 2012b, p.3), regroupées en six catégories, visent à s’assurer que l’établissement est conforme à toutes les exigences relatives à « la culture de sécurité, la communication, l’utilisation de médicaments, le milieu de travail ou les effectifs, la prévention des infections, l’évaluation des risques » (Agrément Canada, 2014d, p.3). Également, un total de 35 POR sont présentes dans le programme Qmentum (Agrément Canada, 2012a, p.3). Pour qu’un établissement soit conforme à une POR, il doit répondre aux exigences de tous les tests de conformité. Ces tests sont divisés en tests principaux et tests secondaires (Agrément Canada, 2014d, p.1). Évidemment, tous les établissements n’ont pas à se conformer à toutes ces POR puisque selon le type d’établissement et selon le type de soins offerts, les normes à atteindre peuvent varier. Malgré tout, il a été soulevé par certains organismes que le nombre élevé de POR, « ainsi que le rythme de leur mise en œuvre ont des répercussions sur leur capacité à s’y adapter » (Agrément Canada, 2012a, p.3).

Au nombre de 23, les processus prioritaires touchent autant les pratiques de soins offerts aux clients que les pratiques administratives (Agrément Canada, 2010b, p.14). Un processus prioritaire est défini comme « un processus clé dans un organisme qui reflète les secteurs critiques et les mécanismes qui sont reconnus pour leurs répercussions importantes sur la qualité et la sécurité des soins et services » (Agrément Canada, 2010a, p.53). Toutefois, comme les types d’établissements évalués varient énormément, tous les processus ne sont

pas nécessairement évalués dans chacun des établissements. Les processus prioritaires sont évalués sur la base de critères à priorité élevée ou non-élevée (Agrément Canada, 2013g, p.4). Chacun de ces critères, peu importe son degré de priorité, regroupe des ensembles de normes (Agrément Canada, 2013g, p.14). Ces ensembles de normes peuvent également être utilisés afin de regrouper les processus prioritaires. Il faut également souligner qu’il est possible de constater dans des rapports d’évaluation d’Agrément Canada (Agrément Canada, 2013g) qu’une POR peut aussi se retrouver dans l’évaluation d’un processus prioritaire. Cela signifie que les POR et les processus prioritaires, bien qu’ils soient classifiés de façon distincte par Agrément Canada, semblent être intimement liés.

1.3 Le cycle d’agrément

Le programme Qmentum se réalise en trois phases en suivant un cycle de quatre ans. L’auto-évaluation marque le début de ce cycle, suivi par la visite d’agrément et se termine par l’évaluation des progrès. La figure 1 illustre le cycle de quatre ans du programme Qmentum (Agrément Canada, 2010a, p.16).

Figure 1. Cycle de quatre ans du programme Qmentum

1.3.1 Auto-évaluation

Première phase du programme Qmentum, le processus d’auto-évaluation permet aux organismes :

1. de déterminer dans quelle mesure ils ont atteint les quatre sections de normes (gouvernance durable, efficacité organisationnelle, excellence des services et expérience positive vécue par les clients); 2. de cerner les sections de normes à examiner plus en détail et finalement;

3. d’établir l’ordre de priorité des secteurs pour lesquels il faudra assurer un suivi (Agrément Canada, 2010a, p.18).

Durant cette phase, plusieurs outils sont utilisés. D’abord, trois questionnaires d'auto-évaluation en ligne doivent être complétés. Ces questionnaires qui doivent être remplis par « chaque personne d’un service ou d’un secteur particulier de l’organisme » (Agrément Canada, 2010a, p.30) englobent les principaux éléments du contenu des normes et traitent de la gouvernance, de la culture de sécurités des patients de l’organisme et de la qualité de vie au travail. En date de 2010, l’établissement devait aussi recueillir des données et produire, de façon trimestrielle, des indicateurs en lien avec la sécurité des patients (bilan comparatif des médicaments à l’admission, infections nosocomiales et infections des champs opératoires) et les soins palliatifs (Agrément Canada, 2010a, p.37). Les résultats agrégés de ces trois questionnaires ainsi que des résultats des indicateurs sont ensuite remis aux visiteurs avant la visite d’agrément (Agrément Canada, 2010a, p.32). Une fois les données traitées par Agrément Canada, les résultats et le niveau de priorité à y accorder sont transmis à l’établissement par le biais du portail internet afin qu’un logiciel interne puisse élaborer automatiquement le plan d'amélioration de la qualité du rendement de l'organisme (Agrément Canada, 2010a, p.42). C’est également à partir de ces résultats que des signaux d’alerte peuvent être émis pour certains éléments. Les cotes de priorité d’Agrément Canada sont basées sur le niveau de risque ainsi que sur l’historique de l’organisme (Agrément Canada, 2010a, p.44). Finalement, des preuves que des mesures sont prises doivent être fournies à Agrément Canada avant et après la visite d’agrément afin d’accorder un suivi aux secteurs prioritaires (Agrément Canada, 2010a, p.46).

1.3.2 Visite d’agrément

Lors d’une visite d’agrément dans le cadre du programme Qmentum, un nombre maximal de 23 processus prioritaires peuvent être examinés et certains d’entre eux peuvent être répétés plus d’une fois. Le tableau 1 à la page suivante présente ces processus prioritaires.

Tableau 1. Liste des processus prioritaires d'Agrément Canada

Source : Agrément Canada (2010a, p.54)

Ces processus prioritaires sont répartis selon deux types de traceurs. D’abord, les traceurs cliniques visent l’évaluation des soins prodigués directement aux patients. Les traceurs administratifs quant à eux touchent la gouvernance, le leadership et la gestion de l’organisation (Agrément Canada, 2010a, pp.53, 54; 2010b, p.14). 1.3.2.1 Huit étapes de la méthodologie des traceurs

La visite d’agrément est le moment où les visiteurs mettent en application la méthodologie des traceurs, qui se définit comme étant un « processus interactif qui est concentré sur l’observation directe en vue de recueillir des preuves sur la qualité et la sécurité des soins et des services offerts par l’organisme » (Agrément Canada, 2010a, p.53). Le but visé par l’évaluation d’un traceur est d’évaluer le niveau de conformité aux différents critères.

Lors d’une visite en établissement, un chef d’équipe est responsable de guider et diriger les visiteurs sur place et de gérer tout problème pouvant survenir au cours de l’évaluation sur le terrain (Agrément Canada, 2010b, p.8). Il est également en charge de l’application du processus d’évaluation d’un établissement par la méthodologie des traceurs. Le chef d’équipe doit faire preuve de nombreuses qualités essentielles autant du point de vue de la gestion que du point de vue de la planification (Agrément Canada, 2010b, p.8). Concrètement, la méthodologie des traceurs se déroule en huit étapes consécutives (Agrément Canada, 2010b, p.18).

1.3.2.1.1 Revoir les processus prioritaires

La première étape que les visiteurs doivent entreprendre est celle de revoir les processus prioritaires applicables à l’établissement qu’ils ont à évaluer (Agrément Canada, 2010b, p.14). Comme il a été mentionné précédemment, chaque organisme n’a pas à se soumettre aux 23 processus prioritaires. Selon la taille de

Processus prioritaires

 Aide à la décision  Environnement physique  Interventions _{chirurgicales}  Répercussions sur le _rendement  Appareils médicaux

et utilisation de

l’équipement  Épisode de soins  Leadership clinique

 Santé et bien-être de la population  Capital humain  Gestion des maladies chroniques  Planification et conception des

services

 Services transfusionnels  Cheminement des

patients  Gestion des médicaments  Préparation aux situations d’urgence  Services de diagnostic par imagerie  Communication  Gestion des ressources  Prévention des _infections  Services de diagnostic _{par laboratoire}  Compétences  Gestion intégrée de la qualité  Prestation de soins et prise de décisions fondées sur _{des principes d’éthique}

l’établissement, sa structure, la population qu’il dessert ainsi que les services qu’il offre, les processus prioritaires ayant à être évalués sont déterminés par Agrément Canada et un plan d’évaluation personnalisé à l’organisme est ensuite élaboré par l’équipe de visiteurs (Agrément Canada, 2010b, p.10). À ce stade, le chef d’équipe, responsable de l’élaboration du plan de la visite, doit recueillir de la rétroaction de la part de son équipe ainsi que du coordonnateur responsable de l’agrément de l’établissement dans lequel sera réalisée l’évaluation. Selon les commentaires reçus, le plan de l’évaluation peut être soumis à certaines modifications (Agrément Canada, 2010b, p.10).

1.3.2.1.2 Identifier la documentation requise

Au moment où le plan de l’évaluation est complété, des documents doivent être regroupés afin d’obtenir l’information nécessaire sur les processus qui seront observés et évalués à l’aide des traceurs. La décision quant au choix des processus à évaluer est basée sur le type d’établissement et selon les services qui y sont offerts. Pour ce faire, avant la visite sur place, une téléconférence a lieu entre le chef d’équipe, le spécialiste de l’agrément d’Agrément Canada, le responsable de l’agrément de l’établissement ainsi que les visiteurs (Agrément Canada, 2010b, p.10). Cette téléconférence sert notamment à discuter :

 des problèmes récents qu’a pu rencontrer l’organisation;

 des objectifs et des attentes de la part de l’organisation en plus du rôle et des responsabilités des visiteurs;

 du plan de la visite préalablement établi;  des documents exigés par les visiteurs;

 d’autres commodités requises lors de l’arrivée des visiteurs, comme des salles de réunion;  de tout document requis à l’avance par les visiteurs afin de préparer adéquatement la visite.

Une fois cette téléconférence complétée, le chef d’équipe transmet le plan final de la visite à l’organisation ainsi qu’à son équipe de visiteurs avant la visite (Agrément Canada, 2010b, p.10).

1.3.2.1.3 Revoir les graphiques et les dossiers sur l’établissement

Cette troisième étape est la dernière précédant la visite. À ce moment, les visiteurs doivent se familiariser avec le profil de l’établissement. Ce profil, défini préalablement par le coordonnateur de l’agrément de l’organisme, comprend de l’information quant à l’organigramme de l’organisme, les programmes et les services offerts, sa clientèle, ses forces ainsi que ses innovations (Agrément Canada, 2010b, p.11). La documentation reçue concernant les sondages d’auto-évaluation, les résultats des indicateurs ainsi qu’avec les processus prioritaires qui sont évalués doivent aussi être consultés par les visiteurs. Dans l’éventualité où un visiteur considère qu’il manque de l’information, il doit se référer à son chef d’équipe ou encore au

spécialiste de l’agrément d’Agrément Canada afin que les documents soient disponibles au début de la rencontre de planification de l’évaluation (Agrément Canada, 2010b, p.11).

1.3.2.1.4 Rencontrer les personnes ressources et déterminer les endroits à visiter

Dès son arrivée dans l’établissement, l’équipe des visiteurs rencontre d’abord le coordonnateur de l’agrément de l’organisme. Cette rencontre préparatoire permet aux visiteurs de bien comprendre la structure de l’organisation, de ses programmes et services (Agrément Canada, 2010b, p.13).

La partie « terrain » du traceur débute à ce moment. Les visiteurs sont mis en relation avec une personne ressource de l’établissement qui est responsable de les guider dans l’établissement et de les mener aux employés ou aux patients lorsque nécessaire. Le coordonnateur de l’agrément de l’organisation assigne une personne ressource aux visiteurs tout juste avant le début de l’évaluation. Cette personne peut répondre aux questions générales des visiteurs. Toutefois, cette personne ressource n’est pas tenue de donner des détails spécifiques sur les points étant évalués et elle ne participe pas aux entrevues avec les employés ou les patients (Agrément Canada, 2010b, p.13).

1.3.2.1.5 Déterminer les questions à poser

Il s’agit de l’étape clé de la méthodologie des traceurs. Afin de s’assurer que les visiteurs aient une parfaite compréhension du processus à évaluer, ils sont amenés à effectuer les quatre grandes activités lors de l’application d’un traceur, comme le présente la figure 2 (Agrément Canada, 2010a, p.55; 2010b, p.15). Figure 2. Activités liées à un traceur

Source : Agrément Canada (2010a, p.55; 2010b, p.15)

1. CONSULTER

les dossiers des clients et 

les documents

2. PARLER ET ÉCOUTER

Entrevues individuelles 

ou discussions et 

discussions de groupe

3. OBSERVER

Observation directe et 

tournées

4. CONSIGNER

ce qui est entendu, vu et 

lu

En ce qui concerne les questions que les visiteurs peuvent poser, Agrément Canada fournit un canevas de questions pour chacun des traceurs. Les visiteurs sont ensuite libres d’utiliser les questions mises à leur disposition ou encore d’en créer eux-mêmes afin de personnaliser leur évaluation. Les critères et les normes à évaluer restent les mêmes, seules les questions peuvent être changées.

1.3.2.1.6 Discuter des résultats obtenus lors des séances d’échange d’information des visiteurs

À la fin de chaque journée d’évaluation, une rencontre est organisée afin que les visiteurs échangent sur ce qu’ils ont observé. Cela leur permet ainsi d’avoir une vision plus globale de l’organisation. Ces rencontres s’avèrent particulièrement utiles lorsqu’un traceur est complété afin de préparer le compte rendu qui sera fait au personnel responsable de l’établissement. Certains des sujets pouvant être abordés spécifiquement peuvent toucher :

« la performance de l’organisation, comme les services, les programmes, les observations spécifiques à certains sites, tout comme les observations en laboratoire, les diagnostics par imagerie, la pharmacologie, […], les processus prioritaires et les traceurs, les conversations avec les patients et le personnel, la revue de la documentation, les observations, les notes attribuées individuellement, les questions en lien avec les traceurs, la planification ou la révision du prochain traceur (traduction libre) » (Agrément Canada, 2010b, pp.15-16).

Dans une situation où les visiteurs ne sont pas au même endroit, par exemple s’ils sont sur des sites d’évaluation différents, ces séances d’information doivent quand même avoir lieu, soit par téléconférence ou par tout autre moyen (Agrément Canada, 2010b, p.16).

En plus des rencontres quotidiennes entre les visiteurs, des rencontres doivent avoir lieu avec le coordonnateur de l’agrément de l’établissement. Ce dernier peut alors donner de la rétroaction aux visiteurs quant à leur approche et leurs interactions avec le personnel et les patients dans le but d’optimiser l’efficacité de l’évaluation (Agrément Canada, 2010b, p.16).

À la dernière étape de l’évaluation, deux séances sont prévues. La première a lieu entre le chef d’équipe et les visiteurs afin qu’ils puissent échanger leurs résultats préliminaires et partager leurs impressions générales de l’évaluation. La deuxième rencontre permet aux visiteurs de donner au personnel de l’établissement un compte rendu sommaire des résultats obtenus, des forces de l’établissement ainsi que les voies d’amélioration (Agrément Canada, 2010b, p.16).

1.3.2.1.7 Attribuer une cote

En utilisant l’outil sur le portail d’Agrément Canada, les visiteurs doivent attribuer une cote pour chacun des critères déterminés pour l’établissement. Trois cotations sont possibles : le critère est atteint, le critère n’est pas atteint, ou le critère ne s’applique pas (Agrément Canada, 2010b, p.18).

1.3.2.1.8 Rédiger des commentaires pour l’organisation

En plus d’évaluer si les critères ont été atteints ou non, les visiteurs doivent aussi ajouter des commentaires pour chacun des critères reliés aux ensembles de normes évalués qui sont enregistrés dans le Quality Performance Roadmap (QPR). Ce dossier sera d’ailleurs utilisé par Agrément Canada afin de rendre la décision quant à l’agrément et aux conditions de l’agrément (Agrément Canada, 2010b, p.19).

1.3.3 Type d’agrément

Un rapport officiel et détaillé est acheminé par Agrément Canada à l’organisme dix jours après la fin de la visite. Ce rapport indique la décision quant à l’agrément (Agrément Canada, 2010a, p.61). Trois types de décisions sont possibles : agrément, agrément avec conditions et refus d’agrément (Agrément Canada, 2010a, p.70). Les établissements ont cinq jours ouvrables pour revoir le rapport et soumettre des commentaires, s’ils le désirent.

Pour les organismes ayant obtenu une mention d’agrément avec conditions, selon la nature des critères et le niveau de conformité aux POR, une période de six à douze mois est accordée par Agrément Canada afin de régler les problèmes soulevés dans l’évaluation. Les organismes doivent fournir une preuve que des mesures correctives ont été prises pour résoudre la situation. Selon le cas, le suivi exigé par Agrément Canada peut se faire sous la forme d’un rapport de suivi produit par l’organisme ou pour la tenue d’une nouvelle visite en établissement (Agrément Canada & Conseil Québécois d'Agrément, 2011, p.83).

Selon les changements apportés par l’organisme et les progrès accomplis, Agrément Canada peut préciser ou modifier la décision relative à l’agrément (Agrément Canada, 2010a, pp.65, 66, 69). Si un organisme manque toujours de répondre adéquatement aux exigences d’Agrément Canada, son statut d’organisme agréé peut lui être retiré (Agrément Canada & Conseil Québécois d'Agrément, 2011, p.83).

1.3.4 Évaluation des progrès

Le programme Qmentum s’inscrit dans une culture intégrée d’amélioration continue de la qualité où les mesures d’amélioration de l’organisme ne doivent pas cesser une fois la visite d’agrément complétée. Peu importe la décision rendue par Agrément Canada, les établissements doivent fournir annuellement des données découlant des indicateurs identifiés ainsi que des mises à jour du plan d’action entrepris. Également, à tous les quatre ans (donc une fois par cycle d’agrément), les établissements doivent reprendre le processus d’auto-évaluation avec les questionnaires à remplir (Agrément Canada, 2010a, p.72).

1.4 Problématique et objectifs de recherche

Selon les standards du Joint Committee on Standards for Educational Evaluation et Yarbrough (2011), une démarche d’évaluation doit être conforme à certaines qualités et normes précises. Les auteurs définissent un standard comme étant un niveau de qualité ou de réalisation. Également, un critère servant à évaluer un standard se définit comme étant un principe auquel on se réfère pour distinguer une chose d’une autre, pour émettre un jugement, une estimation.

Le Joint Committee on Standards for Educational Evaluation et Yarbrough (2011) proposent cinq standards auxquels une évaluation dite de qualité doit se conformer. D’abord, l’évaluation doit être utile à la prise de décision. Notamment, une attention doit être donnée à la crédibilité de l’évaluateur ainsi qu’aux parties prenantes. L’évaluation doit également être faisable, dans le sens où elle doit tenir compte de l’établissement de procédures pratiques ainsi que la viabilité contextuelle. Le troisième standard porte sur la propriété, faisant référence entre autres à la clarté et à la justice ainsi qu’à la transparence et à la divulgation. Ensuite, l’évaluation doit faire preuve de précision. En plus des décisions, les conclusions doivent également être justifiées. Ce standard regroupe aussi les principes de validité et de fidélité de l’information. Finalement, dans le cadre d’une évaluation, des comptes doivent être rendus. Dans ce contexte, il est question de l’évaluation de la documentation et de la métaévaluation interne et externe.

Le principe de la métaévaluation est défini comme étant le fait d’évaluer une évaluation en utilisant d’autres normes d’évaluation. Une métaévaluation devrait systématiquement être réalisée afin de comparer les résultats obtenus à des standards afin que les preneurs de décisions puissent adéquatement identifier les forces et les faiblesses résultats de l’évaluation (Joint Committee on Standards for Educational Evaluation et Yarbrough, 2011).

Agrément Canada a introduit en 2008 la méthodologie des traceurs afin de procéder à l’évaluation de la conformité des établissements aux normes et aux critères de la qualité. Il est connu que cette méthodologie ait été empruntée des États-Unis, là où le Joint Commission l’appliquait déjà avant Agrément Canada (Joint Commission, 2007). La méthodologie des traceurs est, pour Agrément Canada, le moyen d’obtenir de l’information à partir de données probantes sur les pratiques administratives ainsi que les services de soins de santé offerts par les établissements évalués. Les résultats de l’évaluation menée par les visiteurs conduisent à la décision d’agrément. Si ces résultats ne sont pas fiables, cela peut avoir comme effet de compromettre la prise de décision quant à l’attribution de l’agrément et des recommandations qui sont faites à l’établissement, comme le présente la figure 3 à la page suivante.

Figure 3. But de la méthodologie des traceurs

Selon les résultats des évaluations menées auprès des établissements, Agrément Canada a déterminé que la méthodologie des traceurs semble être pertinente pour procéder à l’évaluation de la conformité aux normes du programme Qmentum (Agrément Canada, 2012a, p.5). Toutefois, aucune information disponible ne permet de justifier le choix de la méthodologie des traceurs plutôt qu’une autre. Il est impossible de connaitre les raisons qui ont amené Agrément Canada à utiliser cette méthodologie. Il a été aussi impossible de savoir pourquoi l’ancienne façon de procéder à l’évaluation des normes et des critères de la qualité a été délaissée, et quels sont les avantages réels de l’introduction de la méthodologie des traceurs dans le programme Qmentum. Il a été possible toutefois, à l’analyse des résultats d’un sondage mené en 2008 auprès des visiteurs, de relever certaines insatisfactions liées à l’application de cette méthodologie. En effet, ceux-ci disaient « [ne pas avoir] assez de temps pour effectuer un suivi approfondi et cela crée des préoccupations quant au manque d’information qui peut en découler » (Agrément Canada, 2008, p.15). Depuis 2008, aucune information supplémentaire n’a été disponible par rapport à de quelconques modifications suite à ce commentaire.

Les données disponibles sur la méthodologie des traceurs sont donc très retreintes et se limitent à celles produites par l’organisme lui-même. En effet, il a été impossible de trouver, dans les écrits actuels, de quelconques données probantes ni sur la pertinence, ni sur l’efficacité réelle de la méthodologie des traceurs appliquée dans le cadre du programme Qmentum. Compte tenu de l’importance de cette méthodologie dans le programme d’agrément, il devient urgent de démontrer la qualité de la méthodologie servant à produire les résultats à la base de la décision de l’agrément. Il y a maintenant six ans, Greenfield et Braithwaite (2009) parlaient déjà du besoin criant d’obtenir des preuves tangibles quant à l’efficacité des nouvelles méthodes introduites en agrément dans plusieurs pays, notamment en ce qui a trait à la méthodologie des traceurs. En effet, bien que cette méthodologie soit appliquée ailleurs dans le monde, cela ne veut pas nécessairement dire qu’elle soit la plus pertinente et la plus fiable afin de produire de l’information de qualité sur les services de santé canadiens.

Afin de porter un jugement sur cette méthodologie, il est important de se baser sur un modèle d’évaluation rigoureux qui permettra de prendre en compte les critères de la qualité reconnus d’une bonne évaluation qui peuvent s’appliquer à la méthodologie des traceurs. Le modèle ayant été choisi dans cette étude est le « modèle synergique des qualités évolutives » (MSQE) de Plante et Bouchard (2002). Une description détaillée de ce modèle est présentée dans le chapitre suivant.

La présente étude porte sur la perception des visiteurs par rapport à l’utilisation de la méthodologie des traceurs pour l’évaluation des processus prioritaires dans le cadre de la visite d’agrément dans les établissements. À partir des qualités découlant du MSQE, les objectifs de cette recherche sont de :

1. Déterminer, selon la perception des visiteurs d’Agrément Canada, la qualité de la méthodologie des traceurs sous l’angle de la cohérence, de l’à-propos, de la flexibilité, de la synergie et de l’efficacité. 2. Déterminer, selon la perception des visiteurs d’Agrément Canada, les forces et les faiblesses de la

méthodologie des traceurs.

Le chapitre suivant sert à clarifier la terminologie des concepts clés ayant un lien avec cette recherche en plus de définir le modèle théorique utilisé, soit le MSQE de Plante et Bouchard (2002). Ensuite, le cadre d’analyse est constitué afin d’être en mesure d’aborder les éléments méthodologiques ayant mené à l’obtention des résultats de cette recherche.

2. Concepts clés et modèle d’analyse

Ce chapitre porte sur la définition des principaux concepts rejoignant le sujet de cette recherche. Premièrement, la mesure et l’évaluation sont définis afin d’en clarifier la différence. Par la suite, une définition de ce qui est entendu par « l’évaluation par les pairs » est donnée. Également, comme le sujet de l’étude concerne la perception des visiteurs, une définition de ce terme est présentée. Ensuite, le modèle théorique utilisé afin de construire le cadre d’analyse, le « Modèle synergique des qualités évolutives (MSQE) » de Plante et Bouchard (2002), est abordé afin de présenter le point de vue préconisé ainsi que les qualités évaluées. Finalement, le modèle d’analyse ayant été construit est défini.

2.1 Clarification de la terminologie

2.1.1 Mesure

Une première définition de la mesure est donnée par Plante (1994, p.8). Cet auteur mentionne que « mesurer, c’est attribuer une quantité quelconque à un phénomène ou à un objet, à partir d’une règle d’attribution déterminée à priori ». De ce fait, avant de pouvoir mesurer, il est impératif d’avoir défini l’objet de la mesure (Plante, 1994, p.8). Par contre, « certains phénomènes ou objets sont plus difficiles que d’autres à définir, donc à observer. Il faut alors rechercher des signaux du phénomène ou de l’objet à mesurer. [...] Ces signaux prennent alors valeur d’indicateur, ils constituent en quelque sorte des phénomènes qui témoignent de l’existence d’un autre » (Plante, 1994, p.8). Bernier et Pietrulewicz (1997, p.13) vont dans le même sens en disant que « la mesure est une opération qui consiste à associer, selon certaines règles, des symboles (le plus souvent numériques) à des objets, à des évènements ou à des individus de façon à évaluer le degré auquel ils présentent certains attributs. Une fois cette opération terminée, on qualifie ces symboles de ‘’résultats de la mesure’’ ». Finalement, lors d’une mesure, ce sont les attributs qui sont mesurés et non les objets ou les individus en question (Bernier et Pietrulewicz, 1997, p.13). Ces auteurs poursuivent en précisant que « la mesure s’appuie sur des faits concrets et s’applique au monde réel » (Bernier et Pietrulewicz, 1997, p.16).

2.1.2 Évaluation

Plusieurs définitions sont données lorsqu’il est question d’évaluation et elles réfèrent toujours au fait de porter un jugement. En effet, Chassé (2009, p.268) dit que « par l’entremise d’une démarche systématique, l’évaluation consiste à déterminer la valeur et le mérite de l’objet à l’étude, dans le but de porter un jugement ». Une définition de l’évaluation de la qualité d’un programme en santé est également donnée par Chassé (2009, p.268). Selon elle, cette évaluation « consiste à porter un jugement sur la valeur et le mérite d’un programme en santé par l’entremise de l’une ou de plusieurs dimensions de la qualité sélectionnées préalablement ». Jacques Plante (1994, p.9) mentionne quant à lui qu’évaluer, « c’est porter un jugement de

valeur sur l’état d’une situation, d’un phénomène ou d’un objet, comparativement à un standard désiré ou normalement accepté ». Bernier et Pietrulewicz (1997, p.14) abondent eux aussi dans le même sens en définissant « l’évaluation comme étant une opération qui consiste à porter un jugement de valeurs ou à accorder une valeur à un objet, à un évènement ou à une personne en comparant cet objet, cet évènement ou cette personne à un critère donné ». Ces deux auteurs font également un parallèle entre l’évaluation et la mesure en disant que ce jugement peut être le résultat de la mesure (Bernier et Pietrulewicz, 1997, p.14). L’exemple donné par les auteurs est que s’il est question d’une personne de 90 ans, le fait de mentionner « 90 ans » est le résultat d’une mesure. Lorsque le « 90 ans » en question est qualifié de « très âgé », il s’agit d’un jugement qui résulte de la mesure précédente (Bernier et Pietrulewicz, 1997, p.15).

Une évaluation peut être de deux types, soit formative ou sommative. L’évaluation formative « s’inscrit dans une perspective d’amélioration du programme et porte sur les diverses lacunes à combler et sur les forces à sauvegarder » (Plante, 1994, p.9) tandis que l’évaluation sommative « se termine au moment où la sanction est énoncée » (Plante, 1994, p.9). Dans le cadre du programme Qmentum, il serait possible de comparer la phase d’autoévaluation à une évaluation formative et l’évaluation faite par les visiteurs, à l’aide de la méthodologie des traceurs, à une évaluation sommative.

2.1.2.1 Évaluation par les pairs

Étant donné qu’Agrément Canada utilise une méthode d’évaluation par les pairs, il est important de clarifier ce qui est entendu par un pair. Le American Nurses Association définit un pair comme étant « un individu au même rang ou statut, selon les normes opérationnelles d’un établissement donné (traduction libre) » (Ray et Meyer, 2014, p.53). Une autre définition, semblable à la première, est donnée par Cronbach (1969, p.589). Ce dernier mentionne qu’un « pair est un individu occupant le même rang à l’intérieur de l’organisation que la personne évaluée (traduction libre) ». Pour être considéré comme un auditeur externe (ou un pair provenant d’une organisation externe), celui-ci doit essentiellement avoir les connaissances et le talent nécessaires en lien avec le milieu qu’il évaluera (Cappelli, Guglielmetti, Mattia, Merli et Renzi, 2011, p.492). Cappelli et al. (2011, p.492) définissent l’évaluation par les pairs comme étant « un groupe d’experts, les pairs, qui sont en charge d’évaluer la qualité des performances managériales d’une organisation (traduction libre) ». Ces auteurs mentionnent également que l’évaluation par les pairs peut être utilisée afin d’établir des références dans le but d’améliorer des services publics (Cappelli et al., 2011, p.491).

En ce qui concerne la fiabilité ou la qualité des décisions prises suite à une évaluation par les pairs, Wessely (1998, p.302) mentionne que celles-ci sont généralement meilleures lorsqu’elles concernent des décisions simples plutôt que des décisions complexes. Cet auteur en ajoute en mentionnant que « l’évaluation par les pairs est souvent censurée par son conservatisme inhérent et biaisée en ce qui concerne la recherche

spéculative ou innovatrice » (Wessely, 1998, p.303). En d’autres mots, l’évaluation par les pairs peut être efficace mais lorsqu’elle concerne un sujet plus complexe, des biais peuvent être introduits. De plus, une évaluation menée par des pairs donnera des résultats différents d’une évaluation menée par des supérieurs puisque là où seulement un ou deux supérieurs peuvent porter un jugement, un nombre plus élevé de pairs peuvent participer et ainsi émettre une évaluation plus éclairée (Cronbach, 1969, p.590). L’avantage toutefois d’utiliser l’évaluation par les pairs, comme le mentionne Cronbach (1969, p.592), est qu’un pair « peut collecter des données pendant plusieurs heures contrairement à un superviseur ou un observateur ». Dans le cas d’Agrément Canada, les visiteurs sont sur place pendant plusieurs jours à observer des situations précises. Les supérieurs des établissements ne pourraient pas nécessairement consacrer autant de temps à réaliser une évaluation aussi élaborée.

2.1.3 Perception

Une définition de la perception est donnée par Jimenez (1997, p.7), qui dit que « la perception est une représentation de l’environnement ». Le même auteur donne une définition venant du domaine de la psychologie. Celle-ci serait que « la perception se définit comme une connaissance immédiate d’origine sensorielle » (Jimenez, 1997, p.7). De manière plus précise, « la perception […] apparaît comme la fonction psychologique qui […] offre, de façon immédiate, une représentation fidèle de […] l’environnement » (Jimenez, 1997, p.8). Le terme « représentation » quant à lui désigne

« un résultat instantané et éphémère, pas nécessairement conscient, d’un processus perceptif ou cognitif. La représentation perceptive, l’image mentale, le souvenir, le rêve, sont des représentations. De façon plus large, le terme ‘’représentation’’ s’applique aussi aux connaissances générales stabilisées dans la mémoire, telles que les schémas cognitifs » (Jimenez, 1997, p.10).

En somme, ces définitions permettent de dire que la perception qu’un visiteur aura de l’environnement qu’il évalue peut lui permettre de porter un jugement le menant à compléter son évaluation.

2.2 Modèle théorique

Le modèle choisi pour évaluer la méthodologie des traceurs d’Agrément Canada est le Modèle synergique des qualités évolutives (MSQE) de Plante et Bouchard (2002). Ce modèle a d’abord été choisi puisqu’il présente la qualité globale « comme un idéal vers lequel il est possible de tendre, sans toutefois parvenir à l’atteindre » (Plante et Bouchard, 2002, p.219). Il convient également à tout type d’organisme, peu importe qu’il s’agisse d’une organisation privée ou publique et peu importe son domaine (Plante et Bouchard, 2002, p.220).

Comme il peut s’adapter à toutes les organisations et programmes, il est possible d’y inclure les paramètres de la méthodologie des traceurs. En effet, le MSQE a été conçu « de manière telle qu’il peut servir de

référentiel, de guide ou de balise pour construire des dispositifs optima d’indicateurs de la qualité » (Plante et Bouchard, 2002, p.220). D’abord, il importe de définir précisément ce à quoi réfèrent les différents points de vue de la qualité identifiés dans ce modèle (soit la qualité voulue, rendue et perçue) ainsi que les neuf qualités transversales. En ce qui concerne l’importance cruciale des qualités transversales qui seront abordées un peu plus loin, leur analyse pourrait démontrer, par exemple, que la méthodologie des traceurs « s’avère très efficace parce [qu’elle] atteint pleinement les objectifs visés, tout en étant non pertinent[e] parce que les objectifs en question ne sont pas en lien de conformité avec les besoins auxquels [elle] se doit de répondre » (Plante et Bouchard, 2002, p.228). Ces qualités sont « la pertinence, la cohérence, l’à-propos, l’efficacité, la durabilité, l’efficience, la synergie, l’impact et la flexibilité » (Plante et Bouchard, 2002, pp.230, 231). Afin de comprendre les éléments théoriques qui suivront, la figure 4 présente les six composantes ainsi que les neuf qualités transversales du MSQE.

Figure 4. Modèle synergique des qualités évolutives

2.2.1 Points de vue

Le premier point de vue identifié dans le modèle fait référence à la qualité voulue, c’est à dire « ce qui était voulu au départ » (Bouchard, 2010, p.6). Cette qualité doit normalement être définie lorsque le programme est élaboré, en faisant référence à ce qui sera attendu comme résultat. La qualité rendue quant à elle fait référence à « ce qui a été effectivement rendu à l’arrivée » (Bouchard, 2010, p.6). En d’autres mots, cette qualité « est adoptée pour observer les effets attribuables au programme » (Bouchard, 2010, p.6). Finalement, le dernier point de vue fait référence à la qualité perçue. Celle-ci « permet de connaître, à travers l’opinion, l’avis et le jugement des divers acteurs concernés, les perceptions qu’ils entretiennent vis-à-vis les intentions, les réalisations concrètes du programme et les effets de tous ordre qui peuvent lui être attribués » (Bouchard, 2010, p.6). Lorsque ces trois points de vue sont mis en relation, il est possible de dire que la qualité perçue fournit « un avis à la fois sur le rendu ou sur le voulu » (Bouchard, 2010, p.6), tel que représenté par la figure suivante. Le point de vue choisi dans le cadre de cette étude est celui de la qualité perçue puisque la perception des visiteurs est préconisée.

Figure 5. Points de vue de la qualité

Source : Bouchard (2010, p.6)

2.2.2 Qualités transversales

Le MSQE identifie neuf qualités transversales. Plus précisément, « une qualité est considérée comme transversale lorsqu’elle a trait aux liens de conformité qui unissent l’une ou l’autre des six composantes d’un programme (les besoins, les contraintes, les objectifs, les moyens, les personnes et les effets) » (Bouchard, 2010, p.5). Ces qualités sont primordiales dans le modèle puisque chacune d’elle a « comme propriété fondamentale de questionner la raison d’être des choses, leur justification, leur conformité ou leur adéquation en rapport avec un second élément qui justifie sa présence » (Bouchard, 2010, p.5).

2.2.2.1 La pertinence

La pertinence représente le lien de conformité entre les objectifs du programme et les besoins que celui-ci doit satisfaire (Plante et Bouchard, 2002, p.230). Dans ce modèle, un objectif représente ce qui détermine

l’orientation d’un programme, ce vers quoi il devra normalement aboutir (Plante, 1994, p.12). Les besoins font référence à la raison d’être externe du programme. Ils doivent être ce à quoi il doit répondre, ce qui justifie sa création (Plante, 1994, p.12). C’est d’ailleurs à partir des besoins que le programme sera non seulement élaboré mais aussi implanté et évalué (Plante, 1994, p.13). Ainsi, pour qu’un programme soit pertinent, il doit y avoir un lien clair entre ce qu’il vise et ce à quoi il doit répondre.

2.2.2.2 L’à-propos

L’à-propos représente le lien de conformité entre les objectifs et les contraintes auxquelles le programme doit se conformer (Plante, 1994, p.17; Plante et Bouchard, 2002, p.230). Les contraintes d’un programme sont externes à celui-ci. Toutefois, de par leur importance significative, le programme doit obligatoirement s’y conformer (Plante et Bouchard, 2002, p.230). En d’autres mots, cela signifie que l’à-propos vérifie si le programme « convient aux conditions qu’il a l’obligation de respecter » (Plante, 1994, p.17). Les contraintes peuvent être quasi-infinies. Elles peuvent être d’ordre politique, financière, de distance (un programme qui couvrirait l’ensemble d’un pays comme celui d’Agrément Canada), légale, culturelle, religieuse, psychologique, etc. Un programme peut être tout à fait pertinent, mais ne pas répondre à l’à-propos en ne respectant pas certaines contraintes lui étant imposées.

2.2.2.3 La cohérence

La cohérence fait le lien de conformité entre les moyens et les personnes mises en place pour atteindre les objectifs (Plante, 1994, p.17; Plante et Bouchard, 2002, p.230). Les moyens font référence à « tout ce à quoi on fait appel, ou dont on peut disposer dans un programme, pour atteindre les objectifs visés » (Plante, 1994, p.12). Ces éléments doivent avoir un lien direct avec les objectifs visés. Un moyen représente une activité, une méthode, un local nécessaire à la réalisation d’une activité, une ressource matérielle quelconque ou divers outils (Plante, 1994, p.12). Les personnes, elles, représentent l’élément vivant, celles « qui fournissent les caractéristiques fonctionnelles du programme, qui en font un instrument de changement » (Plante, 1994, p.12). Ainsi, en jugeant de la cohérence, il faut être en mesure d’évaluer, une fois que les objectifs sont concordants avec les besoins, si les autres éléments en lien avec le programme collaboreront bien afin d’atteindre les objectifs (Plante, 1994, p.13).

2.2.2.4 La synergie

La synergie quant à elle représente le lien de conformité entre la coordination des actions par les personnes en place pour atteindre les objectifs du programme (Plante et Bouchard, 2002, p.231). En d’autres mots, cela signifie qu’il faut évaluer si les actions prises par les personnes choisies dans le but d’actualiser les moyens sont mises en œuvre adéquatement dans le but d’atteindre les objectifs visés.

2.2.2.5 L’efficacité

L’efficacité représente le lien de conformité entre les objectifs visés et les résultats effectivement obtenus (Plante et Bouchard, 2002, p.230). Il s’agit, la plupart du temps, de la partie la plus difficile à définir. Pour cette raison, la définition s’en tient au sens technique de l’efficacité. Dans ce sens, « évaluer l’efficacité d’un programme, c’est juger dans quelle mesure, il atteint ses objectifs » (Plante, 1994, p.18). Ainsi, les résultats doivent être placés directement en relation avec les résultats obtenus et ceux-ci sont évalués autant d’un point de vue de la quantité que de la qualité (Plante, 1994, p.18).

2.2.2.6 La durabilité

La durabilité représente le lien de conformité entre la durée des résultats visés et le maintien effectif de ces résultats dans le temps (Plante, 1994, p.18; Plante et Bouchard, 2002, p.230). Cette qualité « se situe dans le prolongement de l’évaluation de l’efficacité du programme » (Plante, 1994, p.18). C’est-à-dire qu’à cette étape, il s’agit d’évaluer le maintien de la quantité et de la qualité de certains résultats dans le temps. Dans l’éventualité où la maîtrise des connaissances, des habiletés ou des comportements diminuerait trop rapidement, des modifications au programme devraient être apportées (Plante, 1994, p.18).

2.2.2.7 L’efficience

L’efficience représente le lien de conformité entre l’efficacité d’un programme et un apport moindre de ressources consenti au programme (Plante, 1994, p.19; Plante et Bouchard, 2002, p.231). En évaluant l’efficience, il faut prendre pour acquis que le programme est efficace ou en voie de l’être, sans quoi cette qualité devient caduque. Il s’agit alors d’évaluer s’il est possible d’augmenter « la qualité et la quantité des résultats du programme, sans accroitre pour autant les moyens alloués au programme » (Plante, 1994, p.19) ainsi que s’il est possible, « sans changer la qualité ou la quantité des résultats attribuables au programme, [de] diminuer les investissements engagés dans le fonctionnement du programme » (Plante, 1994, p.19). 2.2.2.8 L’impact

L’impact représente le lien de conformité entre les résultats attribuables au programme mais non spécifiquement visés et ce qui est acceptable ou souhaitable d’un tel programme (Plante, 1994, p.20; Plante et Bouchard, 2002, p.232). Étant donné que l’élaboration du programme vise à répondre à des besoins clairement définis, mais que sa mise en production peut avoir des effets inattendus « entre le voulu, le rendu et le perçu du programme, au sein de son organisation d’appartenance et du milieu social dans lequel il est inséré, un programme engendre des effets qui s’ajoutent aux résultats attendus ou annoncés par l’intermédiaire des objectifs » (Plante, 1994, p.20). Étant inattendus, ces effets peuvent parfois autant être positifs que négatifs. Ainsi, il importe de déterminer la valeur de ces effets. Même si un programme est efficace, le degré de l’impact, s’il est mal évalué, peut mener à son abandon (Plante, 1994, p.20).

2.2.2.9 La flexibilité

La flexibilité représente le lien de conformité entre les capacités que possède un programme et les lieux où des améliorations s’imposent (Plante, 1994, p.49; Plante et Bouchard, 2002, p.232). En d’autres mots, « la flexibilité est la qualité spécifique que présente un établissement qui possède les moyens nécessaires et appropriés pour apporter des changements là où ils s’imposent » (Plante, 1994, p.49). Afin de mesurer la flexibilité, deux conditions doivent essentiellement être présentes. La première est d’avoir « la capacité de s’améliorer, ce qui ne peut se déterminer qu’à la lumière de l’importance des moyens que possède ou que peut investir un établissement ou un système pour apporter des changements » (Plante, 1994, p.49) et la deuxième est d’avoir « la connaissance des points à améliorer, ce qui ne peut être connu qu’à la lumière du degré d’amélioration qui doit être apporté aux constituants importants de l’établissement » (Plante, 1994, p.49).

2.2.3 Qualités singulières

Contrairement aux qualités transversales qui sont limitées au nombre de neuf, les qualités singulières peuvent être infinies. De plus, elles « sont attachées à une composante » du programme (Bouchard, 2010, p.5). Par exemple, il est possible de faire référence à « un objectif clair, ou encore à un objectif réaliste » (Bouchard, 2010, p.5). Ces qualités sont essentielles afin de mieux juger des qualités transversales. Par exemple, « pour juger de la pertinence (qualité transversale) d’un programme, il est nécessaire de s’assurer de l’univocité des objectifs et de la clarté des besoins auxquels le programme doit répondre » (Bouchard, 2010, p.5).

2.3 Modèle d’analyse

À partir des éléments théoriques du MSQE de Plante et Bouchard (2002), la figure 6 donne une schématisation de la méthodologie des traceurs.

2.3.1 Sélection des objets et des qualités à évaluer

Certains éléments présentés dans la schématisation de la méthodologie des traceurs ont été retenus afin d’être évalués. Le tableau 2 qui suit présente les objets de la méthodologie des traceurs et les indicateurs y étant rattachés. De plus, le type de qualité, singulière ou transversale, ainsi que la qualité visée sont présentés.

Tableau 2. Objets à évaluer et indicateurs retenus Référence aux

composantes du modèle

Objets à

évaluer Indicateurs Type de qualité Qualité

Activité de

soutien Téléconférence

Adéquation de la téléconférence comme moyen de contact entre toutes les personnes concernées

par la visite et l’élaboration des traceurs. Transversale Cohérence Ressources

informationnelle Canevas de questions

Adéquation des questions suggérées dans le canevas de questions pour l’évaluation des

traceurs. Transversale Cohérence

Ressources

informationnelle Canevas de questions Adéquation du nombre de questions utilisées par les visiteurs pour l’évaluation des traceurs. Transversale Cohérence Activité Rencontres Adéquation des sessions de planification des _{visiteurs au début de chaque journée.} Transversale Cohérence Activité Rencontres Adéquation des groupes de discussion entre les _{pairs évaluateurs sur une base quotidienne.} Transversale Cohérence

Activité Rencontres Adéquation de l’analyse journalière avec le coordonnateur d’agrément de l’établissement

pendant la visite. Transversale Cohérence

Ressources

informationnelle Processus prioritaires Adéquation des processus prioritaires élaborés par Agrément Canada. Transversale Cohérence Activité de

soutien Traceurs

Adéquation du choix des traceurs fait par Agrément Canada en fonction du type

d’établissement visité. Transversale Cohérence

Activité Traceurs Adéquation de l’utilisation de la méthodologie des traceurs pour l’évaluation de la qualité des soins

des établissements de santé. Transversale Cohérence

Activité Traceurs

Adéquation de l’utilisation de la méthodologie des traceurs pour l’évaluation de la qualité des pratiques administratives des établissements de santé.

Référence aux composantes

du modèle

Objets à

évaluer Indicateurs Type de qualité Qualité

Activité de

soutien Formation

Adéquation de la formation continue offerte aux visiteurs pour se maintenir à jour sur le

programme Qmentum. Transversale Cohérence

Activité de

soutien Documentation Adéquation de la facilité de compréhension des informations sur l’établissement. Singulière Facilité Activité de

soutien Documentation

Adéquation de la disponibilité de la documentation nécessaire à l’élaboration des traceurs avant le

déplacement sur le site. Singulière Disponibilité Activité de

soutien Documentation

Adéquation de la disponibilité de la documentation nécessaire à l’élaboration des traceurs au moment

de la visite. Singulière Disponibilité

Activité Répartition des _traceurs Adéquation des consignes concernant les traceurs _{assignés à chacun des visiteurs avant la visite.} Singulière Clarté

Activité Répartition des _traceurs Adéquation de la répartition du nombre de traceurs à évaluer entre chacun des visiteurs de

l’équipe. Singulière Équité

Activité Traceurs Adéquation des étapes à suivre dans la _{méthodologie des traceurs.} Singulière Clarté Activité Traceurs Adéquation des critères servant à évaluer les _traceurs. Singulière Précision Activité Rencontres Adéquation des groupes de discussion entre les _{visiteurs sur une base quotidienne.} Singulière Adéquation Activité de

soutien Personnel médical

Adéquation des connaissances du personnel médical impliqué dans une évaluation quant à la

procédure de la méthodologie des traceurs. Singulière Connaissances Activité de

soutien Visiteurs

Adéquation du niveau de compréhension générale de la méthodologie des traceurs par les visiteurs

d’Agrément Canada. Singulière Compréhension

Activité de

soutien Support Adéquation du support par Agrément Canada lors d’une visite. Singulière Facilité Contrainte Préparation Adéquation du temps requis à la préparation _{individuelle en vue d’une visite.} Transversale À-propos