Métaévaluation des services rendus aux usagers par les
ressources intermédiaires et les ressoures de type
familial ainsi que les établissements de santé et
services sociaux.
Mémoire
Xavier Corriveau
Maîtrise en agroéconomie - avec mémoire
Maître ès sciences (M. Sc.)
Résumé
Suite à la parution du Cadre de référence RI/RTF, le système de contrôle de la qualité des services
rendus à un usager par l’établissement et par la RI-RTF a été élaboré afin de s’assurer de la qualité
des services rendus par le système de santé québécois aux usagers placés dans une ressource de type intermédiaire ou de type familial. Dans le cadre de cette métaévaluation basée sur le modèle synergique des qualités évolutives, les qualités singulières et transversales du système de contrôle ont été évaluées lors de l’implantation de ce système dans quatre établissements de santé et services sociaux. Les faiblesses du système identifiées concernent principalement les ressources financières nécessaires (identification et adéquation) ainsi que la durée de certaines étapes du processus (administration du questionnaire aux proches de l’usager, compilation des données, analyse des résultats). La clarté de certaines échelles de mesure a aussi été jugée problématique par les répondants (grille d’observation).
Mot-clé : métaévaluation, modèle synergique des qualités évolutives, ressources intermédiaires,
Table des matières
Résumé ... ii
Table des matières ... iii
Liste des tableaux ... v
Introduction ...1
Les RI et les RTF ...4
Services communs et particuliers offerts par une RI et une RTF ...6
Responsabilité de l’évaluation des services rendus aux usagers des RI et RTF ...8
Processus de contrôle de la qualité ...9
Système de contrôle de la qualité des services rendus à un usager par l’établissement et par la RI-RTF ... 12
Problématique et objectifs de recherche ... 17
Chapitre 1 : Concepts clés et modèle d’analyse ... 19
1.1. Clarification de la terminologie ... 19
1.1.1. La qualité ... 19
1.1.2. L’évaluation ... 20
1.1.3. Évaluation de la qualité d’une évaluation : la métaévaluation ... 21
1.2. Modèles théoriques applicables au contexte de la métaévaluation des services rendus aux usagers des RI et RTF ... 22
1.2.1. Métaévaluation : L’utilisation de normes d’évaluation et de listes de contrôle ... 22
1.2.2. Métaévaluation : L’utilisation d’un modèle d’évaluation classique ... 23
1.3. Modèle théorique retenu : Modèle synergique des qualités évolutives ... 32
1.3.1. Qualités transversales ... 33
1.3.2. Qualités singulières ... 36
1.3.3. Points de vue ... 37
1.3.4. Justification du choix du modèle théorique ... 37
1.4. Modèle d’analyse ... 38
Chapitre 2 : Démarche méthodologique ... 45
2.1. Le questionnaire ... 45
2.2. Collecte de données ... 46
2.3. Population visée ... 46
2.4. Traitement des données ... 47
Chapitre 3 : Résultats ... 48
3.1. Description des répondants ... 48
3.2. Forces, faiblesses et commentaires regroupés par composantes et sous-composantes du MSQE ... 48 3.2.1. Activités d’évaluation ... 49 3.2.2. Outils d’évaluation ... 85 3.2.3. Activités de soutien ... 105 3.2.4. Personnes ... 111 3.2.5. Contraintes ... 114 3.2.6. Locaux et matériel ... 117 3.2.7. Objectifs et résultats ... 120 3.3. Sommaire des forces et des faiblesses du système de contrôle de la qualité des services
Chapitre 4 : Discussion ... 129
4.1. Constats et améliorations pouvant être apportés au système de contrôle de la qualité des services rendus à un usager par l’établissement et la RI-RTF ... 129
4.1.1. Durée et coût de l’utilisation du système de contrôle de la qualité ... 129
4.1.2. Clarté des échelles de mesure de la grille d’observation ... 131
4.1.3. Importance des commentaires lors de la présence d’un écart de la qualité... 132
4.1.4. Questions portant sur les activités de l’établissement ... 133
4.1.5. Questionnaire usager ... 134
4.1.6. Traduction du questionnaire usager et proche... 134
4.1.7. Gabarits et lettres types pour les communications ... 135
4.1.8. Utilisation de l’outil informatisé... 135
4.1.9. Analyse des écarts de la qualité ... 136
4.1.10. Utilisation du terme « écart de la qualité » dans le rapport sommaire ... 136
4.2. Recommandations visant à favoriser l’implantation du système de contrôle de la qualité des services rendus à un usager par l’établissement et par la RI-RTF ... 137
4.2.1. S’assurer d’un soutien suffisant aux établissements de la part du ministère de la Santé et des Services sociaux ... 137
4.2.2. Favoriser la discussion entre les membres du personnel des établissements... 138
4.2.3. Informatiser le système de contrôle de la qualité ... 138
4.2.4. Déterminer la capacité optimale du nombre d’évaluations à réaliser pour un établissement ... 139
4.2.5. S’assurer des conditions essentielles à l’implantation du système de contrôle de la qualité ... 140
Conclusion ... 145
Limites de l’étude ... 145
Principaux constats ... 146
Voies de recherches suggérées ... 149
Liste des tableaux
Tableau 1 : Répartition du nombre de ressources et d’usager de ressources par type d’ESSS en date
du 31 décembre 2012 ...4
Tableau 2. Objets et sous-objets du système de contrôle de la qualité des services rendus à un usager par l’établissement et par la RI-RTF... 14
Tableau 3. Indicateurs de la qualité tirés du modèle zéro défaut de Deming ... 26
Tableau 4. Objets d’évaluation, sous-objets d’évaluation et qualités singulières ... 41
Tableau 5. Objets d’évaluation, sous-objets d’évaluation et qualités transversales ... 43
Tableau 6. Synthèse des forces et des faiblesses pour les sous-composantes des activités d’évaluation ... 51
Tableau 7. Fréquences et fréquences cumulées du niveau d’accord des employés et gestionnaires quant aux qualités liées à la sélection des évaluations à faire (n = 13) ... 53
Tableau 8. Fréquences et fréquences cumulées du niveau d’accord des employés et gestionnaires quant aux qualités liées à l’obtention des informations requises avant l’évaluation (n = 12 à 15) ... 55
Tableau 9. Fréquences et fréquences cumulées du niveau d’accord des employés et gestionnaires quant aux qualités liées à la planification des activités d’évaluation (n = 12 à 15) ... 58
Tableau 10. Fréquences et fréquences cumulées du niveau d’accord des employés et gestionnaires quant aux qualités liées à l’adaptation et impression de la grille d’observation et des questionnaires (n = 10 à 11) ... 61
Tableau 11. Fréquences et fréquences cumulées du niveau d’accord des employés et gestionnaires quant aux qualités liées à l’administration des questionnaires (n = 16 à 18) ... 64
Tableau 12. Fréquences et fréquences cumulées du niveau d’accord des employés et gestionnaires quant aux qualités liées à l’observation dans la ressource (n = 11 à 12) ... 67
Tableau 13. Fréquences et fréquences cumulées du niveau d’accord des employés et gestionnaires quant aux qualités liées à la compilation des données (n = 12 à 15) ... 70
Tableau 14. Fréquences et fréquences cumulées du niveau d’accord des employés et gestionnaires quant aux qualités liées à la production et l’interprétation du rapport sommaire (n = 16 à 21)... 73
Tableau 15. Fréquences et fréquences cumulées du niveau d’accord des employés, gestionnaires et du comité d’évaluation quant aux qualités liées à la production des rapports d’analyse (n = 17 à 33) ... 76
Tableau 16. Fréquences et fréquences cumulées du niveau d’accord des employés et gestionnaires quant aux qualités liées au suivi des actions pour améliorer la qualité des services (n = 6 à 21) ... 80
Tableau 17. Fréquences et fréquences cumulées du niveau d’accord des membres de comités d’évaluation quant aux qualités liées au comité d’évaluation (n = 7 à 34) ... 84
Tableau 18. Synthèse des forces et faiblesses pour les sous-composantes des activités d’évaluation ... 86
Tableau 19. Fréquences et fréquences cumulées du niveau d’accord des employés et gestionnaires quant aux qualités liées à la grille d’observation (n = 11 à 12) ... 88
Tableau 20. Fréquences et fréquences cumulées du niveau d’accord des employés et gestionnaires quant aux qualités liées au questionnaire usager (n = 16 à 18) ... 90
Tableau 21. Fréquences et fréquences cumulées du niveau d’accord des employés et gestionnaires quant aux qualités liées au questionnaire intervenant (n = 16 à 18) ... 93
Tableau 22. Fréquences et fréquences cumulées du niveau d’accord des employés et gestionnaires quant aux qualités liées au questionnaire ressource (n = 16 à 18) ... 96
Tableau 23. Fréquences et fréquences cumulées du niveau d’accord des employés et gestionnaires quant aux qualités liées au questionnaire proche (n = 16 à 18) ... 98
Tableau 24. Fréquences et fréquences cumulées du niveau d’accord des employés et gestionnaires quant aux qualités liées au questionnaire partenaire d’intégration (n = 16 à 18) ... 101 Tableau 25. Fréquences et fréquences cumulées du niveau d’accord des employés et gestionnaires quant aux qualités liées au questionnaire établissement (n = 16 à 18) ... 104 Tableau 26. Fréquences et fréquences cumulées du niveau d’accord des employés et gestionnaires quant aux qualités liées à la formation et aux communications (n = 25) ... 107 Tableau 27. Fréquences et fréquences cumulées du niveau d’accord des employés et gestionnaires quant aux qualités liées à la gestion du processus (n = 7 à 25) ... 110 Tableau 28. Fréquences et fréquences cumulées du niveau d’accord des employés et gestionnaires quant aux qualités liées à la motivation et au travail d’équipe (n = 34) ... 113 Tableau 29. Fréquences et fréquences cumulées du niveau d’accord des employés et gestionnaires quant aux qualités liées aux contraintes (n = 7 à 25) ... 116 Tableau 30. Fréquences et fréquences cumulées du niveau d’accord des employés et gestionnaires quant aux qualités liées aux locaux et au matériel (n = 7 à 25) ... 119 Tableau 31. Fréquences et fréquences cumulées du niveau d’accord des employés, gestionnaires et membres de comités d’évaluation quant aux qualités liées aux objectifs et résultats (n = 7 à 34) ... 122 Tableau 32. Forces du système de contrôle de la qualité des services rendus à un usager par l’établissement et par la RI-RTF ... 124 Tableau 33. Faiblesses du système de contrôle de la qualité des services rendus à un usager par l’établissement et par la RI-RTF ... 128
Introduction
La tradition qu’à la société québécoise de tenter de prendre soin de ses citoyens les plus vulnérables, qui est à la base de la création des ressources intermédiaires (RI) et des ressources de type familial (RTF), ne date pas d’hier. Toutefois, la complexité de la tâche est bien illustrée au travers de l’histoire des RI et RTF.
Avant 1954, les prédécesseurs des RI et des RTF au Québec, sont, en ordre chronologique, des institutions telles que le séminaire Saint-Sulpice, les Soeurs de la Charité, les écoles industrielles et les orphelinats qui hébergent des enfants pour le compte de l’Église ou de l’État (Ministère de la Santé et des Services sociaux (MSSS), 2003).
Dès 1954, des agences de service social effectuent des premiers placements dans des familles substituts (MSSS, 2003). Mais c’est en 1971 que le courant de la désinstitutionnalisation, c’est-à-dire « le maintien de l’usager dans son milieu naturel ou dans un milieu s’en rapprochant le plus possible », amène la création juridique des familles d’accueil par la Loi sur les services de santé
et les services sociaux (LSSSS) ainsi que le début de l’utilisation du concept de RI pour identifier des
ressources d’hébergement de toute nature (Lampron & Groleau, 2011).
Ce sont les conditions exécrables des patients en santé mentale dans les institutions publiques qui justifient la désinstitutionnalisation. Ces conditions sont décrites, en 1961, par un ex-patient de l’hôpital Saint-Jean-de-Dieu, aujourd’hui nommé l’Institut universitaire en santé mentale de Montréal (Pagé, 1961) et, en 1962, dans le rapport de la Commission d’Étude des Hôpitaux
L’actualisation de la LSSSS en 1991 vient mettre à jour le cadre légal des RTF et combler le vide législatif en formalisant l’existence légale des RI.
C’est en 2001 et 2003 respectivement, que le Cadre de référence sur les RI et le Guide
d’orientation sur la pratique professionnelle et la RTF, tous deux publiés par le MSSS, viennent
encadrer pour la première fois les deux types de ressources.
En février 2011, la fermeture d’une RI ayant pour cause la piètre qualité des services offerts aux usagers reçoit une certaine couverture médiatique (Chouinard, 26 janvier 2011 ; Daoust-Boisvert, 1er novembre 2011). Peu après, la ministre de la Santé demande que l’on dresse un état des lieux de l’événement ainsi que du processus d’attribution des places dans les RI en général (Chouinard et Lacoursière, 1er novembre 2011). Un Rapport d’enquête sur les événements
entourant la fermeture du Pavillon Marquette et sur l’examen du processus d’attribution des places dans les RI au Québec est ainsi déposé en mai 2011. Il est alors mis en évidence d’importantes
lacunes du CSSS Jeanne-Mance quant à sa responsabilité de protéger les usagers (Lampron & Groleau, 2011). Ce même rapport soumet de nombreux constats et recommandations touchant le MSSS, les agences de la santé et des services sociaux ainsi que les établissements de santé et services sociaux (ESSS) employant des RI et les RI elles-mêmes (Lampron & Groleau, 2011).
Plusieurs changements au niveau des lois, règlements et orientations gouvernementales ont lieu à partir de 2012. D’abord, le Règlement sur la classification des services offerts par une RI et
regard des RI et des RTF : Orientations ministérielles est publié par le MSSS afin d’informer et
d’outiller les agences de la santé et des services sociaux. Finalement, un important document ministériel, le Cadre de référence : les RI et les RTF, est publié en 2014 et constitue l’amalgame des connaissances relatives aux RI et RTF.
Au 31 décembre 2012, 142 ESSS de diverses natures employaient un nombre de ressources variant d’un à plusieurs centaines (MSSS, 2013a). Tel que présenté au tableau 1, les principales clientèles des RI et RTF sont les usagers des centres de santé et services sociaux, les personnes souffrant de déficiences intellectuelles et les jeunes en difficulté.
Tableau 1 : Répartition du nombre de ressources et d’usager de ressources par type d’ESSS en date du 31 décembre 2012 Type d’ESSS Ressources de type intermédiaire RTF Nbre
d’étab. Ress. Usagers Ress. Usagers
Centres de protection et de réadaptation 1 13 80 98 196 Centres de réadaptation en déficiences
intellectuelles** 18 1342 5329 1804 4929 Centres de réadaptation en déficiences
physiques * 7 46 168 112 244
Centres de réadaptation en dépendance 3 3 26 3 12 Centres de santé et services sociaux 90 588 8689 566 2851 Centres hospitaliers ou hôpitaux * 7 119 1307 191 1147 Centres jeunesse *** 15 112 549 3821 7081 Centres d’hébergement et de soins de
longue durée 1 0 0 7 15
Totaux 142 2223 16 148 6602 16 475
*Comprend les corporations
** Comprend les services de réadaptation
*** Comprend un centre de la jeunesse et de la famille **** Comprend un centre régional de santé et services sociaux
Note : Données provenant du MSSS. (2013a). Nombre d’usagers et de ressources de type intermédiaires et de type
familial selon l’organisation résidentielle et l’ESSS. Données du 31 décembre 2012. [Document de travail non publié tiré
du système d’information sur les RI et RTF (SIRTF) et autres bases de données pertinentes].
Les RI et les RTF
Les RI et les RTF tirent leur existence de l’actualisation de la LSSSS de 1991. Plus particulièrement, les RI sont définies à l’article 302 de la LSSSS tandis que les RTF sont définies à l’article 312.
Les RI et les RTF possèdent plusieurs similarités. Tant les RI que les RTF ont pour but de créer un milieu propice à l’intégration de l’usager dans la société. Plus particulièrement, les RI
Par. 1) tandis que les RTF doivent favoriser une relation de type parental dans le cas des familles d’accueil (LSSSS, Art. 312. Par. 1) et offrir des « conditions de vie se rapprochant le plus possible de celles d’un milieu naturel » dans le cas des résidences d’accueil (LSSSS, Art. 312. Par. 2). De plus, tant les RI que les RTF doivent être en mesure de répondre aux besoins de l’usager (LSSSS, Art. 302 Par. 1, Art. 312. Par. 1-2).
Les RI et les RTF présentent toutefois certaines différences majeures. D’abord, les RI peuvent être des personnes physiques ou morales tandis que les RTF sont nécessairement des personnes physiques (LSSSS, Art. 302 Par. 1, Art. 312. Par. 1-2). Le nombre d’usagers constitue une autre différence puisque pour être considérée comme une RTF, une ressource doit héberger neuf usagers et moins (LSSSS, Art. 312. Par. 1-2).
Le type de RI et RTF influe aussi sur les services devant être rendus à l’usager. Les familles d’accueil, résidences d’accueil, résidences de groupe et maisons d’accueil devant offrir les services communs visés par la section 1 de la partie 1 de l’annexe du Règlement sur la classification des
services offerts par une RI et une RTF, tandis que les maisons de chambre et les appartements
supervisés doivent offrir les services communs visés par la section 1 de la partie 2 du même document. Les différents types de RI et RTF sont décrits dans le Guide des responsabilités des
agences de la santé et des services sociaux au regard des RI et des RTF : Orientations ministérielles
Services communs et particuliers offerts par une RI et une RTF
Les services devant être rendus par les RI et RTF sont couverts dans l’annexe du Règlement
sur la classification des services offerts par une RI et une RTF et le Guide d’utilisation de l’instrument de détermination et de classification des services de soutien et d’assistance. Ceux-ci sont divisés en
deux grandes catégories : les services communs, qui représentent la base obligatoire des services à rendre à l’usager, et les services particuliers, qui représentent la combinaison des services à rendre à l’usager (MSSS, 2013 c).
Les services communs sont définis dans les sections 1 et 2 de la partie 1 de l’annexe du
Règlement sur la classification des services offerts par une RI et une RTF sous la forme d’énoncés
de service sous forme de phases complémentées de courts paragraphes explicatifs. La section 1 concerne les « maisons d’accueil », « résidences de groupe » ou autre type d’organisation nécessitant des services similaires et est constituée de 17 énoncés de service et paragraphes tandis que la section 2 concerne les « appartements supervisés », « maisons de chambre » ou autres types d’organisation nécessitant des services similaires et est constituée de 12 énoncés de service et paragraphes.
Les services particuliers, quant à eux, sont définis dans la section 2 de la partie 2 de l’annexe du Règlement sur la classification des services offerts par une RI et une RTF sous la forme de 17 courts descripteurs accompagnés d’autant d’objectifs poursuivis pour l’usager et d’échelles de gradation permettant de classifier les services offerts par les RI et RTF soit, d’évaluer l’importance de la tâche à accomplir par la RI ou RTF pour prendre soin de l’usager.
C’est l’article 303 de la LSSSS qui constitue la base légale d’une « classification des services offerts par les RI et RTF […] fondée sur le degré de soutien ou d’assistance requis par les usagers » visant à « favoriser un encadrement adéquat et la mise en place rationnelle des ressources […] et d’assurer la flexibilité nécessaire à l’émergence de nouvelles ressources ».
Les modalités du processus de classification des services offerts par les RI et RTF sont détaillées dans le Guide d’utilisation de l’Instrument de détermination et de classification des services
de soutien ou d’assistance (MSSS, 2013 c). Les services particuliers sont d’abord déterminés selon
la condition de l’usager à l’aide de l’Instrument de détermination et de classification des services de
soutien ou d’assistance, contenu dans le Règlement sur la classification des services offerts par une RI et une RTF, ainsi, pour chacun des types de services particuliers, un niveau d’intensité est choisi
(MSSS, 2013 c). Puis, en collaboration avec la ressource, les services particuliers sont précisés en fonction de « l’intérêt de l’usager, de son état de santé et de bien-être, des procédures, des protocoles, des règles de soins applicables » (MSSS, 2013 c). Finalement, la classification s’opère en effectuant une opération mathématique. Les divers niveaux d’intensité des services particuliers de l’Instrument de détermination et de classification des services de soutien ou d’assistance sont, pour ce faire, pondérés en sorte qu’ils puissent être additionnés et comparés sous lumière de l’article 5 du
Règlement sur la classification des services offerts par une RI et une RTF afin de classifier le niveau
de service sur une échelle de 6 (MSSS, 2013 c). Le niveau de service est l’une des composantes principales de la rémunération des RI et RTF. En effet, un niveau de rémunération est associé à chacun des 6 niveaux de service dans chacune des conventions collectives liant le gouvernement et les associations de RI et RTF (MSSS, 2013 c).
Responsabilité de l’évaluation des services rendus aux usagers
des RI et RTF
C’est aux ESSS qu’incombe la responsabilité d’évaluer les RI et RTF ainsi que les services rendus aux usagers par ceux-ci. La LSSSS prescrit ainsi aux ESSS la « fonction d’assurer la prestation de services de santé ou de services sociaux de qualité, qui soient continus, accessibles, sécuritaires et respectueux des droits des personnes et de leurs besoins spirituels » (Art. 100). De cette responsabilité découle la responsabilité pour l’ESSS de s’assurer de la qualité de la prestation de service à l’usager par la ressource (Lampron & Groleau, 2011).
Quant à elle l’agence de la santé et des services sociaux est responsable, entre autres, de la reconnaissance des RI et RTF (MSSS, 2013b). C’est toutefois l’ESSS qui est responsable du recrutement et de l’évaluation de la ressource en vue de sa reconnaissance (LSSSS Art. 305, 310 et 314).
La Loi sur la représentation des ressources de type familial et de certaines ressources intermédiaires et sur le régime de négociation d’une entente collective les concernant (LRR) concerne, selon les données extraites du système d’information sur les ressources intermédiaires et de type familial en date du 16 novembre 2011, environ 90 % des ressources de RI et RTF et plus de 70 % des usagers des ressources de RI et RTF (Lampron & Groleau, 2011). Cette loi rappelle la responsabilité qu’a « un ESSS public d’exercer un contrôle sur la qualité des services offerts aux usagers confiés aux ressources et, à l’occasion de visites, de s’assurer du respect de l’application du plan d’intervention des usagers » (LRR Art. 63, Par. 4).
La responsabilité qu’à l’ESSS de contrôler la qualité des services rendus par les RI et RTF est réitérée dans les orientations et principes directeurs contenus dans le cadre de référence : les RI et
les RTF (MSSS, 2013). Plus particulièrement, deux orientations visent l’évaluation de la qualité soit :
« assurer des services de qualité » et « mettre en place une organisation de services efficace et efficiente qui s’inscrit dans une culture et une gestion intégrée de la qualité » (MSSS, 2013). L’orientation « assurer des services de qualité » rappelle, entre autres, l’imputabilité de l’ESSS à l’égard de la qualité de l’ensemble des services de l’ESSS à l’usager, ce qui comprend les services des RI et RTF et l’» imputabilité de la ressource à l’égard de la qualité du milieu de vie et des services de soutien ou d’assistance communs et particuliers rendus à l’usager » (MSSS, 2013). Quant à elle, l’orientation « mettre en place une organisation de services efficace et efficiente qui s’inscrit dans une culture et une gestion intégrée de la qualité » a pour principes directeurs le « maintien d’une culture et d’une gestion intégrée de la qualité dans l’organisation des services » et le respect des orientations et balises contenues dans le cadre (MSSS, 2013).
Par rapport à ce dernier point, le Cadre de référence : les RI et les RTF (MSSS, 2013) balise un processus de contrôle de la qualité, sous la responsabilité des ESSS, ayant pour but de « viser à s’assurer que la qualité des services rendus à l’usager par l’ESSS et par la ressource le soit telle que voulue ».
Processus de contrôle de la qualité
Un processus de contrôle de la qualité est présenté dans le cadre de référence – Les RI et les
RTF, et a pour but de s’assurer que la qualité des services rendus à l’usager par l’établissement et
Le processus de contrôle de la qualité est divisé en 5 étapes soit :
1. « Mesurer et documenter en continu les critères de la qualité des services rendus » (MSSS, 2013)
2. « Identifier l’existence d’un écart entre la qualité voulue et la qualité rendue » (MSSS, 2013)
3. « Déterminer et analyser les causes de l’écart de qualité » (MSSS, 2013) 4. « Déterminer et planifier les actions à mettre en place » (MSSS, 2013) 5. « Mettre en place, suivre et évaluer les actions déployées » (MSSS, 2013)
Le MSSS (2014) définit les objets du processus de contrôle de la qualité comme étant divisés en deux catégories (voir figure 1) :
1. Les activités de l’établissement en lien avec le suivi professionnel de l’usager confié à une ressource,
2. Les activités de la ressource en lien avec sa prestation de services de soutien ou d’assistance à l’usager.
Figure 1. Objets du processus de contrôle
Source : MSSS. (2001). Cadre de référence sur les RI. Bibliothèque nationale du Québec. (Document ISSN 2-550-37624-2). Gouvernement du Québec. Disponible à partir de http://publications.msss.gouv.qc.ca/acrobat/f/documentation/2001/01-801-01.pdf
Afin d’assister les ESSS dans l’évaluation de la qualité des services communs et particuliers rendus aux usagers des RI et RTF, le MSSS a mandaté Chantal Bouchard professeure à l’Université Laval de développer un système de contrôle permettant de mesurer et d’évaluer la qualité des services rendus aux usagers des RI et RTF. Le mandat a été élargi en cours de projet afin de couvrir les activités de l’établissement présentées à la figure précédente. Ce système d’évaluation des services devrait être suffisamment généralisable pour permettre son utilisation dans tous les ESSS employant des RI et/ou des RTF.
Système de contrôle de la qualité des services rendus à un
usager par l’établissement et par la RI-RTF
C’est ainsi que Système de contrôle de la qualité des services rendus à un usager par
l’établissement et par la RI-RTF a vu le jour. Ce système vise à accompagner l’établissement lors de
l’évaluation de la qualité des services de la mesure de la qualité jusqu’à la mise en place et au suivi d’actions correctives. Pour ce faire, le système de contrôle est constitué d’un ensemble de moyens pouvant être utilisés par le personnel des ESSS afin de « rédiger, pour chacun des usagers évalués et dans un délai de six semaines, un rapport d’évaluation de la qualité fiable, valide et crédible présentant les écarts de la qualité constatés ainsi que les actions correctives à apporter pour assurer la qualité des services rendus à l’usager » ((MSSS, 2015).
Le Système de contrôle de la qualité des services rendus à un usager par l’établissement et
par la RI-RTF comprend notamment : un outil informatisé créé à l’aide de Microsoft Access et qui
permet l’automatisation de la plupart des activités dans la mesure du possible, des guides pratiques adressés aux personnes chargées de l’implantation et de l’application du système (gestionnaires,
personnel de l’établissement chargé d’appliquer le système et comité d’évaluation) ainsi que du matériel de formation et des canevas pour les communications.
Selon le MSSS (2015), l’utilisation du Système de contrôle de la qualité des services rendus à
un usager par l’établissement et par la RI-RTF est divisée en six étapes soit :
1. La mise en place des conditions pour une implantation réussie du processus de contrôle 2. La mesure et la documentation des critères de la qualité
3. L’identification des écarts de la qualité 4. L’analyse des causes des écarts de la qualité
5. La détermination et la planification des actions pour améliorer la qualité des services 6. La mise en en place et le suivi des actions pour améliorer la qualité des services
La qualité des services rendus à l’usager par l’établissement et par la RI-RTF, telle que mesurée par le Système de contrôle de la qualité des services rendus à un usager par
l’établissement et par la RI-RT, est composée d’un ensemble d’objets, de sous-objets, de qualités et
de critères de la qualité.
Les objets et sous-objets sont les grandes catégories pour lesquelles la qualité des services rendus à l’usager est mesurée. Le tableau 2 liste les objets et sous-objets du Système de contrôle de
Tableau 2. Objets et sous-objets du système de contrôle de la qualité des services rendus à un usager par l’établissement et par la RI-RTF
No Objets Sous-Objets
1 Milieu de vie Environnement extérieur, Bâtiment, Aire(s) de repas, Aire(s) commune(s), Chambre, Salle(s) de bain
2 Alimentation
3 Habillement Vêtements, Prothèses et orthèses
4 Hygiène
5 Acquisitions Vêtements, Soins personnels, Loisirs, Médicaments, Besoins spéciaux 6 Gestion des avoirs
7 Cadre de vie
8 Services de santé et sociaux Soins et services, Médication, Aides techniques 9 Intégrité de l’usager Physique, Sexuelle, Psychologique/pouvoir, Financière 10 Intégration Communauté, Travail, Scolaire, Milieu de vie
11 Élimination
12 comportements de l’usagerAttitudes et comportements autodestructeurs, Contrôle des impulsions, Maîtrise des émotions, Mode relationnel, Contrôle des Autonomie
13 Mobilité
14 Personnel de la ressource Relations avec l’établissement et ses intervenants, Relations avec les proches, Relations avec l’usager, Prestation des services
15 professionnelles (activités Activités du suivi de l’ESSS)
Évaluation ou révision des besoins de l’usager, Élaboration ou révision du PI ou PSI de l’usager, Orientation de l’usager
vers le type de ressource et le type d’organisation résidentielle adéquats, Jumelage/pairage de l’usager avec
une ressource, Intégration de l’usager dans la ressource, Détermination des services de soutien ou d’assistance particuliers à rendre à l’usager, Précision des services de soutien ou d’assistance particuliers à rendre à l’usager, Mise en œuvre du PI ou du PSI de l’usager, Départ de l’usager de
la ressource, Application du processus de contrôle de la qualité
Source : MSSS. (2015). Guide d’administration : Système de contrôle de la qualité des services rendus à un usager par l’établissement et par la RI-RTF. (Document de travail)
qualité peut être associée à un ou plusieurs critères de la qualité. Les critères de la qualité mesurés sont ceux prescrits par l’annexe du Règlement sur la classification des services offerts par une
ressource intermédiaire et une ressource de type familial. La figure 2 présente un exemple de critère
de la qualité.
Figure 2.
Exemple d’objet, sous-objet, qualité et critère du système de contrôle de la qualité des services rendus à un usager par l’établissement et par la RI-RTF
Pour mesurer un critère de la qualité, un certain nombre de sources d’information sont consultées via des items de mesure contenus à même des outils de mesure (MSSS, 2015).
Le Système de contrôle de la qualité des services rendus à un usager par l’établissement et
par la RI-RTF comprend sept outils de mesure de la qualité des services. Six questionnaires sont
destinés à des sources d’information qui peuvent être au fait de la qualité des services rendus à l’usager. Ces sources d’information sont l’usager, un intervenant de l’ESSS attitré à l’usager, un intervenant de l’ESSS responsable de l’actualisation des activités de l’établissement pour l’usager, un proche de l’usager, le responsable de la RI ou RTF ou est placé l’usager et un partenaire d’intégration de l’usager. De plus, une grille d’observation permet la mesure des critères de qualité lors de visites d’inspection au sein de la RI ou RTF ou est placé l’usager (MSSS, 2015).
Suite à la collecte des données à l’aide des outils de mesure le Système de contrôle de la qualité des services rendus à un usager par l’établissement et par la RI-RTF permet la compilation des différents questionnaires et la création d’un sommaire global par usager regroupant les différents critères de la qualité par source d’information. Un code de couleur est utilisé afin de repérer facilement les écarts de la qualité perçus par les différentes sources d’information.
Le sommaire global permet l’interprétation des résultats à l’aide d’un modèle automatisé de rapport d’analyse. Dans le rapport d’analyse, le personnel de l’établissement évalue les écarts de la qualité et présente des actions correctives afin de s’assurer de la qualité des services rendus à l’usager.
Suite à la réalisation du processus, le Système de contrôle de la qualité des services rendus à
un usager par l’établissement et par la RI-RTF permet la production de rapports de suivi des actions
correctives afin de s’assurer de l’actualisation de celles-ci.
Afin de permettre le suivi du processus d’évaluation par les gestionnaires et un comité d’évaluation, le Système de contrôle de la qualité des services rendus à un usager par
l’établissement et par la RI-RTF produit deux types de rapports globaux soit un rapport sommaire
global et un rapport de suivi des actions correctives global. Pour une période donnée, ces deux rapports permettent, respectivement, de présenter les résultats des outils de mesure pour tous les usagers évalués et de présenter toutes les actions correctives de la période ainsi que les actions correctives non actualisées des périodes précédentes.
Problématique et objectifs de recherche
Le contexte de l’étude met en évidence l’importance des implications de l’évaluation de la qualité des services rendus aux usagers des RI et RTF. En effet, les usagers des RI et RTF sont parmi les citoyens les plus vulnérables et les services qui leurs sont rendus par les RI et RTF ont une incidence directe sur leur qualité de vie puisqu’ils en touchent la majorité des aspects.
De plus, le nombre d’usagers placés dans une RI ou une RTF est important, tel que le démontre le tableau 1, il s’agit de dizaines de milliers de personnes. Il en découle notamment que les sommes gouvernementales versées aux RI et aux RTF afin de rendre les services à ces milliers d’usagers sont colossales et il est important que tant les ÉSSS, les RI et les RTF soient imputables de la qualité des services aux usagers.
Il est donc évident que la qualité du système de contrôle utilisé afin de s’assurer de la qualité des services rendus aux usagers des RI et RTF constitue un enjeu crucial pour la vitalité du programme et la qualité des services rendus aux usagers.
Le système de contrôle est présentement en cours d’expérimentation. Cela parce qu’aucune étude scientifique ou rigoureuse n’a jusqu’à maintenant été réalisée en vue d’en évaluer la qualité. Pour pallier ce manque d’information, nous visons dans la présente étude à déterminer les forces et les faiblesses du processus, et ce, afin de permettre son amélioration.
La question de recherche suivante découle de cette problématique : Quels sont constats qui peuvent être pris en compte au regard de la qualité du processus d’évaluation de la qualité des services rendus aux usagers des RI et RTF ?
Chapitre 1 : Concepts clés et modèle d’analyse
Afin d’évaluer la qualité de l’évaluation de la qualité des services rendus aux usagers des RI et RTF, deux approches possibles ont été identifiées. La première approche consiste en l’utilisation de normes d’évaluation tandis que la deuxième approche consiste en l’utilisation d’un cadre d’évaluation existant et à son adaptation à la métaévaluation de la qualité des services rendus aux usagers des RI et RTF. Ces deux approches seront présentées plus loin dans le texte.
Toutefois, l’objet de ce mémoire étant d’évaluer la qualité du processus d’évaluation de la qualité des services rendus aux usagers des RI et RTF, il importe avant tout de définir les concepts de qualité et d’évaluation.
1.1. Clarification de la terminologie
1.1.1. La qualité
Crosby (1980), considéré comme l’un des « pères de la qualité », définit la qualité comme étant le fait d’être libre de défauts, en conformité avec les standards établis. Deming (1982) va plus loin : il voit lui aussi la qualité dans l’absence de défaut, mais aussi dans l’absence de délai et d’erreur, dans une qualité acceptable d’attitudes et comportements ainsi qu’en la maximisation de l’efficience des méthodes, techniques et procédés. Parasuraman et coll. (1988) s’intéressent aussi à la qualité de service. Ils voient cette qualité comme étant la perception des consommateurs que le service répond à leurs exigences par rapport à un ensemble d’attributs, soit : la tangibilité, la fiabilité, la réactivité, l’assurance et l’empathie. Dabholker et coll. (1995), quant à eux, décrivent aussi la qualité comme étant la conformité aux exigences des consommateurs. Toutefois, ils identifient un
personnelles, la résolution des problèmes ainsi que les politiques. Plante (1994) décrit la qualité comme étant un idéal vers lequel tend un organisme (programme, organisation, service). Il soutient qu’il faut tenter d’atteindre la qualité par approximations successives, chaque approximation, si elle est conforme aux informations à notre disposition, constituant une hypothèse de qualité. Finalement, selon Bouchard (2002), la qualité correspondrait au lien de conformité entre une norme et un objet avec lequel est comparé. Cette définition de la qualité est fortement liée aux concepts de mesure, soit les attributs des objets et d’évaluation, soit le processus de comparaison des objets avec les standards.
1.1.2. L’évaluation
Le concept d’évaluation ne date pas d’hier. En effet, selon Doyle (1974), les œuvres de Platon, fondateur en 387 AC de l’Académie, une école athénienne, comprendraient les premières références à ce concept. De l’autre côté de la planète, dès 165 AC, le secteur public aurait évalué les candidats à l’embauche grâce à des examens portant sur des sujets variés tels la musique, la loi et l’écriture (Bowman, 1989).
Si le concept d’évaluation date de plus de deux millénaires, il faudra, selon Cronbach (1980), attendre les années 1600 avant de passer de l’évaluation des personnes à l’évaluation de programmes. Toujours selon Cronbach (1980), Thomas Hobbs et ses contemporains s’intéressent aux causes de certains maux sociaux tels la mortalité, la morbidité et la désorganisation sociale. Un exemple d’évaluation de programme datant des années 1700 est présenté par Rossi et Freeman (1985) sous la forme d’une expérience d’un capitaine anglais visant à nourrir la moitié de son
équipage d’un régime normal et l’autre moitié d’un régime comprenant des limes afin d’évaluer l’impact de la consommation d’agrumes sur la prévalence des cas de scorbuts.
L’évaluation fait aujourd’hui l’objet de multiples définitions. Ainsi, selon Stufflebeam (1980), il s’agirait « du processus par lequel on délimite, obtient et fournit des décisions utiles permettant de juger des décisions possibles ». Quant à eux, Rossi et Freeman (1985) voient l’évaluation comme l’application systématique des procédures propres aux sciences sociales pour poser un jugement sur la conceptualisation et le design, l’implantation et l’utilité des programmes de services sociaux. Selon Bernier et Pietruliez (2006), l’évaluation est une « opération qui consiste à porter un jugement de valeur ou à accorder une valeur à un objet, à un événement ou à une personne en comparant cet objet, cet événement ou cette personne à un critère donné ». Au sens de chacune de ces définitions, le processus d’évaluation de la qualité des services rendus aux usagers des RI et RTF constitue un processus d’évaluation.
1.1.3. Évaluation de la qualité d’une évaluation : la
métaévaluation
Selon le dictionnaire Petit Robert (1972), le préfixe « méta » sert à exprimer ce qui dépasse et englobe une science ou un objet de pensée. Ainsi, le terme métaphysique désigne la physique de la physique tandis que les métamathématiques concernent les mathématiques des mathématiques. La métaévaluation consisterait donc en l’évaluation de l’évaluation. Scriven (1969) est le premier à utiliser ce terme qui réfère pour lui à « any evaluation of an evaluation, evaluation system, or evaluation device ». Pour Yarbrough et coll. (2011), la métaévaluation peut être interne ou externe selon qu’elle soit faite par les évaluateurs eux-mêmes ou par des métaévaluateurs externes attitrés.
1.2. Modèles théoriques applicables au contexte de la
métaévaluation des services rendus aux usagers des RI et RTF
1.2.1. Métaévaluation : L’utilisation de normes d’évaluation et de
listes de contrôle
Il existe un certain nombre de publications touchant directement l’utilisation de normes afin de procéder à une métaévaluation. Plusieurs auteurs présentent ainsi leur propre définition de la métaévaluation, celle-ci correspondant à l’atteinte de normes d’évaluation différentes selon les auteurs ou le domaine d’application.
Selon Yarbrough et coll. (2011) du Joint Committee on Standards for Educational Evaluation, la qualité d’une évaluation serait définie par la conformité de celle-ci à un ensemble de normes. Yarbrough et coll. (2011) décrivent les normes d’évaluation comme permettant d’identifier et de définir la qualité d’une évaluation ainsi que de guider les évaluateurs et les utilisateurs de l’évaluation à poursuivre la qualité de l’évaluation. L’utilisation des normes d’évaluation pour évaluer la qualité d’une évaluation constitue de la métaévaluation. Stufflebeam (2000c), définit la métaévaluation comme étant « the process of delineating, obtaining, and applying descriptive information and judgmental information—about the utility, feasibility, propriety, and accuracy of an evaluation and its systematic nature, competent conduct, integrity/honesty, respectfulness, and social responsibility—to guide the evaluation and/or report its strengths and weaknesses », cette définition est basée sur les normes d’évaluation de l’American Evaluation Association, Task Force on Guiding Principles for Evaluators (1995) et du Joint Committee on Standards for Educational Evaluation (1994). Yarbrough et coll. (2011) du Joint Committee on Standards for Educational Evaluation définissent la métaévaluation comme étant l’utilisation de normes pour examiner la responsabilité du design
La méthodologie de ce courant de recherche consiste généralement en l’utilisation de listes de contrôle remplies par des métaévaluateurs se basant sur différentes sources d’information et méthodes de collecte : entrevues, questionnaires, groupes de discussion, analyse documentaire, etc. (Yarbourg et coll., 2011). Des listes de contrôle ont été développées pour de nombreux domaines d’application, notamment, les accréditations par des organismes d’accréditation (Cizek et al., 2011), les évaluations de programmes (Stufflebeam, 1999), les évaluations de personnel (Stufflebeam, 2000a), l’évaluation du devoir des professeurs (Scriven, 1994), les évaluations de programmes à grand déploiement (Shepard, 1997) et même les métaévaluations et les listes de contrôle elles-mêmes (Stufflebeam, 2000b).
1.2.2. Métaévaluation : L’utilisation d’un modèle d’évaluation
classique
L’utilisation d’une liste de contrôle basée sur un ensemble de normes correspondant à une définition de la métaévaluation présentée dans la section précédente n’est cependant pas la seule approche valable. En effet, différentes visions de la qualité et cadres d’évaluation ont été développées au fil des ans qui pourraient servir de base à la métaévaluation des services rendus aux usagers des RI et RTF.
Premièrement, l’évaluation des services rendus aux usagers des RI et RTF possède les trois attributs permettant, selon Parasuraman et al. (1985), de définir un service, soit l’intangibilité, hétérogénéité et inséparabilité. L’intangibilité concernant l’impossibilité d’établir des spécifications de série comme pour un produit manufacturier, l’hétérogénéité concernant la variabilité des résultats
obtenus selon l’évaluateur et l’inséparabilité concernant la coproduction du service entre l’utilisateur et l’évaluateur.
Deuxièmement, l’évaluation des services rendus aux usagers des RI et RTF pourrait être considéré comme un programme de santé et services sociaux ouvrant ainsi la porte à l’utilisation de cadres d’évaluation de programmes ou de programmes de santé et services sociaux plus particulièrement. En effet, selon Plante (1994), le programme est une unité plus petite que l’institution ancrée sur les finalités et les objectifs poursuivis par celle-ci. Il s’agit d’idées, de stratégies et de personnes visant à transformer les choses. Yarbrough et al. (2011), décrivent un programme comme étant « […] the systematic application of resources guided by logics, beliefs and assumptions identifying human needs and factors related to them. ». Ces deux définitions sont précisément applicables à l’évaluation des services rendus aux usagers des RI et RTF.
1.2.2.1. Zéro défaut
Le zéro défaut est une vision de la qualité selon laquelle les produits et services doivent être libres de toute défectuosité. Cette vision de la qualité varie selon l’auteur consulté.
Par exemple, Crosby (1980) décrit une démarche en 14 étapes pour améliorer la qualité de produits. Pour lui, la qualité est la conformité aux exigences. De plus, le coût de la qualité est le coût de ne pas bien faire les choses et ce coût devrait être calculé. Aussi, Crosby (1980) préconise un processus d’amélioration constant sous la forme d’un programme d’amélioration continue visant à éliminer les causes de la non-qualité. Cette façon de voir les choses dicte la création d’un
propose des grandes lignes directrices et une procédure générale d’amélioration de la qualité, il ne fournit pas de méthodologie de collecte de données ni de méthodes d’analyse statistique, bien qu’il sous-entende leur utilisation. Les rares méthodes de collectes de données proposées explicitement sont plutôt des méthodes qualitatives reposant sur les interactions entre le personnel et la direction, par exemple, des suggestions d’employés ou des rencontres. Pour Crosby (1980), l’évaluation de la qualité est basée sur un nombre d’indicateurs limité : l’atteinte des objectifs de réduction de défauts, les informations sur les produits défectueux (peu de détails sur la manière d’obtenir ces informations par contre), les troubles, obstacles et situations empêchant l’atteinte du zéro défaut rapportés par les employés et le stade de maturité du management défini par l’interprétation d’une « grille de management ».
Deming (1982), parle aussi de la vision du zéro défaut, mais il va plus loin en ajoutant une notion d’efficience. Ainsi, Deming (1982) présente un plan en 14 points pour la haute direction dont l’objectif est de réussir à obtenir zéro erreur, zéro délai, la maximisation de l’efficience des méthodes, techniques, et processus, et zéro défaut. Pour ce faire, l’auteur présente toute une gamme d’outils statistiques. De nombreux moyens proposés par Deming (1982) sont en fait des indicateurs de la qualité potentiellement applicables à l’élaboration d’un cadre d’évaluation. Le tableau 3 en présente une liste non exhaustive.
Tableau 3. Indicateurs de la qualité tirés du modèle zéro défaut de Deming
Sources
d’information Méthode de collecte Indicateur
Observation Grille d’observation (échantillonnage aléatoire de temps)
Temps d’attente des employés pour pouvoir exécuter leurs tâches Durée d’inactivité du matériel, de la machinerie, etc.
Délais : réparation, livraisons, etc. Temps superflu pour exécuter une tâche
Temps de travail perdu : absences ou improductivité liée à la consommation de substances
Temps perdu : méthodes inefficaces
Temps perdu : fabrication de pièces défectueuses ou production de services inutiles Temps volé Employés et observation Questionnaires et grilles d’observation
Analyse de la courbe d’apprentissage : réduction des erreurs, réduction des coûts par unité, réduction du coût par unité produite,
augmentation de la production
Données Extraction de données Analyse des intrants et des extrants : productivité des intrants Employés Collecte ponctuelle
Problèmes pouvant causer des défauts Accidents
Attitudes et comportements de qualité acceptable Employés et
observation grilles observation Questionnaires et Analyse de la courbe d’apprentissage : évaluation des capacités d’un individu ou groupe Employés et
observation expériences Tests et Attitudes et comportements Données Extraction de données Prix des intrants
Qualité des intrants
Données, observation Extraction de données, tests, expériences, inspection (échantillonnage aléatoire)
Données sur les problèmes pouvant causer des défauts (erreurs humaines, qualité des intrants, qualité des pièces produites)
Partenaires,
clients, employés Questionnaires Données sur les problèmes pouvant causer des défauts Erreurs humaines Employés Suggestions Problèmes pouvant causer des défauts
Source : Deming, W. E. (1982) Quality, productivity, and competitive position. Cambridge : Massachusetts Institute of Technology, Center of Advanced Engineering Study.
Les auteurs du zéro défaut sont considérés comme étant parmi les pères de la qualité et leurs techniques sont encore largement utilisées par les gestionnaires. De plus, leurs écrits ont formé les bases des concepts d’efficacité et d’efficience repris par de nombreux auteurs plus récents tels
Bouchard (2002) et Rivas et Fernando (2013). Toutefois, les indicateurs proposés par Crosby (1980) sont très limités en nombre et la méthodologie permettant de les appliquer reste nébuleuse. Deming (1982), quant à lui, présente de nombreux indicateurs de qualité basés sur des analyses statistiques. Toutefois, selon Rosander (1989), ces indicateurs demanderaient plus de connaissances statistiques que les dirigeants moyens n’en possèdent. Combinés à une formation adéquate, ces indicateurs peuvent aider à améliorer l’efficacité.
Dans le présent contexte, la plupart des indicateurs tirés de Deming (1982) et présentés précédemment dans le tableau 3 sont intéressants, mais leur applicabilité est limitée, car ils s’appliquent surtout dans un contexte où ils sont utilisés par des gestionnaires.
1.2.2.2.
Approche multiattribut
L’approche multiattribut témoigne de la grande importance accordée par les théoriciens de la qualité à la perception de la qualité par l’usager du service. Ainsi, en concevant le SERVQUAL, Parasuraman et coll. (1988) définissent la qualité d’un service comme étant l’écart entre les attentes des consommateurs et leur perception de la qualité du service rendu définie par cinq attributs soit la tangibilité, la fiabilité, l’assiduité, l’assurance et l’empathie. Dans un autre modèle multiattribut, Dabholker et coll. (1995) voient la qualité d’un service comme étant fonction des aspects physiques, de la fiabilité, de la réactivité, de l’assurance et de l’empathie.
Selon Urban (2013), les modèles multi attributs seraient utilisés dans de nombreux domaines soit, entre autres, les services bancaires (Bahia & Nantel, 2000 ; Chen, 2009 ; Jayawardhena, 2004),
de logiciel (Gounaris, 2005) et les services de librairies (Cook, Heath, & Thompson, 2001). Ces nombreux modèles illustrent le fait que les dimensions de la qualité tendent à varier selon le type de service.
L’approche multiattribut est basée uniquement sur la perception qu’a l’usager d’un service qui lui est rendu. Dans le cas qui nous occupe, les usagers de l’évaluation des services rendus aux usagers des RI et RTF sont principalement les gestionnaires de l’ESSS. Il a toutefois été jugé que l’utilisation d’un plus grand nombre de sources soit préférable à l’utilisation d’une seule source, en effet, les gestionnaires de l’ESSS pourraient ne donner qu’une information partielle.
Le cadre d’évaluation choisi présente toutefois certaines similitudes avec le modèle multiattribut. En effet, les qualités singulières et, surtout, transversales pourraient être assimilées à des dimensions de la qualité du « service ».
1.2.2.3.
Modèle EGIPSS
Sicotte et al. (1998), proposent le modèle EGIPSS, basé sur la théorie de l’action raisonnée de Parsons (1977), afin de servir de cadre d’évaluation global de la performance des systèmes de santé. Puisque la performance est un concept différent de la qualité, il importe de présenter la définition de la performance choisie par les auteurs. Pour eux, il s’agirait d’un construit multidimensionnel référant à un jugement élaboré via l’interaction entre les parties prenantes sur les qualités essentielles et spécifiques qui caractérisent la valeur relative de l’organisation. Ces qualités pouvant être inférées selon deux perspectives : la perspective normative, c’est-à-dire la manière dont
une organisation accomplit ses fonctions, et la perspective configurationelle, c’est-à-dire l’équilibre entre les fonctions (Sicotte et coll., 1998).
Toujours selon Sicotte et coll. (1998), une organisation devrait maintenir quatre fonctions soit : l’atteinte des buts, l’adaptation, le maintien des valeurs et la production. Ces quatre fonctions peuvent être définies comme suit : l’atteinte des buts correspond à la capacité qu’a l’organisation d’atteindre ses buts fondamentaux, l’adaptation correspond à l’interaction que l’organisation a avec son environnement dans le but d’acquérir des ressources et de s’adapter, le maintien des valeurs correspond aux normes et valeurs de l’organisation et la production correspond aux processus internes de production (Champagne et coll., 2005).
De plus, les liens de congruence, d’adéquation ou d’impact ente ces fonctions formeraient six « alignements » soit les alignements stratégique, allocatif, tactique, opérationnel, légitimatif et contextuel.
L’alignement stratégique, soit les liens entre l’adaptation et l’atteinte des buts, correspond à la compatibilité entre la mise en œuvre des moyens en fonction des buts et la pertinence des buts étant donné le contexte et la recherche d’une meilleure adaptation organisationnelle (Sicotte et coll., 1998).
L’alignement allocatif, soit les liens entre l’adaptation et la production, correspond à la justesse d’allocation des moyens et la compatibilité des mécanismes d’adaptation avec les impératifs et résultats de la production (Sicotte et coll., 1998).
L’alignement tactique, soit les liens entre l’atteinte des buts et la production, correspond à la capacité qu’ont les mécanismes de contrôle découlant du choix des buts organisationnels de gouverner le système de production et la pertinence des buts face aux impératifs et aux résultats de la production (Sicotte et coll., 1998).
L’alignement opérationnel, soit les liens entre le maintien des valeurs et la production, correspond à la capacité qu’ont les mécanismes de génération de valeurs et du climat organisationnel de mobiliser le système de production et l’impact qu’ont les impératifs et les résultats de la production sur le climat et les valeurs de l’organisation (Sicotte et coll., 1998).
L’alignement légitimatif, soit les liens entre le maintien des valeurs et l’adaptation, correspond à la capacité qu’on les mécanismes de génération des valeurs et du climat de l’organisation de contribuer à l’atteinte des buts organisationnels et la façon dont le choix et la poursuite des buts modifient et influencent les valeurs et le climat de l’organisation (Sicotte et al., 1998).
L’alignement contextuel, soit les liens entre le maintien des valeurs et l’atteinte des buts, correspond à la capacité qu’ont les mécanismes de génération des valeurs et du climat organisationnel de mobiliser positivement le système d’adaptation et la façon dont les impératifs et les résultats de l’adaptation modifient et influencent les valeurs et le climat organisationnel (Sicotte et coll., 1998).
Selon Champagne et coll. (2005), dans le cadre de l’évaluation globale d’un service des systèmes de service de santé les quatre fonctions organisationnelles que sont l’atteinte des buts, la
la performance. Ainsi, toujours selon le même auteur, l’atteinte des buts comprendrait la satisfaction globale de la population, l’efficacité, l’efficience et l’équité, la production comprendrait la productivité, la qualité, le volume de soins et services et la coordination de la production, l’adaptation comprendrait l’acquisition de ressources, l’adaptation aux exigences et tendances, la mobilisation de la communauté, l’innovation et transformation et l’attraction des clientèles et le maintien des valeurs comprendrait la présence d’un consensus sur les valeurs du système et le climat organisationnel. C’est par rapport à ces fonctions et dimensions que Champagne et al. (2005) proposent un cadre d’évaluation comprenant une pléthore d’indicateurs.
Figure 2.
Le modèle ÉGIPSS
Source : Champagne, F., Contandriopoulos A.-P., Picot-Touché, J., Béland, F., et Nguyen, H. (2005).
Un cadre d’évaluation globale de la performance des systèmes de services de santé : Le modèle EGIPSS. Québec : Le Conseil de la santé et du bien-être.
Bien que le modèle ÉGIPSS présente des qualités (appelés alignements dans le modèle) transversales, celles-ci semblent être plus théoriques que pratiques. En effet, les cadres d’évaluations de Champagne et al. (2005) ainsi que de Rivas et Fernando (2013) qui sont des applications du modèle EGIPSS, présentent tous deux leurs indicateurs selon les quatre fonctions du modèle et n’utilisent pas les alignements dans le cadre de la conception des indicateurs. Selon nous, la plupart des alignements sont difficilement évaluables, voire impossibles à évaluer, car très théoriques.
Le modèle ÉGIPSS grâce à son adaptation aux systèmes de santé, pourrait convenir à la métaévaluation des services rendus aux usagers des RI et RTF, toutefois, la complexité de l’évaluation des alignements a causé son rejet.
Il faut aussi noter que le modèle ÉGIPSS cherche à mesurer la performance d’un système de santé il est donc plus adapté à l’évaluation de la performance de systèmes généraux tels des hôpitaux où des départements d’ESSS.
1.3. Modèle théorique retenu : Modèle synergique des qualités
évolutives
Selon Bouchard (2002), le modèle synergique des qualités évolutives permet l’élaboration, l’implantation, l’évaluation et l’amélioration d’un organisme, c’est-à-dire un service, un programme ou un établissement, et d’en assurer la qualité. Toujours selon le même auteur, la qualité d’un organisme serait en fait dérivée des qualités dites singulières se rattachant à des composantes particulières de l’organisme et les qualités singulières se rattachant aux liens de conformité entre les
Figure 3.
Le modèle synergique des qualités évolutives
Source : Bouchard, C. et Plante, J. (2010) Modèle Synergique des Qualités Évolutives (sous presse).
1.3.1. Qualités transversales
Les qualités transversales sont illustrées comme des flèches reliant deux composantes de l’organisme, la flèche illustrant les relations de conformité que doivent entretenir celles-ci. Ces qualités sont au nombre de neuf.
1.3.1.1. Pertinence
La pertinence est la qualité qui correspond au lien de conformité entre les objectifs et les besoins. Pour mesurer cette qualité, les besoins comme les objectifs doivent être clairement formalisés (Bouchard, 2002).
1.3.1.2. Cohérence
La cohérence correspond au lien de conformité entre les moyens (approches, bonnes pratiques, activités, procédures, politiques, équipements, locaux, etc.), les personnes, appelées intervenants dans le modèle (personnel, direction, etc.) et les objectifs composant un organisme (Bouchard, 2003, 2010). Selon Bouchard (2003), la présence des divers moyens devrait se justifier sur la base des objectifs et les personnes devraient se justifier sur la base des objectifs et des moyens.
1.3.1.3. À-propos
L’à-propos correspond au lien de conformité entre l’organisme (objectifs, moyens, personnes) et les contraintes (contraintes financières, contraintes légales, contraintes environnementales, contraintes liées aux clients/usagers, etc.) lui étant imposées (Bouchard, 2002 ; Bouchard, 2010).
1.3.1.4. Efficacité
L’efficacité correspond au lien de conformité entre les objectifs et les résultats visés. Pour mesurer cette qualité, il est indispensable de disposer d’objectifs clairement définis et mesurables, sans quoi il serait difficile d’évaluer si le service a bien été rendu (Bouchard, 2002).
1.3.1.5. Durabilité
La durabilité correspond au lien de conformité entre les objectifs et les résultats à long terme. Cette qualité s’intéresserait ainsi, selon Bouchard (2002), à la permanence ou à la durée de vie des résultats obtenus.
1.3.1.6.
Efficience
L’efficience correspond au lien de conformité entre l’économie des ressources par rapport aux résultats. Ainsi, selon Bouchard (2002), l’atteinte de l’efficience n’est possible que lorsque l’organisme est efficace, cette qualité étant préalable. Selon le même auteur, il existe deux moyens d’augmenter l’efficience soit : « augmenter le degré d’atteinte des objectifs visés sans accroître les moyens alloués dans le fonctionnement pour y parvenir [et] diminuer les moyens alloués pour son fonctionnement, sans diminuer le degré d’atteinte des objectifs visés, c’est-à-dire, sans réduire son efficacité ».
1.3.1.7. Synergie
La synergie correspond au lien de conformité entre les personnes et les résultats, c’est-à-dire la capacité des personnes à produire les résultats escomptés. Selon Bouchard (2002), pour mesurer la synergie, il faut d’abord s’assurer que les personnes possèdent les habiletés nécessaires à l’atteinte des objectifs (cohérence). La synergie touche à la coordination, aux communications et aux attitudes.
1.3.1.8. Impact
L’impact correspond au lien de conformité entre les résultats collatéraux (non prévus) de l’organisme et les exigences de l’environnement dans lequel il évolue (Bouchard, 2002). Selon le même auteur, l’impact prend aussi la nature des résultats collatéraux (ex. : négatif ou positif) en considération.
1.3.1.9. Flexibilité
La flexibilité correspond au degré auquel un programme peut être changé (Bouchard, 2002). La flexibilité est surtout importante au moment de l’amélioration d’un programme.
1.3.2. Qualités singulières
Parallèlement aux qualités transversales qui sont en nombre relativement limité, il existe potentiellement une infinité de qualités dites singulières (Bouchard, 2010). Ces qualités sont relatives aux diverses composantes de l’organisme. Certaines qualités singulières sont préalables à
l’évaluation des qualités transversales, ainsi, les besoins doivent être clairs, les objectifs doivent être mesurables et compréhensibles, les moyens doivent être définis, etc. (Bouchard, 2002).
1.3.3. Points de vue
Une caractéristique du modèle synergique des qualités évolutives est qu’on y identifie trois points de vue soit : la qualité voulue qui correspond aux objectifs, la qualité rendue, qui correspond à la façon dont l’organisme se comporte et les effets (résultats voulus ou non) qu’a l’organisme et la qualité perçue correspondant à la perception qu’on les clients/usagers, les employés, les dirigeants et les autres parties prenantes (Bouchard, 2010).
1.3.4. Justification du choix du modèle théorique
Le modèle synergique des qualités évolutives, est assez général pour être applicable à tout type d’organisation, c’est-à-dire autant un programme, un service ou un établissement. Il s’agit de la principale raison de l’utiliser.
De plus, la revue de littérature n’a pas relevé d’utilisation de ce modèle pour effectuer de métaévaluation. Il s’agit donc, d’une approche inédite qui, si couronnée de succès, pourrait inspirer d’autres chercheurs à l’utiliser.
Finalement, en privilégiant trois points de vue et une multitude de sources, le modèle permet d’utiliser des alternatives autres que la perception de l’usager pour l’évaluation de la qualité.
