Modèle d’analyse

Après revue de littérature, il a été décidé d’adapter le modèle synergique des qualités évolutives au contexte de la métaévaluation des services rendus aux usagers des RI et RTF. Cette approche considère l’évaluation des services rendus aux usagers des RI et RTF comme étant un programme à part entière qui, comme tout programme, peut voir sa qualité être évaluée. Pour ce faire, le processus d’évaluation a été analysé et décortiqué afin de déterminer les aspects dont la qualité peut être évaluée.

La figure 4 présente le résultat de cette analyse, l’adaptation du modèle de Plante et Bouchard utilisé dans le cadre de l’étude et consiste en l’ensemble des qualités transversales et des objets couverts par des qualités singulières évaluables.

Figure 4.

Système de contrôle de la qualité des services rendus à un usager par l’établissement et par la RI-RT selon le MSQE

Source : Bouchard, C. et Plante, J. (2010) Modèle Synergique des Qualités Évolutives (sous presse).

Obtenir de l’information crédible, fiable et utile sur la qualité des services rendus à l’usager par

l’établissement et la RI - RTF

Objectif

Activités d’évaluation Ressources matérielles/informationnelles

Moyens

1. Sélection des évaluations à faire 2. Obtention des informations requises

avant l'évaluation

3. Planification des activités d'évaluation 4. Adaptation et impression de la grille

d'observation et des questionnaires 5. Observation dans la ressource 6. Administration des questionnaires 7. Compilation des données

8. Production et interprétation du rapport sommaire

9. Production des rapports d'analyse 10.Suivi des actions correctives 11.Comité d’évaluation

Locaux Outil informatisé

Documentation nécessaire à l’expérimentation du système Outils d’évaluation (Grille

d’observation et questionnaires : usager, intervenant usager, ressource, proche, partenaire

d’intégration, établissement)

Gestion du processus

Formation des personnes chargées de l’application du système Communications aux parties prenantes du contrôle de la qualité

Activités de soutien à l’expérimentation du système

Gestionnaires Personnes chargées de l’application du système Comité d’évaluation Personnes Résultats Obtention d’information rapide, utile, crédible et

fiable Système de contrôle de la qualité

Cohérence

Efficacité Synergie

Contraintes

• Ressources financières disponibles pour l'évaluation • Pouvoirs, résistances et intérêts des divers intervenants

• Conditions physiques, sociales et économiques des personnes impliquées • Lois, Règles, Code d’éthique

• Sources d'information disponibles

À-Propos

Tant des qualités singulières que des qualités transversales ont été identifiées. Le modèle d’analyse sélectionné possède certaines caractéristiques similaires à l’utilisation de listes de contrôle basées sur des normes d’évaluation. Les qualités singulières et transversales peuvent être assimilées à un ensemble inédit de normes d’évaluation. De plus, les deux visions voient l’utilisation d’une multitude de sources par le métaévaluateur comme étant un gage de richesse d’information.

Le tableau 4 fait état des qualités singulières tandis que le tableau 5 met plutôt en évidence les qualités transversales qui devraient caractériser un service, un programme ou une intervention. Les différentes sources d’information qui s’exprimeront sur les qualités singulières et transversales sont les suivantes, chaque source d’information s’exprimant sur les qualités qui lui sont pertinentes :

 Gestionnaires

 Personnel ayant utilisé le système

Tableau 4. Objets d’évaluation, sous-objets d’évaluation et qualités singulières

Objet Sous-objet Qualité

Moyens Ensemble des activités d’évaluation

• Adéquation de la durée de l’activité • Facilité de réalisation de l’activité

• Cohérence du guide d’administration avec l’activité • Synergie entre le personnel (savoir, savoir-faire,

savoir-être) et l’activité

• Cohérence de l’outil informatisé avec l’activité (sauf pour la sélection des évaluations à faire, l’observation dans la ressource)

Moyens _{d’évaluation} Outils

• Clarté des rapports d’évaluation

• Applicables à tous les outils d’évaluation

• Clarté des consignes de l’outil d’évaluation • Exhaustivité des consignes de l’outil

d’évaluation

• Clarté des items de l’outil d’évaluation • Clarté des échelles de mesure de l’outil

d’évaluation

• Grille d’observation et questionnaire intervenant • Disponibilité des informations à obtenir avant

ou pendant l’utilisation de l’outil d’évaluation • Clarté du cadre de référence

• Fiabilité de la base de données • Fiabilité des rapports d’évaluation • Disponibilité des rapports d’évaluation • Diffusion des rapports d’évaluation

Objet Sous-objet Qualité

Moyens Activités de _soutien

• Méthodes d’information et de sensibilisation aux employés de l’établissement suffisantes

• Méthodes d’information et de sensibilisation aux RI et RTF suffisantes

• Méthodes d’information et de sensibilisation aux partenaires suffisantes

• Accessibilité des séances de formation destinées au personnel

• Soutien administratif suffisant • Adéquation du suivi des activités

• Collaboration dans la création et le maintien de partenariat avec les autres services

• Efficacité des mesures pour pallier aux résistances • Actualisation des méthodes d’information et de

sensibilisation du système d’évaluation • Disponibilité de l’information fournie par

l’établissement sur le système d’évaluation

• Clarté de l’information fournie par l’établissement sur le système d’évaluation

• Adéquation de l’information fournie par l’établissement sur le système d’évaluation

Contraintes

• Identification des ressources financières • Identification des ressources informationnelles • Identification des lois, règles et codes d’éthique • Identification de la conjoncture politique

• Identification de l’environnement physique

• Identification des conditions physiques, sociales ou économiques des usagers et autres personnes

Personnes Responsables _{des activités}

• Applicables à toutes les activités

• Compétence des personnes choisies pour réaliser l’activité

• Disponibilité des personnes choisies pour réaliser l’activité

• Leadership de la direction • Clarté de la vision de la direction • Planification suffisante par la direction Résultats

• Fiabilité de l’information tirée du système d’évaluation • Crédibilité de l’information tirée du système

d’évaluation

Tableau 5. Objets d’évaluation, sous-objets d’évaluation et qualités transversales

Qualité transversale

générale Qualité

Cohérence

• Applicables à toutes les activités

• Actualisation de la réalisation de l’activité conformément aux procédures du guide d’administration

• Capacité du contenu du guide d’administration de permettre la réalisation adéquate de l’activité

• Disponibilité des locaux nécessaires à la réalisation de l’activité • Confidentialité des locaux utilisés pour réaliser l’activité

• Adéquation du contenu du guide d’administration concernant les méthodes d’information et de sensibilisation

À-propos

• Applicable à tous les questionnaires

• Adéquation de la durée d’administration de l’outil d’évaluation en fonction des ressources humaines disponibles

• Applicables à tous les outils d’évaluation

• Adaptabilité de l’outil d’évaluation en fonction du contexte de l’établissement

• Adéquation des échelles de mesure de l’outil d’évaluation en fonction de la clientèle visée

• À-propos des conditions physiques, sociales ou économiques des usagers ou des autres personnes en fonction de l’ensemble des activités • À-propos de la conjoncture politique en fonction de l’ensemble des

activités

• À-propos de l’environnement physique en fonction de l’ensemble des activités

• À-propos des lois, règles et codes d’éthique en fonction de l’ensemble des activités

• À-propos des ressources financières en fonction de l’ensemble des activités

• À-propos des ressources informationnelles en fonction de l’ensemble des activités

Synergie

• Applicables à toutes les activités

• Disponibilité des RI et RTF en fonction du moment choisi pour l’observation dans la ressource

• Disponibilité des usagers en fonction du moment choisi pour l’observation dans la ressource

• Disponibilité des répondants en fonction du moment choisi pour la passation de questionnaires

• Adéquation de l’attitude du personnel par rapport à l’activité • Adéquation des séances de formation destinées au personnel

Qualité transversale

générale Qualité

Efficacité

• Efficacité de l’atteinte des objectifs concernant la proportion d’usagers couverts mensuellement

• Efficacité de l’atteinte des objectifs concernant la proportion de RI et RTF couvertes déterminée mensuellement

• Efficacité de l’atteinte des objectifs concernant l’information tirée du système d’évaluation sur tous les aspects nécessaires de la qualité des services

• Efficacité de l’atteinte des objectifs concernant la durée du processus par usager

Efficience • Applicables à toutes les activités • Efficacité du personnel quant à la qualité du travail accompli relatif à l’activité