Les conseils méthodologiques et biais potentiels des enquêtes de satisfaction dans les réseaux

In document PRINCIPES D ÉVALUATION DES RÉSEAUX DE SANTÉ (Page 104-108)

III. É VALUATION DES RÉSEAUX DE SANTÉ : ÉLÉMENTS DE MÉTHODOLOGIE

III.3. Évaluation de la satisfaction des personnes prises en charge et des acteurs

III.3.3. Les conseils méthodologiques et biais potentiels des enquêtes de satisfaction dans les réseaux

Les domaines plus particulièrement discutés dans les réseaux de santé sont la méthodologie et les biais statistiques.

La méthodologie

• L'utilisation de périodes de référence explicites.

Il s'agit de définir ici la période sur laquelle doit porter le jugement du patient. En l'absence de cette précision, les réponses peuvent être biaisées par l'interprétation faite par le patient.

Il y aura, par exemple, une réponse couvrant 5 ans ou 8 mois selon l'ancienneté de l'affiliation.

Il est donc impératif de standardiser les réponses en limitant la période que le patient doit prendre en compte avant la réponse.

– Dans le même ordre d'idée, il faut préciser si l'on recherche une réponse globale ou en rapport avec l'instant présent.

– Les réponses ne seront pas identiques si la question est : « êtes-vous généralement en bonne santé », ou « êtes-vous actuellement en bonne santé ? »

L'opinion sur un plan peut varier de la même manière selon la période concernée.

• La durée optimale de la période de référence est discutée.

En effet, un jugement sur les 12 derniers mois est plus sujet à caution (problème de mémoire) que sur 6 mois. Par ailleurs, en choisissant une durée, il faut tenir compte du délai d'affiliation.

Une autre contrainte dans le choix de la période de référence est qu'elle représente la durée minimale d'affiliation pour certains patients. Or, cette durée doit être aussi comparable que possible dans les différentes populations étudiées et les différences doivent être minimisées. Ce problème est particulièrement important pour les réseaux recevant continuellement un afflux important de patients.

Ces contraintes secondaires au turnover rapide font préférer une courte période de référence pour ces réseaux. In fine, une période d'enquête courte permet aussi d'avoir des informations relativement récentes et comparables. L'équipe de CAHPS a donc retenu le recul de 6 mois maximum.

• Les réponses

Les réponses sont exprimées sous forme binaire (oui / non) lorsqu'il s'agit de faire confirmer par le patient l'existence d'un soin ou d'une stratégie ; lorsqu'il s'agit d'exprimer une opinion, différentes échelles ont été comparées :

– soit des échelles de type Likert à 4,5 ou 7 paliers ;

– soit une échelle entre 1 et 10 (0 étant mauvais, 10 étant le mieux possible et 5 moyen).

Les professionnels de CAHPS ont retenu l'échelle de 1 à 10 car : – elle est la plus discriminative ;

– elle est plus facile à utiliser quels que soient l'âge et l'origine (notamment parce qu'il est difficile de se souvenir des 6 ou 7 paliers énoncés lors d'une enquête téléphonique). Les difficultés d'analyse sémantique sont par ailleurs éliminées ;

– le rapport final est plus facilement construit car il est difficile de représenter de façon claire la distribution des réponses au travers de 6 ou 7 catégories (les réponses sont d'ailleurs dans ce cas souvent regroupées). La manière la plus adaptée pour rapporter les résultats est la moyenne ou la médiane : l'interprétation des résultats est plus simple ; les patients acceptent aussi facilement les deux types d'échelle.

Pour Preus (23), la plupart des études rapportent des résultats sous forme de scores dont l’utilité pratique n’est pas évidente. L’auteur compare cette pratique à celle d’un enfant obtenant une note globale de 3,5/4 pour ses performances à l’école. Cela indique que l’enfant travaille bien, mais ne lui donne aucune indication sur la manière de s’améliorer.

Pour pallier cet inconvénient, une méthode consiste à expliquer statistiquement la satisfaction globale en fonction d’un certain nombre de jugements sur des événements vécus au sein du réseau (affiliation, soins médicaux, prix, résolution des problèmes, etc.) Par des études de régression, un petit nombre de résultats peuvent ainsi expliquer 70 à 90 % de la variance de la satisfaction globale et permettent d’orienter vers des modifications de pratique.

Pour les biais statistiques

L’enquête idéale, pour évaluer l’effet des MCO sur la qualité des soins, doit comporter d’une part, un choix au hasard d’un grand nombre de patients et/ou de soignants et, d’autre part, concerner plusieurs régions d’un pays (6).

En effet deux biais sont possibles :

– celui du patient qui choisit son mode de prise en charge selon ses caractéristiques sociales et ses préférences (ex. : patient très attaché à avoir toujours le même médecin) ; – celui du médecin qui choisit son mode d’exercice selon ses propres convictions (ex. :

certaines enquêtes ont montré que les médecins dans les HMO sont moins demandeurs d’examens).

Par ailleurs (6), toutes les enquêtes publiées comparant divers plans sont des enquêtes transversales, à un moment donné. Des enquêtes « avant – après » seraient nécessaires pour observer les modifications de soins associées au changement de plan.

Ces enquêtes manquent pour plusieurs raisons :

– avoir les informations d’un échantillon représentatif de patients ayant migré d’une MCO à un plan conventionnel (le mouvement inverse a été récemment constaté) est difficile car cela concerne peu de personnes ;

– suivre les soins reçus au cours du temps est difficile, surtout lors de changement de plan. Des renseignements personnels doivent être obtenus des différents réseaux or ces informations sont confidentielles.

Les enquêtes les plus récentes doivent être privilégiées car des changements surviennent rapidement dans les réseaux.

L’importance des enquêtes de satisfaction dans le cadre des réseaux semble reconnue par de nombreux auteurs. Cependant, différentes théories s’opposent sur la meilleure façon de procéder, tant sur la forme que sur le fond. Les techniques employées peuvent aller du simple entretien avec le patient jusqu’à des questionnaires très élaborés, exploités par des moyens statistiques complexes.

Enfin ,

– il existe de nombreux pièges méthodologiques ;

– il n’y a pas de méthode spécifique aux réseaux de santé ;

– il n’y a ni méthode ni questionnaire universels, mais plusieurs façons d’aborder l’étude de la satisfaction,

L’importance de cette dimension de la qualité des soins est cependant telle qu’il est indispensable, malgré les difficultés, de poursuivre les recherches et de tenter de déboucher sur des résultats concrets pour les patients (et les autres acteurs des réseaux), pour les aider dans leurs choix (9).

RÉFÉRENCES

1. Agence Nationale d'Accréditation et d'Évaluation en Santé. La satisfaction des patients lors de leur prise en charge dans les établissements de santé. Revue de la littérature médicale. Paris: ANAES; 1996.

2. Glossary. Int J Qual Health Care 1998;10: 375-7.

3. Angell M. The American health care system revisited. A new series. N Engl J Med 1999;

340:48.

4. Bocognano A, Couffinhal A, Grignon M, Mahieu R, Polton D. Mise en concurrence des assurances dans le domaine de la santé. Théorie et bilan des expériences étrangères. Paris:

CREDES;1998.

5. Allen HM. Toward the intelligent use of health care consumer surveys. Manag Care Q 1995;3:10-21.

6. Hellinger FJ. The effect of managed care on quality: a review of recent evidence. Arch Intern Med 1998;58:833-41.

7. Kairey MS, Baumruk RW. Using customer input to improve managed care performance. Manag Care Q 1995;3:45-51.

8. Eddy DM. Performance measurement. Problems and solutions. Health Affairs 1998;17:7-25.

9. Gold M, Wooldridge J. Surveying consumer satisfaction to assess managed-care quality:

current practices. Health Care Financ Rev 1995;16:155-73.

10. Davies AR. Patient satisfaction surveys: which tool is right for you? An interview. Qual Lett Healthcare Lead 1996;8:9-13.

11. Weyrauch KF. Does continuity of care increase HMO patients' satisfaction with physician performance? J Am Board Fam Pract 1996;9:31-6.

12. Weiss BD, Senf JH. Patient satisfaction survey instrument for use in Health Maintenance Organizations. Med Care 1990;28:434-45.

13. Ingram BL, Chung RS. Client satisfaction data and quality improvement planning in managed mental health care organizations. Health Care Manage Rev 1997;22: 40-52.

14. National Committee for Quality Assurance.

State of managed care quality. Disponible sur Http ://www ncqa org/pages/ communication managed\care\report.1998 htm 1998.

15. Mainous AG, Talbert J. Assessing quality of care via HEDIS 3.0.Is there a better way ? Arch Fam Med 1998;7:410-3.

16. Grimaldi PL. Are managed care members satisfied? Nurs Manage 1997;28:12-5.

17. Allen HM. Anticipating market demand : tracking enrollee satisfaction and health over time. Int J Qual Health Care 1998;10:521-30.

18. Sofaer S, Hurwicz ML. When medical group and HMO part company: disenrollment decisions in medicare HMOs. Med Care 1993;31:808-21.

19. Agency for Health Care Policy and Research.

Consumer assesment of health plans (CAHPS TM) fact sheet. Disponible sur :

http://www ahcpr org/qual/CAHPfact.htm 1998 ;

20. Stanger J. Custom versus standardized patient satisfaction surveys: a Pacific Telesis case study.

Manag Care Q 1995;3:41-4.

21. Sheldon T. Promoting health care quality : what role performance indicators ? Qual Health Care 1998;7(suppl): S45-50.

22. Kuttner R. Must good HMO's go bad ? Second of two parts. The search for checks and balances. N Engl J Med 1998;338:1635-9.

23. Preus CE. Using patient surveys to measure health plan performance and improve quality of care. Manag Care Q 1995;3:22-31.

24. Spoeri RK, Ullman R. Measuring and reporting managed care performance. Lessons learned and new initiatives. Ann Intern Med 1997;127:726-32.

25. Galvin RS. Are performance measures relevant?

Health Affairs 1998;17:29-31.

26. Deckard GJ. Physician responses to a managed environment: a perceptual paradox. Health Care Manage Rev 1995;20:40-6.

27. Moore MT. Provider satisfaction: an analysis based on expectation. Physician Exec 1993;19:47-50.

III.4. L’évaluation des programmes de santé

In document PRINCIPES D ÉVALUATION DES RÉSEAUX DE SANTÉ (Page 104-108)