Choix du type de comparaison sur lequel va s’appuyer l’évaluation

On trouvera en annexe un instrument (Clinical Indicator Development Form) proposé par la Joint Commission on Accreditation for Healthcare Organizations (JCAHO) (annexe 5) des États-Unis afin d’aider les cliniciens à développer des indicateurs de manière méthodique.

Les indicateurs économiques dans l’évaluation des réseaux

Dans le cas de l’économie standard, il existe un étalon de mesure de l’efficience.

Concrètement il est possible de mesurer le rapport coût /efficacité de la prise en charge ou coût/qualité de vie pour l’usager dans une situation avec coordination (ou mise en réseau) par rapport à une situation sans coordination. Par exemple, des études coût par hospitalisation terminale évitée ou coût par jour de maintien à domicile sont réalisables dans le cadre d’évaluations de réseaux de soins palliatifs.

Cependant, le cadre théorique contraignant de ce type d’approche, à savoir un univers où le produit et/ou le service sont facilement identifiables et où le consommateur est le décideur, ne correspond pas aux caractéristiques des réseaux et au type d’activité qu’ils produisent.

Le réseau produit des relations de coopération entre des unités de production autonomes.

Ceci limite les possibilités de mise en œ uvre et la pertinence d’une approche d’économie standard.

Une approche par la théorie des organisations enrichit l’évaluation des réseaux en analysant des comportements et des mobiles d’action des acteurs des réseaux de santé, voire les phénomènes collectifs d’apprentissage, même si elle ne fournit pas directement des outils de décisions. Cette approche permet de dégager des notions telles que :

– le coût moyen de la coordination ;

– la « productivité du réseau » associée à sa taille optimale ;

– l’apprentissage professionnel collectif (par exemple, pratiques communes) et sa progression dans le cadre des réseaux de santé.

Enfin, un indicateur tel que le coût de conformité à un référentiel pourrait être utilisé de façon étendue pour rendre compte de la performance économique des réseaux. Par exemple, dans le cadre des réseaux de soins palliatifs, des coûts de conformité aux référentiels élaborés collectivement pourront être quantifiés (coût d’une mesure journalière de la douleur, coût d’une réponse antalgique adaptée au niveau de douleur mesurée).

niveau inacceptable. Ces niveaux définis a priori doivent pouvoir être redéfinis avec l’expérience des acteurs et des difficultés rencontrées.

— Comparaison de deux mesures successives de la performance

Cette comparaison porte sur des mesures successives de la performance du réseau. Elle n’est possible que dans les périodes de relative stabilité des objectifs et de la configuration du réseau. Elle permet d’apprécier la démarche d’amélioration de la qualité du réseau, sa dynamique, sa capacité à analyser les dysfonctionnements et les difficultés rencontrés et à mettre en place des solutions efficaces. Dans ce type de comparaison l’interprétation doit être prudente et prendre en compte la possibilité de facteurs confondants.

— Comparaison de la performance du réseau versus absence de réseau

Cette comparaison (réseau versus absence de réseau) soulève des problèmes méthodologiques complexes. Il est hautement probable que les patients pris en charge en réseau et hors réseau auront des caractéristiques différentes en termes de pathologie, d’attentes, de statut socioprofessionnel, etc. De même les intervenants en réseau et ceux qui interviennent hors réseau auront probablement des caractéristiques différentes. Pour comparer les deux populations il faudra être à même de mesurer ces caractéristiques et de faire des ajustements statistiques complexes, sans jamais pouvoir affirmer que toutes les variables ont pu être contrôlées. De plus si les deux populations sont géographiquement proches un « biais de contamination » ne pourra pas être écarté.

— Comparaison des performances de deux réseaux.

Cette comparaison de deux réseaux soulève les mêmes problèmes auxquels vient s’ajouter une difficulté supplémentaire : par définition un réseau est une structure souple qui vise à s’adapter à une population donnée. Les objectifs de deux réseaux seront donc très rarement comparables.

Les deux premiers types de comparaison devraient pouvoir toujours être mis en œ uvre. Les troisième et quatrième types de comparaison ne peuvent être menés en dehors de méthodes expérimentales, et des niveaux de preuve pourront être définis :

• Niveau I : essai contrôlé randomisé

L’unité de randomisation peut être une institution, un groupe de médecins ou de professionnels ou un professionnel de santé, ou encore une période d'intervention. Les techniques de randomisation et d’analyse de ce type d’étude ont fait l’objet de nombreuses publications.

• Niveau II : étude avant/après avec groupe témoin

Le groupe témoin peut être un site comparable en termes de niveau de soins ou de système de prise en charge des patients, ou des activités comparables à celles qui font l’objet de l’évaluation.

• Niveau III : série chronologique

Dans ce dernier cadre, il faut 2 conditions pour que ce type d’étude soit retenu : que soit clairement défini le moment de la mise en place de l’intervention et qu’il y ait au moins 3 points de mesure avant et après la mise en place de l’intervention. Il n’y a pas de groupe contrôle mais il est nécessaire qu’il y ait un suivi prolongé d’une population, par exemple les professionnels ou les patients d’un réseau avant la mise en place du réseau.

Les méthodes expérimentales ne permettent pas de répondre à l'ensemble des questions posées par une intervention : en effet, le caractère expérimental de l'évaluation implique une protocolisation de l'intervention, une standardisation de la mesure, une acceptation de participer à l'évaluation, qui modifient la réalité, ne serait-ce qu'en sélectionnant les sujets d'études. Il est alors nécessaire de compléter cette approche par une mesure de l'impact de l'intervention sur l'ensemble de la population cible potentielle : qui est concerné, qui est touché, qui est exclu (« sélection du risque » volontaire ou non) ? Quelles conséquences pour ces exclus ?

Ainsi, les méthodes expérimentales évoquées vont répondre en réalité à la question « un réseau a-t-il la capacité, dans des conditions optimales d'utilisation, de faire mieux que l'absence de réseau ? », et non à « un réseau, en situation de routine, fait-il mieux que l'absence de réseau ? »

En définitive la question « tel type de réseau fait-il mieux que l’absence de réseau, ou qu’un autre type de réseau ? » est importante à poser en France, mais y répondre relève aujourd’hui d’une véritable recherche évaluative, dans le cadre par exemple d’appels d’offres spécifiques. En raison de la difficulté et des moyens nécessaires pour réaliser de tels travaux, il n’est pas justifié de demander ce type d’évaluation à tout réseau de santé.