Fiabilité des données du système MED-ÉCHO
7.12 Le système MED-ÉCHO contient les données médico-hospitalières relatives aux hospitalisations survenues dans les centres hospitaliers dispensant des soins généraux et spécialisés. Les informations concernant les soins de courte durée et les chirurgies d’un jour sont donc compilées par les établissements avant d’être acheminées au MSSS pour alimenter la banque centrale de données MED-ÉCHO.
Chaque année, environ 750 000 hospitalisations et 275000 chirurgies d’un jour
V é r i f i c a t e u r g é n é r a l d u Q u é b e c – R a p p o r t d e 2 0 0 1 - 2 0 0 2 ( I I )
7.13 Le MSSS n’a pas mis en place de contrôles pour s’assurer de la fiabilité des données provenant du système MED-ÉCHO. Notamment, il n’y a pas de mécanisme garan-tissant la qualité de la codification et de la saisie. Il n’y a non plus aucune vérifica-tion systématique par le MSSS du travail effectué par les centres hospitaliers.
Faute de rétroinformation, le ministère ne peut se prononcer sur l’exactitude des données stockées dans la banque, ignorant la nature et la fréquence des erreurs commises, le cas échéant.
7.14 Compte tenu de cette lacune, les données issues du système MED-ÉCHO n’ont pu être vérifiées moyennant un effort raisonnable. Il aurait fallu vérifier la codification d’un nombre trop important de dossiers pour pouvoir conclure sur la fréquence des erreurs de données. Par conséquent, nous n’avons pas été à même de déter-miner s’il aurait été nécessaire d’apporter des redressements aux résultats des 11 indicateurs suivants :
• la probabilité de survie relative après cinq ans, ajustée selon l’âge, pour les cas de cancer du poumon ;
• la probabilité de survie relative après cinq ans, ajustée selon l’âge, pour les cas de cancer de la prostate ;
• la probabilité de survie relative après cinq ans, ajustée selon l’âge, pour les cas de cancer du sein1;
• la probabilité de survie relative après cinq ans, ajustée selon l’âge, pour les cas de cancer du côlon-rectum ;
• le taux ajusté d’arthroplastie complète de la hanche ;
• le taux ajusté d’arthroplastie complète du genou ;
• le taux ajusté d’incidence du cancer du poumon ;
• le taux ajusté d’incidence du cancer de la prostate ;
• le taux ajusté d’incidence du cancer du sein ;
• le taux ajusté d’incidence du cancer du côlon-rectum ;
• le taux ajusté d’hospitalisation pour des problèmes de santé qui auraient pu bénéficier de soins ambulatoires.
7.15 Il convient de signaler qu’aucun des six centres hospitaliers que nous avons visités aux fins de la vérification n’avait introduit une procédure visant à contrôler la qualité de la codification des données. À la suite de l’examen d’une centaine de dossiers relatifs à des hospitalisations, nous avons constaté plusieurs types d’erreurs, notamment :
• l’inscription d’un code inapproprié découlant de la confusion entre des diagnostics principaux et des diagnostics secondaires ;
• des inexactitudes dans la codification de diagnostics ;
• la non-conformité avec le déroulement chronologique des faits (code indiquant que les complications sont survenues pendant la période de traitement, alors qu’elles étaient présentes avant l’hospitalisation).
173
C e r t i f i c a t i o n d e s i n d i c a t e u r s d e s a n t é
Absence de contrôles assurant la fiabilité des données de MED-ÉCHO.
1. Cancer du sein chez la femme.
7
7.16 Toutefois, ce travail limité est insuffisant pour conclure sur la fiabilité des données dans leur ensemble.
7.17 De plus, nos travaux ont fait ressortir deux autres problèmes relatifs au système MED-ÉCHO. Il faut mentionner que les données visées par ces lacunes serviront au calcul de certains indicateurs qui seront publiés ultérieurement.
• La période à l’urgence n’est pas prise en compte dans l’établissement de la durée d’hospitalisation puisque la date marquant l’admission est celle de l’attribution d’un lit au patient. Donc, il peut y avoir sous-estimation de la durée d’hospitalisation. Notons que l’information médicale concernant la période à l’urgence n’est pas versée dans la banque centrale de données.
• La raison justifiant l’admission initiale du patient dont l’état nécessite une hospitalisation n’est pas consignée comme telle dans le système MED-ÉCHO.
En effet, seul le diagnostic principal posé durant l’hospitalisation est versé dans la banque centrale de données. Or, il ne correspond pas forcément au motif de l’admission. Cette dernière information est néanmoins détenue par les centres hospitaliers.
7.18 Il s’ensuit que le MSSS ne pourra faire une reddition de comptes adéquate à cet égard sans apporter les correctifs requis.
7.19 Nous avons recommandé au ministère
• de s’assurer de la qualité de l’information produite par le système MED-ÉCHO ;
• de veiller, aux fins de codification, à ce que la période à l’urgence soit prise en compte dans l’établissement de la durée d’hospitalisation ;
• de prendre les mesures nécessaires pour que, lorsqu’il y a hospitalisa-tion, la raison justifiant l’admission initiale soit consignée dans la banque centrale de données.
7.20 Commentaires du ministère
« À l’instar des remarques faites par le Vérificateur général dans le présent rapport ainsi que des commentaires provenant d’autres rapports, notamment ceux de la Commission d’étude sur les services de santé et les services sociaux (commission Clair) et du Comité sur la réévaluation du mode de budgétisation des centres hospitaliers de soins généraux et spécialisés (comité Bédard), le ministère a déjà convenu, dans l’intérêt commun, de considérer en priorité les investissements en technologie, qui améliorent l’information de gestion permettant de mieux supporter la prestation de services et la saine gestion des fonds publics.
« La refonte du système d’information MED-ÉCHO nécessitera des efforts financiers et opérationnels considérables, car elle touchera l’ensemble du réseau des centres hospitaliers du Québec, qui alimente cette banque de données.
V é r i f i c a t e u r g é n é r a l d u Q u é b e c – R a p p o r t d e 2 0 0 1 - 2 0 0 2 ( I I )
« Le système d’information MED-ÉCHO est unique en raison du champ qu’il dessert et de l’ampleur des données qu’il contient. Ce système possède à bien des égards des qualités qui font en sorte que, jusqu’à ce que les investissements nécessaires à sa refonte soient faits, il demeure un instrument approprié de support à la gestion. De plus, nous estimons que les données fournies par MED-ÉCHO demeurent, à ce jour, comparables à celles des autres entités faisant l’objet du rapport interjuridictionnel.
« Ainsi, à court terme, le ministère entend poursuivre le travail déjà amorcé pour améliorer la qualité des données du système d’information MED-ÉCHO.
« À plus long terme, sous réserve de l’approbation des budgets requis qui sont de l’ordre de 90 millions de dollars, le ministère prévoit amorcer la refonte de ce système dans le cadre du projet de développement des systèmes d’information pour les centres hospitaliers de soins généraux et spécialisés. »
Méthodologie utilisée pour le calcul de la probabilité de survie relative après cinq ans, ajustée selon l’âge, pour différents cancers
7.21 La survie à un cancer est un indicateur de santé important. La probabilité de survie relative correspond au ratio entre la probabilité de survie observée pour un groupe de patients sous étude (en l’occurrence les personnes pour lesquelles le diagnostic qui a été posé est celui d’un premier cancer primaire) et la probabilité de survie attendue chez la population générale qui présente les mêmes caractéristiques (soit l’âge et le sexe) que le groupe de personnes à l’étude. Ajoutons que la probabilité de survie est calculée pour une période maximale de cinq ans.
7.22 Lors de la Conférence des sous-ministres, il a été convenu d’utiliser la méthode du maximum de vraisemblance mise au point en 1990 par Estève et son équipe, soit celle qu’emploie Statistique Canada, pour le calcul des 4 indicateurs suivants :
• la probabilité de survie relative après cinq ans, ajustée selon l’âge, pour les cas de cancer du poumon ;
• la probabilité de survie relative après cinq ans, ajustée selon l’âge, pour les cas de cancer de la prostate ;
• la probabilité de survie relative après cinq ans, ajustée selon l’âge, pour les cas de cancer du sein ;
• la probabilité de survie relative après cinq ans, ajustée selon l’âge, pour les cas de cancer du côlon-rectum.
7.23 Le MSSS a choisi de recourir à la méthode d’estimation de Hakulinen, à l’instar de l’Institut national de santé publique du Québec. Nous avons signalé cette situation dans notre opinion de vérification parce que ce choix n’est pas conforme à ce qui a été approuvé par la Conférence des sous-ministres. Nous n’avons pas évalué l’effet de l’application de cette méthode sur les résultats de ces 4 indicateurs.
175
C e r t i f i c a t i o n d e s i n d i c a t e u r s d e s a n t é
Méthodologie non conforme à celle approuvée par la Conférence des sous-ministres.
7
7.24 Nous avons recommandé au ministère de calculer les indicateurs portant sur la probabilité de survie relative à différents cancers selon la méthode approuvée lors de la Conférence des sous-ministres.
7.25 Commentaires du ministère
« Les données sur la probabilité de survie relative après cinq ans pour les cas de cancer déclarés en 1992 pour les principaux sièges de cancer, soit le cancer du poumon, du côlon-rectum, de la prostate et du sein chez la femme proviennent de Statistique Canada (Ellison et al., 2001). Parce que la définition de la date du diagnostic dans le Fichier des tumeurs du Québec diffère de celle utilisée dans les autres provinces, ces probabilités n’ont pas été calculées pour le Québec.
« En septembre 2002, l’Institut national de santé publique du Québec a publié une étude sur la survie relative après cinq ans pour les cas déclarés en 1992 au Fichier des tumeurs, permettant notamment de comparer les données du Québec avec celles des autres provinces (voir Louchini, R., La survie au cancer pour les nouveaux cas déclarés au Québec en 1992, Institut national de santé publique du Québec, septembre 2002).
« Pour calculer la probabilité de survie, l’Institut a utilisé la méthode de Hakulinen, alors que Statistique Canada a utilisé celle d’Estève, tel qu’indiqué dans la Proposition pour l’éta-blissement de rapports comparables fédéral/provinciaux/territoriaux dans 14 domaines d’indicateurset dans les notes techniques qui l’accompagnent.
« Or, tel que mentionné dans l’étude de l’Institut, parmi tous les logiciels permettant de calculer la probabilité de survie testés par Statistique Canada, deux donnent des résultats similaires et sont recommandés : le module STEEL avec le logiciel STATA, basé sur la méthode d’estimation d’Estève, et SEERstat, basé sur la méthode d’estimation de Hakulinen.
« Par conséquent, le ministère considère avoir rempli correctement ses obligations à cet égard. Afin d’éliminer les ambiguïtés dans le futur, une demande sera faite au Comité fédéral/provincial/territorial sur les indicateurs de rendement afin de préciser des méthodes équivalentes à celle utilisée par Statistique Canada. »
Fichier des tumeurs du Québec
7.26 Comme suite à l’engagement de rendre compte à la population, la Conférence des sous-ministres a notamment approuvé les 8 indicateurs de santé suivants :
• la probabilité de survie relative après cinq ans, ajustée selon l’âge, pour les cas de cancer du poumon ;
• la probabilité de survie relative après cinq ans, ajustée selon l’âge, pour les cas de cancer de la prostate ;
• la probabilité de survie relative après cinq ans, ajustée selon l’âge, pour les cas de cancer du sein ;
V é r i f i c a t e u r g é n é r a l d u Q u é b e c – R a p p o r t d e 2 0 0 1 - 2 0 0 2 ( I I )
• le taux ajusté d’incidence du cancer du poumon ;
• le taux ajusté d’incidence du cancer de la prostate ;
• le taux ajusté d’incidence du cancer du sein ;
• le taux ajusté d’incidence du cancer du côlon-rectum.
7.27 Nous avons relevé dans notre opinion de vérification que les indicateurs présentés par le MSSS dans son rapport ne sont pas conformes à ce qui a été approuvé lors de la Conférence des sous-ministres. En effet, les cas de cancer inscrits au Fichier des tumeurs du Québec n’incluent pas ceux diagnostiqués en cabinet de médecin et traités sur une base externe ou ambulatoire. Nous n’avons donc pu nous assurer de l’intégralité des cas diagnostiqués et nous n’avons pas été à même de déterminer s’il aurait été nécessaire d’apporter des redressements aux résultats de ces indicateurs.
7.28 Nous avons recommandé au ministère de veiller à ce que tous les diagnos-tics de cancer soient répertoriés dans le Fichier des tumeurs du Québec.
7.29 Commentaires du ministère
« L’Institut national de santé publique du Québec publiera sous peu un rapport sur l’exhaustivité du Fichier des tumeurs du Québec, soit l’ampleur de la sous-déclaration des cas de cancer au Fichier des tumeurs.
« Selon les résultats préliminaires de cette étude, l’exhaustivité pour les quatre sièges de cancer retenus dans le Rapport comparatif sur la santé de la population québécoise et sur la performance du système de santé québécois : indicateurs et tendancesserait supérieure à 95 p. cent pour trois d’entre eux, soit le cancer du poumon, le cancer du côlon-rectum et le cancer du sein chez la femme, pour les cas confirmés par histopathologie. Par conséquent, à l’exception du cancer de la prostate, les résultats présentés dans le Rapport comparatif sur la santé de la population québécoise et sur la performance du système de santé québécois : indicateurs et tendancesreflètent fidèlement, selon nous, la réalité.
« Le ministère a également confié à l’Institut le pilotage d’une étude de faisabilité portant sur la possibilité de compléter le Fichier des tumeurs du Québec avec les rapports de laboratoire, ce qui permettrait de récupérer les cas diagnostiqués et traités sur une base externe et ambulatoire, de préciser la date de diagnostic et de fournir des données supplémentaires. Les résultats de cette étude de faisabilité sont attendus pour avril 2003.»
Prévalence du diabète
7.30 Le diabète figure dans la liste des problèmes de santé publique les plus répandus.
Le modèle retenu par la Conférence des sous-ministres pour diagnostiquer cette pathologie et en mesurer la prévalence est celui du Système national de surveillance du diabète, avec l’indicateur « taux ajusté de prévalence du diabète ». En ce qui concerne le Québec, les données nécessaires à l’application du modèle sont extraites du Fichier d’inscription des personnes assurées et du Fichier des services médicaux
177
C e r t i f i c a t i o n d e s i n d i c a t e u r s d e s a n t é
Tous les cas diagnostiqués ne sont pas inscrits au Fichier des tumeurs
du Québec.
7
rémunérés à l’acte, tous deux détenus par la Régie de l’assurance maladie du Québec, ainsi que du Fichier des hospitalisations du système MED-ÉCHO.
7.31 Or, nos travaux révèlent que le Fichier des services médicaux rémunérés à l’acte n’inclut pas tous les diagnostics posés dans le cadre d’une consultation médicale.
En effet, les praticiens ne sont pas tenus de coder certains diagnostics, notamment celui du diabète, lors de l’enregistrement des données versées au fichier. Compte tenu des limites de cet outil administratif, nous n’avons pas été en mesure de nous assurer de l’intégralité des cas diagnostiqués et de déterminer s’il aurait été nécessaire d’apporter des redressements aux résultats de l’indicateur de prévalence du diabète.
7.32 Nous avons recommandé au ministère de s’assurer qu’il détient toute l’information voulue pour établir adéquatement la prévalence du diabète.
7.33 Commentaires du ministère
« Ainsi que le mentionne le Vérificateur général, le diabète est un problème majeur en santé publique. C’est pourquoi le Système national de surveillance du diabète a été mis en place. Étant donné l’importance de cet indicateur, le Québec a décidé de l’inclure parmi les indicateurs présentés dans le Rapport comparatif sur la santé de la population québécoise et sur la performance du système de santé québécois : indicateurs et tendances, bien que le système soit nouveau et toujours en développement au Québec et dans les provinces participantes au Système national de surveillance du diabète.
« Le but du Système national de surveillance du diabète est, dans un premier temps, de développer une base normalisée de données pour la surveillance du diabète. Les principes de base sont : l’uniformité, la flexibilité, la qualité, la rentabilité (le système utilise les sources de données déjà existantes), l’accessibilité, la confidentialité et l’aptitude à réagir.
« Parmi les limites de ce système, il en est une liée à l’utilisation du Fichier des services médicaux rémunérés à l’acte. Le code de diagnostic n’est pas toujours présent dans ce fichier puisqu’il n’est pas obligatoire de coder un diagnostic à chaque visite médicale. Pour le moment, il n’est pas possible d’estimer l’impact que cela représente sur la mesure de prévalence du diabète.
«Les données présentées dans le Rapport comparatif sur la santé de la population québé-coise et sur la performance du système de santé québécois: indicateurs et tendancessont conformes à l’exigence formulée dans la Proposition pour l’établissement de rapports comparables fédéral/provinciaux/territoriaux dans 14 domaines d’indicateursd’utiliser les données provenant du Système national de surveillance du diabète. Considérant l’impor-tance du problème du diabète et l’intérêt de développer de nouveaux indicateurs et d’informer la population, le ministère estime avoir correctement rempli ses obligations à cet égard. Par ailleurs, le Comité fédéral/provincial/territorial sur les indicateurs de rende-ment a été saisi de l’intérêt de distinguer les indicateurs selon qu’ils sont déjà existants ou
V é r i f i c a t e u r g é n é r a l d u Q u é b e c – R a p p o r t d e 2 0 0 1 - 2 0 0 2 ( I I )
Le Fichier des services médicaux
rémunérés à l’acte n’inclut pas tous les diagnostics de diabète.
Publication des indicateurs
7.34 Rappelons que la Conférence des sous-ministres a travaillé à la conception d’un cadre complet, qui inclut 67 indicateurs comparables, mutuellement acceptés, en fonction duquel les gouvernements se sont entendus pour rendre compte de leurs activités.
7.35 Le MSSS a donné les résultats de 47 indicateurs en mentionnant, dans le préambule de l’annexe 4.2 de son rapport, les 20 indicateurs qu’il n’a pas été en mesure de produire. Voici les raisons invoquées par le MSSS à ce propos.
• L’information consignée dans le système MED-ÉCHO quant aux taux de réadmis-sion, de mortalité et de survie diffère de celle provenant du système utilisé par la plupart des provinces canadiennes (« Discharge Abstract Database »), notamment en ce qui concerne la définition du diagnostic principal. Il en est ainsi pour les 6 indicateurs suivants :
– le taux de réadmission pour un infarctus aigu du myocarde ; – le taux de réadmission pour la pneumonie ;
– le taux de mortalité à l’hôpital dans les 30 jours suivant un infarctus aigu du myocarde ;
– le taux de mortalité à l’hôpital dans les 30 jours suivant un accident vas-culaire cérébral ;
– le taux de survie relative dans les 365 jours suivant un infarctus aigu du myocarde ;
– le taux de survie relative dans les 180 jours suivant un accident vasculaire cérébral.
• La collecte de l’information portant sur les délais d’attente n’est pas standardisée, de sorte que les données recueillies ne sont pas forcément représentatives.
Cette lacune touche en particulier 5 indicateurs : – les délais d’attente pour une chirurgie cardiaque ;
– les délais d’attente pour une arthroplastie complète de la hanche ; – les délais d’attente pour une arthroplastie complète du genou ;
– le nombre approximatif de semaines pour éliminer la liste d’attente actuelle de radiothérapie pour un cancer du sein ou de la prostate ;
– les délais d’attente médians de la radiothérapie pour un cancer du sein ou de la prostate.
• Le Québec n’ayant pas participé à une enquête de Statistique Canada, il ne détient pas l’information requise. Les 7 indicateurs en cause, d’ailleurs facultatifs pour le Québec, sont :
– les délais d’attente déclarés pour les services des spécialistes ; – les délais d’attente déclarés pour les tests de diagnostic ; – les délais d’attente déclarés pour les chirurgies ;
179
C e r t i f i c a t i o n d e s i n d i c a t e u r s d e s a n t é
7
– la difficulté à obtenir des services de santé courants ou de suivi ;
– la difficulté à obtenir de l’information ou des conseils en matière de santé ; – la difficulté à obtenir des soins immédiats ;
– le pourcentage de la population ayant un médecin de famille.
• Enfin, 2 indicateurs n’ont pu être publiés parce que les données devant être traitées sont répertoriées depuis peu, ce qui a empêché d’effectuer les calculs requis. Ce sont :
– les services à domicile et les services à domicile pour les 75 ans ou plus ;
– les services à domicile et les services à domicile pour les 75 ans ou plus ;