(Concordance avec d’autres sources de données, comme les enquêtes)
Cette dimension vise à examiner le niveau de concordance (cohérence externe) entre deux sources de données mesurant le même indicateur de santé. Les deux sources de données sont 1) les données systématiquement recueillies et notifiées par le système HMIS ou le système d’information propre à chaque programme, et 2) les enquêtes en population périodiques. On considère généralement que les enquêtes donnent des résultats fiables car elles reposent sur des méthodes fortement standardisées ; une attention minutieuse et des fonds importants sont consentis pour veiller à la bonne qualité de la mise en œuvre et des estimations obtenues pour les indicateurs de santé. Les résultats d’enquête sont souvent considérés comme représentant une valeur de « référence », à savoir la valeur réelle de l’indicateur dans la population étudiée.
Compte tenu de leur coût, les enquêtes ne peuvent pas être réalisées de manière régulière et l’interprétation des résultats d’enquête se heurte à certaines limites dans les zones
géographiques de plus petite taille. C’est pourquoi les enquêtes ne suffisent pas à assurer une surveillance de routine du secteur de la santé et des résultats programmatiques.
Bien que le niveau de qualité des résultats d’enquête soit généralement considéré comme élevé, les enquêtes peuvent aussi être sujettes à des problèmes de qualité des données. Si ces problèmes sont systématiques, l’estimation de la couverture issue de ces enquêtes peut s’éloigner sensiblement de la valeur réelle. En outre, les enquêtes sont menées sur la base d’un échantillon et donnent donc une plage de valeurs possibles (avec intervalle de confiance et limites). Les
intervalles de confiance sont plus larges si l’échantillon est de petite taille. Ainsi, ces intervalles sont beaucoup plus larges au niveau infranational qu’au niveau national. (Les intervalles de confiance sont souvent présentés en annexe des rapports d’enquête, notamment dans le cadre des enquêtes démographiques et sanitaires). Lors de la comparaison avec les données de routine, les limites de confiance de l’enquête doivent être prises en compte. Si la valeur de routine est comprise dans l’intervalle de confiance, on ne peut conclure à une divergence notable par rapport à la valeur d’enquête. De plus, les résultats d’enquête peuvent être le reflet des résultats passés (remontant souvent à trois ou cinq ans avant l’enquête), tandis que les taux de couverture obtenus à partir des données de routine se rapportent généralement à l’année la plus récente. Ainsi, toute comparaison doit être appréhendée avec la plus grande prudence.
Paramètre de mesure de la qualité des données : comparaison externe avec les résultats d’enquête
Définition
La comparaison externe des indicateurs sélectionnés se définit comme le rapport entre le taux de couverture dérivé des données systématiquement notifiées (par exemple du système HMIS) et le taux de couverture obtenu à partir des données d’enquête sur les ménages.
Examen de la qualité des données (DQR)• Module 2 : Examen sur dossier de la qualité des données Comparaison entre les valeurs du système HMIS et celles des programmes de santé pour les
indicateurs sélectionnés : ce paramètre peut être calculé selon la même méthode que celle utilisée pour comparer les données systématiquement notifiées et les résultats d’enquête (par exemple comparaison entre les estimations de la couverture vaccinale selon le système HMIS et les estimations provenant du Programme élargi de vaccination). Voir l’Encadré A2.7.
Données requises
Valeurs obtenues au niveau national et dans les unités administratives infranationales pour les indicateurs sélectionnés et l’année étudiée.
Dénominateurs appropriés pour calculer les taux de couverture pour les données de routine.
Valeur analogue, pour la même année, provenant d’une enquête récente sur les ménages, réalisée selon une méthode conforme aux normes internationales de qualité (par exemple, enquête en grappes à indicateurs multiples, enquête démographique et sanitaire).
Calcul
Au niveau national :
Au niveau national, ce paramètre est défini comme le rapport entre la valeur dérivée des données de routine et celle provenant de l’enquête.
Au niveau infranational :
Au niveau infranational, le rapport des taux de couverture est calculé pour chaque unité administrative. Toute unité administrative dont le rapport indique une différence d’au moins 33 % entre les deux taux de couverture est signalée pour faire l’objet d’un examen. Le nombre et le pourcentage d’unités administratives enregistrant une différence d’au moins 33 % sont alors calculés. Cette comparaison n’est possible que si on dispose, pour l’indicateur en question, d’estimations de la couverture fournies par une enquête au même niveau administratif. Par exemple, si l’unité administrative analysée est un district, mais les taux de couverture donnés par l’enquête pour l’indicateur concerné ne sont pas disponibles au niveau des districts, la comparaison infranationale ne sera pas possible au niveau des districts. Cependant, si des données d’enquête sont disponibles aux niveaux provincial ou régional, la comparaison peut être établie à ce niveau, sous réserve que l’enquête ait été réalisée dans les 2 à 3 années précédentes.
Tableau A2.7a Comparaison des taux de couverture de l’ANC1 fournis par le système HMIS et les enquêtes Les divergences de plus de 33 % entre les deux taux sont indiquées en rouge.
Taux de couverture dans les
établissements Taux de couverture selon les enquêtes
Rapport entre la couverture dans les établissements et la couverture selon les
enquêtes
District 10 0,91 0,79 1,16 15 %
National 0,98 0,93 1,05 5 %
Encadré A2.7 Exemple de comparaison externe avec les résultats d’enquête
Si le système HMIS recense correctement toutes les consultations prénatales du pays (et pas seulement celles du secteur public) et si les dénominateurs sont fiables, le taux de couverture de l’ANC1 dérivé des données HMIS devrait être comparable à celui des enquêtes en population. Cependant, pour un même indicateur, les taux de couverture divergent souvent selon qu’ils proviennent du système HMIS ou des enquêtes.
Au niveau national :
Le taux de couverture donné par le système HMIS s’élève à 98 %.
Le taux de couverture issu de l’enquête en population la plus récente est de 93 %.
Le rapport de ces deux taux est le suivant : 98%/93% = 1,05.
Si ce rapport est de 1, les deux taux de couverture sont exactement identiques.
Si le rapport est >1, le taux de couverture provenant du système HMIS est supérieur à celui de l’enquête.
Un rapport <1 signifie que le taux de couverture donné par l’enquête est supérieur à celui du système HMIS.
Le rapport de 1,05 obtenu montre que les deux valeurs de dénominateur sont assez proches, présentant un écart d’environ 5 %.
Au niveau infranational, le rapport des dénominateurs est calculé pour chaque unité administrative. Les districts enregistrant un écart d’au moins 33 % entre les deux dénominateurs sont signalés pour faire l’objet d’une attention particulière. Dans le Tableau A2.7a ci-dessus, les Districts 3 et 9 présentent une divergence d’au moins 33 % entre les deux taux.
Tableau A2.7b Résumé des résultats de cet exemple
Paramètre de mesure Résultats
Rapport de cohérence entre les taux nationaux de couverture de l’ANC1 1,05
Districts dont le rapport de cohérence pour la couverture de l’ANC1 est inférieur à 0,67 (l’enquête donne un taux de couverture
plus élevé) 0
Districts dont le rapport de cohérence pour la couverture de l’ANC1 est supérieur à 1,33 (le système HMIS donne un taux de
couverture plus élevé) 2 (10 %)
Examen de la qualité des données (DQR)• Module 2 : Examen sur dossier de la qualité des données