Valeurs atypiques
La Figure 2.2 fournit un exemple de résultats d’identification de « valeurs atypiques » présentant un écart extrême par rapport à la moyenne des valeurs communiquées pour six indicateurs aux niveaux national et infranational. Les valeurs atypiques par rapport à la médiane des valeurs
communiquées sont également identifiées dans la procédure d'examen de la qualité des données.
Indicateur 2a.1 : Valeurs atypiques extrêmes (>3 écarts-types de la moyenne) 2014
Domaine programmatique et indicateur % Nbre % Nom
Santé maternelle - première consultation prénatale 0,2 % 2 2,5 % District 2, District 7
Vaccination - 3e dose de vaccin contenant le DTC 0,1 % 1 1,3 % District 3
VIH - Nombre de personnes séropositives actuellement sous
TAR 0,0 % —
Tuberculose - Nombre de cas notifiés de tuberculose (toutes
formes confondues) 0,0 % —
Paludisme - Nombre notifié de cas confirmés de paludisme 0,0 % —
Statistiques services généraux - Nombre total de
consultations ambulatoires 0,4 % 4 5,0 % District 2, District 7, District 9, District 10
Total (tous indicateurs confondus) 0,1 %
Interprétation des résultats - Indicateur 2a1 :
• Bons résultats, compte tenu du volume de données
• La valeur atypique pour les consultations prénatales dans le District 2 semble être une erreur de saisie des données : la valeur est 10 fois supérieure aux autres valeurs mensuelles communiquées par le district l’an dernier ; appeler le responsable de l’information sanitaire du district pour enquêter
• Les valeurs relatives aux consultations ambulatoires pourraient être le résultat d’une campagne de marketing social menée l’an dernier pour améliorer le recours aux soins ; appeler les responsables de l’information sanitaire des districts identifiés pour vérifier les chiffres.
Indicateur 2a : Identification des valeurs atypiques
Figure 2.2 Exemple de tableau de bord indiquant les résultats d'examen de la qualité des données.
pour l’identification des valeurs atypiques
Les valeurs atypiques sont révélatrices de problèmes en matière de qualité des données ou d’une évolution des modes de prestation des services, ou des deux. On peut s’attendre à une certaine variabilité pour des indicateurs particuliers (comme la vaccination), mais pas pour d’autres. La proportion globale de valeurs identifiées comme atypiques est indiquée, tout comme le nombre et le pourcentage de districts présentant des valeurs extrêmes. L’interprétation des résultats peut être consignée dans l’espace prévu à cet effet.
Cohérence dans le temps
L’évaluation de la cohérence dans le temps vise à examiner la valeur obtenue pour l’année en cours par rapport aux valeurs enregistrées les années précédentes. En fonction de la tendance escomptée pour l’indicateur (maintien à un niveau constant ou augmentation/diminution), la valeur obtenue pour l’année en cours est comparée à la moyenne des valeurs des trois années précédentes (tendance à niveau constant) ou à la valeur prévisionnelle1 déduite des valeurs enregistrées les années précédentes (tendance à niveau non constant). Le rapport qui en résulte est calculé pour chaque unité administrative infranationale et est comparé au rapport obtenu au niveau national. Les unités administratives infranationales dont les résultats sortent d’un intervalle limite de qualité défini par l’utilisateur sont identifiées pour faire l’objet d’enquêtes approfondies.
Dans la Figure 2.3, le graphique (donné à titre d’exemple) illustre les résultats obtenus en matière de consultations ambulatoires durant l’année en cours pour chaque district administratif
infranational par rapport à la moyenne des consultations ambulatoires au cours des trois années précédentes dans la même unité administrative. Les lignes en pointillés représentent l’intervalle limite de qualité recommandé ou défini par l’utilisateur, tandis que la ligne continue indique la relation, au niveau national, entre les consultations ambulatoires dans l’année en cours et la moyenne des trois années précédentes. Les valeurs des districts administratifs infranationaux qui sortent de cet intervalle limite de qualité apparaissent au-dessus ou au dessous des lignes en pointillés. Ces districts font l’objet d’enquêtes pour identifier d’éventuels problèmes en matière de qualité des données. Le graphique et le tableau associé révèlent que le « District 3 » est le seul district où le nombre de consultations ambulatoires en 2014 dépassait de plus de 33 % le nombre escompté (à savoir la moyenne du nombre annuel de consultations dans la période 2011–2013).
1 La valeur prévisionnelle est obtenue en calculant la valeur attendue pour l’année en cours à partir de la pente de la droite représentant les 3 années précédentes (la tendance) et en comparant la valeur calculée à la valeur réelle.
Examen de la qualité des données (DQR)• Module 2 : Examen sur dossier de la qualité des données
Année 2014
Tendance escomptée Niveau constant
Comparer les districts à : résultat national
Seuil de qualité 33 %
Résultat national (%) 109 %
Nombre de districts dont les résultats sont
divergents 1
Pourcentage de districts dont les résultats
sont divergents 8 %
Nom des districts dont les résultats sont divergents : District 3
2b2 : Cohérence dans le temps de l’indicateur « Statistiques services généraux - Nombre total de consultations ambulatoires »
Figure 2.3 Exemple de tableau de bord indiquant les résultats d'examen de la qualité des données pour la cohérence dans le temps – tendance à niveau constant pour l’indicateur
Interprétation des résultats - Indicateur 2b2 :
• Globalement, le rapport obtenu au niveau national est de 1,09, ce qui signifie que le nombre de consultations ambulatoires pour l’année en cours est supérieur de 9 % à la moyenne des consultations ambulatoires des trois dernières années.
• Dans 6 districts, la moyenne des consultations ambulatoires des trois dernières années semble supérieure au nombre de consultations ambulatoires pour l’année en cours. Il faudra déterminer pourquoi ce nombre est plus faible pour l’année en cours.
• À l’exception d’un district, tous les districts enregistrent un rapport comparable au rapport national (écart de moins de 33 % par rapport à la valeur nationale).
• Le district dont les résultats sortent de l’intervalle limite de qualité a obtenu un rapport indiquant que le nombre de consultations ambulatoires pour l’année en cours est supérieur de plus de 33 % à la moyenne des consultations ambulatoires des trois dernières années. Il faut déterminer si le problème est lié à la qualité des données ou s’il est de nature programmatique. En ce qui concerne la qualité des données, il faut vérifier que toutes les données relatives aux consultations ambulatoires dans ce district ont bien été saisies. Les informations sur les consultations des années précédentes sont-elles correctes ? Vérifier que les contrôles précédents de la qualité des données ont bien été réalisés. S’il ne s’agit pas d’un problème de qualité des données, il faut identifier les problèmes programmatiques qui pourraient être à l’origine de cette divergence.
3 000 000
Tendance dans le temps : Statistiques services généraux – Nombre total de consultations ambulatoires
600 000 –
0l 100 000l Statistiques services généraux – Nombre total de consultations ambulatoires pour l’année d’analyse 500 000 –
400 000 – Moyenne du nombre total de consultations ambulatoires – Statistiques
services généraux – pour les années précédentes (3 ans maximum) Rapport national = 1,09
La Figure 2.3a fournit une comparaison entre le nombre de consultations ambulatoires de l’année en cours et la valeur prévisionnelle établie sur la base des trois années précédentes.
(Le graphique en bas à gauche indique la tendance actuelle de cet indicateur.) Les valeurs
obtenues pour les unités infranationales sont comparées aux valeurs attendues : il est escompté que, si la tendance observée persiste, la valeur obtenue pour l’année en cours sera identique ou semblable à la valeur prévisionnelle pour chaque unité infranationale. Le nombre de consultations ambulatoires enregistré était supérieur à 120 % du nombre attendu dans trois districts (correspondant aux trois points situés au-dessus de la ligne en pointillés supérieure), et inférieur à 80 % du nombre escompté dans deux districts (les deux points au dessous de la ligne en pointillés inférieure).
Figure 2.3a Exemple de tableau de bord indiquant les résultats d'examen de la qualité des données pour la cohérence dans le temps – tendance à la hausse pour l’indicateur
Année 2014
Tendance escomptée Augmentation
Comparer les districts à : résultats escomptés Seuil de qualité
Résultat national (%)
Nombre de districts dont les résultats sont
divergents 5
Pourcentage de districts dont les résultats
sont divergents 38,5 %
Nom des districts dont les résultats sont divergents : District 6, District 7, District 8, District 9, District 11
2b3 : Cohérence dans le temps de l’indicateur « Statistiques services généraux - Nombre total de consultations ambulatoires »
Interprétation des résultats - Indicateur 2b3 :
• Cet indicateur présente une tendance à la hausse dans le temps (augmentation du nombre de consultations ambulatoires, ce qui était attendu compte tenu de la mobilisation sociale en faveur des services de santé publique).
• La comparaison avec les résultats escomptés (selon lesquels la valeur effective en 2014 est égale à la valeur prévisionnelle) montre que 5 districts obtiennent un rapport qui diverge de plus de 20 % de l’intervalle limite de qualité, la valeur obtenue étant en dessous de cet intervalle dans 3 districts et au-dessus dans 2 districts.
• Les erreurs ne sont pas systématiques (elles ne vont pas toutes dans la même direction). Examiner les registres ambulatoires des districts concernés pour confirmer les valeurs notifiées.
Tendance dans le temps : Statistiques services généraux – Nombre total de consultations ambulatoires
600 000 –
0l 100 000l Statistiques services généraux – Nombre total de consultations ambulatoires pour l’année d’analyse 500 000 –
400 000 – Valeur prévisionnelle du nombre total de consultations ambulatoires–
Statistiques services généraux – sur la base des années précédentes (3 ans maximum)
Examen de la qualité des données (DQR)• Module 2 : Examen sur dossier de la qualité des données
Année 2014
Rapport attendu égalité
Comparer les districts à : rapport national
Seuil de qualité 10 %
Résultat national (%) 114 %
Nombre de districts dont les résultats sont
divergents 2
Pourcentage de districts dont les résultats
sont divergents 15,4 %
Nom des districts dont les résultats sont divergents : District 5, District 6
2c1 : Comparaison dans le domaine de la santé maternelle : 1ère consultation prénatale/1ère dose de TPI
Figure 2.4 Exemple de tableau de bord indiquant les résultats d'examen de la qualité des données pour la cohérence interne entre les indicateurs apparentés
Interprétation des résultats - Indicateur 2c1 :
• Les données semblent plutôt bonnes – seul le District 5 enregistre une valeur fortement divergente
• Les valeurs de TPI sont fréquemment plus faibles que les valeurs d’ANC1 – le TPI doit être administré à un plus grand nombre de femmes enceintes
• Les ruptures de stock de Fansidar dans la Région 2 pourraient expliquer le faible nombre de TPI dans le District 5. Appeler le responsable de l’information sanitaire de ce district pour enquêter
• Le rapport est de 114 % à l’échelle nationale et la plupart des districts s’approchent de cette valeur. Le District 6 obtient de bons résultats par rapport aux autres districts, mais est « divergent » par rapport à la valeur nationale. Pas de suivi nécessaire.
Indicateur 2c : Cohérence interne – Cohérence entre les indicateurs apparentés
Cohérence entre les indicateurs apparentés – Rapport entre deux indicateurs apparentés et districts dont le rapport diverge notablement du rapport national *
50 000 –
0l l
5000 Événements d’ANC1 pour l’année d’analyse 45 000 –
40 000 – Événements de TPI1 pour l’année d’analyse
35 000 – 25 000 – 20 000 – 15 000 –
Diagramme de dispersion : 1ère consultation prénatale/1ère dose de TPI (districts comparés au rapport national)
10 000l l
20 000 15 000l
Cohérence entre les indicateurs
La cohérence entre les indicateurs apparentés est évaluée dans le cadre de la Dimension 2. Dans l’exemple de la Figure 2.4, la première consultation prénatale (ANC1) est comparée à la première dose de traitement préventif intermittent (TPI1). Dans les pays d’endémie du paludisme, le TPI doit être administré à toutes les femmes enceintes dans le cadre des soins prénatals. En théorie, le nombre de femmes recevant la première dose de TPI devrait être approximativement égal au nombre de femmes se présentant pour une première consultation prénatale. Le rapport entre ANC1 et TPI1 est calculé pour chaque district administratif infranational, ainsi qu’à l’échelle nationale. Dans l’exemple de la Figure 2.4, le rapport national est de 114 %, ce qui signifie que le nombre de femmes se présentant pour une première consultation prénatale est plus important que le nombre de femmes recevant la première dose de TPI. Les unités infranationales dont le rapport est supérieur (ou inférieur) de plus de 10 % à la valeur 1 (correspondant à l’égalité entre ANC1 et PTI1) sont identifiées pour faire l’objet d’enquêtes.
Comparaison externe avec d’autres sources de données
La Figure 2.5 donne les résultats d’une comparaison externe entre les données d’ANC1 provenant du système HMIS et les valeurs de la couverture des soins prénatales fournies par les enquêtes pour la même année. Les barres verticales représentent la couverture des soins prénatals selon le système HMIS (valeur annuelle des consultations prénatales, agrégée sur l’ensemble des unités administratives infranationales concernées (régions), divisée par le nombre estimatif de femmes enceintes dans la région). Les triangles représentent l’indicateur analogue issu d’enquêtes pour les mêmes régions administratives infranationales, avec des intervalles d’erreur représentant l’écart-type de l’estimation. La Figure 2.5 montre que pour les Régions 2 et 8, les valeurs issues des enquêtes (et leurs intervalles d’erreur) sont inférieures à la couverture indiquée par le système HMIS, signe d’une possible surnotification des consultations prénatales par le système HMIS. Dans la Région 4, l’estimation donnée par le système HMIS est inférieure à l’estimation issue des enquêtes, indiquant une sous-notification potentielle des consultations prénatales par le système HMIS. Ce cas peut se présenter, par exemple, lorsque les statistiques proviennent d’une région métropolitaine où les soins prénatals dispensés par des sages-femmes privées sont régulièrement sous-notifiés ou non notifiés.
Année 2014
Seuil de qualité 33 %
Résultat national (%) 106 %
Nombre de régions dont les résultats sont
divergents 3
Pourcentage de régions dont les résultats
sont divergents 30 %
Nom des régions dont les résultats sont divergents : Région 2, Région 4, Région 8
3a1 : Rapport de cohérence de l’indicateur « 1ère consultation prénatale » (rapport entre les taux provenant des établissements et ceux des enquêtes)
Figure 2.5 Comparaison externe entre l’indicateur ANC1 dérivé du système HMIS et les valeurs provenant des enquêtes
Interprétation des résultats - Indicateur 3a1 :
• La valeur ANC fournie par le système HMIS pour la Région 4 semble trop faible – cela pourrait résulter de documents source manquants ou d’un non-enregistrement des services dispensés. Examiner les formulaires de notification des districts de la région pour vérifier les valeurs notifiées.
• La valeur ANC fournie par le système HMIS pour les Régions 2 et 8 semble trop élevée – cela pourrait résulter de doublons au niveau du comptage ou de la notification. Appeler les responsables de l’information sanitaire des districts pour enquêter.
Indicateur 3a : Comparaison entre les données de routine et les valeurs issues des enquêtes en population pour la même période
Santé maternelle - 1ère consultation prénatale
Region 1 Region 2 Region 3 Region 4 Region 5 Region 6 Region 7 Region 8 Region 9 Region 10 0 %
HMIS Survey
Examen de la qualité des données (DQR)• Module 2 : Examen sur dossier de la qualité des données 2014
Rapport entre les projections démographiques relatives aux naissances vivantes données par l’office des
statistiques et celles des Nations Unies 0,98
Interprétation des résultats - Indicateur 4a :
• Bonne concordance entre les estimations officielles du gouvernement sur les naissances vivantes et celles des Nations Unies. La divergence pourrait être liée au taux de croissance utilisé pour établir les estimations pour les années intercensitaires.
Indicateur 4a : Cohérence avec les projections démographiques des Nations Unies
Figure 2.6a Exemple de tableau de bord indiquant les résultats d'examen de la qualité des données pour la qualité des données démographiques
Lorsque l’on compare les estimations dérivées des données du système HMIS aux estimations obtenues à partir des enquêtes sur les ménages, il convient de garder à l’esprit que les enquêtes réalisées il y a plus de 2 ou 3 ans ne sont plus nécessairement fiables pour estimer la couverture, en particulier au niveau infranational. Il importe aussi de noter que les statistiques issues des enquêtes sur les ménages se fondent sur des événements qui se sont produits 12 à 23 mois auparavant (dans le cas de la vaccination), voire jusqu’à quatre ans auparavant (dans le cas des consultations prénatales et des soins pendant l’accouchement). Ainsi, les statistiques fournies par les enquêtes sur les ménages, même celles qui ont été récemment publiées, ne reflètent pas de manière fiable l’évolution de la prestation des services dans l’année écoulée.
Qualité des données sur la population
La Figure 2.6a présente un exemple de tableau de bord indiquant les résultats de la comparaison des données démographiques. L’indicateur 4a compare les données relatives aux naissances vivantes provenant du bureau national des statistiques avec les estimations démographiques des Nations Unies sur les naissances vivantes. La valeur de 0,98 indique que les chiffres du bureau national des statistiques sont légèrement inférieurs aux estimations des Nations Unies.
L’indicateur 4b (voir Figure 2.6b) compare les estimations relatives aux naissances vivantes fournies par les programmes de santé avec la valeur officielle donnée par les pouvoirs publics (notamment le bureau national des statistiques). L’évaluation est également menée au niveau des districts administratifs infranationaux (selon la disponibilité des données), ce qui permet d’identifier les unités infranationales présentant des résultats divergents. Dans l’exemple de la Figure 2.6b, les Districts 1, 7 et 12 enregistrent des valeurs programmatiques sur les naissances vivantes qui sont supérieures aux valeurs officielles fournies par le gouvernement pour ces mêmes districts. Dans le District 5, la valeur donnée par les programmes est inférieure à celle des pouvoirs publics.
Figure 2.6b Exemple de tableau de bord indiquant les résultats d'examen de la qualité des données pour la comparaison des estimations relatives aux naissances vivantes entre deux sources de données
Interprétation des résultats - Indicateur 4b1 :
• Les dénominateurs fournis par les programmes semblent trop élevés pour les Districts 1, 7 et 12, et trop faibles pour le District 5. Examiner le taux de croissance utilisé par les programmes pour établir les estimations du nombre annuel de naissances vivantes pour les années intercensitaires.
70 000 –
0l Dénominateur programmatique pour les naissances vivantes
60 000 –
20 000 – 10 000 –
0 – l
30 000 l
40 000 l
50 000 l
60 000 Dénominateur officiel du gouvernement pour les
naissances vivantes 50 000 –
40 000 – 30 000 –
20 000l 10 000l
Année 2014
Seuil de qualité 10 %
Résultat national (%) 106 %
Nombre de districts dont les résultats sont
divergents 4
Pourcentage de districts dont les résultats
sont divergents 30 %
Nom des districts dont les résultats sont divergents : District 1, District 5, District 7, District 12
Indicateur 4b1 - Comparaison du dénominateur officiel relatif aux naissances vivantes avec le dénominateur programmatique, le cas échéant
Indicateur 4b : Cohérence du dénominateur entre les données programmatiques et les statistiques démographiques officielles du gouvernement
Examen de la qualité des données (DQR)• Module 2 : Examen sur dossier de la qualité des données Indicateurs clés ou « traceurs » recommandés pour la procédure d'examen de la qualité des données
Domaine
programmatique Nom de l’indicateur Définition complète de l’indicateur Santé maternelle Couverture de la première consultation
prénatale (ANC1) Nombre (pourcentage) de femmes enceintes ayant bénéficié d’au moins une consultation pendant la grossesse
Vaccination Couverture du DTC3/Penta3 Nombre (pourcentage) d’enfants de <1 an ayant reçu trois doses de vaccin DTC/pentavalent
VIH Actuellement sous TAR Nombre et pourcentage de personnes vivant avec le VIH qui sont actuellement sous TAR
Tuberculose Taux de notification de la tuberculose Nombre de nouveaux cas et de cas de rechute de la tuberculose qui sont notifiés pour 100 000 habitants
Paludisme Nombre total de cas confirmés de
paludisme1 Nombre de cas de paludisme confirmés (par microscopie ou TDR) pour 1000 personnes par an
Indicateurs clés
Remarque : ANC = soins prénatals ; DTC3 = trois doses de vaccin antidiphtérique-antitétanique-anticoquelucheux ; Penta = vaccin pentavalent ; TAR = traitement antirétroviral ; TDR = test de diagnostic rapide.
Indicateurs supplémentaires de la procédure d'examen de la qualité des données Nom de l’indicateur Définition complète de l’indicateur Indicator name
Général Recours aux services Nombre de consultations ambulatoires par personne par an Santé maternelle Quatrième consultation prénatale
(ANC4) Nombre (pourcentage) de femmes âgées de 15 à 49 ans ayant eu un enfant né vivant durant une période donnée qui ont bénéficié d’au moins quatre consultations de soins prénatals
Couverture des accouchements
pratiqués en établissement Nombre et pourcentage d’accouchements qui ont eu lieu dans un établissement de santé
Couverture des soins post-partum Nombre (pourcentage) de mères et d’enfants ayant bénéficié de soins post-partum dans les deux jours suivant la naissance (quel que soit le lieu d’accouchement)
Couverture par la 1ère dose d’anatoxine
tétanique Nombre (pourcentage) de femmes enceintes ayant reçu la première dose de vaccin à base d’anatoxine tétanique
Vaccination Couverture de la vaccination DTC1-3/
Penta1-3 Nombre (pourcentage) d’enfants de <1 an ayant reçu 1 dose, 2 doses ou 3 doses de vaccin DTC/pentavalent
Couverture par le MCV1 Nombre (pourcentage) de nourrissons ayant reçu au moins une dose de vaccin à valence rougeole (MCV) avant l’âge de 1 an
Couverture de la vaccination VPC1-32 Nombre (pourcentage) d’enfants de <1 an ayant reçu 1 dose, 2 doses ou 3 doses de vaccin antipneumococcique
VIH Personnes vivant avec le VIH qui ont été
diagnostiquées Nombre (pourcentage) de personnes vivant avec le VIH qui ont été
diagnostiquées Nombre (pourcentage) de personnes vivant avec le VIH qui ont été