L'objectif principal de l'évaluation des méthodes de détection des épidémies est de faire des inférences quant à leur efficacité. Une évaluation objective de la performance est essentielle pour identifier les méthodes les plus appropriées, mais cette démarche n’est pas soumise à des normes et se fait généralement dans un cadre non standardisé.
Une méthode de détection traite le signal et produit en sortie une détermination de la présence ou de l’absence d’un événement (ici, une épidémie). La précision de la méthode de détection est signalée en utilisant différents indicateurs tels que la sensibilité (capacité de la méthode à donner un signal positif en cas d’une épidémie) et la spécificité (capacité de la méthode à donner un signal négatif en absence d’épidémie). Les méthodes de détection peuvent souvent être ajustées pour augmenter ou diminuer la sensibilité.
En l’absence de référence sur les épidémies passées, cela crée des défis dans la détermination des critères appropriés pour examiner la pertinence des méthodes de détection des épidémies sur des données authentiques. Elle nécessite la spécification au préalable de ce qui est recherché et nécessite une définition opérationnelle d'une épidémie. En conséquence, de nombreux critères ont été utilisés pour évaluer les performances de détection des épidémies, et la majorité des études dans le domaine ne fournit pas une évaluation complète de la performance des méthodes testées [22]. Ces facteurs introduisent des obstacles à l'accumulation des connaissances dans le domaine, ainsi que l'application plus large de la recherche à la pratique. Cependant, quatre méthodes principales peuvent être identifiées : l’approche descriptive, la méthode dérivée, l’approche épidémiologique et l’approche par données de simulation [22].
• Approche descriptive
L'approche descriptive est caractérisée par la description des performances en se basant sur la nature des événements détectés et les conditions dans lesquelles les alertes se produisent. Cette méthode s’appuie sur des indicateurs à la fois qualitatifs et quantitatifs des données analysées et des événements détectés, incluant l’incidence, la saisonnalité, le type d’alerte détectée, la fréquence, la durée des alertes, le délai entre l’alerte et le pic, etc.
L'analyse réalisée par Hutwagner et al. [23] fournit un exemple de l'approche descriptive. Les performances de cinq algorithmes de détection basées sur quatre ensembles de données historiques ont été décrites et comparées sans l'utilisation de critère spécifique. Une
approche descriptive peut également être utilisée afin d’évaluer les méthodes de détection d’épidémie par rapport à des critères autres que les épidémies elles-mêmes. Par exemple, Teklehaimanot et ses collègues [20] ont évalué l'impact potentiel de la détection par rapport à des cas potentiellement empêchés, un concept qui repose sur un ensemble d'hypothèses sur l'efficacité des interventions spécifiques de santé publique. L'approche descriptive est le plus souvent appliquée dans les premiers stades de l'évaluation des méthodes.
• Approche épidémiologique
Cette approche est la plus couramment utilisée pour l'évaluation des méthodes de détection [25]. Un jugement d'expert est utilisé pour déterminer l'occurrence d'événements d'importance en termes de santé publique en utilisant des techniques traditionnelles d'investigation épidémiologique. Pour déterminer si une alerte représente bien une épidémie, un jugement d'expert peut se baser sur une variété d'informations disponibles (surveillance et enquêtes épidémiologiques) et peut ainsi varier selon les méthodes d'investigation et les données utilisées.
L'analyse de Terry et Huang [25] illustre l'utilisation de l'approche épidémiologique. Les signaux provenant d'un système de surveillance syndromique ont été évalués prospectivement par une enquête épidémiologique sur les événements qui ont produit le signal. Les enquêtes ont suivi un format structuré, afin de déterminer si le signal était associé à un événement d'importance en termes de santé publique. Cependant, les enquêtes épidémiologiques peuvent nécessiter beaucoup de ressources et peuvent varier selon l'opinion des experts.
• Approche dérivée
L'approche dérivée se distingue par l'utilisation d'un indicateur standard d’épidémie pour calculer les mesures de performance. Cette approche implique la détermination d’un seuil subjectif d’alerte sur la base d’un nombre absolu de cas ou défini statistiquement. L’analyse rétrospective permet de mesurer la capacité d’une méthode à détecter ces épidémies définies préalablement. Cette méthode permet de calculer et de comparer le délai de détection, la sensibilité, la spécificité pour différentes méthodes.
Lewis [24] a utilisé l'approche dérivée pour étudier l'efficacité de différentes méthodes pour la détection précoce des épidémies de méningite en Afrique. Un seuil a été rétrospectivement défini avec un taux d'incidence de la méningite dépassant 70 et 100 cas pour 100 000 habitants. Le pic épidémique a été défini comme la semaine avec la plus forte incidence. L'analyse rétrospective des données a ensuite été effectuée pour comparer la capacité des différentes méthodes à détecter ce pic. Cependant la performance des méthodes de détection peut varier en fonction des critères prédéfinis. La définition d’épidémies utilisée dans l’approche dérivée combine des éléments à la fois de l’approche descriptive et de l’approche épidémiologique en se basant sur la définition d’un seuil épidémiologiquement « crédible ». Elle n’est donc pas considérée comme indépendante des autres approches décrites ici.
• Approche par simulation d’épidémies
L’utilisation de données simulées répond à un certain nombre de problèmes liés à l'utilisation des données authentiques, notamment pour déterminer avec précision l'existence et la date des épidémies dans les séries chronologiques et dans le cas où les données historiques viendraient à manquer. Elle permet d’évaluer la capacité des méthodes de détection à identifier des épidémies simulées de différentes amplitudes [26]. L'approche par simulation d’épidémies permet une évaluation quantitative et reproductible des indicateurs de performance, y compris la sensibilité et la spécificité, sur des échantillons de grande taille.
Reis et Mandl [58] ont utilisé des données simulées pour évaluer la performance du modèle à identifier les épidémies simulées de différentes tailles. Un total de 233 foyers simulés de 7 jours a été inséré à 15 jours d'intervalle dans un jeu de données dans lequel aucun foyer n’était connu. La simulation a été répétée avec des épidémies de différentes tailles, et la sensibilité des modèles de détection a été comparée à une spécificité fixe.
Cependant ces modèles sont liés aux hypothèses utilisées pour construire les données (la taille de l'épidémie, la forme de l'épidémie, le taux de base et les caractéristiques, et la distribution spatiale). Les méthodes de simulation d’épidémies peuvent également influer sur les résultats de l'évaluation par des effets produits par le procédé de simulation qui ne reflète pas le système ou processus en cours de modélisation.