Recommandations pour l’évaluation de dispositifs de surveillance complexes

Les dispositifs de surveillance doivent être évalués dans leur contexte, à la fois d’un point de vue environnemental, économique ou social. Le choix d’une méthode d’évaluation dépend en premier lieu de l’objectif de la surveillance et de l’évaluation, mais plusieurs méthodes peuvent être appliquées de manière séquentielle, comme cela a été effectué dans ce travail. En effet, pour l’évaluation de dispositifs de surveillance complexes comme le dispositif Sylvatub, une seule

méthode n’est souvent pas suffisante, car elle ne permet pas l’analyse en profondeur de tous les aspects du système. L’application d’une seule méthode d’évaluation, au détriment des autres, reposerait alors sur un véritable choix à justifier selon les objectifs de l’évaluation, l’attente et les besoins des décideurs ainsi que des partenaires de la surveillance.

Cette étude a montré les limites d’une évaluation isolée, fondée sur un seul attribut, ne prenant pas en compte les aspects socio-économiques notamment, d’ailleurs peu souvent évalués dans le domaine de la santé animale (Drewe et al., 2012 ; Calba et al., 2015a). Cette étude a également montré qu’il était intéressant de comparer les résultats des différents types d’évaluation, et d’étudier leur complémentarité : il est ainsi intéressant d’étudier la corrélation entre la sensibilité (ou le défaut de) du dispositif de surveillance et son fonctionnement général ou l’acceptabilité des mesures de surveillance par les acteurs de terrain par exemple.

En effet, par exemple, l’étude quantitative a montré que la surveillance programmée avait une très bonne sensibilité, mais l’évaluation Oasis a identifié une hétérogénéité importante de la mise en œuvre locale de cette surveillance dans les départements de niveau 2 et 3, tant au niveau de l’application des mesures réglementaires prescrites que de la réalisation de l’échantillonnage prévu ; l’évaluation sociologique ayant quant à elle mis en évidence un défaut d’acceptabilité, notamment en ce qui concerne la surveillance programmée des blaireaux. Ainsi, la surveillance programmée semble efficace, mais les tailles d’échantillons importantes impliquent un coût élevé et une acceptabilité relativement faible, ce qui peut limiter la durabilité de cette composante dans les départements concernés. La surveillance événementielle par examen de carcasse présente une faible sensibilité individuelle, en partie compensée par le nombre important d’animaux pouvant être soumis à cette surveillance. Par ailleurs, cette composante présente un coût unitaire très élevé, en raison des activités importantes d’animation, et son application effective semble très hétérogène à l’échelle nationale (évaluation Oasis), en lien avec un déficit de sensibilisation des acteurs de terrain notamment (évaluation Oasis, étude qualitative). Ainsi, l’amélioration de la composante de surveillance par examen de carcasse passerait par un renforcement des activités d’animation, de coordination et de supervision locale à destination des collecteurs de données. Toutefois, cela impliquerait un coût important, qui ne serait peut-être pas récompensé par une augmentation notable de la sensibilité dans tous les départements, car la déclaration des cas suspects est soumise à des facteurs comportementaux et psychosociaux influencés en partie par les conséquences de la détection de cas (conséquences opérationnelles et économiques) et la perception du risque vis-à-vis de l’infection (plus faible dans les départements de niveau 1) (étude sociologique qualitative). Enfin, la surveillance par le réseau Sagir semble présenter une bonne acceptabilité (étude sociologique qualitative), ce qui peut être expliqué par le fait que ce réseau existe depuis de nombreuses années.

Toutefois, son efficacité semble limitée, à la fois à l’échelle individuelle et collective. Par ailleurs, l’augmentation de sa sensibilité n’est pas aisée, car elle dépend de facteurs biologiques non modifiables, comme la probabilité qu’un animal meure et qu’il soit détecté avant sa disparition naturelle, dépendant des contextes environnementaux, des ressources alimentaires et de l’abondance de la végétation par exemple.

Chapitre V. Discussion générale

197

Enfin, certains attributs ont été évalués par deux méthodes différentes, comme par exemple l’utilité ou la simplicité, ce qui permet de renforcer la valeur et l’importance des recommandations prescrites (par exemple, simplifier les procédures de déclaration d’une suspicion, développer la communication auprès des partenaires du monde agricole ; évolutions proposées suite à l’évaluation Oasis et à l’enquête sociologique qualitative de manière indépendante).

Concernant le déroulement chronologique de l’application de diverses méthodes d’évaluation pour un même dispositif, la méthode Oasis semble plus adaptée en première intention car elle nécessite une étape de collecte de données précises sur le dispositif et son fonctionnement, et permet d’évaluer de manière consensuelle de nombreux aspects du dispositif. La variante Flash, plus rapide que la méthode complète, est alors conseillée pour un premier diagnostic général du dispositif, car elle permet, en un temps réduit par rapport à la méthode complète, de fournir des résultats assez complets et pertinents, et d’identifier les principales faiblesses et les principaux axes d’amélioration du dispositif, sur lesquels orienter ensuite les méthodes complémentaires d’évaluation. Toutefois, ce type de méthode semi-quantitative ne permet pas de quantifier l’efficacité d’un dispositif de surveillance en termes de capacité à détecter des cas.

Parmi les méthodes quantitatives, le choix de l’utilisation des méthodes capture-recapture ou des arbres de scénarios dépend du contexte : il est en effet généralement admis que les méthodes capture-recapture sont adaptées aux situations où la maladie est présente sur le territoire, lorsque la surveillance permet une détection multiple (estimation de la probabilité qu’une unité épidémiologique infectée soit effectivement détectée par le dispositif), et les méthodes d’arbres de scénarios sont davantage adaptées aux situations où la maladie est absente, permettant de déterminer si un territoire est réellement indemne d’une maladie (estimation de la probabilité de détecter au moins une unité épidémiologique infectée si la maladie apparaissait à une certaine prévalence). Toutefois, notre étude a montré qu’il était possible d’utiliser les méthodes d’arbres de scénarios pour l’évaluation de dispositifs de surveillance d’une maladie enzootique sur un territoire.

Dans le cas de l’évaluation du dispositif Sylvatub, l’application des méthodes capture-recapture était impossible, en raison notamment de l’absence de possibilité de détection multiple des individus (animaux collectés et détectés une fois morts, donc non détectables par d’autres dispositifs). Par ailleurs, les différentes composantes de surveillance ne ciblent pas les mêmes strates de la population (animaux tués à la chasse ou animaux morts par collision routière par exemple), empêchant là encore des détections multiples. Les méthodes capture-recapture semblent ainsi moins utiles dans le cas de données complexes et non aléatoires (Vergne, 2012), et ne permettent d’introduire qu’un nombre limité de facteurs, au contraire des arbres de scénarios qui permettent l’étude de nombreux facteurs d’infection ou de détection.

Ainsi, il semble important d’utiliser plusieurs méthodes pour l’évaluation de dispositifs de surveillance complexes : une méthode semi-quantitative comme la méthode Oasis dans un premier temps, afin d’estimer de manière générale plusieurs attributs comme la faisabilité, la durabilité et la

flexibilité de la surveillance, à partir d’opinions de représentants nationaux des partenaires ; une méthode quantitative permettant d’investiguer plus en détail l’efficacité de la surveillance ; et, si le temps consacré à l’évaluation le permet, une méthode qualitative sociologique visant à interroger des acteurs de terrain afin d’investiguer plus en détail les facteurs motivationnels et bloquants de leur participation à la surveillance et permettant ainsi de prendre en compte les facteurs influençant l’acceptabilité des mesures prescrites.

Les informations collectées par les méthodes semi-quantitatives et qualitatives peuvent être utilisées pour évaluer de potentielles stratégies alternatives de manière quantitative, en créant de nouveaux nœuds de détection ou de décision dans les arbres de scénarios, ou en modifiant les valeurs des paramètres d’entrée utilisés pour le modèle. Cette combinaison de différentes méthodes permet ainsi de quantifier le gain de sensibilité pouvant être attendu de l’adaptation d’une activité de surveillance existante ou de la mise en œuvre d’une nouvelle composante de surveillance. Les arbres de scénarios peuvent donc être utilisés à différentes étapes de l’évaluation d’un dispositif de surveillance : lors de l’estimation initiale de la sensibilité du dispositif existant, et ensuite lors de l’estimation de la sensibilité de mesures de surveillance adaptées ou alternatives, proposées suite à une évaluation par des méthodes semi-quantitatives et sociologiques qualitatives permettant d’aborder les aspects technico-opérationnels et sociologiques de la surveillance. Ainsi, ces méthodes n’ont pas le même objectif : les méthodes semi-quantitatives comme la méthode Oasis permettent de faire un bilan général de l’ensemble du dispositif de surveillance et indiquent les aspects à améliorer pour augmenter l’efficacité de la surveillance, tandis que les méthodes quantitatives permettent de quantifier l’efficacité de la surveillance et donc la fiabilité des informations sanitaires produites par le dispositif, mais ne fournissent pas d’éléments permettent d’améliorer directement le fonctionnement du dispositif (Vergne, 2012). Il est toutefois possible d’utiliser les arbres de scénarios au-delà du processus d’évaluation, comme outil d’aide à la prise de décision lors d’événement épidémiologique nécessitant la modification de certains paramètres de surveillance, ou lors de contraintes pratiques ou financières nécessitant une adaptation de la surveillance.

Les méthodes d’évaluation appliquées dans ce travail étaient ainsi diverses et complémentaires, permettant d’évaluer des aspects différents d’un même dispositif de surveillance.

Cette étude souligne ainsi les avantages d’utiliser à la fois des méthodes quantitative et qualitative, permettant l’étude de plusieurs attributs d’un même dispositif de surveillance. Cette approche multiple n’est pas habituelle, la plupart des évaluations s’appuyant sur une seule méthode (Drewe et al., 2015 ; Bronner et al., 2015a). A notre connaissance, une seule autre évaluation d’un dispositif de surveillance a utilisé cette combinaison d’approches quantitatives, semi-quantitatives et sociologiques en France (Bronner et al., 2013, 2014, 2015a,2015d). Ces auteurs ont estimé la proportion d’éleveurs déclarant au moins un avortement parmi ceux qui les détectaient par une méthode capture-recapture uniliste, afin d’estimer la sous-déclaration des avortements par les éleveurs, et ont identifié les facteurs influençant leur décision de déclarer par des méthodes sociologiques qualitatives (enquêtes). Les auteurs ont ainsi identifié plusieurs facteurs intervenant

Chapitre V. Discussion générale

199

dans le processus de déclaration : la situation épidémiologique locale (situation sanitaire favorable conduisant à un faible risque perçu par les éleveurs et à un manque de sensibilisation), le type d’élevage (allaitant ou laitier), et le degré de coopération au sein du réseau socio-technique regroupant les éleveurs et les vétérinaires par exemple. Toutefois, cette étude ne permettait pas de distinguer l’influence relative de l’occurrence de l’avortement (phénomène biologique), de la détection et de la déclaration (phénomènes socio-comportementaux) (Bronner et al., 2013, 2015c).

L’utilisation d’une approche interdisciplinaire, combinant des approches techniques et opérationnelles, économiques, sociales et comportementales, est ainsi recommandée pour l’étude des facteurs influençant la participation des acteurs à un dispositif de surveillance, et identifier comment leur participation peut être optimisée pour atteindre une efficacité maximale à moindre coût (recherche d’efficience). Le choix de la ou des méthodes d’évaluation à utiliser dépend ainsi de l’objectif de l’évaluation, des ressources (humaines et matérielles) et du temps disponible pour sa réalisation, mais aussi du contexte local, environnemental et éventuellement politique.