EVALUATION DE LA COLLABORATION DANS LES SYSTEMES DE SURVEILLANCE
2.1. Matrice d’évaluation de la collaboration
2.1.1. Liste initiale d’attributs
Sur la base de la confrontation des informations issues du cadre descriptif de la surveillance One Health et des outils d’évaluation existants, nous avons identifié une liste de 38 attributs spécifiques à
l’évaluation de la collaboration dans un système de surveillance multisectorielle. Ces attributs ont été
catégorisés en cinq groupes : gouvernance (9), réalisation (8), efficacité (10), fonctions (7) et valeur (4). Ils sont listés et définis dans les sections 8 à 13 du questionnaire disponible dans l’annexe 2.
Chacun des groupes d’attributs se focalise sur l’évaluation d’un aspect de la collaboration : les
attributs de gouvernance et de réalisation sur son organisation et fonctionnement ; les attributs
d’efficacité sur son impact sur la performance de la surveillance dans les différents dispositifs couverts
par le système multisectoriel ; les attributs fonctionnels sur la qualité des fonctions collaboratives clefs; les attributs de valeur sur ses impacts, bénéfices et coût.
2.1.2. Résultats de l’élicitation d’opinion d’experts
La liste initiale d’attributs a été soumise à évaluation par des experts. Sur les 84 experts qui
ont accédé au questionnaire, seuls 39 ont complété la partie relative aux critères d’évaluation et ont été considérés pour cette partie des travaux. La majorité d’entre eux étaient des épidémiologistes (74 %) et/ou des vétérinaires (72 %), travaillant dans des instituts techniques ou de recherche et des universités (54 %), dans des agences inter-gouvernementales (21 %) et au sein d’autorités gouvernementales nationales (18 %). Les autres participants travaillaient dans le secteur privé (13 %) ou dans des organisations non gouvernementales (1 %). Leur expertise principale relevait de
l’épidémiologie (95 %), de la santé publique vétérinaire (77 %), de la santé publique (67 %) et de la
sécurité sanitaire des aliments (61 %). La majorité d’entre eux avait également une expérience importante en surveillance sanitaire (56 %) et en approches One Health (66 %) et 85 % avaient au moins un an d’expérience en surveillance One Health.
Tous les attributs proposés étaient considérés comme pertinents par 67 % des répondants et 43 % ont répondu qu’ils n’en identifiaient aucun manquant. Nous n’avons pas reçu de commentaires relatifs aux attributs pour 24% des participants. Cependant, nous avons reçu 61 commentaires qui étaient relatifs à des attributs manquants (49 % des commentaires), au besoin de hiérarchiser les attributs (16 %) ou de les clarifier (13 %), à des attributs non pertinents (13 %), au besoin de distinguer les attributs spécifiques de la collaboration à de ceux spécifiques de la surveillance (8 %).
Parmi les 19 experts que nous avons contactés pour participer à la seconde phase d’évaluation, neuf ont pu participer à la visioconférence. Les participants étaient essentiellement des épidémiologistes (8/9) et vétérinaires (8/9), travaillant pour la majorité d’entre eux dans des instituts techniques ou de recherche et des universités (6/9), dans des agences inter-gouvernementales (2/9) ou au sein d’autorités gouvernementales nationales (2/9). Un participant travaillait également pour le
secteur privé. Ils avaient presque tous plus d’un an d’expérience en surveillance (89 %) et avaient tous
au moins un an d’expérience avec le concept One Health. Globalement, 89% d’entre eux avaient au
moins une année d’expérience en surveillance One Health.
Après avoir échangé avec les experts sur la nécessité de repréciser et/ou d’inclure certaines notions, tous les attributs furent validés.
2.1.3. Principales modifications apportées aux attributs initiaux et obtention de la liste finale d’attributs
Sur la base du retour des experts, nous avons apportés des modifications majeures à la liste
initiale d’attributs d’évaluation, dont les principales sont décrites ci-après.
Concernant les attributs de gouvernance, l’attribut « information » a été renommé
« information et communication » pour inclure également le stockage et la circulation de l’information concernant le système et produite par le système. L’attribut « mécanismes » a été scindé en trois
attributs pour différencier le pilotage, la coordination et l’appui scientifique et technique.
Au niveau de la réalisation des activités de surveillance, l’attribut relatif à l’échange de données a été scindé en deux pour différencier l’échange de données brutes de l’échange de résultats de surveillance. En effet, ces deux modalités de collaboration sont possibles et indépendantes l’une de l’autre, et il est donc plus pertinent de les distinguer dans l’exercice d’évaluation.
De profondes modifications furent également apportées aux attributs de fonction pour éviter
toute ambiguïté concernant le fait qu’ils étaient spécifiques à la collaboration et pour se concentrer
sur les caractéristiques fonctionnelles clefs de cette dernière. Ainsi, quatre attributs ont été considérés comme non spécifiques de la collaboration et ont été supprimés, soit « simplicité », « portabilité », « interopérabilité », « complétude et exactitude des données ». A l’inverse, six attributs ont été ajoutés à la liste pour prendre en compte des fonctions collaboratives qui apparaissaient primordiales
pour qu’un système de surveillance multisectoriel soit fonctionnel et durable : « pertinence »,
« opérationnalité », « ressources », « inclusivité », « leadership partagé » et « connaissance du système ». Enfin, trois attributs ont été renommés et leur définition légèrement modifiée : « durabilité » a été remplacé par « stabilité », « acceptabilité et engagement » par « acceptabilité », « adaptabilité et flexibilité » par « adaptabilité ». Ces attributs sont fortement interdépendants et contribuent à la caractérisation de l’efficacité d’un système de surveillance multisectoriel.
Enfin, les attributs relatifs à l’efficacité ont été supprimés car ils n’évaluaient pas spécifiquement la collaboration mais plutôt le système de surveillance en général, et notamment la
performance des dispositifs sectoriels. Les attributs de valeur ont quant à eux été exclus de l’étude
car leur évaluation nécessitait des données et informations additionnelles qui n’étaient pas encore disponibles au moment du développement de notre matrice.
La liste finalisée des attributs d’évaluation de la collaboration est disponible dans le tableau
13.
Vingt-deux attributs d’organisation (12 pour la gouvernance et 10 pour la réalisation des activités de surveillance) se déploient sur les trois niveaux d’organisation de la collaboration (politique,
institutionnelle, mise en œuvre). Au niveau politique et institutionnel, les attributs de gouvernance
concernent la formalisation et la cohérence de la stratégie et des modalités collaboratives, ainsi que l’existence et l’opérationnalité des mécanismes de gouvernance de la collaboration (pilotage, coordination, appui scientifique et technique). Au niveau de la mise en œuvre, ils sont relatifs à la pertinence des activités pour produire les résultats attendus. Enfin, certains attributs sont transversaux et concernent les ressources, la formation, la performance et l’évaluation et l’engagement des acteurs dans la collaboration. La définition précise de ces attributs est disponible dans l’annexe 12.
Les attributs d’organisation sont complétés par neuf attributs de fonction qui caractérisent les
éléments clefs d’une collaboration fonctionnelle et durable. Leur définition précise est disponible dans
Table 13. Liste finale des attributs pour l’évaluation de l’organisation et des fonctions de la collaboration dans un système de surveillance multisectoriel.
Attributs d’organisation de la collaboration
Attributs de fonction de la collaboration
Pour la gouvernance (G) des activités de surveillance Pour la réalisation (O) des activités de surveillance
G.1 Formalisation et approbation de la stratégie collaborative de surveillance
G.2 Pertinence des objectif(s) et finalité(s) de collaboration
G.3 Couverture du système de surveillance multisectoriel
G.4 Mécanisme(s) collaboratif(s) pour le pilotage du système de surveillance multisectoriel
G.5 Mécanisme(s) collaboratif(s) pour la coordination du système de surveillance multisectoriel
G.6 Mécanisme(s) collaboratif(s) pour l’appui
scientifique et technique au système de surveillance multisectoriel
G.7 Formalisation et approbation des modalités de collaboration pour la réalisation des activités de surveillance
G.8 Pertinence des modalités de collaboration pour la réalisation des activités de surveillance
G.9 Formation des acteurs impliqués dans la collaboration
G.10. Performance et évaluation G.11 Information et communication
G.12 Engagement des acteurs dans les tâches assignées
O.1 Collaboration pour l’élaboration des protocoles
de surveillance
O.2 Collaboration pour la collecte d’échantillons
O.3 Collaboration pour la réalisation des analyses de laboratoire
O.4 Collaboration pour le stockage et la gestion des données
O.5 Collaboration pour l’échange de données O.6 Collaboration pour l’analyse et l’interprétation
des données
O.7 Collaboration pour l’échange de résultats de
surveillance
O.8 Collaboration pour la communication des résultats de surveillance aux acteurs
O.9 Collaboration pour la communication externe des résultats de surveillance
O.10 collaboration pour la dissémination des
résultats aux donneurs d’ordre
F.1 Acceptabilité F.2 Adaptabilité F.3 Inclusivité F.4 Opérationnalité F.5 Pertinence F.6 Ressources F.7 Leadership partagé F.8 Stabilité F.9 Connaissance du système
2.1.4. Indices d’évaluation
En parallèle des attributs d’évaluation et en référence à l’approche processus pour le
management par la qualité, nous avons également développé trois indices pour mesurer le niveau de satisfaction de l’organisation de la collaboration à un niveau macro.
Ces trois indices sont les suivants :
- L’indice de réalisation, qui regroupe toutes les activités mises en œuvre dans le cadre de la surveillance, de l’élaboration des protocoles à la dissémination des résultats, pour produire les résultats permettant de répondre aux objectifs et finalités de la collaboration.
- L’indice de support, qui regroupe toutes les activités contribuant au bon fonctionnement de la collaboration en leur fournissant les ressources nécessaires : l’allocation des ressources, la formation, la communication, le support scientifique et technique.
- L’indice de management, qui regroupe toutes les activités qui contribuent à la gestion de la collaboration : la formalisation d’une stratégie de collaboration, les mécanismes de gouvernance pour le pilotage et la coordination, le suivi et l’évaluation.
2.1.5. Critères d’évaluation pour les attributs et indices
Sur la base de l’identification des éléments constitutifs de la définition des 32 attributs et des trois indices, nous avons développé 74 critères pour les évaluer. Un même critère peut être utilisé pour évaluer plusieurs attributs de fonction. En revanche, chaque attribut et indice d’organisation sont évalués par un groupe de critères qui leur sont propres, sans possibilité de chevauchement entre eux. Les annexes 12, 13 et 14 donnent la liste des critères qui contribuent à l’évaluation de chacun des attributs et indices.
Les critères ont été également révisés sur la base des discussions de la seconde phase d’élicitation d’opinions d’experts durant laquelle certaines notions ont donné lieu à de nombreux échanges.
Tout d’abord, nous avons introduit un critère relatif à la notion de boucle de rétroaction pour
les attributs relatifs au pilotage, à la coordination et à l’appui scientifique et technique. Cette notion fait référence au fait que les résultats du système de surveillance multisectoriel et les expériences antérieures soient redirigés vers les mécanismes collaboratifs pour la gouvernance de la collaboration (pilotage, coordination, appui scientifique et technique) afin qu’ils puissent être utilisés pour informer des décisions et pour adapter le système de surveillance multisectoriel aux changements. Ce critère de boucle de rétroaction permet donc d’évaluer si les mécanismes sont en mesure d’évoluer et de prendre des décisions sur la base des résultats du système de surveillance ou des changements contextuels. Il permet également d’évaluer la capacité du système de surveillance à faire remonter à
ses dirigeants de l’information sur le fonctionnement et les impacts de la collaboration et la capacité
de ces derniers à s’y adapter.
Puis, nous avons travaillé sur les critères contribuant à l’évaluation du partage de l’information et de la communication. Nous avons introduit la notion de mémoire institutionnelle qui se réfère à
toute l’information relative à et produite par le système de surveillance One Heath ; et nous avons
créé un critère permettant d’évaluer sa complétude et son accessibilité aux acteurs de la surveillance et aux utilisateurs des résultats.
Enfin, nous avons introduit un critère pour évaluer si le leadership était distribué de façon appropriée entre les acteurs engagés dans les mécanismes collaboratifs pour le pilotage, la coordination et le support scientifique et technique du système de surveillance multisectoriel. Ce critère a pour objectif d’évaluer si les acteurs participant dans les différents mécanismes sont
représentatifs, s’ils peuvent exprimer leurs opinions librement et si celle-ci sont entendues. Ce critère
permet également de tenir compte de l’existence d’acteurs plus actifs que d’autres et l’émergence de « champions » qui peuvent catalyser l’opérationnalisation de la collaboration. Ce critère contribue
donc aux attributs d’organisation des mécanismes collaboratifs de gouvernance ainsi qu’à l’attribut
de fonction « leadership partagé ».
A la suite de l’application de la matrice sur le système de surveillance des salmonelles en France, certaines modifications mineures ont été apportées aux critères. Les critères relatifs à la formation des acteurs ont été revus afin de fusionner ceux relatifs à la formation initiale et ceux relatifs à la formation continue afin qu’ils soient évalués de façon concomitante. Les critères relatifs aux ressources, initialement regroupés quel que soit le niveau qu’ils concernaient, ont été répartis sur les différents niveaux de collaboration, à savoir niveau politique et niveau institutionnel, pour permettre une évaluation spécifique et complète de ces niveaux de collaboration en incluant également la valence relative aux ressources. L’ordre des critères utilisés pour l’évaluation des attributs
d’organisation de la collaboration pour la réalisation des activités de surveillance a également été revu
pour être plus cohérent avec l’enchainement chronologique des activités dans une campagne de
surveillance. Ainsi, les critères relatifs au stockage et à la gestion des données ont été positionnés avant ceux relatifs à l’analyse et l’interprétation des données.
La réunion de notation avec des acteurs clefs de la surveillance des salmonelles en France a été l’occasion également de valider la clarté du libellé des critères et de l’approche d’évaluation développée pour les acteurs de terrain. Il s’est avéré que la difficulté principale rencontrée par ces derniers était de rester concentré sur l’évaluation de la collaboration entre dispositifs et de ne pas
déplacer l’exercice vers l’évaluation du système dans sa globalité ou des interactions entre acteurs
opérant dans un même dispositif.
2.1.6. Organisation de la matrice d’évaluation
La matrice d’évaluation est donc un tableur composé de quatre feuilles.
La première feuille contient la grille de notation pour les 74 critères d’évaluation. Pour chaque critère, quatre notes, allant de 0 à 3 sont possibles et une description détaillée de la situation dans laquelle chaque note doit être attribuée est proposée. Une fois choisie, la note est saisie dans la feuille, accompagnée de la justification du choix.
La seconde feuille contient la liste des attributs et indices, leurs définitions, ainsi que les critères contribuant à leur évaluation.
La troisième feuille fournit une représentation graphique des résultats d’évaluation des attributs
et indices sur la base des notes saisies dans la première feuille et des calculs réalisés dans la quatrième feuille. Trois représentations graphiques différentes facilitent la lecture des résultats pour les
différents niveaux d’évaluation : organisation à un niveau micro, organisation à un niveau macro et
fonctionnalités. Cette approche est similaire à celle développé dans l’outil Oasis et a montré son efficacité lors de plus de 25 évaluations.
La première représentation concerne les résultats d’évaluation pour les 22 attributs
d’organisation (12 pour la gouvernance et 10 pour la réalisation). Chaque résultat peut être visualisé
indépendamment dans un diagramme circulaire dans lequel la zone colorée représente le niveau de satisfaction de l’attribut par rapport à une situation idéale où tous les critères auraient été notés 3. Ce format graphique a été considéré comme le plus approprié pour présenter un nombre important de résultats (22) de façon concomitante et pour distinguer aisément les attributs évalués de ceux qui ne le sont pas (car non approprié dans le cas du système étudié et noté « NA » dans la matrice). Il permet ainsi de visualiser l’ensemble des résultats d’évaluation pour les attributs d’organisation et d’identifier
facilement les faiblesses de l’organisation collaborative. La matrice permet également de remonter
aux critères ayant contribué au résultat en se référant la seconde feuille, pour une analyse plus fine de la situation.
La seconde représentation correspond aux résultats d’évaluation des indices, qui sont présentés
dans un histogramme commun. Ils sont exprimés en pourcentage de conformité par rapport à une situation idéale où tous les critères seraient notés 3. L’utilisation d’un histogramme permet de visualiser de façon concomitante ces trois résultats d’évaluation très agrégés qui illustrent le niveau
de satisfaction de l’organisation de la collaboration à un niveau macro, d’un point de vue du
management, du support et de la réalisation, et de les comparer entre eux.
La dernière représentation graphique illustre la qualité de la collaboration pour les neuf attributs de fonction dont les résultats apparaissent sur un radar. Ce type de représentation graphique nous est apparu la plus pertinente pour restituer les résultats d’attributs qui peuvent être corrélés via l’existence de critères en commun. De plus, il facilite l’analyse de l’équilibre entre ces différentes fonctions clefs de la collaboration. Les résultats sont exprimés sur une échelle à cinq niveaux, allant de A à E, qui correspondent à différents niveaux de satisfaction des fonctions clefs. La note A correspond à un niveau de satisfaction compris entre 76 et 100 %, ce qui signifie que pratiquement tous les critères contribuant à l’évaluation de la fonction ont été notés 3, tandis que la note E correspond à 0%, ce qui signifie qu’ils ont tous été notés 0. Les notes B, C, D sont des niveaux intermédiaires de satisfaction, respectivement 51-75 %, 26-50 % et 1-25 %. Cette représentation
graphique permet de visualiser la qualité de l’effort collaboratif au sein d’un système de surveillance
multisectoriel. Il peut aider à identifier les fonctions collaboratives qui nécessitent d’être renforcées. La figure 27 présente les trois représentations graphiques pour des données virtuelles d’évaluation.
Figure 27. Représentations graphiques des résultats d’évaluation pour les attributs et indices d’organisation de la collaboration et pour les attributs de fonction.
La quatrième feuille contient toutes les formules pour obtenir les résultats numériques des attributs et indices, à partir desquels sont construites les représentations graphiques. La même formule est utilisée pour tous les attributs et indices.
∑
𝑛𝑖=0𝑥
𝑖3𝑛
où 𝑥𝑖 est la note attribuée à un critère contribuant à l’évaluation de l’attribut ou de l’indice, n le
nombre de critères contribuant à l’évaluation de l’attribut ou de l’indice et 3 la note la plus élevée que
peut obtenir un critère.
Si des critères ont été jugés non pertinents pendant l’évaluation et ont été notés « NA », ils
ne sont pas comptabilisés dans cette formule.
La matrice (en anglais) est accessible en suivant le lien18 : https://collaboratif.cirad.fr/share/s/U4YRYrWnR7C71woR_IRXxA.
2.2. Environnement documentaire pour utiliser la matrice d’évaluation
2.2.1. Documents pour le recueil de l’information nécessaire à l’évaluation
Nous avons développé deux types de documents permettant de recueillir les données nécessaires à la notation des critères d’évaluation.
Le premier est un tableur avec deux feuilles, l’une spécifique aux dispositifs couverts par le
système de surveillance multisectoriel et l’autre aux acteurs de ce système. Les tableaux 13 et 14 présentent une description des champs à remplir pour ces deux feuilles. Le tableur est accessible en suivant le lien18 : https://collaboratif.cirad.fr/share/s/1p2w97lVTXCK5A1R6Cnj5w.
Le second est un formulaire de recueil des données axé sur la collaboration. Ce formulaire est composé de trois sections : description du contexte dans lequel est mis en œuvre le système de surveillance multisectoriel ; description de la collaboration pour la gouvernance des activités de surveillance ; description de la collaboration pour la réalisation des activités de surveillance. Le document (en anglais) est disponible dans l’annexe 15.
18S’il n’est pas possible de télécharger directement le document, relancer le téléchargement de la page en
Table 14. Données relatives aux dispositifs de surveillance couverts par le système de surveillance multisectoriel pour réaliser la notation des attributs.
Type de donnée à recueillir Description
Nom du dispositif de surveillance Donner le nom du dispositif décrit
Propriétaire Spécifier le nom de l’institution qui est propriétaire du dispositif
Propriété Préciser si l’institution propriétaire du dispositif relève du secteur publique ou privé
Statut Préciser si le dispositif est opérant, en cours de développement ou
inactif
Secteur Préciser dans quel secteur d’activité le dispositif est mis en œuvre :
santé humaine, santé animale, sécurité des aliments, santé des plantes, faune sauvage, etc.
Date d’établissement Préciser quand le dispositif de surveillance a été établi Object de la surveillance Préciser la nature du danger concerné par le dispositif Population ou matrice sous
surveillance
Préciser la nature de la population ou de la matrice concernée par le dispositif
Statut règlementaire Préciser si le dispositif relève de la surveillance officielle (coordonnée
et mise en œuvre par les autorités), règlementaire (coordonnée par
les autorités et mise en œuvre par d’autres acteurs, le plus souvent