Elaboration de la matrice d’évaluation de la collaboration

L’élaboration de la matrice d’évaluation a été conduite en quatre étapes: l’identification des

attributs d’évaluation de la collaboration dans un système de surveillance One Health, la validation

les attributs et indices. La figure 25 permet de visualiser l’ensemble de l’approche méthodologique utilisée.

Figure 25. Cadre méthodologique adopté pour le développement de la matrice d’évaluation de la collaboration dans un système de surveillance One Health (adapté de Bordier et al., 2019).

1.1.1. Elaboration de la liste d’attributs pour l’évaluation de la collaboration

Pour définir les attributs d’évaluation spécifiques aux collaborations, nous avons utilisé différentes sources d’information.

Nous avons tout d’abord mobilisé les résultats de nos travaux précédents, présentés dans les deux premiers chapitres de ce manuscrit.

Notre point de départ a été le cadre définissant l’organisation et le fonctionnement de la

collaboration dans un système de surveillance One Health, tel que décrit dans le paragraphe 2.3. du premier chapitre de ce manuscrit. La figure 26 est une représentation adaptée de ce cadre, soulignant les caractéristiques organisationnelles et fonctionnelles majeures de la collaboration, ainsi que les

éléments les influençant, qui ont nourri notre réflexion pour définir les attributs d’évaluation. Ainsi, il

est important de rappeler que la collaboration se décline à trois niveaux : le niveau politique, où la stratégie collaborative est énoncée ; le niveau institutionnel, où les modalités de collaboration sont définies pour répondre aux objectifs de la stratégie ; le niveau opérationnel, où des activités

spécifiques sont mises en œuvre pour permettre la réalisation des modalités de collaboration. Il est

important que ces trois niveaux de collaboration soient clairement formalisés et approuvés par les

parties prenantes. Ils doivent également être en cohérence les uns avec les autres, ainsi qu’avec le

contexte. La collaboration se développe pour répondre à des attentes spécifiques de la part des parties prenantes et doit produire des résultats qui permettent de répondre aux raisons ayant motivé son établissement. Les résultats de la collaboration sont souvent assimilés à des résultats de surveillance

(information) mais peuvent être d’autre nature, comme le renforcement d’un réseau multi-secteurs ou une meilleure gestion des ressources. De même, les objectifs et finalités de la collaboration peuvent se superposer à ceux du système de surveillance One Health (détection précoce, suivi des tendances, etc.) mais peuvent également relever d’autres problématiques, comme la réduction de l’impact économique dû à la contamination des denrées par exemple.

Figure 26. Cadre définissant l’organisation et le fonctionnement de la collaboration dans un système de surveillance One Health utilisé pour définir les attributs et les indices d’évaluation (adapté de Bordier et al., 2019)

Nous avons parallèlement mobilisé les résultats de l’analyse des acteurs décrite dans le

second chapitre de ce manuscrit, et notamment, ceux relatifs à la surveillance de l’antibiorésistance

au Vietnam (Bordier et al. 2018a). Cette analyse suggère que l’opérationnalisation durable d’un système One Health nécessite l’adhésion des acteurs de la surveillance et que cette dernière dépend de deux conditions : la compréhension mutuelle et la confiance entre acteurs et la perception de

bénéfices à collaborer en dehors de son champ d’activité habituel tout en conservant son autonomie

dans sa juridiction.

L’analyse de l’ensemble de ces données nous a permis d’identifier les caractéristiques clefs de l’organisation et du fonctionnement de la collaboration pour la gouvernance et la réalisation des activités de surveillance, ainsi que les déterminants clefs pour son succès.

Nous avons ensuite complété ces informations en mobilisant et adaptant certains attributs d’évaluation existants. Nous avons notamment étudié les attributs utilisés dans certains outils dédiés à l’évaluation de la surveillance - EvaTool (Risksur, 2015) et Oasis (Hendrikx et al., 2011) -, à l’évauation

des initiatives One Health - cadre NEOH (Ruegg et al., 2018°) –ainsi qu’à l’évaluation de la capacité et

de la performance des mécanismes de coordination multisectorielle - outil One Health Assessment for Planning & Performance (OH-APP tool)17.

La combinaison de l’ensemble de ces informations nous a permis de déterminer une liste

d’attributs spécifiques à l’évaluation de la collaboration mise en œuvre dans un système de

surveillance One Heath.

1.1.2. Elicitation d’opinions d’experts sur la liste d’attributs

Nous avons ensuite sollicité, en deux phases, l’avis d’experts sur la liste d’attributs

précédemment établie.

Pour la première phase, nous avons utilisé le même questionnaire que celui utilisé pour

solliciter l’opinion des experts sur la caractérisation des systèmes de surveillance One Health (annexe

2). Le questionnaire et la démarche pour solliciter les experts et pour recueillir les données sont décrits dans le paragraphe 1.3. du premier chapitre du manuscrit. Pour cette partie de notre étude, seules les parties du questionnaire relatives aux informations personnelles du répondant et à l’évaluation de la collaboration ont été utilisées. Concernant l’évaluation de la collaboration, les répondants étaient

interrogés sur la pertinence et l’exhaustivité des attributs proposés. Pour cela, ils devaient répondre

à des questions fermées par oui ou non et justifier leur choix dans un champ libre. Une étude descriptive a été conduite sur les informations personnelles des répondants et sur leurs opinions vis-à-vis des attributs proposés. Les commentaires et justifications ont été analysés et catégorisés.

Deux mois après, nous avons organisé, au moyen d’une visioconférence, une seconde phase d’élicitation d’opinion avec les experts ayant fourni des commentaires détaillés sur les attributs pendant la première phase. Le premier objectif était de présenter et d’échanger sur les changements que nous avions apportés à la liste initiale d’attributs à la suite de l’analyse des résultats de la première phase d’élicitation. Le second objectif était d’aborder dans le détail certains points spécifiques qui avaient été les plus largement commentés lors de la première phase, à savoir l’échange d’informations, la connaissance du système ainsi que le leadership et les attributs relatifs aux fonctions de la collaboration. La durée de la réunion a été d’environ 90 minutes et les échanges ont été enregistrés pour leur analyse ultérieure. Les conclusions ont été utilisées pour valider ou réviser certains attributs et leur définition.

1.1.3. Création d’indices relatifs à l’organisation de la collaboration

Parallèlement à l’établissement des attributs d’évaluation, nous avons travaillé à la définition d’indices pour obtenir une représentation plus globale de l’organisation de la collaboration. A l’inverse des attributs qui reflètent chacun une caractéristique organisationnelle précise de la collaboration, les indices regroupent les caractéristiques corrélées entre elles et permettent ainsi d’évaluer

l’organisation de la collaboration à un niveau macro.

Pour définir les modalités de regroupement des caractéristiques en indices, nous nous sommes inspirés de l’approche processus appliquée au management par la qualité, utilisée dans les organismes, tels que les entreprises de bien ou de service (dont les laboratoires d’analyse) ou encore les organismes de contrôles officiels. Cette approche est décrite dans la norme AFNOR FD X 50-176 (AFNOR, 2017).

Dans cette approche, l’organisme est modélisé, dans son organisation et son fonctionnement,

comme un système composé de plusieurs processus qui transforment la demande du client en un délivrable, qui peut être un produit ou un service. Les processus sont un ensemble d’activités corrélées ou interactives qui transforment des éléments d’entrée en éléments de sortie, les éléments d’entrée

d’un processus étant généralement les éléments de sortie d’autres processus. Ainsi, trois grands types de processus sont décrits :

- Le processus de réalisation, qui représente les activités qui contribuent directement à la réalisation du produit ou du service ;

- Le processus de support, qui représente les activités indispensables au bon fonctionnement

de l’ensemble du système en lui fournissant les ressources nécessaires et qui comprend

notamment les activités liées à la gestion des ressources humaines, matérielles et financières, et au traitement de l’information.

- Le processus de management, qui représente les activités mises en œuvre pour s’assurer que l’organisme remplit ses objectifs et qui assure donc la cohérence entre les processus de réalisation et de support : détermination de la politique, déploiement des objectifs dans l’organisme, allocation des ressources, monitoring et évaluation pour une amélioration continue des performances.

Un système de surveillance est également constitué d’un ensemble d’activités plus ou moins corrélées entre elles et peut donc être également modélisé en suivant une approche processus. Dans le cadre de notre étude, nous avons donc développé trois indices se référant à ces trois types de processus (réalisation, support et management), définis sous l’angle de la collaboration mise en œuvre dans un système de surveillance One Health.

1.1.4. Méthode pour mesurer les attributs et indices d’évaluation

La méthode de mesure a été largement inspirée de celle utilisée dans l’outil Oasis (Hendrikx et

al., 2011), dans laquelle des critères d’évaluation sont notés de façon semi-quantitative pour mesurer

le niveau de satisfaction d’attributs et de points de contrôle critiques.

Une fois la liste d’attributs et indices d’évaluation finalisée, nous avons déterminé les critères

nécessaires à leur évaluation. Pour cela, nous avons identifié les éléments spécifiques constitutifs de la définition des attributs et indices, et nous les avons formulés sous la forme de critères pour pouvoir les mesurer. Pour chacun de ces critères, quatre notes possibles ont été définies en fonction du niveau de satisfaction de la situation évaluée. La note 3 indique que la situation est conforme aux exigences du critère tandis que la note 0 signifie une non-conformité absolue. Les notes 2 et 1 sont des notes intermédiaires en fonction du degré de conformité de la situation. Il se peut qu’un critère ne soit pas pertinent par rapport au système de surveillance évalué. Dans ce cas, il prend la valeur «NA », qui signifie « Non approprié ». Pour chaque critère, un guide de notation a été développé pour décrire la situation dans laquelle les différentes notes devaient être attribuées.

La note des attributs et des indices est ensuite obtenue en combinant les notes attribuées aux critères contribuant à leur définition. Les valeurs NA, si elles sont présentes, ne sont pas prises en compte et n’impactent pas le résultat final.