La démarche d’autoévaluation par l’ANSM

[70] La mission d’audit a proposé un test d’autoévaluation à l’ANSM pour restituer une image d’ensemble de la maturité globale du dispositif de maitrise des risques déployé par l’agence, corroborant ou non ses conclusions issues de son audit limité aux 12 risques retenus dans son cahier des charges initial. La démarche et ses principaux résultats sont synthétisés ci-après et sont détaillés en annexe 12.

1.2.1 Co-construite, cette démarche sera déployée dans la durée

[71] L’audit a pour objet d’apprécier le niveau de maturité du dispositif de maitrise des risques sanitaires mis en place par l’ANSM pour le déploiement de l’ensemble de ses activités. Onze risques sanitaires, parmi les 47 identifiés lors de la phase préparatoire, ont fait l’objet d’un examen plus ou moins approfondi selon les cas, assortis ou non de tests.

[72] Au-delà des investigations conduites sur certains de ces 12 risques, la mission a souhaité faire procéder à une auto-évaluation administrée à l’échelle de toutes les directions de l’agence en vue de pouvoir se forger une opinion générale sur son niveau de maitrise des risques, étant entendu que l’immense majorité de ses activités sont susceptibles d’avoir un effet, plus ou moins direct, sur la sécurité sanitaire. Ce test devait par ailleurs permettre de comparer les constats et résultat des tests opérés sur les risques audités avec la propre perception par l’agence de sa maitrise des risques.

[73] Sur le plan méthodologique, une grille d’auto-évaluation a été proposée par la mission, les questions ayant été conçues pour tenir compte des risques identifiés pour l’élaboration de la matrice des risques lors de la préparation du présent audit et soumises à l’ANSM. L’ANSM a constitué sous l’égide de la MPCI un groupe de travail d’utilisateurs comprenant des agents familiers des démarches qualité, issus notamment de la direction de l’inspection et de la direction des contrôles. Elle a proposé de structurer l’organisation du questionnaire sur l’architecture de la norme ISO 9001 mise à jour en

2015 (publiée le 24.9.2015). Celle-ci renforce en effet la prise en compte des risques dans le management de la qualité. Après validation conjointe du nouveau questionnaire par la mission IGAS et l’ANSM, un test a été réalisé avant envoi à toutes les directions.

[74] Conçue comme un « point zéro », l’autoévaluation a ainsi vocation à être administrée régulièrement à l’avenir, de manière à pouvoir observer les évolutions et devenir un véritable outil de pilotage.

[75] Elle se présente sous la forme d’une série d’une ou plusieurs exigences énoncées au sein d’une batterie de 16 items. Les critères d’évaluation s’étalent, pour chaque exigence, sur une échelle de 0 (très bas) à 4 (très élevé) et permettent d’établir un score pour chaque item. Ainsi par exemple, dans l’item « cartographie des processus », l’exigence 1 énonce « L'entité utilise une cartographie des processus pour identifier les processus clés de son système de management de la qualité ».

[76] Les critères d’évaluation qui peuvent être sélectionnés par le répondant sont : Tableau 3 : Critères de cotation de l’autoévaluation

Source : Mission IGAS

[77] L’exploitation de toutes les réponses permet d’éditer un radar visualisant le score de chaque item et donnant à voir l’écart entre la cible et le résultat, qui s’étale de 0 à 4 (cf. infra).

[78] L’autoévaluation a été réalisée par chaque direction de l’agence (soit 48 entités distinctes) sur le ou les processus qu’elle pilote parmi les 23 processus de la cartographie des macro-processus de l’agence (cf. tableau 1).

[79] Les interviews ont été menées par les délégués qualité auprès des directeurs et/ou directeurs adjoints de chaque direction. Au 23 avril 2018, 100% des autoévaluations, soit 48 radars, avaient été réalisées, reflétant le niveau de déploiement de la démarche qualité à cette date.

Toutefois, cette démarche étant en plein déploiement et de nombreux items étant en passe d’évoluer dans les semaines suivantes, il a été convenu que l’exercice serait renouvelé au mois de septembre afin de rendre compte de l’état d’avancement des travaux au moment de la clôture de l’audit.

1.2.2 Les résultats sont globalement cohérents avec les constats de l’audit

[80] La mission, sans reprendre intégralement à son compte les réponses à un exercice dont les résultats relèvent de l’auto-déclaration, considère que le score et le radar général reflètent plutôt sa propre perception du niveau de maturité de l’agence. Elle ne repère pas de surévaluation notoire. Elle retrouve bien en outre aux extrêmes, à travers la forme des radars des directions concernées, celles dont elle pouvait s’attendre à les trouver en meilleure ou au contraire en moins bonne position. Elle est également confortée, à travers la diversité parfois surprenante des graphiques entre certaines directions exerçant des activités proches (directions produits), dans sa perception de pratiques très différentes d’une direction à l’autre.

Schéma 1 : Moyenne générale issue de l’autoévaluation de tous les processus de l’agence

Source : ANSM/MPCI, avril 2018

[81] Le schéma 1 ci-dessus correspond à un score général moyen de 1,9 sur 4 soit, aux yeux de la mission, un résultat cohérent avec ses constats à date.

[82] Une approche globale des macro-processus selon leur appartenance aux groupes "pilotage",

"Métiers" et "Supports" est détaillée dans le tableau ci-dessous.

Tableau 4 : Synthèse par macroprocessus et processus

UNIVERS Score MACROPROCESSUS Score PROCESSUS Score

PILOTAGE 1,8

Piloter la politique scientifique 1,6 Piloter la politique européenne 1,6 Assurer une sécurité

Veiller à une prise en compte de la

déontologie dans les processus 2,2 Piloter la

communication et

l'information 2,1 Piloter la politique de communication 2,1

METIERS 2,1

Maîtriser les flux 1,8 Piloter et prioriser les flux 1,8

Conserver l'information 1,8

Autoriser et/ou Enregistrer et/ou

Donner un avis 2,2

Autoriser les essais cliniques 1,9 Autoriser les nouvelles demandes et

modifications et/ou enregistrer les

produits et/ou donner un avis 1,8 Autoriser les établissements 3,0

Gérer le risque 2,2

Surveiller les produits de santé 1,8 Traiter les situations à risques élevés 1,6 Contrôler les produits de santé 2,4

Inspecter 3,0

SUPPORT 1,9

Gérer les ressources 2,0

Gérer les ressources humaines 1,9 Gérer les ressources techniques 1,8

Gérer les finances 2,3

Assurer la sûreté et la

sécurité 1,7

Urbaniser les systèmes d'information 1,2 Construire et maintenir les systèmes

d'information 1,2

Assurer la sureté et la sécurité des sites 2,6 Assurer la sécurité informatique 1,7 Source : ANSM/MPCI ; mise en forme IGAS

[83] Au milieu du gué, la démarche qualité de l’agence peut globalement être qualifiée de

« chantier en construction ». Ses exigences sont « incorporées » mais pas encore vraiment appropriées par les différentes entités.

 Des exigences incorporées signifient une formalisation de la démarche qualité relativement avancée ou tout au moins programmée de manière explicite et à des échéances rapprochées selon les directions (quelques semaines ou quelques mois). Les acteurs sont conscients de ces échéances et ont intégré l’impact de la démarche sur leur pratique future. Ce travail de formalisation ne ressort pas comme un exercice formel déconnecté de leurs réalités.

 Des exigences non appropriées signifient en revanche un niveau d’effectivité ou d’opérationnalisation encore faible. Le pilotage par les risques et l’outillage qui en résulte ne sont pas encore un réflexe. Ce travail d’appropriation, néanmoins perceptible, est en cours.

Ainsi, logiquement, le meilleur score est attribué au processus de cartographie des processus, qui constitue chronologiquement une étape fondatrice de toute démarche de qualité. Tout aussi logiquement, le moins bon score est attribué aux revues de direction, qui constitue l’aboutissement et un signe d’effectivité d’une telle démarche. Ces deux caractéristiques sont partagées par l’ensemble des directions et se traduisent, dans presque tous les radars, par l’apparition d’un pic de performance marqué dans un cas (quart sud-ouest du radar) et une dépression tout aussi marquée dans l’autre (quart nord-ouest du radar). Entre les deux, l’analyse et la maitrise des risques sont en cours d’intégration. Le risque sanitaire n’est pas dissocié des risques inhérents à l’ensemble des activités de l’agence et des risques associés, tous concourant peu ou prou à la réalisation ou non de ce risque.

[84] Certains processus révèlent une maturité globalement supérieure à la moyenne. Ils correspondent sans surprise à des activités qui jouissent d’une antériorité importante dans les démarches de qualité et de maitrise des risques ou qui ont fait l’objet d’une attention particulière depuis la réorganisation de l’agence suite au dossier du Médiator.

[85] C’est le cas au sein de la direction de la déontologie (processus « veiller à une prise en compte de la déontologie dans les processus »), qui font partie des risques audités par la mission, et dont le score et le radar révèlent une couverture plus large sur les champs de la politique, de la surveillance de la performance qualité, des audits, des signalements, de la planification ou de la prévention des situations à risque.

[86] C’est également vrai, de manière nette et tout à fait logique au regard de leur expérience reconnue dans le domaine, pour la direction de l’inspection et les processus « autoriser les établissements » et « inspecter » ainsi que pour la direction des contrôles et le processus «contrôler les produits de santé », ce dernier processus étant nettement moins mature s’agissant de la surveillance des dispositifs médicaux par les directions produits qui en ont la charge. Ces constats sont corroborés par les audits réalisés par la mission.

[87] C’est encore vrai, mais dans une moindre mesure, pour le processus «autoriser les essais cliniques », dont les scores pour la maitrise des risques, la compétence et la formation, sont globalement plus élevés, ce qui s’explique par l’attention particulière portée dès 2016 sur ce processus. On note toutefois des différences notables de profils entre directions produits. De telles différences se retrouvent aussi entre directions produits, et, de manière encore plus marquée, pour le processus « autoriser les nouvelles demandes et modifications et/ou enregistrer les produits » ou le processus « surveiller les produits de santé » ce dernier étant « tiré » par une plus grande maturité de la direction métier de la surveillance.

[88] Enfin, bien que n’entrant pas dans le périmètre de l’audit de la maitrise des risques sanitaires, la mission ne peut pas ne pas remarquer le faible niveau de maturité des processus pilotés par la direction des systèmes d’information (DSI).