Les travaux d’évaluation ont comporté plusieurs étapes mobilisant différents outils.
2.5.1 Synthèse documentaire
Elle a concerné :
- les données disponibles sur le PNSP 2013-2017 : rapports et comptes rendus administratifs des comités de suivi du programme, bilan du programme réalisé par la DGOS et la HAS et une enquête quantitative auprès des ARS en 2017 ;
- les textes règlementaires et instructions en matière de sécurité des patients adressées aux ARS ; - les données épidémiologiques et les rapports d'experts concernant la sécurité des patients ;
- Une analyse et synthèse des plans/programmes/politiques en matière de sécurité des patients mis en œuvre dans plusieurs pays étranger a été conduite de façon à situer le PNSP dans le contexte international des démarches visant à améliorer la sécurité des patients.
Cette synthèse a concerné particulièrement quatre pays : Écosse, Australie, Canada et Pays-Bas. Ce choix s’est fondé sur les critères suivants : organisation de la gouvernance du système de santé en matière de sécurité, absence de sous-systèmes percutant la gouvernance centrale, antériorité des démarches sécurité des patients.
2.5.2 Analyse du programme et reconstitution de la logique d’intervention
La reconstitution de cette logique se fonde sur les documents de programmation fondateurs et vise à mettre à jour les hypothèses et les effets implicites attendus. Elle repose en particulier sur une catégorisation des actions et des livrables prévus et de leurs déploiements.
Le cadre logique permet de synthétiser sous forme de matrice toutes les données clés d'un projet : formulation du problème, objectifs (globaux, opérationnels), activités/actions, ressources, effets, indicateurs et sources de données, hypothèses et risques. La schématisation effectuée (cf. annexe 5) s’est librement inspirée du modèle logique de Ellen Taylor-Powell et Ellen Henert, "Developing a logic model : teaching and training guide" 2008, p.14".
La réalisation de l’arbre des objectifs constitue une « mise à plat » de la structuration du programme. Cet arbre permet en particulier de souligner les relations entre les axes et objectifs du programme, de montrer comment
les objectifs opérationnels visent à permettre l’atteinte des objectifs généraux. L’analyse logique vise à éclairer la cohérence et la pertinence des actions prévues.
2.5.3 Auditions et sollicitations des parties prenantes du PNSP 2013-2017
Conformément aux méthodes de travail du HCSP, les commanditaires (DGOS et DGS) de l’évaluation ont été rencontrés en début d’évaluation (4 juillet 2017 et 8 septembre 2017) afin de préciser la saisine, le contexte et les attentes.
Une série d’auditions d’une durée d’1 heure à 1 heure 30, avec envoi préalable d’une trame d’entretien indicative ont été réalisées. Des contributions écrites ont également été sollicitées auprès de différents acteurs.
Chaque audition a fait l’objet d’un compte-rendu d’audition validé par la personne auditionnée. Ces comptes rendus ont été utilisés pour la rédaction du rapport mais ne figurent pas in extenso dans le rapport.
La liste des personnes/structures auditionnées ainsi que celles des organismes ayant fourni des contributions écrites est présentée à l’annexe 3.
2.5.4 Étude qualitative dans 3 régions
Cette étude visait à comprendre la déclinaison régionale du PNSP 2013-2017 et ses effets dans les régions étudiées :
- du point de vue des professionnels (établissements de santé, établissements médico-sociaux, médecine de ville) notamment en termes d’apport de formation et d'information, et d’évolution dans leurs pratiques/organisation selon leur structure d'exercice,
- du point de vue des patients/usagers/citoyens.
Les 5 thèmes évaluatifs ont été déclinés, l’étude visant à mieux cerner :
- les enjeux, besoins et attentes des acteurs en région : institutionnels, professionnels de santé, patients et usagers,
- la gouvernance et les modalités d’organisation de la déclinaison régionale du PNSP 2013-2017 dans les 3 régions visitées, ainsi que les changements organisationnels que le programme a pu induire,
- l’appropriation par les acteurs des outils et livrables réalisés dans le cadre du PNSP 2013-2017.
La sélection des 3 régions s’est effectuée en lien avec le collège des directeurs généraux d'ARS et le Secrétariat général des ministères chargés des affaires sociales (SGMCAS). Elle visait à diversifier les contextes sociodémographiques, d’organisation régionale et les niveaux de mise en place et d’actions phare en matière de sécurité des patients, selon les résultats de l’enquête diligentée en 2017 par la DGOS auprès des ARS.
Parties prenantes Acteurs-organismes Outils de collecte
Et / ou : entretiens semi-directifs sur site (complétés si besoin par des entretiens téléphoniques)
Établissements et
Professionnels de santé Établissements sanitaires : établissement public, établissement de
Patients / usagers Associations de patients représentatives à l’échelle régionale
Les résultats sont présentés sous la forme de 3 monographies régionales structurées à partir du questionnement évaluatif et des rubriques des grilles d’entretien (cf. annexe 6).
2.5.5 Conférence évaluative
Une conférence évaluative organisée le 21 mars 2018 à Paris dans les locaux du HCSP a permis de convier l’ensemble des acteurs impliqués et des structures auditionnées au cours de l’évaluation. Elle a effectivement réuni 35 représentants des institutions, organisations et des acteurs locaux : DGS, DGOS, HAS, CNAM, SGMCAS, Santé publique France, HCSP, UNPS, France Assos Santé, France Rein, Fehap, Unicancer, SOFCOT, SoFrasimS, Fédération santé habitat, Mutualité française GHMF, SHAM, Adessa domicile, Coordinateur PNSP 2013-2017, ARS Bourgogne-Franche-Comté, ARS Nouvelle-Aquitaine, Centre Hospitalier Esquirol de Limoges, CHRU de Lille, CPIAS Hauts-de-France, RéQua Bourgogne-Franche-Comté, CHU de Besançon.
Un compte-rendu de cette réunion ainsi que le diaporama prenant en compte les remarques formulées lors de la réunion ont été proposés aux participants pour relecture. Ces éléments sont venus enrichir et/ou nuancer les premiers constats de l'évaluation et les préconisations proposées et ont été inclus au rapport.