Membres du jury
Madame le Professeur Catherine DE CASABIANCA | Président Mme le Docteur Charline CADE | Directeur
Mr le Docteur Cyril BEGUE | Codirecteur Mme le Professeur Catherine PASSIRANI | Membre
Mr le Docteur Thibaut PY | Membre
Sous la codirection du Docteur CADE Charline Et du Docteur BEGUE Cyril
Léna SUAUDEAU
Née le 22 Janvier 1990 aux Sables d’Olonne (85)
THÈSE
pour le
DIPLÔME D’ÉTAT DE DOCTEUR EN MÉDECINE
Qualification en Médecine Générale
2019-2020
Création d’un outil d’évaluation de l’enseignement « Vacciner en médecine générale »
Angers.
Soutenue publiquement le :
ENGAGEMENT DE NON PLAGIAT
Je, soussignée SUAUDEAU Léna
déclare être pleinement consciente que le plagiat de documents ou d’une partie d’un document publiée sur toutes formes de support, y compris l’internet, constitue une violation des droits d’auteur ainsi qu’une fraude caractérisée.
En conséquence, je m’engage à citer toutes les sources que j’ai utilisées pour écrire ce rapport ou mémoire.
signée par l'étudiante le 03/02/2020
LISTE DES ENSEIGNANTS DE LA FACULTÉ DE SANTÉ D’ANGERS
Doyen de la Faculté : Pr Nicolas Lerolle
Vice-Doyen de la Faculté et directeur du département de pharmacie : Pr Frédéric Lagarce
Directeur du département de médecine : Pr Cédric Annweiler
PROFESSEURS DES UNIVERSITÉSABRAHAM Pierre Physiologie Médecine
ANNWEILER Cédric Gériatrie et biologie du
vieillissement Médecine
ASFAR Pierre Réanimation Médecine
AUBE Christophe Radiologie et imagerie médicale Médecine
AUGUSTO Jean-François Néphrologie Médecine
AZZOUZI Abdel Rahmène Urologie Médecine
BAUFRETON Christophe Chirurgie thoracique et
cardiovasculaire Médecine
BENOIT Jean-Pierre Pharmacotechnie Pharmacie
BEYDON Laurent Anesthésiologie-réanimation Médecine
BIGOT Pierre Urologie Médecine
BONNEAU Dominique Génétique Médecine
BOUCHARA Jean-Philippe Parasitologie et mycologie Médecine
BOUVARD Béatrice Rhumatologie Médecine
BOURSIER Jérôme Gastroentérologie ; hépatologie Médecine
BRIET Marie Pharmacologie Médecine
CAILLIEZ Eric Médecine générale Médecine
CALES Paul Gastroentérologe ; hépatologie Médecine CAMPONE Mario Cancérologie ; radiothérapie Médecine CAROLI-BOSC François-xavier Gastroentérologie ; hépatologie Médecine CHAPPARD Daniel Cytologie, embryologie et
cytogénétique Médecine
CONNAN Laurent Médecine générale Médecine
COUTANT Régis Pédiatrie Médecine
COUTURIER Olivier Biophysique et médecine nucléaire Médecine
CUSTAUD Marc-Antoine Physiologie Médecine
DE BRUX Jean-Louis
DE CASABIANCA Catherine Chirurgie thoracique et cardiovasculaire
Médecine Générale
Médecine
Médecine
DUCANCELLE Alexandra Bactériologie-virologie ; hygiène
hospitalière Médecine
DUVAL Olivier Chimie thérapeutique Pharmacie
DUVERGER Philippe Pédopsychiatrie Médecine
EVEILLARD Mathieu Bactériologie-virologie Pharmacie FANELLO Serge Épidémiologie ; économie de la
santé et prévention Médecine FAURE Sébastien Pharmacologie physiologie Pharmacie
FOURNIER Henri-Dominique Anatomie Médecine
FURBER Alain Cardiologie Médecine
GAGNADOUX Frédéric Pneumologie Médecine
GARNIER François Médecine générale Médecine
GASCOIN Géraldine Pédiatrie Médecine
GOHIER Bénédicte Psychiatrie d'adultes Médecine GUARDIOLA Philippe Hématologie ; transfusion Médecine
GUILET David Chimie analytique Pharmacie
HAMY Antoine Chirurgie générale Médecine
HUNAULT-BERGER Mathilde Hématologie ; transfusion Médecine IFRAH Norbert Hématologie ; transfusion Médecine
JEANNIN Pascale Immunologie Médecine
KEMPF Marie Bactériologie-virologie ; hygiène
hospitalière Médecine
LACCOURREYE Laurent Oto-rhino-laryngologie Médecine
LAGARCE Frédéric Biopharmacie Pharmacie
LARCHER Gérald Biochimie et biologie moléculaires Pharmacie LASOCKI Sigismond
LEGENDRE Guillaume Anesthésiologie-réanimation
Gynécologie-obstétrique Médecine Médecine
LEGRAND Erick Rhumatologie Médecine
LERMITE Emilie Chirurgie générale Médecine
LEROLLE Nicolas Réanimation Médecine
LUNEL-FABIANI Françoise Bactériologie-virologie ; hygiène
hospitalière Médecine
MARCHAIS Véronique Bactériologie-virologie Pharmacie
MARTIN Ludovic Dermato-vénéréologie Médecine
MENEI Philippe Neurochirurgie Médecine
MERCAT Alain Réanimation Médecine
MERCIER Philippe Anatomie Médecine
PAPON Nicolas Parasitologie et mycologie médicale Pharmacie
PASSIRANI Catherine Chimie générale Pharmacie
PELLIER Isabelle Pédiatrie Médecine
PETIT Audrey Médecine et Santé au Travail Médecine PICQUET Jean Chirurgie vasculaire ; médecine
vasculaire Médecine
PODEVIN Guillaume Chirurgie infantile Médecine
PROCACCIO Vincent Génétique Médecine
PRUNIER Delphine Biochimie et Biologie Moléculaire Médecine
PRUNIER Fabrice Cardiologie Médecine
REYNIER Pascal Biochimie et biologie moléculaire Médecine RICHARD Isabelle Médecine physique et de
réadaptation Médecine
RICHOMME Pascal Pharmacognosie Pharmacie
RODIEN Patrice Endocrinologie, diabète et maladies
métaboliques Médecine
ROQUELAURE Yves Médecine et santé au travail Médecine ROUGE-MAILLART Clotilde Médecine légale et droit de la santé Médecine ROUSSEAU Audrey Anatomie et cytologie
pathologiques Médecine
ROUSSEAU Pascal Chirurgie plastique, reconstructrice
et esthétique Médecine
ROUSSELET Marie-Christine Anatomie et cytologie
pathologiques Médecine
ROY Pierre-Marie Thérapeutique Médecine
SAULNIER Patrick Biophysique et biostatistique Pharmacie
SERAPHIN Denis Chimie organique Pharmacie
SUBRA Jean-François Néphrologie Médecine
UGO Valérie Hématologie ; transfusion Médecine
URBAN Thierry Pneumologie Médecine
VAN BOGAERT Patrick Pédiatrie Médecine
VENIER-JULIENNE Marie-Claire Pharmacotechnie Pharmacie
VERNY Christophe Neurologie Médecine
WILLOTEAUX Serge Radiologie et imagerie médicale Médecine
MAÎTRES DE CONFÉRENCES
ANGOULVANT Cécile Médecine Générale Médecine
ANNAIX Véronique Biochimie et biologie moléculaires Pharmacie
BAGLIN Isabelle Chimie thérapeutique Pharmacie
BASTIAT Guillaume Biophysique et biostatistique Pharmacie
BEAUVILLAIN Céline Immunologie Médecine
BELIZNA Cristina Médecine interne Médecine
BELLANGER William Médecine générale Médecine
BELONCLE François Réanimation Médecine
BENOIT Jacqueline Pharmacologie Pharmacie
BIERE Loïc Cardiologie Médecine
BLANCHET Odile Hématologie ; transfusion Médecine
BOISARD Séverine Chimie analytique Pharmacie
DERBRE Séverine Pharmacognosie Pharmacie DESHAYES Caroline Bactériologie virologie Pharmacie
FERRE Marc Biologie moléculaire Médecine
FLEURY Maxime Immunologie Pharmacie
FORTRAT Jacques-Olivier Physiologie Médecine
HAMEL Jean-François Biostatistiques, informatique médicale Médicale HELESBEUX Jean-Jacques Chimie organique Pharmacie
HINDRE François Biophysique Médecine
JOUSSET-THULLIER Nathalie Médecine légale et droit de la santé Médecine LACOEUILLE Franck Biophysique et médecine nucléaire Médecine
LANDREAU Anne Botanique/ Mycologie Pharmacie
LEBDAI Souhil Urologie Médecine
LEGEAY Samuel Pharmacocinétique Pharmacie
LE RAY-RICHOMME Anne-
Marie Pharmacognosie Pharmacie
LEPELTIER Elise Chimie générale Pharmacie
LETOURNEL Franck Biologie cellulaire Médecine
LIBOUBAN Hélène Histologie Médecine
MABILLEAU Guillaume Histologie, embryologie et
cytogénétique Médecine
MALLET Sabine Chimie Analytique Pharmacie
MAROT Agnès Parasitologie et mycologie médicale Pharmacie MAY-PANLOUP Pascale Biologie et médecine du développement
et de la reproduction Médecine
MESLIER Nicole Physiologie Médecine
MOUILLIE Jean-Marc Philosophie Médecine
NAIL BILLAUD Sandrine Immunologie Pharmacie
PAILHORIES Hélène Bactériologie-virologie Médecine
PAPON Xavier Anatomie Médecine
PASCO-PAPON Anne Radiologie et imagerie médicale Médecine
PECH Brigitte Pharmacotechnie Pharmacie
PENCHAUD Anne-Laurence Sociologie Médecine
PIHET Marc Parasitologie et mycologie Médecine
PY Thibaut Médecine Générale Médecine
RINEAU Emmanuel Anesthésiologie réanimation Médecine
RIOU Jérémie Biostatistiques Pharmacie
ROGER Emilie Pharmacotechnie Pharmacie
SAVARY Camille Pharmacologie-Toxicologie Pharmacie
SCHMITT Françoise Chirurgie infantile Médecine
SCHINKOWITZ Andréas Pharmacognosie Pharmacie
SPIESSER-ROBELET
Laurence Pharmacie Clinique et Education
Thérapeutique Pharmacie
TANGUY-SCHMIDT Aline TESSIER-CAZENEUVE Christine
Hématologie ; transfusion
Médecine Générale Médecine
Médecine
TRZEPIZUR Wojciech Pneumologie Médecine
AUTRES ENSEIGNANTS
AUTRET Erwan Anglais Médecine
BARBEROUSSE Michel Informatique Médecine
BRUNOIS-DEBU Isabelle Anglais Pharmacie
CHIKH Yamina Économie-Gestion Médecine
FISBACH Martine Anglais Médecine
O’SULLIVAN Kayleigh Anglais Médecine
PAST
CAVAILLON Pascal Pharmacie Industrielle Pharmacie
LAFFILHE Jean-Louis Officine Pharmacie
MOAL Frédéric Pharmacie clinique Pharmacie
ATER
FOUDI Nabil Physiologie Pharmacie
KILANI Jaafar Biotechnologie Pharmacie
WAKIM Jamal Biochimie et chimie biomoléculaire Médecine
AHUBRIS Céline Biochimie et biologie moléculaire Pharmacie
CHAPPE Marion Pharmacotechnie Pharmacie
LEBRETON Vincent Pharmacotechnie Pharmacie
CONTRACTUEL
VIAULT Guillaume Chimie organique Pharmacie
R E M E R C IE M E N T S
A ma présidente du Jury Mme Catherine DE CASABIANCA,
Vous me faites l’honneur de présider mon jury de thèse. Je vous témoigne ma profonde et respectueuse reconnaissance.
A Madame Catherine PASSIRANI et Monsieur Thibaut PY,
Vous me faites tous deux l’honneur d’apporter votre expérience à la critique de ce travail. Je vous remercie sincèrement d’avoir accepter de faire partie de mon jury de thèse.
A mes co-directeurs de thèse, Charline CADE et Cyril BEGUE,
Merci à vous deux de m’avoir accompagnée dans ce travail de thèse. A toi Charline de m’avoir aiguillée, d’avoir toujours été disponible et bienveillante pour répondre à mes sollicitations au cours de ce travail de thèse. A toi Cyril, d’avoir apporté tes idées et recentré mes recherches pour réaliser un travail pertinent.
A mes relecteurs et ceux qui m’ont aidée à l’élaboration de ma thèse (Papa pour l’ensemble de
tes relectures du primaire jusqu’à ma thèse !).
A ma Famille,
Merci à mes parents, à mon frère, à ma sœur et mon beau-frère ainsi que mes trois adorables nièces. Merci pour votre amour, pour votre soutien, merci d’avoir toujours été là pour moi.
A mes Amis,
A mes belles rencontres de médecine, Marie (ah, si on nous avait dit sur le balcon en P1 que 10 ans après tu m’aiderais pour ma thèse), à Estelle et à nos discussions si importantes à mes yeux, à Virginie, Astrid, Chachou, Camille et Adélaïde.
A mes amies de longues dates à qui je tiens tant, Rosalie, Amandine et Audrey, à Delphine, à tous les bons moments passés ensemble et à ceux à venir !
A Joris, à toi Magy, à nous, à nos projets..
Liste des abréviations
DMG : Département de médecine générale MG : Médecin généraliste
CNGE : Collège national des généralistes enseignants DES : Diplôme d’études spécialisées
GEAP : Groupes d’échanges et d’analyses de pratiques HAS : Haute Autorité de la Santé
DU : Diplôme universitaire
PLAN
LISTE DES ABRÉVIATIONS RÉSUMÉ
INTRODUCTION MÉTHODES
1. L’élaboration du questionnaire 1.1 Le groupe de chercheurs
1.2 La réflexion autour du questionnaire 1.2.1 La structure du questionnaire
1.2.2 Les objectifs de chaque questionnaire 1.2.3 Le choix de la temporalité
1.3 Les différentes étapes de la construction du questionnaire 1.3.1 Le développement initial du questionnaire 1.3.2 La validité de l’outil d’évaluation
1.4 Les modalités pratiques de l’évaluation
2. La Version pilote du questionnaire
RÉSULTATS
1. La première ébauche des questionnaires 1.1 Figure 3 : Les questions en commun
1.2 Les questions spécifiques aux phases 1.2.1 Figure 4 : le questionnaire J-7 1.2.2 Figure 5 : Le questionnaire J0 1.2.3 Figure 6 : Le questionnaire M+6 2. La version définitive des questionnaires 2.1 Les remarques des internes
2.2 Analyses des observations liées à la méthodologie 2.2.1 Objectifs atteints
2.2.2 Difficultés rencontrées : une réflexion pour optimiser le questionnaire 2.3 Les principaux résultats
DISCUSSION ET CONCLUSION 1. Le modèle de Kirkpatrick 1.1 Les niveaux évalués 1.2 Le niveau résultat
2. Le sentiment de compétence 3. Forces et limites
3.1 Qualité de la méthode d’évaluation 3.1.1 La validité
3.1.2 L’acceptabilité 3.1.3 La faisabilité 3.1.4 La reproductibilité 3.2 Les limites
4. Un outil pédagogique modélisant 5. Les perspectives
BIBLIOGRAPHIE
LISTE DES FIGURES
LISTE DES TABLEAUX
TABLE DES MATIÈRES
ANNEXES
RÉSUMÉ
Introduction : La formation des internes en médecine générale est basée sur l’acquisition de compétences, réalisée sous forme de groupes d’échanges et d’analyses de pratiques. Peu d’études ont évalué leurs efficacités de manière globale.
Objectif : Développer un outil de mesure évaluant l’enseignement « Vacciner en médecine générale » et ainsi permettre une rétroaction sur sa forme et son contenu.
Méthode : Il s’agit d’une étude méthodologique dont l’objectif est la création d’un outil d’évaluation de cet enseignement. L’évaluation se présente sous la forme de questionnaires anonymes destinés aux internes, élaborés à partir du modèle de Kirkpatrick, et programmés sur le logiciel Lime Survey. L’outil se décompose en trois phases : 7 jours avant l’enseignement, le jour même et 6 mois après.
Il évalue plusieurs critères : la satisfaction des étudiants, l’apprentissage des compétences étudiées et la modification des pratiques professionnelles à distance de l’enseignement.
L’apprentissage des compétences est étudié par une partie commune aux trois phases du questionnaire. Elle évalue et compare le ressenti de l’interne sur ses capacités à gérer certaines situations autour de la vaccination. Ces situations ont été élaborées afin de balayer l’ensemble des 11 familles de situations cliniques définies par le collège national des généralistes enseignants.
Notre outil a bénéficié de plusieurs relectures. Il a également été testé lors d’une version pilote : les questionnaires ont été envoyés sur les boîtes mail universitaires des étudiants inscrits à l’enseignement.
Résultats : Le test auprès des internes a montré une bonne acceptabilité. Certaines difficultés dans sa mise en place ont permis d’identifier des améliorations dont la principale est de rendre la réponse aux questionnaires obligatoire.
Conclusion : En décrivant les étapes de son développement, l’étude a permis la création d’un outil d’ évaluation pertinent et adaptable. La perspective est sa généralisation à l’ensemble des enseignements du module A d’Angers.
Mots-clés : Enseignement, médecine générale, évaluation, pédagogie, groupe d’échange de pratique.
INTRODUCTION
La mission du Département de Médecine Générale (DMG) est de former des médecins généralistes capables de répondre avec pertinence aux demandes des patients, alors que les problèmes de santé rencontrés en soins primaires sont souvent multiples et complexes. Cette exigence sociétale nécessite la mise en place d’une démarche continue, tout au long du DES de médecine générale, pour attester l’acquisition des compétences nécessaires à l’exercice de la profession de médecin généraliste (MG).(1)
Une vision globale de la formation de la médecine générale permet de mettre en évidence sa perpétuelle évolution.
L’apprentissage par « acquisition d’objectifs » des années 1980 se voulait introducteur de rigueur dans la formation des MG, jusqu’ici plutôt formés par
« compagnonnage ». Le but était de formaliser les connaissances et permettre une cohérence et une unité dans les programmes de formation. Ce modèle a rapidement été abandonné, reproche lui étant fait de morceler les apprentissages et de ne pas considérer l’étudiant comme étant au cœur du processus d’enseignement.(2)
A la fin des années 1980 se développe donc l’apprentissage par « acquisition de compétences ». Il encourage le développement d’une pratique professionnelle basée sur la confrontation des étudiants aux situations complexes rencontrées dans leur exercice médical. Il induit une remise en question de l’étudiant sur sa pratique, dans le but progressivement de l’autonomiser « il ne s’agit pas simplement d’apprendre, mais plutôt d’apprendre à apprendre » (1).
Ce modèle d’apprentissage met l’accent sur celui qui apprend, plutôt que sur celui qui enseigne. L’enseignant est alors vu comme un « facilitateur d’apprentissage » : il est là pour guider l’interne sur le chemin de l’autonomie, depuis l’identification de ses propres besoins de formation jusqu’à son auto-évaluation dans le cadre d’une pratique réflexive(1). Les apprentissages s’y établissent dans une logique de compétences.
On retient par compétence la définition de Jacques Tardif (psychologue de l’éducation, qui a accompagné la conception et la mise en œuvre de programmes axés sur le développement de compétences) : « Savoir agir complexe prenant appui sur la mobilisation et la combinaison d’une variété de ressources internes et externes à l’intérieur d’une famille de situations »(3).
Les 6 compétences génériques du médecin généraliste ont été définies par un groupe de travail réuni sous l’égide du Collège National des Généralistes Enseignants (CNGE).(1)
Elles se répartissent comme suit : (4)
Figure 1 : La marguerite des compétences
Onze familles de situations ont également été définies. Elles correspondent à des types de situations de soins prévalentes en soins primaires. L’objectif est que l’interne y soit confronté lors de sa formation. Par leurs diversités, elles contribuent à évaluer les compétences des étudiants en médecine générale(1,5) . Elles sont référencées en annexe (annexe I).
C’est autour de cet objectif d’apprentissage par compétences que le DMG d’Angers articule le dispositif pédagogique de la formation pratique et théorique des internes du Diplôme d’Études Spécialisées (DES) de Médecine Générale.
En sus de la formation pratique en stage hospitalier et ambulatoire, la formation théorique du DES de médecine générale comprend 200 heures de formation théorique réparties sur les 3 années de l’internat. Ces heures ont été partagées à Angers en 6 modules (intitulés A, B, C, D, E, F) et différents ateliers.(5)
Les enseignements facultaires s’articulent principalement autour de groupes d’échanges et d’analyses de pratiques (GEAP) définis par la HAS comme une méthode d’évaluation et d’amélioration des pratiques.(6)
Le GEAP consiste à se réunir pour analyser des situations cliniques rencontrées dans la pratique. À partir des problèmes soulevés ou de questions identifiées, les données de la littérature scientifique et professionnelle sont prises en compte. Une posture réflexive est alors adoptée, permettant d’établir une liaison entre savoirs et actions afin d’intégrer les savoirs dans la pratique professionnelle.(6)
Ce modèle de formation basée sur l’interactivité et le raisonnement à partir de situations cliniques concrètes a inspiré le format d’enseignements par GEAP.
Plusieurs études évaluant les méthodes pédagogiques des différentes DMG montrent que ce modèle de formation est plébiscité par les internes(7-12):
« il apparaît d’emblée l’engouement suscité par ce type d’enseignements. Ainsi l’applicabilité est considérée favorablement (…) par 95,83% des étudiants interrogés » (8).
C‘est ce modèle qui est utilisé pour les enseignements du module A de la faculté de médecine d’Angers. Celui-ci correspond à 26 séances thématisées d’une journée entière. Le contenu recouvre les différents champs de la médecine générale. Ainsi, 9 enseignements du module A sur l’ensemble des 3 ans du DES sont obligatoires pour valider le DES. Les inscriptions sont fléchées en fonction du niveau d’avancement dans la formation.
Avant de venir à la séance, les internes doivent consulter sur le Moodle, plateforme numérique de travail, le corpus des connaissances. Ils préparent à l’avance le récit des situations qu’ils vont présenter au groupe.
De leur côté, les enseignants déterminent les objectifs du module : la problématique, les capacités à développer chez l’interne et les méthodes pédagogiques utilisées pour y parvenir, méthodes pédagogiques qui favoriseront l’implication des internes, l’interactivité et la rétroaction pédagogique active.(5)
Un des modules A proposé à Angers s’intitule « Vacciner en médecine générale ». Il aborde la problématique du « Comment vacciner : entre représentations, recommandations et nécessité ? ».
Les capacités à développer par les internes ont été définies par les enseignants en charge de l’enseignement comme suit :
Écouter et respecter les attentes des patients.
Appliquer le calendrier vaccinal et gérer les situations de rattrapage.
Développer un argumentaire pour convaincre.
S’approprier les enjeux de santé publique à propos de la vaccination.
Afin d’améliorer la qualité d’un enseignement, son évaluation est nécessaire pour que l’enseignant puisse avoir une rétroaction sur sa forme et son contenu.
Le modèle de Kirkpatrick(13), dont la première ébauche de référence date de 1959, est un outil permettant d’évaluer les formations.
Il est basé sur 4 niveaux :
- Le premier niveau RÉACTION concerne la satisfaction de l’apprenant (ce qu’il a apprécié). On cherche à connaître la perception des participants sur la formation.
Plusieurs aspects de la session d'enseignement sont évalués : objectifs, contenus, organisation, formateurs, ambiance générale, etc.
- Le second niveau APPRENTISSAGE permet d’évaluer si les connaissances et compétences souhaitées lors de la formation ont été acquises.
- Le troisième niveau COMPORTEMENT évalue quant à lui les changements comportementaux (ce qui a évolué dans la manière de travailler). Il s'agit de vérifier que les connaissances et compétences acquises lors de l'enseignement sont appliquées en pratique professionnelle.
- Le quatrième niveau RÉSULTATS mesure enfin l'impact de la session d'enseignement sur la prise en charge des patients. Si les trois premiers niveaux sont directement en lien avec l’étudiant, ce niveau s’intéresse aux bénéfices que le patient en retire.(14,15)
Figure 2 : Le Modèle de Kirkpatrick modifié
Une revue de littérature de 2017 (12) décrivant les études évaluant les GEAP a montré que les études qualitatives évaluaient majoritairement le niveau 1 du modèle de Kirkpatrick.
Cependant, l’auteur constate que peu de recherches ont évalué les niveaux 2 et 3 du modèle de Kirkpatrick, et que les résultats sont d’ailleurs plus contradictoires dans ces études.
Cette analyse souligne donc la pertinence et l’intérêt d’évaluer le niveau 1 mais également les niveaux 2 et 3 du modèle de Kirkpatrick concernant l’apprentissage par GEAP mis en place il y a plusieurs années dans de nombreuses facultés notamment celle d’Angers.
L’objectif de cette étude est la création d’un outil d’évaluation de l’enseignement du module A « Vacciner en médecine générale », en évaluant les niveaux 1, 2 et 3 du modèle de Kirkpatrick.
MÉTHODES
1 - L’élaboration du questionnaire
Pour répondre à l’objectif et à l’aide des recherches documentaires et bibliographiques, un groupe de chercheurs a créé une évaluation du module A
« Vacciner en médecine générale » proposé à Angers dans le cadre du DES de médecine générale.
1.1 Le groupe de chercheurs
Quatre chercheurs ont fait partie de la réflexion autour de l’élaboration de l’outil.
Le chercheur principal était une femme, médecin généraliste en travail de thèse.
Le deuxième chercheur était un homme, médecin généraliste, chef de clinique universitaire au Département de Médecine Générale (DMG) et détenteur d'un Diplôme Universitaire (DU) de pédagogie des sciences de la santé. Son mémoire de DU a porté sur la création d’une évaluation d’un enseignement qu’il anime.
Le troisième chercheur était une femme, médecin généraliste, professeur associé au DMG, directrice des programmes au sein du DMG et enseignante du module A
« Vacciner en médecine générale ».
Le quatrième et dernier chercheur était une femme, médecin généraliste, chef de clinique universitaire au Département de Médecine Générale (DMG), détenteur d'un Diplôme Universitaire (DU) de pédagogie des sciences de la santé et enseignante du module A « Vacciner en médecine générale ».
L’objectif de ce groupe était la mise en commun des recherches bibliographiques, des réflexions et des propositions basées sur les objectifs de l’enseignement, le modèle de Kirkpatrick, tout en balayant l’ensemble des 11 familles de situations cliniques précédemment évoquées.
1.2 La réflexion autour du questionnaire
1.2.1 La structure du questionnaire
Trois phases de l’évaluation semblaient nécessaires afin de répondre au modèle de Kirkpatrick. Elles se décomposent en une phase précédant l’enseignement (appelée J-7), une phase le jour de l’enseignement (J0) et une phase à distance (M+6).
Le questionnaire de chacune des phases de l’évaluation comportait deux parties : une partie était spécifique à la phase et l’autre était commune à l’ensemble des phases.
1.2.2 Les objectifs de chaque questionnaire
Partie commune à l’ensemble des phases
La partie commune de l’ensemble des questionnaires s’intéressait au ressenti de l’interne sur son sentiment de compétence à gérer certaines situations autour de la vaccination. Il permet d’étudier le niveau 2 de Kirkpatrick APPRENTISSAGE.
Les questions spécifiques
Les questions spécifiques ont été établies afin d’évaluer les niveaux 1 et 3 de Kirkpatrick (non explorés par les questions communes). Elles permettent également de recueillir des informations nécessaires à l’étude de l’enseignement.
- Le questionnaire à J-7 avait pour objectifs de recenser les caractéristiques socio-démographiques des participants pouvant avoir un impact sur les réponses des étudiants, et de former des groupes comparatifs en fonction de certains critères.
Il devait également permettre de collecter les attentes, questions et difficultés des internes vis-à-vis de la vaccination afin de s’assurer de l’adéquation entre leurs attentes et les notions abordées.
- Le questionnaire à J0 avait pour objectif spécifique d’évaluer globalement l’enseignement (niveau 1 de Kirkpatrick).
- Le questionnaire à M+6 avait pour objectif d’appréhender les modifications comportementales dans la pratique professionnelle en lien avec la thématique de la vaccination (niveau 3 de Kirkpatrick) ainsi que les situations rencontrées mais non abordées pendant l’enseignement.
1.2.3 Le choix de la temporalité des questionnaires
Le choix des dates des questionnaires a été réfléchi et décidé selon les présupposés des chercheurs :
- Le secrétariat informe les participants à l’enseignement du numéro de la salle de cours une quinzaine de jours avant celui-ci et il est alors impossible pour l’étudiant de se désinscrire. L’interne se projette et s’organise pour son enseignement quelques jours avant celui-ci. Ainsi a été choisi le nombre de 7 jours avant l’enseignement pour réaliser le premier questionnaire qui lui est alors adressé.
- A la fin de la journée d’enseignement, les participants sont dans la dynamique de celui-ci. Leur demander de répondre le jour même au deuxième questionnaire de l’évaluation semblait pertinent.
- Enfin, la durée des stages d’interne étant de 6 mois, les chercheurs ont supposé que laisser ce temps avant de déclencher la troisième partie de l’évaluation permettait aux internes de se confronter à la problématique au sein de leur stage actuel puis du stage suivant.
1.3 Les différentes étapes de la construction du questionnaire
1.3.1 Le développement initial du questionnaire
Le développement de la première version des questionnaires s’est réalisé en plusieurs étapes :
- Une bibliographie a été réalisée par l’un des chercheurs autour de la pédagogie médicale. Celle-ci a permis de mettre en évidence les outils méthodologiques nécessaires à la validité de notre travail de recherche (modèle de Kirkpatrick) et les éléments à étudier (les 11 familles de situations cliniques adaptées aux objectifs du cours).
De nombreuses thèses utilisant des questionnaires ont été analysées(7-11,16-18), permettant de mettre en évidence les structures (mise en page, nombre de questions), les éléments recherchés (données socio-démographiques), les modes de réponses utilisés (ouverte/fermée, les termes utilisés afin de graduer son jugement).
Les données les plus efficaces ont été repérées.
Une première ébauche des questionnaires fut établie à la suite de ce travail de recherche.
- A la suite de cette analyse bibliographique, une rencontre a eu lieu entre 3 des 4 chercheurs principaux. Les compétences à évaluer ont été établies à partir des objectifs de l’enseignement et des 11 familles de situations qui sont balayées à travers l’ensemble de ces compétences. Il a été décidé d’établir une dizaine de questions pour permettre une évaluation globale du sujet sans surcharger l’étudiant.
L’interne évalue son sentiment de compétence par une note de 0 à 10.
- Cette version a été soumise au regard du quatrième chercheur qui a suggéré des modifications concernant la clarté des énoncés et la reformulation d’items. Les éléments furent modulés en conséquence.
- Une seconde version a été élaborée à partir de cette démarche de validité du contenu de l’outil.
Ainsi,
- Le questionnaire J-7 :
Il est composé de cinq questions fermées concernant les données socio- démographiques. Il comporte également une question ouverte recensant les attentes, questions et difficultés vis à vis de la vaccination.
- Le questionnaire J0 :
Deux questions évaluent la satisfaction des étudiants :
- L’interne attribue une note globale entre 0 et 10 à la journée de formation.
- Il doit également estimer dans quelle mesure l’enseignement a répondu à ses attentes.
Les différents critères de l’enseignement sont évalués, notamment les modalités pédagogiques (la synthèse des attentes, le métaplan, le travail en sous-groupe et en plénière, l’élaboration d’un diaporama en petit groupe, un quizz), mais aussi des critères plus généraux comme la qualité des enseignants et l’interactivité.
Concernant les modalités pédagogiques, elles ont été expliquées de la manière la plus efficace possible pour que l’interne cible rapidement de quelle partie de
- Le questionnaire M+6 : Il aborde en 4 questions:
- Le sentiment de modification de la manière de travailler autour de la vaccination depuis la journée de formation.
- La confrontation à une difficulté autour de la vaccination depuis la journée de formation et l’apport de l’enseignement pour y faire face.
- Le sentiment de se sentir plus à l’aise pour informer et sensibiliser les patients sur la nécessité vaccinale.
Une dernière question ouverte cherche à savoir si l’étudiant a été confronté à des situations non abordées dans l’enseignement, et si oui lesquelles.
1.3.2 La validité de l’outil d’évaluation
La validité d’un outil traduit sa capacité « à mesurer le phénomène étudié, c’est-à- dire l’adéquation qui existe entre les variables retenues et le concept théorique à mesurer » (18).
Il a été important d’assurer la validité de notre questionnaire, notamment sur la compréhension, en le soumettant à la relecture d’un deuxième groupe de chercheurs. Celui-ci était composé de deux médecins généralistes, diplômés du DES de médecine générale depuis moins de 2 ans, et ne faisant pas partie du groupe de chercheurs initial, ainsi que d’un chercheur en dehors du cadre de la santé (professeur de l’enseignement public du secondaire de l’éducation nationale).
Chacun d’entre eux l’a étudié de manière individuelle et a rapporté l’ensemble de ses remarques à un des chercheurs du groupe initial.
Toutes les suggestions furent discutées avec le groupe initial de chercheurs.
Des modifications ont été établies en fonction de la pertinence et de la répétitivité des remarques.
Les modifications concernaient la formulation de certains items, l’ajout ou le retrait de notions afin d’obtenir des questions sans ambiguïtés.
Le vocabulaire devait être simple, compréhensible et adapté aux internes.
En réalisant le test sur Lime Survey, des suggestions concernant la mise en page ont également été retenues, ainsi que les phrases de présentation du questionnaire.
Ces résultats montrent l’intérêt de rédiger des phrases concises et claires et la nécessité d’ajout d’exemples pour cibler la notion étudiée.
De plus, tester le questionnaire sur le logiciel choisi « en condition réelle » a été crucial afin de modifier la mise en page et avoir ainsi une action sur la clarté et la compréhension du contenu.
Une version définitive des questionnaires de l’évaluation a été définie à partir des conclusions issues de cette démarche de qualité.
1.4 Les modalités pratiques de l’évaluation
Lime Survey, logiciel de sondage en ligne, a été utilisé comme outil de diffusion du questionnaire. Ce logiciel présente plusieurs avantages nécessaires à la réalisation d’une telle étude : il permet une anonymisation aisée, un recueil et une analyse des données. Il donne la possibilité de comparer l’évolution du sentiment de compétence entre les 3 temps du questionnaire. Les participants peuvent répondre via n’importe quel outil connecté.
2 - La version pilote du questionnaire :
Nous avons décidé de tester notre outil en effectuant une version pilote lors du cours « Vacciner en médecine générale » du 6 décembre 2019.
En effet, le test auprès de la population cible fait partie des étapes de la construction d’un questionnaire décrites dans la littérature.(19)
La population étudiée était l’ensemble des inscrits au module A « Vacciner en médecine générale ».
Il a été décidé d’en étudier uniquement les phases de J-7 et de J0. L’objectif n’était pas l’auto-évaluation des connaissances mais d’en étudier la compréhension, la durée et l’acceptabilité.
De plus, les questions spécifiques du questionnaire M+6 relues par le deuxième groupe de chercheurs n’avaient pas soulevé de problème : les 4 questions avaient toutes été bien appréhendées.
La mise en place de la version pilote
17 étudiants s’étaient inscrits à l’enseignement « Vacciner en médecine générale » du 6 décembre 2019. La liste des participants à l’enseignement avait été fournie au chercheur principal par la scolarité en charge des inscriptions.
Chaque étudiant s’était vu alors attribuer un numéro anonyme, à partir du logiciel Dcode (tirage au sort).
Un message avait été envoyé sur la boîte mail universitaire de chaque étudiant 7 jours avant l’enseignement, lui indiquant un numéro d’anonymat et le lien le dirigeant sur le logiciel Lime Survey. Il a été suivi de relances en cas d’absences de réponses.
Le chercheur principal était présent le jour de l’enseignement, afin d’expliquer le travail de recherche en cours et solliciter la réponse au questionnaire J0 à la fin de la journée de formation. Le but était également de recueillir les réactions et commentaires vis à vis des questionnaires.
RÉSULTATS
1 - La première ébauche des questionnaires
La première version du questionnaire correspond à la version réalisée après avis du deuxième groupe de chercheurs et avant le test auprès des internes, présenté sous le format Lime Survey.
1.1 Figure 3 : Les questions en commun
1.2 Les questions spécifiques aux phases
1.2.1 Figure 4 : Le questionnaire J-7
LES QUESTIONS SPÉCIFIQUES J-7
2.2.2 Questionnaire J0
1.2.2 Figure 5 : Le questionnaire J0
LES QUESTIONS SPÉCIFIQUES M+6
1.2.3 Figure 6 : Le questionnaire M+6
2 – La version définitive des questionnaires
Les résultats de la version pilote auprès des internes ont permis de mettre en évidence les forces et les faiblesses de ces premiers questionnaires tant sur la compréhension des questions que sur un plan méthodologique.
2.1 Les remarques des internes
Le test a montré que la rigueur portée à l’élaboration du questionnaire concernant sa compréhension a été efficace.
En effet, une seule question a été mal comprise par 2 étudiants : la onzième des questions communes. A noter que cette question avait déjà fait l’objet de modifications, car elle avait été difficilement interprétée par le deuxième groupe de chercheurs.
Il a donc été décidé de la modifier à nouveau :
Question 11 du questionnaire commun :
Avant la phase pilote : Restituer le taux de couverture vaccinale
nécessaire pour atteindre les objectifs de santé publique.
Après la phase pilote : Prioriser la vaccination en fonction des
objectifs de santé publique (taux de couverture vaccinale des maladies).
2.2 Analyse des observations liées à la méthodologie
2.2.1 Objectifs atteints
La durée moyenne des réponses
L’objectif était d’élaborer un questionnaire dont la réponse nécessite moins de 5 minutes. Le chronométrage du questionnaire J-7 montre que le temps moyen de réponse a été de 4 minutes 23 secondes [2min05-14min]. Le temps moyen de réponse au questionnaire J0 a été de 3 minutes et 10 secondes [2min07-5min48].
L’objectif est donc respecté.
Absence de réponses incomplètes
Les questionnaires ont tous été remplis de manière complète, y compris pour la phase J-7 à remplir avant l’enseignement.
Ce point positif montre que les efforts de clarté ont été efficaces, et que l’étudiant ne s’est pas senti surchargé d’informations au point de stopper la réponse au questionnaire.
Cibler les attentes
Même si la question concernant les attentes des internes vis-à-vis du cours a été définie comme question obligatoire, les réponses se révélaient pour certaines limitées ou peu ciblées (« RAS », « pas d’avis sur le sujet » « rappels généraux et cas particuliers »). Néanmoins, en analysant les notes attribuées aux compétences du questionnaires J-7, on perçoit lesquelles nécessiteraient un travail plus
C’est un élément important à considérer avant la formation pour les enseignants afin de cibler certaines notions.
2.2.2 Difficultés rencontrées : une réflexion pour optimiser le questionnaire
Les modifications des participants
3 internes inscrits ne se sont pas présentés à l’enseignement, et un interne s’est ajouté le jour même à la formation.
L’interne supplémentaire a pu être intégré au premier questionnaire, car celui-ci était programmé sur Lime Survey en mode ouvert, et le lien a pu lui être envoyé en ajoutant un numéro d’anonymat.
Concernant les trois internes non présents le jour de la formation, un seul avait répondu au questionnaire J-7.
Il parait cohérent d’étudier ses attentes, mais de ne pas prendre en compte ses réponses aux questions communes car les résultats ne seraient pas interprétables.
Il semble donc nécessaire de programmer le questionnaire en mode « ouvert » sur Lime Survey afin de pouvoir s’adapter aux aléas des inscriptions (étudiant absent/supplémentaire).
Le taux de participation
Le taux de participation au questionnaire avant le jour de l’enseignement était de 75 % (12 questionnaires sur 16). Ce taux de participation a nécessité 5 relances. Ce taux est uniquement de 12,5 % avant la première relance est de 56,25 % après la troisième.
Au matin de l’enseignement, l’ensemble des réponses a pu être établi avec un taux de remplissage du questionnaire J-7 de 100%, car il a été demandé aux étudiants n’ayant pas répondu de le faire le jour de l’enseignement, avant le début de celui-ci.
Concernant les quatre internes n’ayant pas répondu au questionnaire, deux ont dit ne pas regarder leurs boîtes mails universitaires, l’un invoquait un problème de réception ne lui permettant pas de recevoir le message, le dernier n’était pas inscrit sur la liste préalable des participants, s’étant manifesté trop tardivement.
Devant cette difficulté il serait cohérent de rendre ce questionnaire obligatoire. De plus, dans l’optique où certaines notions abordées pourraient être priorisées et développées en fonction des attentes des internes, cela laisserait le temps nécessaire aux enseignants pour perfectionner certains aspects de la formation.
Confusion entre les questionnaires
Deux étudiants ont répondu à la fin de l’enseignement au questionnaire J-7 à la place du questionnaire J0.
Une information plus claire sur la distinction entre ces deux questionnaires semble donc nécessaire, tant sur le questionnaire que sur le mail envoyé.
Présentation du logiciel concernant la note globale
La note globale a été programmée sur Lime Survey en mode réponse ouverte afin que les étudiants aient la possibilité de noter le cours avec un nombre décimal
Tous les étudiants ont malgré tout répondu par des chiffres entiers.
Un étudiant a notamment répondu « 18 » alors que la consigne signifiait bien de répondre entre 0 et 10. Ce genre de réponses rendrait plus difficile l’analyse des résultats, surtout en cas de questionnaires réalisés à plus grande échelle.
Il semble donc nécessaire de programmer le mode de réponse sur Lime Survey dans un tableau proposant des réponses de 0 à 10.
Les questionnaires définitifs, corrigés avec ces quelques modifications, et présentés tels qu’ils pourraient l’être aux étudiants sur le logiciel Lime Survey, sont référencés en annexe II (pour le questionnaire J-7), en annexe III (J0) et en annexe IV (M+6).
2.3 Les principaux résultats
Comme le préconisent les modalités d’inscription, les étudiants étaient principalement en 1er semestre (72,22%).
Le niveau RÉACTION montre un fort degré de satisfaction: la note moyenne de l’enseignement était de 9,23/10.
Les compétences souhaitées lors de la formation (niveau APPRENTISSAGE) semblent avoir été acquises : la note moyenne de progression de leur sentiment de compétence avant l’enseignement était de 5,8/10 contre 8,2/10 juste après.
DISCUSSION ET CONCLUSION
1 – Le modèle de Kirkpatrick
1.1 Les niveaux évalués
Comme mis en évidence dans la littérature(20), le modèle de Kirkpatrick est fréquemment utilisé afin d’évaluer une formation.
Concernant le niveau APPRENTISSAGE, il est décrit qu’il devrait idéalement inclure un groupe « contrôle », c’est à dire que l’évaluation cible également des étudiants qui n’ont pas suivi cette formation, afin d’établir des comparaisons et de juger de sa qualité (20).
Il a été décidé dans notre étude, que chaque étudiant serait son propre témoin, car il nous a semblé produire des données plus comparables : chaque interne n’a pas les mêmes capacités initiales, et dans le cadre d’une auto-évaluation, deux individus ayant les mêmes compétences peuvent porter un jugement différent sur leur sentiment de les maîtriser.
Le niveau COMPORTEMENT qui étudie le transfert des apprentissages de la formation vers la pratique clinique est lui étudié dans le 3ème questionnaire (M+6).
Cette notion de transfert est définie par certains auteurs(20) : il ne s’agit pas seulement de reproduire une solution apprise, mais de procéder à une analyse de la situation et de ses caractéristiques pour agir en conséquence.
L’apprentissage par compétence, comme celui utilisé dans l’enseignement « Vacciner
1.2 Le niveau résultat
Le niveau RÉSULTAT (niveau 4), niveau d’impact clinique sur le patient, n’était pas évalué dans ce questionnaire. La mise en œuvre de ce niveau d’évaluation est très complexe pour de multiples raisons. Celles ci sont reflétées par plusieurs questions définies par Gérard J-M (2003) (20) :
- Quel est le résultat attendu sur le terrain ? (dans notre thèse : la satisfaction des patients concernant la vaccination ? Le taux de couverture vaccinal d’une patientèle ?),
- Quel est l’impact réel de la formation ? (ce n’est pas parce que l’effet attendu n’est pas observé que la formation n’a pas eu d’impact positif),
- Comment isoler l’impact spécifiquement dû à l’action de la formation ? (il est très complexe d’identifier la part d’effet directement liée à la formation car elle est souvent associée à d’autres mesures).
Il est rare d’étudier ce stade : dans une revue de littérature(12) on remarque que sur 20 thèses étudiant l’efficacité des GEAP, aucune n’a évalué le niveau Résultat.
Mais alors, comment le mesurer ?
Dans la littérature, Gérard J-M(20,21) propose une perspective intéressante en mesurant l’impact de la formation dans le milieu professionnel. Il le considère comme étant la combinaison de différents critères : la pertinence des objectifs déterminés, l’efficacité pédagogique de la formation et le transfert des acquis.
« Ainsi, une action de formation dont il serait possible de prouver à la fois la pertinence des objectifs de formation, l'atteinte de ceux-ci et la mise en œuvre sur le terrain des compétences acquises pourrait être considérée comme ayant un impact, même si celui-ci n'est ni observable ni observé »(21).
2 – Le sentiment de compétence
Il a été défini dans notre étude que l’évaluation se porterait sur l’auto-évaluation du sentiment de compétence, plutôt que de réaliser un contrôle des connaissances ou de compétences.
Plusieurs éléments tirés de références littéraires vont dans ce sens.
Un problème méthodologique
La compétence se traduit par le fait de transposer des connaissances théoriques en connaissances d’action.
Certains auteurs(20,21) font état de difficultés à évaluer une compétence dans le monde de l’enseignement : le fait d’avoir acquis les connaissances ne veut pas dire qu’on les appliquera avec efficacité face à des situations difficiles.
Pour évaluer la compétence d’un étudiant, il faudrait le faire dans une situation authentique, qui permettrait à l’étudiant de mobiliser ses ressources et à l’évaluateur de suivre et d’évaluer cette démarche. Mais ce mode d’évaluation est difficile à construire et à mettre en place afin de s’affranchir de biais méthodologiques d’une telle évaluation.
L’auto-évaluation
Il est difficile pour un observateur extérieur d’évaluer si une compétence est maîtrisée car elle-même nécessite la mobilisation d’un ensemble de savoirs, de savoir-faire et de savoir-être, propre à chaque individu.
L’étudiant semble donc le mieux placé pour estimer s’il est en capacité de gérer les
Les freins des internes
Il est souligné par de nombreux auteurs(20) que les enseignants qui accompagnent les activités réflexives ne devraient pas être les évaluateurs. Cela aurait un impact négatif sur l’étudiant, qui, dans un souci de performance ne se sentirait pas à l’aise pour exposer des situations qui lui auraient posé problème, en lien avec des connaissances insuffisantes et ne l’engagerait pas dans une réflexion profonde et bénéfique.
C’est d’ailleurs également dans ce souci que l’ensemble des réponses est anonymisée.
Autonomiser l’interne
Le fait que l’étudiant évalue ses compétences encourage sa pratique réflexive et lui permet de s’impliquer dans sa formation. Il lui apporte un regard critique sur ses propres connaissances et l’amène à mobiliser les ressources nécessaires afin de les améliorer.
3 - Forces et limites
3.1 Qualité de la méthode d’évaluation
La littérature(22) détermine les critères de qualité d’une méthode d’évaluation : sa validité, son acceptabilité, sa faisabilité et sa reproductibilité.
3.1.1 La validité
Une attention particulière a été portée à la rigueur méthodologique lors de l’élaboration de notre questionnaire.
- Des outils pédagogiques pertinents
Un travail de bibliographie a permis de mettre en évidence des outils de référence afin de créer notre outil d’évaluation. L’évaluation se base sur le modèle de Kirkpatrick, outil de référence largement utilisé pour évaluer une formation.
L’élaboration des compétences étudiées s’est basée sur les 11 familles de situations cliniques, définies par le CNGE.
- Plusieurs relectures
La première version du questionnaire a bénéficié de plusieurs relectures et avis afin d’en établir une version définitive : le quatrième chercheur du groupe initial et le second groupe de chercheurs qui ont permis clarté et compréhension des questions.
La version pilote a quant à elle permis de s’assurer de la bonne compréhension des questions, de mettre en évidence les soucis méthodologiques rencontrés et d’y apporter des solutions concrètes.
3.1.2 L’acceptabilité
- L’anonymisation des internes et le temps de réponse rapide
Ces deux points ont été intégrés et pris en compte lors de l’élaboration de l’outil
- La compréhension par les étudiants
Comme le souligne Werber « entre ce que je pense, ce que je veux dire, ce que je crois dire, ce que je dis, ce que vous avez envie d’entendre, ce que vous croyez entendre, ce que vous entendez, ce que vous avez envie de comprendre, ce que vous croyez comprendre et ce que vous comprenez, il y a 10 possibilités qu’on ait des difficultés à communiquer… Mais essayons quand même ! »
Cette phrase symbolise les difficultés à retranscrire les idées des enseignants pour qu’elles soient compréhensibles par les internes. Il a été important d’utiliser un langage adapté, car les termes utilisés par les enseignants peuvent être difficiles à comprendre par les étudiants, notamment en début de cursus. C’est pourquoi il était essentiel d’effectuer une version pilote auprès des internes.
A noter que le chercheur principal et que la majorité du deuxième groupe de chercheurs étaient des médecins généralistes diplômés depuis moins de deux ans, probablement plus à même de déceler les difficultés de compréhension des internes.
Il semble donc nécessaire dans la perspective d’extrapoler cet outil d’évaluation d’apporter le regard des internes sur la compréhension des questions posées.
3.1.3. La faisabilité
La version pilote a permis d’évaluer la faisabilité d’une telle évaluation. Les modifications nécessaires afin de l’améliorer, notamment son caractère obligatoire, ont pu être soulignées.
3.1.4 La reproductibilité
La rigueur méthodologique apportée à notre travail a permis d’établir un outil pour la formation « Vacciner en médecine générale » et également pour le rendre adaptable et reproductible à l’ensemble des enseignements du module A.
3.2 Les limites
Biais de confusion
Concernant l’auto-évaluation des compétences, il existe d’autres variables qui peuvent influer sur les capacités des étudiants : les conférences, les discussions avec les maîtres de stages, les groupes de pairs, les recherches personnelles.
C’est un critère connu, qui peut être considéré comme biais de confusion, mais il a été convenu que la formation médicale est toujours pluridisciplinaire.
Il conviendra cependant de parler « d’association » plutôt que de « causalité » entre l’enseignement et l’amélioration des pratiques cliniques.
L’applicabilité des questionnaires
Telle que l’étude a été réalisée, elle ne semble pas généralisable à grande échelle. Il semble par exemple difficile de solliciter et de réaliser des relances personnalisées, pour la phase J-7, et très probablement à plus grande proportion pour la phase M+6.
C’est donc pourquoi, dans l’optique de la généralisation de cet outil d’évaluation, certains aspects semblent essentiels à mettre en place au vu des résultats de notre
4 - Un outil pédagogique modélisant
A terme, l’objectif est de généraliser et d’extrapoler cet outil d’évaluation à l’ensemble des cours du module A du DES de médecine générale à la faculté d’Angers.
En se basant sur les objectifs pédagogiques de l’enseignement, cet outil de création d’une évaluation est facilement reproductible. En effet, chaque chargé d’enseignement du module A pense, créé et modifie celui-ci en fonction des objectifs qu’il y fixe.
Ces objectifs sont pensés en amont. Ainsi, les attentes en termes de compétences et les 11 familles de situations cliniques étant les mêmes pendant toute la durée du DES, cet outil a un caractère modélisant pour la création de l’évaluation de l’ensemble des modules A proposés par le DMG d’Angers.
5 - Les perspectives
Cette thèse a permis d’établir un outil d’évaluation, d’en préciser les étapes de son élaboration, de recueillir les difficultés dans sa mise en pratique et ainsi de pouvoir concevoir des solutions appropriées pour permettre de créer une méthode pertinente et adaptable aux enseignements du module A dans la faculté d’Angers.
BIBLIOGRAPHIE
1.
Département de médecine générale Paris 7 Diderot. L’apprentissage par compétences [En ligne].https://dmg.medecine.univ-paris-diderot.fr/p/lapprentissage-par-competences.Consulté le 9 septembre 2019.
2.
Nguyen DQ, BLAIS JG. Approche par objectifs ou approche par compétences ? Repères conceptuels et implications pour les activités d’enseignement,d’apprentissage et d’évaluation au cours de la formation clinique. Pédagogie Médicale. 2007; 8 : 232-251.3.
Département de médecine générale de l’Université de Versailles St Quentin en Yvelines. Les compétences [En ligne].https://www.dmg-uvsq.com/page/1--les-competences-. Consulté le 14 novembre 2019.4.
CNGE, Collège national des Généralistes Enseignants. Concepts et principes pédagogiques.2013 [En ligne]. https://www.cnge.fr/la_pedagogie/concepts_et_principes_pedagogiques/.
Consulté le 9 septembre 2019.
5.
Département de médecine générale, Faculté de Santé, Université d’Angers. Le guide l’interne de MG novembre 2018 ; 2018. [En ligne]https://moodle.univ-angers.fr/mod/folder/view.php?id=74245.
6.
HAS, Haute Autorité de Santé. Staffs d’une équipe médico-soignante, groupes d’analyse de pratiques (GAP). 2017. [Enligne].https://www.has-sante.fr/upload/docs/application/pdf/2013-02/
staff_gap_fiche_technique_2013_01_31.pdf.
7.
Lajzerowicz C. Évaluation par les internes de médecine générale d’Aquitaine de la partie théorique du DES: portfolio, cours et thèse. Médecine humaine et pathologie. 2016. dumas- 01359022.8.
Dahan B. Évaluation de l’adéquation des enseignements proposés dans le DES de médecine générale à Paris VI avec les attentes des étudiants, thèse de médecine. Université Pierre et Marie Curie Paris VI ; 2009, 66 p.9. Landry C.Formation des internes de médecine générale : Opinions et attentes des internes Vis à vis du DES de médecine générale actuel. Thèse de médecine. Université de Créteil;
2015, 154 p. [En ligne]
https://www.cnge.fr/media/docs/cnge_site/cnge/These_Enquete_internes_Landry_2015.pdf
10.
Cathalan T. Formation des internes de médecine générale : Opinions et attentes desinternes vis-à-vis du DES de médecine générale « idéal ». Thèse de médecine.Université de Créteil ; 2015, 96 p.
12.
Viltet A. Efficacité des groupes d’échange de pratique dans la formation initiale des internes de médecine générale : revue systématique de la littérature. Université de Poitiers ; 2017, 52p.13.
Kirkpatrick DL, Kirkpatrick JD. Evaluating training programs third edition. The Four Levels.San Francisco: Berrett-Koehler Publishers; 2009.
14.
Drummond D. Évaluation d'un programme d'enseignement innovant associant film pédagogique et ateliers de simulation pour la formation à l'arrêt cardiaque de l'enfant des étudiants hospitalier. Thèse de médecine. Université Paris Descartes ; 2014 ,93 p.15.
HAS, Haute Autorité de Santé. Guide de bonne pratique en matière de simulation de santé.2012. [En ligne].
https://www.has-sante.fr/upload/docs/application/pdf/2013-01/guide_bonnes_pratiques_si mulation_sante_guide.pdf.
16.
Begue C. Évaluation d’un enseignement de santé au travail au cours du DES de médecine générale. DU de Pédagogie des Sciences de la Santé. Université d’Angers; 2017, 34 p.17.
ISNAR-IMG. Rapport d’enquête nationale relative à l’enseignement théorique et la certification des internes de médecine générale ; 2009.18.
Croteau C, Morin C, Fournier M, Le Dorze G, Tessier A, McIntyre J, Tremblay V, Choquette V, Développement et validation d’un outil de mesure – Évaluation des facteurs environnementaux influençant la participation sociale des élèves du primaire présentant un trouble de la communication. Canadian Journal of Speech-Language Pathology and Audiology. 2015 ; Vol. 39, No. 2 : 146-161.19. Sabourin, S., Valois, P., & Lussier, Y. (2005). L’Utilisation des questionnaires en recherche.
Dans Bouchard, S. & Cyr, C (dir.), Recherche psychosociale – Pour harmoniser recherche et pratique (2e éd., p. 279-320). Québec, Québec : Presses de l’Université du Québec.
20.
Pelaccia T, Tardif, J. Concevoir et évaluer une formation. Comment (mieux) former et évaluer les étudiants en médecine et en sciences de la santé. 1re édition. De Boeck supérieur ; 2016, 480p.21. Gerard, F-M. (2003). L’évaluation de l’efficacité d’une formation, Gestion 2000, Vol. 20, n°3, 13-33.
22.
Oriot D.Simulation : gadget ou outil pédagogique indispensable. Comment évaluer l’impact de la simulation? . [En ligne].www.medesim.fr/doc/cours2010/Mod4/DUFORMSIM2013ORIOTCommentevaluerimpactsimu lation.pdf
