Can semiology be taught and assessed on short OSCE by peer
students
Les pairs peuvent-ils évaluer un tutorat de sémiologie à l‘aide d‘ECOS ?
DE LAVAL Marie, PENEAU Brice, Sous la direction du Dr BIÈRE Loïc
Soutenance publique de thèse pour le Diplôme d’État de Docteur en Médecine 18 Décembre 2020
1
INTRODUCTION MÉTHODE RÉSULTATS DISCUSSION CONCLUSION
Plan:
➢ Introduction
➢ Méthode
➢ Résultats
➢ Discussion
➢ Conclusion
2
Sémiologie: science des signes cliniques
Enseignement historiquement magistral puis au lit du malade
Nécessité d’un enseignement pratique (ateliers)
Tutorat : enseignement réalisé par des étudiants de médecine d’années supérieures
Haring, BMC Med Educ, 2014
Steichen, Rev Médecine Interne, 2014 Blank, BMC Med Educ, 2013
Huard, Rev Hist Sci, 1975 Morgan,Clin Anat N Y N. 2017
INTRODUCTION MÉTHODE RÉSULTATS DISCUSSION CONCLUSION
3
Apprentissage par les pairs
• Renforce les connaissances de l’enseignant
Yu, Adv Med Educ Pract, 2011 Wass, Lancet Lond Engl, 2001
• Bonne acquisition des connaissances
Morgan, Clincal Anatomy, 2017
• Bonne adhésion de l’apprenant
Mills, BMC Med Educ, 2014
Evaluation par les pairs
• Meilleur compréhension des objectifs à atteindre
Young, Clin Teach, 2014
• Apprentissage du rôle d’évaluateur
Basehore, Med Teach, 2014
• Intérêt des commentaires et suggestions discuté
Iblher, Med Teach, 2015
Reiter, Adv Health Sci Educ Theory Pract, 2004
INTRODUCTION MÉTHODE RÉSULTATS DISCUSSION CONCLUSION
4
Examen clinique objectif et structuré (ECOS) :
Décrit comme outil d’évaluation des examens cliniques
Utilisé pour l’examen physique, l’interrogatoire ou la thérapeutique
Limites organisationnelles (locaux, temps universitaire, matériel)
Harden, Br Med J, 1975
Khan, Med Teach, 2013 Patricio, Med Teach, 2013
Kelly, Med Teach, 2004
Becker, BMC Emerg Med, 2009
INTRODUCTION MÉTHODE RÉSULTATS DISCUSSION CONCLUSION
5
Objectif :
Un tutorat de sémiologie peut-il être évalué par des pairs sous forme d’ECOS ?
INTRODUCTION MÉTHODE RÉSULTATS DISCUSSION CONCLUSION
6
Tutorat de sémiologie en pratique :
80 DFGSM2
Contenu des cours
Rédigé par des internes (5)
Validé par des enseignants universitaires
Pairs (20): DFASM 2, 3 et 4, sous la supervision d’un interne
INTRODUCTION MÉTHODE RÉSULTATS DISCUSSION CONCLUSION
7
Evaluation :
5 ECOS par étudiants, 5 matières (ORL/Signes de gravité, Orthopédie, Neurologie, Gynécologie/Gastro-entérologie, Cardiologie/Pneumologie)
ECOS court et simple (5 items)
Évaluation du tutorat par deux seniors et un tuteur
Questionnaire d‘appréciation adressé aux tuteurs
INTRODUCTION MÉTHODE RÉSULTATS DISCUSSION CONCLUSION
8
INTRODUCTION MÉTHODE RÉSULTATS DISCUSSION CONCLUSION
9
INTRODUCTION MÉTHODE RÉSULTATS DISCUSSION CONCLUSION
Analyse statistique :
Moyennes des deux évaluateurs séniors (CCI>0.7)
Corrélation évaluée par :
test de student apparié
coefficient de corrélation intraclasse (CCI)
10
Global results of FE1, FE2, FE1&2, NPT tutors and T-test result of FE1&2 and NPT tutors. (FE: faculty examiner. NPT: Near peer teaching. p: p-value of T-test)
p=0.14
INTRODUCTION MÉTHODE RÉSULTATS DISCUSSION CONCLUSION
3.58 3.53 3.56 3.52
0.0 0.5 1.0 1.5 2.0 2.5 3.0 3.5 4.0 4.5 5.0
OSCE Scale
GLOBAL RESULTS
FE1 FE2 FE1&2 NPT tutors
11
Topics results of FE1, FE2, FE1&2, NPT tutors and T-test result of FE1&2 and NPT tutors. (FE: faculty examiner. NPT:
near peer teaching. p: p-value of T-test)
p=0.16
p=0.45
p=0.13
p=0.44
p=0.61
INTRODUCTION MÉTHODE RÉSULTATS DISCUSSION CONCLUSION
3.89 3.82 3.86 3.79 3.23 3.32 3.27 3.24 4.24 4.38 4.31 4.21 3.38 3.19 3.28 3.33 3.17 2.96 3.06 3.03
0.0 1.0 2.0 3.0 4.0 5.0 6.0
Cardiology/Pneumology Orthopedic Urology/Gastroenterology/Gynecology Neurology Emergency/Othorhinolaryngology
OSCE Scale
TOPICS RESULTS
FE1 FE2 FE1&2 NPT tutors
12
NPT tutors reliability in Bland Altman graphic. (NPT: near peer teaching ; FE: faculty examiner ; LOA: limits of agreements) INTRODUCTION MÉTHODE RÉSULTATS DISCUSSION CONCLUSION
Lower LOA; -0.97 Upper LOA; 1.05
Bias; 0.04
-2.5 -2.0 -1.5 -1.0 -0.5 0.0 0.5 1.0 1.5 2.0 2.5
0.0 1.0 2.0 3.0 4.0 5.0
FE1&2-NPT tutors difference's point
FE1&2/NPT tutors Means of OSCE ratings (5 points)
NPT tutors reliability
FE1&2/NPT tutors difference Lower LOA Upper LOA Bias
13
Global Cardiology /Pneumology
Orthopedics UGG Neurology Emergency
/Othorhinolaryngology
ICC FE1&2/NPT
tutors (95%CI)
0.89 (0.87-0.93)
0.88 (0.82-0.92)
0.92 (0.87-0.95)
0.67 (0.53-0.78)
0.92 (0.88-0.95)
0.81 (0.72-0.88)
Reliability results.( ICC: intraclass correlation coefficient; CI: Confidence intervals ; FE: Faculty Examiner ;NPT: near peer teaching ; UGG: Urology, Gastroenterology, Gynecology ; ENT: Ear, Nose and Throat medicine)
INTRODUCTION MÉTHODE RÉSULTATS DISCUSSION CONCLUSION
14
NPT tutors perception (Likert’s scale of 5 points)
4.4
3.5
4.8 4.1 4.6
3.5 3.0
4.5
0 1 2 3 4 5
I feel confident
I feel able to evaluate students without
faculty teachers
It allowed me to reinforce
my clinical knowledge
It allowed me to acquire new clinical
knowledge
It is a useful activity for a
future university
career
My rating is higher than
FE
Training is needed to be
a student examiner
OSCE is an adequate
scoring system for oral medical
tests
Lickert scale (5 points)
INTRODUCTION MÉTHODE RÉSULTATS DISCUSSION CONCLUSION
15
INTRODUCTION MÉTHODE RÉSULTATS DISCUSSION CONCLUSION
Cette étude montre que les pairs délivrent des notes équivalentes à celles des médecins seniors.
Lorsque cette évaluation est réalisée sous forme d’ECOS
Lorsque les évaluateurs étaient partie prenante de l’enseignement
Pourquoi ?
16
INTRODUCTION MÉTHODE RÉSULTATS DISCUSSION CONCLUSION
Grâce aux ECOS :
ECOS courts : 5 items / 3 notations possibles (acquis, partiellement acquis, non acquis)
ECOS simples : de niveau 2ème année de médecine / sémiologie physiologique
Young, Clin Teach, 2014 Burgess, Med Teach, 2013
Basehore, Med Teach, 2014 Burgess, Med Educ, 2014
17
INTRODUCTION MÉTHODE RÉSULTATS DISCUSSION CONCLUSION
18
Sibert, Pédagogie médical, 2000
INTRODUCTION MÉTHODE RÉSULTATS DISCUSSION CONCLUSION
Grâce aux évaluateurs:
Contrairement aux autres études, les étudiants évaluateurs sont aussi enseignants de la matière évaluée.
Khan, Med Teach, 2017
19
INTRODUCTION MÉTHODE RÉSULTATS DISCUSSION CONCLUSION
Le cas Gastroentérologie Urologie Gynécologie
3 ECOS avec >= 1 point de différence de notation : Toucher vaginal, examen des fosses lombaires, examen des aires ganglionnaires.
examens physiques peu réalisés en pratique par les tuteurs au lit des patients.
nécessité de former +++ les tuteurs
Armitage, Med Teach, 2018
20
INTRODUCTION MÉTHODE RÉSULTATS DISCUSSION CONCLUSION
Le point de vue des pairs :
+ Enseignement et évaluation : très bien perçu, acquisition de compétences, expérience de l’universitaire, la pédagogie.
- Pas de formation à l’évaluation nécessaire selon eux
Walker, Surg Educ, 2016 Young, Clin Teach, 2014
Van Diggele, Med Educ, 2015
21
INTRODUCTION MÉTHODE RÉSULTATS DISCUSSION CONCLUSION
Limites :
Etude mono-centrique
Evaluation sur de la sémiologie non pathologique → extension à la pathologie sur des ECOS simples?
ECOS : reste chronophage, même à organiser avec des pairs.
22
INTRODUCTION MÉTHODE RÉSULTATS DISCUSSION CONCLUSION
Ouverture :
Compétences d’apprentissage et d’évaluations des pairs formateurs non évaluées
Nécessité d’instauration d’un enseignement précoce de pédagogie médicale ?
23
INTRODUCTION MÉTHODE RÉSULTATS DISCUSSION CONCLUSION
En conclusion :
Les pairs tuteurs évaluent de manière similaire aux enseignants universitaires lors des évaluations sous forme d'ECOS simples.
24
Remerciements
Angers Loire Learning Simulation Santé Pr Ludovic Martin
Stéphane Brut Florence Pelé Axelle Chavanon
Etudiants et Internes
Etudiants tuteurs de 4, 5 et 6ème années Etudiants tutorés de 2ème année
Internes Thomas André, Benjamin Gripay, Alexandre Secourgeon
Faculté de Médecine d'Angers Scolarité
Relecteurs du contenu pédagogique et manuscrit
Prs Bouvard, Cassereau, Martin, Bigot, Lerolle, Annweiler, Conan
Drs Bière, Bouet, Schmit, Rineau, Justeau
