Can semiology be taught and assessed on short OSCE  by peer students ?

Membres du jury

Monsieur le professeur MARTIN Ludovic | Président Monsieur le docteur BIERE Loïc | Directeur Monsieur le professeur LEROLLE Nicolas | Membre Monsieur le professeur ANNWEILER Cédric | Membre Monsieur le docteur RINEAU Emmanuel | Membre Monsieur le professeur CONNAN Laurent | Membre

Soutenue publiquement le :

18/12/2020

2019-2020

THÈSE

pour le

DIPLÔME D’ÉTAT DE DOCTEUR EN MÉDECINE

Qualification en MEDECINE GENERALE Qualification en ANESTHESIE-REANIMATION

Can semiology be taught and assessed on short OSCE by peer students ?

Les pairs peuvent-ils évaluer un tutorat de sémiologie à l‘aide d‘ECOS ?

de LAVAL Marie

Née le 22 Novembre 1992 à VANNES

PENEAU Brice

Né le 26 Mai 1991 à CHOLET

Sous la direction de M. BIERE Loïc

ENGAGEMENT DE NON PLAGIAT

Je, soussigné Brice PENEAU

déclare être pleinement conscient que le plagiat de documents ou d’une partie d’un document publiée sur toutes formes de support, y compris l’internet, constitue une violation des droits d’auteur ainsi qu’une fraude caractérisée.

En conséquence, je m’engage à citer toutes les sources que j’ai utilisées pour écrire ce rapport ou mémoire.

signé par l'étudiant le 22/11/2020

ENGAGEMENT DE NON PLAGIAT

Je, soussignée Marie de LAVAL ...

déclare être pleinement consciente que le plagiat de documents ou d’une partie d’un document publiée sur toutes formes de support, y compris l’internet, constitue une violation des droits d’auteur ainsi qu’une fraude caractérisée.

En conséquence, je m’engage à citer toutes les sources que j’ai utilisées pour écrire ce rapport ou mémoire.

signé par l'étudiante le 22/11/2020

LISTE DES ENSEIGNANTS DE LA FACULTÉ DE SANTÉ D’ANGERS

Doyen de la Faculté : Pr Nicolas Lerolle

Vice-Doyen de la Faculté et directeur du département de pharmacie : Pr Frédéric Lagarce

Directeur du département de médecine : Pr Cédric Annweiler PROFESSEURS DES UNIVERSITÉS

ABRAHAM Pierre Physiologie Médecine

ANNWEILER Cédric Gériatrie et biologie du

vieillissement Médecine

ASFAR Pierre Réanimation Médecine

AUBE Christophe Radiologie et imagerie médicale Médecine

AUGUSTO Jean-François Néphrologie Médecine

AZZOUZI Abdel Rahmène Urologie Médecine

BAUFRETON Christophe Chirurgie thoracique et

cardiovasculaire Médecine

BENOIT Jean-Pierre Pharmacotechnie Pharmacie

BEYDON Laurent Anesthésiologie-réanimation Médecine

BIGOT Pierre Urologie Médecine

BONNEAU Dominique Génétique Médecine

BOUCHARA Jean-Philippe Parasitologie et mycologie Médecine

BOUVARD Béatrice Rhumatologie Médecine

BOURSIER Jérôme Gastroentérologie ; hépatologie Médecine

BRIET Marie Pharmacologie Médecine

CAILLIEZ Eric Médecine générale Médecine

CALES Paul Gastroentérologe ; hépatologie Médecine CAMPONE Mario Cancérologie ; radiothérapie Médecine CAROLI-BOSC François-xavier Gastroentérologie ; hépatologie Médecine CHAPPARD Daniel Cytologie, embryologie et

cytogénétique Médecine

CONNAN Laurent Médecine générale Médecine

COUTANT Régis Pédiatrie Médecine

CUSTAUD Marc-Antoine Physiologie Médecine

DE CASABIANCA Catherine Médecine Générale Médecine DESCAMPS Philippe Gynécologie-obstétrique Médecine D’ESCATHA Alexis Médecine et santé au Travail Médecine DINOMAIS Mickaël Médecine physique et de

réadaptation Médecine

DIQUET Bertrand Pharmacologie Médecine

DUBEE Vincent Maladies Infectieuses et

Tropicales Médecine

DUCANCELLE Alexandra Bactériologie-virologie ; hygiène

hospitalière Médecine

DUVAL Olivier Chimie thérapeutique Pharmacie

DUVERGER Philippe Pédopsychiatrie Médecine

EVEILLARD Mathieu Bactériologie-virologie Pharmacie FAURE Sébastien Pharmacologie physiologie Pharmacie

FOURNIER Henri-Dominique Anatomie Médecine

FURBER Alain Cardiologie Médecine

GAGNADOUX Frédéric Pneumologie Médecine

GARNIER François Médecine générale Médecine

GASCOIN Géraldine Pédiatrie Médecine

GOHIER Bénédicte Psychiatrie d'adultes Médecine GUARDIOLA Philippe Hématologie ; transfusion Médecine

GUILET David Chimie analytique Pharmacie

HAMY Antoine Chirurgie générale Médecine

HENNI Samir Chirurgie Vasculaire, médecine

vasculaire Médecine

HUNAULT-BERGER Mathilde Hématologie ; transfusion Médecine IFRAH Norbert Hématologie ; transfusion Médecine

JEANNIN Pascale Immunologie Médecine

KEMPF Marie Bactériologie-virologie ; hygiène

hospitalière Médecine

LACCOURREYE Laurent Oto-rhino-laryngologie Médecine

LAGARCE Frédéric Biopharmacie Pharmacie

LARCHER Gérald Biochimie et biologie moléculaires Pharmacie LASOCKI Sigismond

LEGENDRE Guillaume Anesthésiologie-réanimation

Gynécologie-obstétrique Médecine Médecine

LEGRAND Erick Rhumatologie Médecine

LERMITE Emilie Chirurgie générale Médecine

LEROLLE Nicolas Médecine Intensive-Réanimation Médecine LUNEL-FABIANI Françoise Bactériologie-virologie ; hygiène

hospitalière Médecine

MARCHAIS Véronique Bactériologie-virologie Pharmacie

MARTIN Ludovic Dermato-vénéréologie Médecine

MAY-PANLOUP Pascale Biologie et médecine du développement et De la reproduction

Médecine

MENEI Philippe Neurochirurgie Médecine

MERCAT Alain Réanimation Médecine

MERCIER Philippe Anatomie Médecine

PAPON Nicolas Parasitologie et mycologie

médicale Pharmacie

PASSIRANI Catherine Chimie générale Pharmacie

PELLIER Isabelle Pédiatrie Médecine

PETIT Audrey Médecine et Santé au Travail Médecine PICQUET Jean Chirurgie vasculaire ; médecine

vasculaire Médecine

PODEVIN Guillaume Chirurgie infantile Médecine

PROCACCIO Vincent Génétique Médecine

PRUNIER Delphine Biochimie et Biologie Moléculaire Médecine

PRUNIER Fabrice Cardiologie Médecine REYNIER Pascal Biochimie et biologie moléculaire Médecine RICHARD Isabelle Médecine physique et de

réadaptation Médecine

RICHOMME Pascal Pharmacognosie Pharmacie

RODIEN Patrice Endocrinologie, diabète et

maladies métaboliques Médecine ROQUELAURE Yves Médecine et santé au travail Médecine ROUGE-MAILLART Clotilde Médecine légale et droit de la

santé Médecine

ROUSSEAU Audrey Anatomie et cytologie

pathologiques Médecine

ROUSSEAU Pascal Chirurgie plastique,

reconstructrice et esthétique Médecine ROUSSELET Marie-Christine Anatomie et cytologie

pathologiques Médecine

ROY Pierre-Marie Thérapeutique Médecine

SAULNIER Patrick Biophysique et biostatistique Pharmacie

SERAPHIN Denis Chimie organique Pharmacie

TRZEPIZUR Wojciech Pneumologie Médecine

UGO Valérie Hématologie ; transfusion Médecine

URBAN Thierry Pneumologie Médecine

VAN BOGAERT Patrick Pédiatrie Médecine

VENIER-JULIENNE Marie-Claire Pharmacotechnie Pharmacie

VERNY Christophe Neurologie Médecine

WILLOTEAUX Serge Radiologie et imagerie médicale Médecine

MAÎTRES DE CONFÉRENCES

ANGOULVANT Cécile Médecine Générale Médecine

BAGLIN Isabelle Chimie thérapeutique Pharmacie

BASTIAT Guillaume Biophysique et biostatistique Pharmacie

BEAUVILLAIN Céline Immunologie Médecine

BELIZNA Cristina Médecine interne Médecine

BELLANGER William Médecine générale Médecine

BELONCLE François Réanimation Médecine

BENOIT Jacqueline Pharmacologie Pharmacie

BIERE Loïc Cardiologie Médecine

BLANCHET Odile Hématologie ; transfusion Médecine

BOISARD Séverine Chimie analytique Pharmacie

CAPITAIN Olivier Cancérologie ; radiothérapie Médecine

CASSEREAU Julien Neurologie Médecine

CHAO DE LA BARCA Juan-Manuel Médecine

CHEVALIER Sylvie Biologie cellulaire Médecine CLERE Nicolas Pharmacologie / physiologie Pharmacie

COLIN Estelle Génétique Médecine

DERBRE Séverine Pharmacognosie Pharmacie

DESHAYES Caroline Bactériologie virologie Pharmacie

FERRE Marc Biologie moléculaire Médecine

FORTRAT Jacques-Olivier Physiologie Médecine

HAMEL Jean-François Biostatistiques, informatique médicale Médicale HELESBEUX Jean-Jacques Chimie organique Pharmacie

HINDRE François Biophysique Médecine

KHIATI Salim Biochimie et biologie moléculaire Médecine JOUSSET-THULLIER Nathalie Médecine légale et droit de la santé Médecine JUDALET-ILLAND Ghislaine Médecine Générale Médecine KUN-DARBOIS Daniel Chirurgie Maxillo-Faciale et

Stomatologie Médecine

LACOEUILLE Franck Biophysique et médecine nucléaire Médecine

LEBDAI Souhil Urologie Médecine

LANDREAU Anne Botanique/ Mycologie Pharmacie

LEBDAI Souhil Urologie Médecine

LEGEAY Samuel Pharmacocinétique Pharmacie

LE RAY-RICHOMME Anne-

Marie Pharmacognosie Pharmacie

LEPELTIER Elise Chimie générale Pharmacie

LETOURNEL Franck Biologie cellulaire Médecine

LIBOUBAN Hélène Histologie Médecine

LUQUE PAZ Damien Hématologie; Transfusion Médecine MABILLEAU Guillaume Histologie, embryologie et

cytogénétique Médecine

MALLET Sabine Chimie Analytique Pharmacie

MAROT Agnès Parasitologie et mycologie médicale Pharmacie

MESLIER Nicole Physiologie Médecine

MOUILLIE Jean-Marc Philosophie Médecine

NAIL BILLAUD Sandrine Immunologie Pharmacie

PAILHORIES Hélène Bactériologie-virologie Médecine

PAPON Xavier Anatomie Médecine

PASCO-PAPON Anne Radiologie et imagerie médicale Médecine

PECH Brigitte Pharmacotechnie Pharmacie

PENCHAUD Anne-Laurence Sociologie Médecine

PIHET Marc Parasitologie et mycologie Médecine

PY Thibaut Médecine Générale Médecine

RAMOND-ROQUIN Aline Médecine Générale Médecine

RINEAU Emmanuel Anesthésiologie réanimation Médecine

RIOU Jérémie Biostatistiques Pharmacie

ROGER Emilie Pharmacotechnie Pharmacie

SAVARY Camille Pharmacologie-Toxicologie Pharmacie

SCHMITT Françoise Chirurgie infantile Médecine

SCHINKOWITZ Andréas Pharmacognosie Pharmacie

SPIESSER-ROBELET

Laurence Pharmacie Clinique et Education

Thérapeutique Pharmacie

TANGUY-SCHMIDT Aline TESSIER-CAZENEUVE Christine

Hématologie ; transfusion

Médecine Générale Médecine

Médecine

VENARA Aurélien Chirurgie générale Médecine

VIAULT Guillaume Chimie organique Pharmacie

PROFESSEURS EMERITES

Philippe MERCIER Neurochirurgie Médecine

Dominique CHABASSE Parasitologie et Médecine Tropicale Médecine

Jean-François SUBRA Néphrologie Médecine

AUTRES ENSEIGNANTS

AUTRET Erwan Anglais Médecine

BARBEROUSSE Michel Informatique Médecine

BRUNOIS-DEBU Isabelle Anglais Pharmacie

CHIKH Yamina Économie-Gestion Médecine

FISBACH Martine Anglais Médecine

O’SULLIVAN Kayleigh Anglais Médecine

Mise à jour au 09/12/2019

R E M E R C IE M E N T S C O M M UN S

Vous nous faites l’honneur de présider ce jury de thèse, recevez nos sincères remerciements pour l’intérêt que vous portez à notre travail.

A Monsieur le Docteur Loïc BIERE,

Merci pour ton accompagnement au tutorat puis ton investissement dans ce travail de thèse tant dans le fond que dans la forme.

Travailler avec toi nous aura beaucoup apporté.

A Monsieur le Professeur Nicolas LEROLLE,

Merci d’avoir accepté de faire partie de ce jury de thèse. Recevez ici l’expression de nos remerciements sincères.

A Monsieur le Professeur Cédric ANNWEILER,

Nous vous remercions d’avoir accepté de siéger à notre jury de thèse. Nous vous prions d’accepter notre sincère reconnaissance.

A Monsieur le Professeur Laurent CONNAN,

Merci d’avoir accepté de faire partie de ce jury de thèse.

Merci pour votre travail au DMG et pour vos cours de qualité.

A Monsieur le Docteur Emmanuel RINEAU,

Nous te remercions de ta participation à ce jury de thèse.

Merci pour ton investissement dans notre formation d’anesthésiste- réanimateur.

A tous les médecins et étudiants qui ont participé à notre thèse, Merci d’avoir pris le temps de participer au tutorat et aux évaluations ECOS, sans votre contribution ce travail n’aurait pas été possible.

A toute l’équipe All’Sims et à la scolarité de la faculté de médecine d’Angers,

Merci pour ces moments partagés autour du tutorat de sémiologie.

REMERC IEMEN T S de B RIC E

À Thomas, Benjamin et Alexandre, merci pour ces 2 ans partagés au tutorat et pour toute votre aide.

À mes grands-parents, Maurice, Jean et Thérèse, j’aurais aimé partagé ce moment avec vous. De ce que vous avez été, découle qui je suis.

À Mamie Gilberte, tu m’as toujours accompagné dans la vie avec douceur et gentillesse. Merci de ta bienveillance.

À papa, tu as su éveiller et nourrir ma curiosité d’enfant, entre ton amour de la nature et celui de la science. Merci de ton soutien et de ton amour. Je suis fier d’être ton fils.

À maman, tu m’as donné le goût des autres et tu nous entoures de ta joie de vivre tous les jours. Nous sommes semblables par-delà les mots. Merci. Je suis fier que tu sois ma mère.

À Marine, ma grande-sœur et deuxième maman, tu m’as pris sous tes ailes pour mieux me laisser m’envoler. Merci de tous tes précieux conseils et d’être toujours là.

À Etienne, mon grand-frère, tu es présent dans les films que je regarde et dans la musique que j’écoute. Merci d’être un si bel exemple à suivre.

À Florence et Seb, qui ont choisi leur camp mais que j’aime malgré tout !

À Zélie, Rachel, Louann, Adèle, Yaël, mes nièces et mon neveu, j’espère que je saurais vous inspirer comme vos parents l’ont fait pour moi. Votre tonton qui vous aime.

REMERC IEMEN T S de B RIC E

À Marie-Laure et Fred, merci pour votre générosité, votre accueil et tous ces moments de partage pleins de soleil.

À Pablo et Cathy, merci pour votre simplicité et ces moments conviviaux que vous aimez nous partager et que j’aime tant.

À Joris, Mario et Gémina, merci pour tous nos fous-rires et merci d’être devenus des amis au-delà de la famille.

À Benoît, Florian, Éric, Romain, Bruno, Matthieu, Thomas et Jibé, mes amis d’enfance qui ne m’ont jamais soutenu mais qui ont toujours été là ! Je vous kiffe.

À Paco, François, Servane, Florent, Noémie, Hermeline, Sylvain, Gaël, Guillaume, Nathan, Antoine et Thomas, mes amis de la fac d’Angers pour avoir toujours été au RU à 13h et pour tous les autres moments.

À mes co-internes et amis du Mans, d’Angers ou de Rennes, aux côtés de qui j’ai appris mon métier de jour comme de nuit à l’hôpital comme en dehors.

Enfin à toi, Jade, le monde n’offre aucune limite pourvu que tu sois toujours à mes côtés.

REMERC IEMEN T S de MARIE

A Brice, merci pour ce travail de longue haleine. Nous pouvons être fiers de notre parcours.

A Thomas, Benjamin et Alexandre, merci pour ces 2 ans partagés au tutorat et pour toute votre aide.

A Maman et Papa, merci pour votre éducation, votre bienveillance, votre amour, votre soutien de tous les jours. Vous êtes mes modèles.

A Arnaud et Thibaud, mes grands frères, merci pour notre enfance, je pense qu’on a tous les trois notre vie d’adulte idéale et qu’on la partage avec les bonnes personnes.

A Mamie de Jean et Mamie Boqueho, je suis heureuse de vous avoir, j’espère qu’aujourd’hui vous êtes fières de moi.

A ma belle-famille, Gildas, Christine et Arthur, merci d’avoir été là pendant ces longues études et de l’être toujours.

A Justine et Pauline, à nos débuts toutes les trois, à toutes nos découvertes culinaires j’espère futures!

A Mélanie (elles sont lointaines les heures à la BU...) et à notre team des urgences pédiatriques: Marine, Clotilde et Elodie!

Aux praticiens et maîtres de stage, surtout Claire, Cécile, et Sylvie, que j’ai rencontré pendant cet internat. Merci pour vos enseignements.

A Ophélie, Anne-Sophie, Léa et Nolwenn, mes sœurs de cœur, et à Pierre, Julien, Guillaume, Thomas (et Maurice!), mes études m’auront menée

aux plus beaux amis, et je compte bien vous garder pour la vie.

A Victor, ma moitié et mon tout. Merci pour cette jolie vie.

PREAMBULE

Ce travail de thèse porte sur l’enseignement de la sémiologie par les pairs.

Durant deux années scolaires, nous avons piloté au centre de simulation du CHU d’Angers et à la faculté (accompagnés de Thomas André,

Benjamin Gripay, Alexandre Secourgeon et supervisés par le docteur Loïc Bière) le tutorat de sémiologie des étudiants en deuxième année de

médecine d’Angers (DFGSM2).

Ce tutorat est dispensé chaque année scolaire à 80 étudiants. Ces

derniers bénéficient d’un enseignement assuré par des pairs de la 4 ème à la 6ème année de médecine (étudiants en stage au centre de

simulation).

L’enseignement, composé de 24 heures, se fait sous forme de séances de 2 heures par groupe de 20 étudiants, par matière (10 dont

cardiopneumologie, orthopédie, neurologie...). Durant chaque séance, un pair enseigne de manière pratique la sémiologie à 5 étudiants en

s’appuyant sur un support écrit que nous avons créé et sur le matériel de simulation. Lors de ces séances, les 4 pairs sont supervisés par un interne enseignant.

A l’issue de cet enseignement, nous avons évalué les étudiants

théoriquement par des cas cliniques QCM (questionnaire à choix multiple), et pratiquement par l’évaluation sous forme d’ECOS (enseignement

clinique objectif structuré).

Plan

LISTE DES ABREVIATIONS RESUME

INTRODUCTION MÉTHODES RÉSULTATS

DISCUSSION ET CONCLUSION BIBLIOGRAPHIE

LISTE DES FIGURES LISTE DES TABLEAUX TABLE DES MATIERES ANNEXES

Liste des abréviations

FE Faculty Examiner

ICC Intraclass Corelation Coefficient NPT Near-Peer Teaching

OSCE Objective Structured Clinical Examination PE Peer Examiner

UGG Urology Gynecology Gastroenterology

1 Can semiology be taught and assessed on short OSCE by peer students

Brice PENEAU Marie de LAVAL

Les auteurs déclarent ne pas avoir de conflit d’intérêt

Can semiology be taught and assessed on short OSCE by peer students

Brice PENEAU Marie de LAVAL

Conception, mise en place du projet : Marie DE LAVAL, Brice PENEAU Bibliographie : Marie DE LAVAL, Brice PENEAU

Analyse des résultats : Marie DE LAVAL, Brice PENEAU Statistiques : Brice PENEAU

Rédaction du manuscrit : Marie DE LAVAL, Brice PENEAU

3

RESUME

Background: Near peer teaching (NPT) is commonly evaluated by faculty examiner (FE) but peer assessment after peer teaching program has never been studied.

Aims: to evaluate peer examiner reliability and acceptability of undergraduate medical students assessment with objective structured clinical examination (OSCE) after a NPT program in semiology.

Methods: 80 second year undergraduate medical students were enrolled in a NPT program delivered by tutors being 4th ,5th or 6th year undergraduate medical student. This program was evaluated by a set of 5-points OSCE grids. Assessment was performed by 1 NPT tutor and 2 FE on 5 stations. After session, tutors completed a feedback questionnaire.

Results: The total score was 3.58±1.09 for FE1; 3.53±1.16 for FE2, and 3.52 ±1.1 for NPT tutors and did not differ between examiners. Overall intraclass coefficient was upper 0.7 with a strong reliability, except for the matter of Urology/Gastroenteroly/Gynecology (ICC= 0.67). Results of Bland Altman graphic showed a strong reliability (Bias: 0.04, Limits of agreement: [-0.97;1.01]). On a 5-point scale, NPT tutors considered the experience favorable for acquisition (4.1 ±0.8) and improvement of their clinical knowledge (4.8 ±0.5). They felt confident as examiners (4.4 ±0.5).

Conclusion: NPT in semiology can be effectively assessed by the means of OSCE by tutors themselves.

INTRODUCTION

Semiology is commonly taught by theory and practice during internship but rarely by near-peer teaching (NPT) in simulation workshop (1–3), whereas it has become an established and common method to enhance student learning (4).

NPT is defined as teaching in which student teachers and student learners are at the same graduation level yet are separated by one or more years of training (i.e. senior medical students teaching junior medical students)(5).

It is known that the modality in assessment strategy drive the learning process of students (6). Objective structured clinical examination (OSCE) is growingly implemented for competence assessment including various aspects of medical curriculum from physical exam to communication or even therapeutics (7,8).

However is OSCE underused due to difficulties in recruiting sufficient faculty examiners (FE) as well as cost-containment considerations (9,10).

To answer this issue, students might get involved in the OSCE assessment process. Peer assessment by OSCE has the potential to encourage students to understand expectations and strategies for the test (11) and provide them greater access to OSCEs without consuming more resources (12). Peer examiners (PE) appears like a real alternative to FE in scoring formative OSCE on a large panel of medical skills, from history and physical examination to complex situations (13)(14). However in these reports, PE tended to award greater global OSCE scores compared to FE. Of note, none of these studies were designed on NPT, and PE were not involved in the teaching process (15–17). More, revising the format of OSCE on a shorter and straight-to-the-point basis could improve their reliability.

Here we sought to investigate the reliability of NPT tutors to assess peers by OSCE, at the completion of an NPT program in semiology.

5

METHODS

Learning

The teaching of semiology was first conducted by academic regular lectures. NPT in semiology was chosen by 80 second year undergraduate medical students. During the year, each student took part of ten 2-hour sessions. Topics included cardiology, pneumology, otorhinolaryngology, urology/gynecology/gastroenterology (UGG), emergency, orthopedics, and neurology. Teaching was delivered by NPT tutors from 4^th, 5^th or 6^th year undergraduate medical students who were purposely supervised and trained.

Evaluation

NPT ended with a test constituted by a set of 5 OSCE. OSCE was first described in 1975 by Harden (18).

This tool allows a standardized and objective evaluation of students. It is mainly used in English-speaking countries where it is considered the more valuable and positively perceived by students and examiners (19,20).

Objective evaluation was warranted by the use of simple 5-point OSCE grids, previously validated by faculty teachers (Figure I). Five stations were constituted by cardiology/pneumology, neurology, orthopedics, UGG, and emergency with otorhinolaryngology. There was 10 random OSCE subjects available per station.

8 NPT tutors participated to the study. They had access to OSCE grids 1 hour before the evaluation.

OSCE were evaluated at the same time by two faculty examiners (FE1 and FE2).

Instruction : « perform a pulmonary auscultation»

Acquired (=1)

Partially

acquired (=0.5)

Not acquired (=0)

Patient installation: seated + shirtless Use of the stethoscope (direction of branches; large pavilion)

Ask the patient to breathe through the mouth

Bilateral and comparative auscultation.

complete inspiratory and expiratory cycle each time

Auscultation of the entire thorax: posterior, anterior, apical, basal.

Global score : …. / 5 Figure 1 OSCE Example

Near-peer teaching tutors feedback

After the OSCE, NPT tutors were asked to fill an anonymized questionnaire about their experience as examiners.

The questionnaire consisted of 8 closed questions. A 5-point Likert scale was used to respond (5 = completely agree, 4 = quite agree, 3 = doubtful, 2= quite disagree, 1 = completely disagree).

Post-hoc identification of flawed OSCE

OSCE with an intraclass correlation coefficient (ICC) lower than 0.7 and a 1 point difference between examiners were considered as not reliable and specifically reviewed.

7 STATISTICAL ANALYSIS

Continuous variables are reported as mean ± SD.

Paired t-tests and intraclass correlation coefficient (ICC) (satisfying lower limit of 0.7 for reliability) were used to compare scores.

ICC comparing FE1 with FE2 being systematically high with acceptable bias (0.05 ± 0.63), we considered the mean of both FE scoring (FE1&2) to be compared with NPT tutors results.

A p value <0.05 was considered significant.

All calculations were done using SPSS software Version 20 (SPSS Inc, Chicago, IL).

Ethics

The approval of an ethics and protection of persons committee was not required, as this study was not a study involving the human person, according to article R1121-1 of the French Public Health Code.

RESULTS

Assessment of student performance and reliability correlation

Global scores were 3.58±1.09 for FE1; 3.53±1.16 for FE2, and 3.52±1.1 for NPT tutors (Figure 2).

Figure 2. Global results of FE1, FE2, FE1&2, NPT tutors and T-test result of FE1&2 and NPT tutors. (FE:

faculty examiner. NPT: Near peer teaching. p: p-value of T-test)

Figure 3. Topics results of FE1, FE2, FE1&2, NPT tutors and T-test result of FE1&2 and NPT tutors. (FE:

faculty examiner. NPT: near peer teaching. p: p-value of T-test)

3,58 3,53 3,56 3,52

0,0 0,5 1,0 1,5 2,0 2,5 3,0 3,5 4,0 4,5 5,0

OSCE Scale

GLOBAL RESULTS

FE1 FE2 FE1&2 NPT tutors

3,89 3,82 3,86 3,79 3,23 3,32 3,27 3,24 4,24 4,38 4,31 4,21 3,38 3,19 3,28 3,33 3,17 2,96 3,06 3,03

Cadriology/Pneumology Orthopedic Urology/Gastroenterology/Gynecology Neurology Emergency/Othorhinolaryngology

0,0 0,5 1,0 1,5 2,0 2,5 3,0 3,5 4,0 4,5 5,0

OSCE Scale

TOPICS RESULTS

FE1 FE2 FE1&2 NPT tutors

p=0.14

p=0.16

p=0.45

p=0.13

p=0.44

p=0.61

9 Per topic results are given in Figure 2. Best scores were obtained in UGG: FE1&2= 4.31±0.76; NPT tutors= 4.21±0.72.

Overall and per topic scores did not differ between NPT tutors and FE1&2. (Figure 2 and 3)

Overall and per topic ICC exceeded 0.7 except UGG reliability (ICC= 0.67). The best ICC was for neurology station (0.97) (Table I; Figure 4).

TABLE I. Reliability results.( ICC: intraclass correlation coefficient; CI: Confidence intervals ; FE: Faculty Examiner ;NPT: near peer teaching ; UGG: Urology, Gastroenterology, Gynecology ; ENT: Ear, Nose and Throat medicine)

Global Cardiology /Pneumology

Orthopedics UGG Neurology Emergency

/Othorhinolaryngology ICC

FE1&2/NPT tutors (95%CI)

0.89 (0.87- 0.93)

0.88 (0.82-0.92)

0.92 (0.87-0.95)

0.67 (0.53- 0.78)

0.92 (0.88- 0.95)

0.81 (0.72-0.88)

Figure 4. NPT tutors reliability in Bland Altman graphic. (NPT: near peer teaching ; FE:

faculty examiner ; LOA: limits of agreements)

-0,97 1,05 0,04

0,0 1,0 2,0 3,0 4,0 5,0

-2,5 -1,5 -0,5 0,5 1,5 2,5

FE1&2/NPT tutors Means of OSCE scoring (5 points)

FE1&2-NPT tutors differrence's point

NPT tutors reliability

FE1&2/NPT tutors difference Lower LOA Upper LOA Bias

Post-OSCE NPT tutors questionnaire (Figure 5)

NPT tutors felt confident as examiners (4.4±0.5) and thought their scoring as rather objective (4.1±0.4).

They felt to give similar scoring than FE (3.5±0.9).

Most of NPT tutors considered the experience positive for personal acquisition (4.1±0.8) and improvement of their clinical knowledge (4.8±0.5).

They strongly agreed that being examiner is a useful activity in a perspective of a future academic career (4.6±0.5).

They felt the training class for “student examiners” not to be mandatory (3±0.9).

OSCE was considered by NPT tutors as a good tool of scoring for clinical test (4.5±0.5).

Figure 5. NPT tutors perception (Likert’s scale of 5 points)

Post-hoc identification of flawed OSCE

We found 3 OSCEs who contained a discrepancy in UGG: lymph node area, vaginal, and retroperitoneal exam. After reviewing the grids, we might discuss the use of some inaccurate and so on confounding terminology so as the deficit of personal experience of NPT tutors in pelvic exam.

11

DISCUSSION

In the present study, we showed that NPT tutors delivered comparable scores than faculty teachers in assessing NPT-tutored students by OSCE.

The students assessed were second year undergraduate medical students, that is particularly early in their training compared to other studies where 3rd or 4^th were enrolled (1,14,21).While semiology is mainly taught by lecturers in a very theoretical way (3), the students of the present study received practical learning from their peers. Such face-to-face learning (20 students for 5 peers) offers to the greater number to acquire clinical skills before examining their first patients. It previously showed that NPT improved student’s scores in theoretical and practical evaluations (2). PEs lack of experience or training in medical pedagogy may explain why studies failed in promoting tutors as peer evaluators(15).

In our study, not only did PE have inner medical experience from internship as 4^th, 5^th or 6^th undergraduate students, but they were active tutors in NPT.

The OSCE is a scoring system broadly promoted in peer assessment (18) but some concerns were raised, such as the complexity of the grading system, which leads to discrepancies between faculty and peer reviewers, and the need to train peers in grading. In addition, use peer examiner in a high-stakes situation is probably not desirable (15). In many studies (11,17,22–25), OSCE grids included long checklists (10 to 20 items) with complex notations (for example, 7-point Likert scale). In our study, the use of simple, short, structured, and proper terms facilitated the scoring process. Indeed, the OSCE grids were constituted by a 5 points checklist, with a simple notation (acquired, partially acquired, not acquired). The simplicity of the OSCE may have been granted by the fact it targeted second year undergraduate students, but reproducibility and straightness of OSCE is also promoted during all medical curriculum. As a consequence, we found great correlation between the overall FE1&2 and NPT tutors scores (ICC = 0.89) compared to other studies (15).

In our study, correlations were strong except for UGG station (ICC = 0.67). We found 3 OSCEs that contained this discrepancy in this topic: lymph node area, vaginal, and retroperitoneal exam. After analysis, the difference in scoring between NPT tutors and FE1&2 was not due to particular items but to the whole topic. NPT tutors interpretation of these topics may have been difficult. Indeed, NPT tutors received theoretical and practical training in clinical semiology during their education, but, they may be inexperienced and uncomfortable performing some clinical exams (particularly vaginal examination).

These are mainly carried out in emergency or by seniors (26–28). Thus, this pitfall highlights the need for optimal guidance and formation of tutors before NPT and its evaluation (29).

The previous involvement of NPT tutors in the teaching process may be a warrant of the quality of this evaluation. More, these results on assessment echo with the positive experience of student evaluators (11,22,23). Interestingly, up to 50% of the NPT tutors thought they did not need training to be assessors because they were already trained to be NPT, whereas being an assessor may allow to improve knowledge and even gather new acquisitions. Anyhow the rationale behind developing NPT programs (30) lies in developing future teaching roles as residents or faculty members; developing effective communication skills that may improve further interaction with patients or senior peers, and developing self-learner abilities.

Limitations

This study has limitations. This is a monocentric study, based on 2^nd year medical students, so that our results may not apply to older students. More, NPT tutors knowledge and skills were not assessed, and we can assume various levels in abilities to teach and assess.

CONCLUSION

This study is one of the first model of NPT teaching and evaluation. Whereas NPT showed good results in semiology acquisition, we found that NPT in semiology can be effectively assessed by the means of OSCE by tutors themselves.

13 REFERENCES

1. Burgess A, McGregor D, Mellis C. Medical students as peer tutors: a systematic review. BMC Med Educ. 9 juin 2014;14:115.

2. Blank WA, Blankenfeld H, Vogelmann R, Linde K, Schneider A. Can near-peer medical students effectively teach a new curriculum in physical examination? BMC Med Educ. 11 déc 2013;13:165.

3. Belaud V, Justeau G, Petit M, Fortier E, Bigou Y. Enseignement de la sémiologie clinique par les pairs : rapport d&#039;expérience sur la mise en place d&#039;un nouvel enseignement de sémiologie clinique à la faculté d&#039;Angers entre 2016 et 2018. 2018.

4. Rees EL, Quinn PJ, Davies B, Fotheringham V. How does peer teaching compare to faculty teaching? A systematic review and meta-analysis. Med Teach. 2 août 2016;38(8):829‑37.

5. Yu T-C, Wilson NC, Singh PP, Lemanu DP, Hawken SJ, Hill AG. Medical students-as-teachers: a systematic review of peer-assisted teaching during medical school. Adv Med Educ Pract. 2011;2:157‑72.

6. Wass V, Van der Vleuten C, Shatzer J, Jones R. Assessment of clinical competence. Lancet Lond Engl. 24 mars 2001;357(9260):945‑9.

7. Khan KZ, Ramachandran S, Gaunt K, Pushkar P. The Objective Structured Clinical Examination (OSCE): AMEE Guide No. 81. Part I: an historical and theoretical perspective. Med Teach. sept 2013;35(9):e1437-1446.

8. Patrício MF, Julião M, Fareleira F, Carneiro AV. Is the OSCE a feasible tool to assess competencies in undergraduate medical education? Med Teach. juin 2013;35(6):503‑14.

9. Kelly M, Murphy A. An evaluation of the cost of designing, delivering and assessing an undergraduate communication skills module. Med Teach. nov 2004;26(7):610‑4.

10. Beckers SK, Timmermann A, Müller MP, Angstwurm M, Walcher F. Undergraduate medical education in emergency medical care: a nationwide survey at German medical schools. BMC Emerg Med. 12 mai 2009;9:7.

11. Young I, Montgomery K, Kearns P, Hayward S, Mellanby E. The benefits of a peer-assisted mock OSCE. Clin Teach. juin 2014;11(3):214‑8.

12. Kim K-J, Kim G. The efficacy of peer assessment in objective structured clinical examinations for formative feedback: a preliminary study. Korean J Med Educ. mars 2020;32(1):59‑65.

13. Moineau G, Power B, Pion A-MJ, Wood TJ, Humphrey-Murto S. Comparison of student examiner to faculty examiner scoring and feedback in an OSCE. Med Educ. févr 2011;45(2):183‑91.

14. Basehore PM, Pomerantz SC, Gentile M. Reliability and benefits of medical student peers in rating complex clinical skills.

Med Teach. mai 2014;36(5):409‑14.

15. Khan R, Payne MWC, Chahine S. Peer assessment in the objective structured clinical examination: A scoping review. Med Teach. 3 juill 2017;39(7):745‑56.

16. Iblher P, Zupanic M, Karsten J, Brauer K. May student examiners be reasonable substitute examiners for faculty in an undergraduate OSCE on medical emergencies? Med Teach. avr 2015;37(4):374‑8.

17. Reiter HI, Rosenfeld J, Nandagopal K, Eva KW. Do clinical clerks provide candidates with adequate formative assessment during Objective Structured Clinical Examinations? Adv Health Sci Educ Theory Pract. 2004;9(3):189‑99.

18. Harden RM, Stevenson M, Downie WW, Wilson GM. Assessment of clinical competence using objective structured examination. Br Med J. 22 févr 1975;1(5955):447‑51.

19. Majumder MAA, Kumar A, Krishnamurthy K, Ojeh N, Adams OP, Sa B. An evaluative study of objective structured clinical examination (OSCE): students and examiners perspectives. Adv Med Educ Pract. 2019;10:387‑97.

20. Patricio M, Juliao M, Fareleira F, Young M, Norman G, Vaz Carneiro A. A comprehensive checklist for reporting the use of OSCEs. Med Teach. févr 2009;31(2):112‑24.

21. Chenot J-F, Simmenroth-Nayda A, Koch A, Fischer T, Scherer M, Emmert B, et al. Can student tutors act as examiners in an objective structured clinical examination? Med Educ. nov 2007;41(11):1032‑8.

22. Cushing A, Abbott S, Lothian D, Hall A, Westwood OMR. Peer feedback as an aid to learning--what do we want?

Feedback. When do we want it? Now! Med Teach. 2011;33(2):e105-112.

23. Walker R, Phieffer LS, Bishop JY. Four Successive Years of Trauma-Based Objective Structured Clinical Evaluations:

What Have We Learned? J Surg Educ. août 2016;73(4):648‑54.

24. Ogden GR, Green M, Ker JS. The use of interprofessional peer examiners in an objective structured clinical examination:

can dental students act as examiners? Br Dent J. 12 août 2000;189(3):160‑4.

25. Burgess A, Clark T, Chapman R, Mellis C. Senior medical students as peer examiners in an OSCE. Med Teach.

2013;35(1):58‑62.

15 26. Armitage AJ, Cahill DJ. Medical students and intimate examinations: What affects whether a woman will consent? Med Teach. 2018;40(12):1281‑6.

27. Zahid AZM, Ismail Z, Abdullah B, Daud S. Gender bias in training of medical students in obstetrics and gynaecology: a myth or reality? Eur J Obstet Gynecol Reprod Biol. mars 2015;186:17‑21.

28. Carson-Stevens A, Davies MM, Jones R, Chik ADP, Robbé IJ, Fiander AN. Framing patient consent for student involvement in pelvic examination: a dual model of autonomy. J Med Ethics. nov 2013;39(11):676‑80.

29. van Diggele C, Burgess A, Mellis C. Teacher training program for medical students: improvements needed. Adv Med Educ Pract. 1 avr 2015;6:265‑70.

30. Dandavino M, Snell L, Wiseman J. Why medical students should learn how to teach. Med Teach. sept 2007;29(6):558‑65.

LISTE DES FIGURES

Figure 1 OSCE Example ... 6 Figure 2 Global results of FE1, FE2, FE1&2, NPT tutors and T-test result of FE1&2 and NPT tutors ... 8 Figure 3 Topics results of FE1, FE2, FE1&2, NPT tutors and T-test result of FE1&2 and NPT tutors: ... 8 Figure 4 NPT tutors reliability in Bland Altman graphic. ... 9 Figure 5 NPT tutors perception ... 10

17

LISTE DES TABLEAUX

Tableau I Reliability results ... 9

Table des matières

LISTE DES ABREVIATIONS ... XI

RESUME ... 3

INTRODUCTION ... 4

MÉTHODES ... 5

RÉSULTATS ... 8

DISCUSSION ... 11

CONCLUSION ... 12

BIBLIOGRAPHIE ... 13

LISTE DES FIGURES ... 16

LISTE DES TABLEAUX ... 17

TABLE DES MATIERES ... 18 ANNEXES ... I Annexe 1 : exemples d’ECOS………I Annexe 2 : Questionnaire étudiants évaluateurs………..III

I

ANNEXES

Annexe 1 : exemples d’ECOS Sujet de neurologie :

Sujet de pneumologie :

Sujet de gastroentérologie :

Sujet d’orthopédie :

Sujet de réanimation :

III Annexe 2 : Questionnaire étudiants évaluateurs

DE LAVAL Marie, PENEAU Brice

Les pairs peuvent-ils évaluer un tutorat de sémiologie à l‘aide d‘ECOS ?

Mots-clés : Enseignement par les pairs, Evaluation par les pairs, ECOS, Etudiants médicales

Can semiology be taught and assessed on short OSCE by peers?

Keywords : Near peer teaching/ Peer assessment/ OSCE/ Undergraduate

R É S UM É

Objectif : Évaluation des pairs dans la notation d’examen clinique objectif et structuré (ECOS) à l’issue d’un enseignement de tutorat de sémiologie

Méthode : 80 étudiants de 2^e année de médecine ont suivi un enseignement de sémiologie animé par des pairs en 4^e, 5^e, 6^e années de médecine. A l’issue, un examen était organisé sous forme d’ECOS portants sur 5 items. Le jury était composé d’un pair (P) et de 2 médecins sénior (MS1 et MS2). A la fin des épreuves les pairs étaient interrogés sur leur expérience d’examinateur.

Résultat : Les scores totaux étaient de 3.58±1.09 pour MS1; 3.53±1.16 pour MS2, et 3.52 ±1.1 pour P et ne présentaient pas de différence statistique. L’ensemble des coefficients de corrélation intraclasse (CCI) était supérieur à 0.7 soit une corrélation forte, à l’exception du module urologie/gastroentérologie/gynécologie (CCI= 0.67). L’analyse de Bland Altman montrait également une corrélation forte (Biais : 0.04, IC95% : [-0.97 ;1.01]). Sur une échelle de 5 points, les pairs considèrent l’expérience favorable pour consolider leurs acquis (4.1 ±0.8) et augmenter leurs connaissances (4.8 ±0.5). Ils se sont sentis confiants dans leur rôle d’examinateurs (4.8 ±0.5).

Conclusion : L’évaluation d’un tutorat de sémiologie est réalisable par les pairs eux-mêmes.

AB ST RAC T

Aims: to evaluate peer examiner reliability and acceptability of undergraduate medical students assessment with objective structured clinical examination (OSCE) after a NPT program in semiology.

Methods: 80 second year undergraduate medical students were enrolled in a NPT program delivered by tutors being 4^th ,5^th or 6^th year undergraduate medical student. This program was evaluated by a set of 5-points OSCE grids. Assessment was performed by 1 NPT tutor and 2 FE on 5 stations. After session, tutors completed a feedback questionnaire.

Results: The total score was 3.58±1.09 for FE1; 3.53±1.16 for FE2, and 3.52 ±1.1 for NPT tutors and did not differ between examiners. Overall intraclass coefficient was upper 0.7 with a strong reliability, except for the matter of Urology/Gastroenteroly/Gynecology (ICC= 0.67). Results of Bland Altman graphic showed a strong reliability (Bias: 0.04, Limits of agreement: [-0.97;1.01]).

On a 5-point scale, NPT tutors considered the experience favorable for acquisition (4.1 ±0.8) and improvement of their clinical knowledge (4.8 ±0.5). They felt confident as examiners (4.4 ±0.5).

Conclusion: NPT in semiology can be effectively assessed by the means of OSCE by tutors themselves.