2013 Référentiel compétences et évaluation en MG1 Renoux Exercer 108

Un référentiel de compétences pour

une évaluation formative des internes

en stage de premier niveau en médecine

générale

Introduction

La validation du DES de médecine générale fait, depuis 1995, l’objet d’une réflexion permanente au sein du Collège national des généralistes enseignants (CNGE). L’objectif du CNGE est la formation de professionnels réflexifs, experts en médecine générale1_{. Dans cet} objectif, l’université doit « mettre en œuvre des moda-lités de validation qui permettent de s’assurer que les  étudiants ont acquis les compétences nécessaires à  l’exercice de la médecine générale et de les aider par  là même à s’auto-évaluer »2_{. Cette exigence} déonto-logique et sociale vise, in fine, la qualité des soins3_. Depuis 2004, le département universitaire de médecine générale (DUMG) de Tours a fait le choix d’adopter le paradigme d’apprentissage et ses outils tels que le portfolio et le tutorat4_{. Les compétences sont évaluées} par le tuteur en continu tout au long du DES dans le cadre d’un processus d’évaluation formative. Certaines compétences ne peuvent être acquises qu’à l’occasion du stage en médecine générale de premier niveau. Ces compétences sont cruciales, et la validation du DES passe par une validation soigneuse de leur acquisition.

Un outil spécifique évaluant et validant ces acquisitions est nécessaire. Le développement d’outils cohérents avec le paradigme constructiviste et validés est néces-saire pour évoluer vers une véritable certification des compétences des internes en médecine générale. C’est l’objectif actuel du CNGE et du DUMG de Tours. La première partie de cette étude avait pour objectif la rédaction d’un référentiel de compétence (RC) en médecine générale adapté au stage de premier niveau. L’objectif de la deuxième partie de cette étude était d’évaluer si le RC était utilisable et de recueillir des propositions de modifications.

Méthodes

Élaboration du RC

Le RC avait pour objectif principal d’évaluer, en situa-tion authentique, les compétences dont l’acquisisitua-tion et l’évaluation n’étaient possibles qu’en stage de méde-cine générale de premier niveau. Les compétences en médecine générale définies par le CNGE en 20065 _en concordance avec celles définies par la WONCA6 _ont

Département universitaire de médecine générale, université de Tours. Les auteurs déclarent n’avoir aucun conflit d’intérêts concernant le contenu de cet article. Mots-clés Certification Évaluation formative Stage en médecine générale Les auteurs tiennent à remercier Valérie Bamberger pour son travail dans le cadre de sa thèse d’exercice. Key words Certification Formative assessment General practice internshipp

servi de base au travail. La méthode de la construc-tion des échelles descriptives globales7 _{composées de} critères d’évaluation et de niveaux qualitatifs a été utilisée. Le groupe d’experts de la faculté de médecine de Tours devait :

• définir les compétences et/ou sous-compétences à évaluer en stage de niveau 1 ;

• pour chaque compétence, énumérer les divers critères à prendre en compte en évitant les détails superflus et les critères trop généraux ;

• décliner ces critères en quatre échelons d’évolution. Le groupe de travail réunissait l’ensemble des ensei-gnants du DUMG de Tours, tous maîtres de stage uni-versitaires (MSU), trois jeunes médecins remplaçants et un interne en médecine générale. Les objectifs des séances de travail, la liste des compétences en méde-cine générale6_{, la méthode d’élaboration et un exemple} d’échelle descriptive globale ont été fournis au groupe de travail avant la première séance.

L’objectif de la première séance était de sélectionner les compétences et d’élaborer une première version du RC. L’objectif de la deuxième séance était de valider les for-mulations du RC en vérifiant que tous les participants comprenaient de la même façon chaque échelle des-criptive. Le contenu de chaque niveau de compétence et tous les termes employés étaient discutés jusqu’à l’obtention d’un consensus.

Évaluation du RC

L’évaluation du référentiel avait pour objectifs : • d’apprécier le point de vue des MSU et des internes

sur le RC ;

• de connaître leurs points de vue sur l’utilité du RC pour l’évaluation et la formation des internes lors du stage en médecine générale de niveau 1 ;

• d’obtenir des propositions de modification du RC et de son mode d’emploi.

Une étude qualitative par focus group a été conduite. Le guide d’entretien explorait les modalités et la facilité d’utilisation de l’outil, sa forme, son utilisation pour la formation et l’évaluation de l’interne. L’étude a été proposée à tous les MSU et internes faisant leur stage en médecine générale de premier niveau de mai à octobre 2007 en région Centre, soit quatre internes et douze MSU. Le RC a été présenté à tous avec son objectif, sa forme et ses modalités d’utilisation puis uti-lisé au cours du semestre. Un appel téléphonique a été réalisé à trois mois de stage pour renforcer l’utilisation du RC et répondre aux questions des intervenants. Trois focus group ont été réalisés à l’issue du stage de six mois. Les verbatims ont été intégralement retrans-crits, puis une analyse thématique de contenu a été réalisée. Le recueil de données, la retranscription et l’analyse ont été réalisés par une interne dans le cadre d’un travail de thèse pour le doctorat de médecine.

Aucune relecture des données par les interviewés ou de triangulation des données n’était prévue. L’analyse a été encadrée par le directeur de thèse, qualifié en recherche qualitative.

Résultats

Élaboration du RC

Le groupe de travail comprenait cinq MSU, trois méde-cins remplaçants et un interne en médecine générale en stage ambulatoire en soins primaires en autonomie supervisée (stage de niveau 2). Les séances de travail ont eu lieu en novembre 2006 à la faculté de médecine de Tours. Elles ont duré respectivement 1h40 et 3h00. Le groupe de travail a choisi les compétences en méde-cine générale ne pouvant être acquises et évaluées seulement en situation authentique, lors du stage en médecine générale de premier niveau. Ont été exclues de l’évaluation :

• les compétences nécessitant un suivi du patient sur la durée, l’interne n’étant présent que de façon pério-dique au cabinet de ses MSU : Assurer la continuité  des soins dans la durée, Mettre en place l’éducation  thérapeutique ;

• les compétences pouvant être acquises lors des stages hospitaliers et facilement transposables en contexte ambulatoire : Exécuter avec sécurité les gestes tech-niques les plus fréquents en soins de premier recours,  Entreprendre et participer à des actions de dépistage  individuel et de dépistage de masse organisé ;

Gérer le premier contact avec les patients

1. Prendre en charge des problèmes de santé de premier recours non sélectionnés

2. Développer un processus spécifique de décision déterminé par la prévalence et l’incidence des maladies en soins primaires

3. Utiliser le temps comme outil décisionnel et tolérer (intégrer) l’incertitude dans la décision

4. Répondre de manière adaptée à la demande urgente d’un de ses patients

5. Adopter une approche centrée sur la personne du patient et son entourage en tenant compte du contexte personnel du patient

6. Créer une relation harmonieuse entre le médecin et le patient, en respectant son autonomie : manifester une écoute active et empathique

7. Gérer simultanément des plaintes et des pathologies multiples, aiguës ou chroniques, chez le même patient

8. Éduquer le sujet à la gestion de sa santé et de sa maladie : assurer la prévention des maladies

9. Fonder son raisonnement et sa synthèse sur les données actuelles de la science

10. Négocier avec le sujet pour aboutir à une prise en charge acceptable et acceptée

• les compétences pouvant être acquises hors contexte de soin : Respecter les obligations comptables et  fiscales, Maintenir et améliorer ses compétences par  une formation médicale continue validée, Évaluer ses  pratiques professionnelles ;

• les compétences ne pouvant pas toujours faire l’objet d’une évaluation directe lors du stage, faute de mise en situation : Organiser le temps de travail, Gérer les  situations d’urgence les plus fréquentes et les plus  graves en soins primaires ;

• les compétences faisant intervenir de façon trop importante la subjectivité de l’interne et de l’ensei-gnant, donc difficilement évaluables : Prendre en  compte ses émotions et celles du sujet, Intégrer dans  la pratique les principes éthiques : humanité, respect,  égalité, autonomie du patient ;

• les compétences dont l’acquisition se fait de façon autonome : Constituer et maintenir une trousse d’ur-gence adaptée à son lieu d’exercice.

Onze compétences ont été retenues par le groupe de travail (tableau 1), avec pour chacune quatre échelons. Les critères à prendre en compte pour l’évaluation de chaque compétence ont été tirés d’une revue de litté-rature8_{. D’autres publications ont étayé ces données} pour : créer une relation harmonieuse entre le médecin et le patient, en respectant son autonomie, manifester une écoute active et empathique9-13_{, fonder son} raison-nement et sa synthèse sur les données actuelles de la science14_{, gérer le premier contact avec les patients}15_. À chaque échelon est associée une valeur qualitative : « au-delà des attentes », « conforme aux attentes », « à améliorer », « insuffisant ». Le tableau 2 montre un exemple pour la première compétence.

Le mode d’emploi du RC, élaboré dans le cadre du paradig-me d’apprentissage, remplissait les conditions suivantes : • évaluation des internes en situation réelle lors d’une

consultation de médecine générale ;

• prise de connaissance du RC par l’interne ;

• décision partagée entre le MSU et l’interne du moment de l’évaluation et de la compétence à évaluer ; • discussion entre l’interne et le MSU à l’issue de

l’éva-luation avec détermination d’objectifs de progrès16_. Le travail a abouti à la rédaction d’une version expé-rimentale du RC (disponible sur le site de la revue exercer).

Évaluation du RC

Caractéristiques des trois focus group

Le premier groupe des MSU comprenait trois hommes et une femme de 51 ans d’âge moyen, le deuxième trois hommes de 55 ans d’âge moyen. Le groupe des internes comprenait deux femmes et un homme, en stage de premier niveau. Deux d’entre eux avaient pour projet professionnel de faire de la médecine générale, le dernier de la médecine d’urgence. Les entretiens ont été réalisés entre novembre 2007 et février 2008, à la faculté de médecine de Tours ou dans les locaux de l’Union régionale des médecins libéraux à Orléans. Évaluation par les MSU

Un outil d’évaluation

Selon les MSU, l’évaluation des internes en stage faisait partie de leurs fonctions. « On nous demande quand  même à la fin si “oui”, on le valide ». Ils ont exprimé un vif intérêt pour cet outil : « sur le principe, j’trouve que  c’est […] une excellente idée et […] c’est un, un instru-ment qui manque ». Une progression a été constatée au cours des entretiens dans la compréhension de la notion d’évaluation formative, méconnue au départ : « c’est le même outil qui sert à former et évaluer ». Ils avaient compris la volonté de formation et non de sanction de cet outil. Une confusion persistait entre la question de la validation du stage et l’évaluation des

Gestion des soins de santé primaire Gérer le premier contact avec les patients

(peut être compris de deux manières : premier temps de consultation ou première rencontre du malade) Au-delà des attentes Regarde le dossier avant la rencontre ; se présente ; attitude circonstanciée* : interne poli, souriant,

poignée de main, geste amical et humain, contact visuel avec le patient ; renseigne le patient sur un éventuel retard dans son programme de consultation ; crée les conditions adaptées au début de la consultation (ex : invite le patient à s’asseoir, à dire le motif de la consultation)

Conforme aux attentes Se présente ; attitude circonstanciée : interne poli, souriant, poignée de main, geste amical et humain, contact visuel avec le patient ; crée les conditions adaptées au début de la consultation (ex : invite le patient à s’asseoir, à dire le motif de la consultation)

À améliorer Attitude circonstanciée MAIS ne se présente pas OU ne crée pas les conditions adaptées au début de la consultation

Insuffisant défaut d’attitude : en particulier, manque de respect selon l’origine ou les mœurs ou le handicap du patient ; manque de politesse

Tableau 2. Première compétence du référentiel

* Attitude circonstanciée : le plus souvent interne poli, souriant, poignée de main, geste amical et humain, contact visuel avec le patient SAUF circonstances particulières qui doivent faire l’objet d’une discussion entre le maître de stage et l’étudiant et qui ne feront pas l’objet d’une évaluation.

compétences en médecine générale de l’interne. Cet outil « formalisé » était attendu, du fait de ses critères d’évaluation « précis » et « objectifs ». Il était « utilisable  en médecine générale », « peu contraignant » et « par-tageable avec les internes ». En revanche, il imposait de dégager un temps pédagogique spécifique pour l’évaluation de l’interne. Ce référentiel était un bon outil d’« auto-évaluation » pour les internes et pour les MSU eux-mêmes : « ça m’a donné matière à une  certaine autocritique ». Un MSU s’est interrogé sur sa légitimité à évaluer les compétences des internes, sa propre pratique n’ayant jamais fait l’objet d’une éva-luation : « nous en tant que maître de stage, on n’est  pas évalué non plus. On a une pratique qui n’est pas  évaluée […] Est-ce qu’on… est-ce qu’on est en droit  de… d’être de bons évaluateurs ? ». Les MSU ont relevé plusieurs limites de cet outil. Il ne tenait pas compte du semestre d’internat de l’étudiant. Le référentiel ne permettait pas de déterminer le niveau exact de com-pétence de l’interne, car ce dernier était confronté à une patientèle qu’il ne connaissait pas, et le nombre de niveaux de compétences était limité à quatre. Un outil de formation

Le référentiel était un bon outil de formation de par son contenu en adéquation avec la spécialité. Son objectif était de former des médecins « réflexifs ». C’était un outil d’autoformation pour les internes et les MSU : « Je me demande si le simple fait d’avoir  connaissance de ce document n’est pas déjà un outil  d’amélioration ». À partir du RC, des prescriptions pédagogiques étaient élaborées : « je vais lui donner  pour que… qu’il potasse ça et puis après qu’il voit un  peu ce qu’on […] voudrait de lui, quoi ». Selon les MSU, certains items manquaient tels : la gestion du temps au cours de la consultation, la gestion du cabinet médi-cal, maintenir et améliorer ses compétences par une formation médicale continue validée et la réalisation de certains gestes techniques. Aucune compétence n’était à supprimer, même si certaines paraissaient difficiles à évaluer : « Non, non, non, on n’en aurait  pas… enlevées, hein ?».

Le mode d’emploi du RC

Le mode d’emploi « trop cadré » a été suivi par un seul des MSU. Le nombre de compétences était élevé : « C’est un sacré boulot si on veut tout faire hein, parce  que honnêtement j’en ai fait deux-trois et puis, voilà  quoi ! ». Les internes ont parfois été réticents devant cette évaluation : « j’ai pas senti une euh… une grande  euh… une grande volonté d’être évalué avec cet outil-là », et plusieurs MSU n’avaient pas partagé l’outil avec l’interne : « moi, j’avais l’idée que, c’est, c’est le,  le maître de stage qui […] se met derrière, observe  et, et, et coche ». L’adhésion de l’interne leur a paru

primordiale. L’évaluation prenait du temps : « on s’est  très rapidement rendu compte que […] à l’issue des  consultations, on a fort peu de temps pour… pour  discuter de la consultation ». Tous les MSU se sont accordés sur la nécessité de consacrer un temps à cette évaluation. Ils ont proposé d’autres modes d’em-ploi : évaluer plusieurs compétences sur deux ou trois consultations exemplaires ou évaluer une compétence sur une demi-journée de consultation, avec une fré-quence hebdomadaire. Ils demandaient une formation préalable à l’utilisation du RC, pour les MSU et les internes. Ils pensaient tous réutiliser cet outil au cours des semestres suivants.

La forme du RC

Le RC était trop complexe pour que les MSU l’aient en tête. Le nombre de niveaux n’a pas été remis en cause. Les niveaux « conforme aux attentes » et « au-delà des attentes » semblaient trop proches dans leur contenu.

Évaluation par les internes

L’évaluation était un besoin : « Mais même quand ça  se passe bien, je veux dire, on a toujours des choses  à améliorer et personne ne nous dit… ». Elle éclairait l’interne sur les compétences à acquérir et le stimulait. En revanche, elle générait du stress : « j’ai eu l’im-pression d’être tout le temps… regardé d’un, d’un  œil critique. »

Un outil d’évaluation Les internes attendaient qu’il : • soit « simple » à utiliser ;

• soit connu et partagé avec le MSU : « Il faut le connaî-tre (…) dès les premiers jours du stage » ;

• évalue des compétences spécifiques à la médecine générale en situation authentique : « C’est bien la  preuve que ce n’est pas adapté, si c’est le même outil  que dans le stage en milieu hospitalier », « C’est des  compétences pratiques […] ce qu’on doit mettre en  œuvre » ;

• permette une évaluation continue et des échanges permanents avec le MSU : « Il faut faire une évalua-tion de stage sur six mois et pas sur deux jours » ; • justifie une éventuelle non-validation du stage par

des critères objectifs : « en validation, il faut quand  même justifier, quoi ».

Le RC répondait à ces critères mais était trop complexe (« je pense qu’il faut le simplifier »), difficile à s’ap-proprier et à utiliser avec le mode d’emploi préconisé (« Et j’ai trouvé pas très facile à… à manier, en fait »). Il laissait une part de subjectivité au MSU qui était influencé par sa propre pratique : « j’avais un maître  de stage qui faisait un interrogatoire très poussé et  qui laissait les gens s’exprimer complètement. Donc il 

posait une question et il attendait que la personne ait  complètement fini. Ça pouvait durer, euh…, 3-4 minu-tes sans qu’il dise, euh…, rien du tout, même plus. Et  j’avais un autre maître de stage qui était au contraire  très, euh…, directif dans son interrogatoire […], du  coup, moi je me suis retrouvé à plus être vers la per-sonne qui laissait parler les gens et donc avec ce maître  de stage-là, l’interrogatoire c’était, euh…, “au-dessus  des attentes”, enfin bref, parce que ça correspondait  à son mode d’interrogatoire et avec l’autre médecin,  c’était (…)…, “conforme aux attentes” ». Le RC ne prenait pas en considération le semestre de l’interne. La méconnaissance des patients et la présence per-manente du MSU faussaient l’évaluation de certaines compétences. Les internes ont proposé d’utiliser le référentiel sur toute la durée de l’internat, l’objec-tif étant que tous parviennent au niveau « conforme aux attentes » en fin de parcours : « Enfin, peut-être  que le but c’est que au début de l’internat on soit “à  améliorer” et que à la fin, voilà, on soit “conforme aux  attentes”». Le référentiel n’a pas été perçu comme un outil d’auto-évaluation pendant le stage, mais seule-ment à la lumière des échanges lors des focus group :  « C’est vrai que moi, je me suis pas trop approprié,  euh…, dans ce sens-là le, l’outil, en fait ».

Un outil de formation

Pour les internes, la simple connaissance du RC était formatrice. « J’ai bien apprécié la description de la, de  la compétence, comment il faudrait être par rapport à  cette compétence, parce que ça donne des repères. » Des objectifs de progression étaient régulièrement fixés : « De faire des points réguliers, pour voir où est-ce que tu en es de ta formation, quoi ».

Mode d’emploi

Le RC a été peu utilisé au cours du semestre par les MSU (« on l’a vu une fois et puis après il l’a plus du tout  utilisé »), en raison des ambiguïtés du mode d’emploi. Certaines compétences semblaient difficiles à mettre en œuvre lors du stage : répondre de manière adaptée à la demande urgente d’un patient, développer un processus spécifique de prise de décision déterminé par l’incidence et la prévalence des maladies en soins primaires. Ce ressenti est expliqué par une mauvaise compréhension des compétences par l’interne ou une méconnaissance de celles-ci par les MSU. Les niveaux de compétences « conforme aux attentes » et « au-delà des attentes » étaient difficiles à différencier : « … c’est la même chose en fait. ». Les MSU n’ont pas libéré de temps spécifique pour l’évaluation : « les  médecins n’ont pas forcément beaucoup de temps  avant et après les consultations pour prendre le temps  de… nous évaluer » . Ils laissaient rarement la main aux internes sur les consultations :

« C’est vrai qu’il y a cer-tains maîtres de stage qui même si ils veulent bien faire  et te laisser faire […] à la fin de la consult tu t’aperçois  que c’est eux qui ont pris le… le pouvoir et c’est eux qui  retournent au bureau faire l’ordonnance ». À l’opposé, certains internes ont réalisé dès le début du stage des consultations seuls, et cet outil n’était pas adapté à la supervision indirecte : « En gros, le premier mois ils  étaient un petit peu avec moi, mais […] après […] j’étais  toute seule, donc on n’a pas trop pu l’utiliser ». Aucun interne ne s’était approprié le RC du fait du nombre élevé de compétences. Les internes, à l’issue des focus group, prônaient une utilisation « d’une demi-heure à une heure hebdomadaire » du RC. Cette fré-quence prenait en compte la variabilité de la performance d’un interne en fonction du moment et de la consultation et permettait une évaluation continue de la progression en situation authentique, sans le stress de performance des examens. Les internes n’étaient pas demandeurs d’une formation à l’utilisation du RC : « faut voir… ».

La forme du RC

Le référentiel contenait trop de pages, de détails et de niveaux : « Quatre possibilités, ça me semble trop ». Le niveau « au-delà des attentes » pouvait être supprimé. Son esprit « élitiste » risquait de donner une vision stéréotypée de l’interne idéal. Le terme « insuffisant » était « péjoratif », mais aucune alternative (« à amé-liorer, à refaire, à retravailler ») n’a fait l’unanimité dans le groupe.

Discussion

Au cours de cette étude, un RC pour l’évaluation des internes en stage de premier niveau en médecine géné-rale a été élaboré et testé.

Élaboration du RC

L’élaboration du RC a suivi la méthode décrite par Popham7_{, auteur le plus explicite dans la} construc-tion d’échelles descriptives globales. La progression d’un interne est dépendante de la précision de l’outil d’évaluation utilisé et de la qualité des échanges avec le MSU17_{. Quatre niveaux semblaient suffisants pour} évaluer l’acquisition de compétences et évitaient un outil trop complexe. Les termes « à améliorer » et « insuffisant » tenaient compte du fait que les évalua-teurs hésitaient souvent à choisir les échelons à conno-tation négative18-19_{. Le niveau « au-delà des attentes »} était un niveau d’expertise, pour motiver les internes qui seraient d’emblée « conformes aux attentes ». Une évaluation analogique a été préférée à une éva-luation numérique qui biaise parfois le jugement des examinateurs20_.

L’élaboration correcte d’un outil suppose la participa-tion de toutes les catégories de personnes qui seront

amenées à l’utiliser. Le groupe de travail comprenait des enseignants en médecine générale, tous MSU, parta-geant les mêmes préoccupations en matière d’évaluation formative dans le cadre du paradigme d’apprentissage. Les jeunes médecins ont été aidés par leur expérience et leur recul par rapport au stage pour exprimer plus aisément leurs opinions que des internes. L’interne fai-sait part au groupe des aspirations, préoccupations et remarques de ses collègues. La composition du groupe de travail était idéale pour garantir une élaboration correcte de l’outil.

Évaluation du RC

Pour l’évaluation de ce RC, une méthode qualitative a exploré les opinions et attentes des deux popula-tions utilisatrices. La technique des focus group a été préférée à celle des entretiens individuels pour des raisons pratiques, en l’absence d’évocation d’un sujet sensible. En séparant les MSU des internes, les rapports d’influence ont été évités. Au sein de chaque groupe, l’interaction entre des individus se connaissant bien a favorisé l’émergence d’idées nouvelles.

Le développement d’un outil spécifique pour l’évalua-tion des compétences acquises en stage de premier niveau était devenu indispensable au maintien de l’exi-gence de la formation des internes au DUMG de Tours. La durée de l’étude a été volontairement restreinte à celle d’un stage, pour permettre un déploiement rapide du RC à grande échelle. En 2007, la grande majorité des internes réalisaient leur stage de premier niveau lors d’un semestre d’hiver. La population de l’étude était très restreinte lors de ce semestre d’été et la saturation théorique des données n’a pas été atteinte. Néanmoins, la richesse des échanges et la diversité des thèmes abordés suggèrent que la majorité des éléments pertinents ont été recueillis. L’échantillonnage des MSU était varié, favorable à un travail qualitatif. Les internes étaient tous en fin de DES. La présence d’internes moins expérimentés aurait probablement apporté d’autres données. L’analyse a été supervisée par un chercheur expérimenté en recherche qualitative mais sans triangulation.

Le RC : un outil d’évaluation formative

Le RC est apparu comme un outil d’évaluation plus objectif que la grille utilisée auparavant. Une part de subjectivité persiste, mais elle est inhérente à l’évalua-tion par compétences qui s’appuie sur des procédés plus qualitatifs que quantitatifs. Plusieurs facteurs sont difficiles à contrôler :

• la connaissance qu’un MSU peut avoir d’un interne (préjugé favorable ou défavorable) ;

• sa préférence à l’égard de certaines compétences ou certains aspects de cette compétence ;

• la sévérité ou l’indulgence propre à chaque évaluateur17_.

Des moyens sont mis en œuvre pour limiter cette sub-jectivité, comme l’existence de trois lieux de stage et de trois évaluateurs différents par interne. Toute divergence d’évaluation significative entre les MSU fait l’objet d’un questionnement au niveau du DUMG. La discussion entre l’interne et le MSU à l’issue de l’éva-luation limite cette subjectivité en favorisant la prise de conscience et les transformations de l’habitus. Elle suscite chez l’interne et le MSU une pratique réflexive : observation et analyse de sa propre action et de ses fonctionnements pour en comprendre les mécanismes intimes. L’observation mutuelle lors du stage nourrit cette discussion, à condition que l’interne et le MSU acceptent chacun d’apprendre de l’autre.

L’absence de prise en considération du semestre de l’in-terne a été reprochée. Cette remarque montre une incom-préhension sur l’objectif de cet outil. Le stage en médecine générale de premier niveau ne représente que l’une des nombreuses étapes du DES. Toutes les compétences ne sont pas acquises à l’issue de ce stage. C’est au terme du DES que toutes les compétences devront être certifiées, et c’est grâce à la multiplication des évaluations argu-mentées (par le tuteur, par les MSU, par les validations de stages hospitaliers…) qu’elles pourront l’être. L’évaluation en contexte de stage ne rendrait pas compte des compétences optimales de l’interne du fait de sa méconnaissance des patients. Les conditions d’exercice de l’interne en stage sont comparables à celles du médecin remplaçant. La méconnaissance des patients fait partie de l’évaluation en situation authentique. Il importe de s’assurer que le niveau de compétence de l’interne est au minimum « conforme aux attentes » en situation authentique et non de rendre compte de ses compéten-ces optimales.

Selon les internes, leur performance serait altérée par la crainte du jugement et la présence de l’évaluateur à leurs côtés. Ce biais est atténué par la répétition des évaluations sur les six mois. L’interne n’est pas tributaire de situations particulières, et les compétences ne sont pas jugées sur les performances d’une seule journée. La discussion entre l’interne et le MSU à l’issue de l’évaluation permet à l’interne de justifier les attitudes ou/et les décisions prises.

Contenu du RC

Le contenu du RC est en adéquation avec la pratique en médecine générale. Toutefois, certaines compétences semblaient difficiles à évaluer. La compétence « répondre de manière adaptée à la demande urgente d’un de ses patients » a été considérée comme exceptionnellement mise en œuvre par les internes. Ceci est lié en partie au fait qu’elle a systématiquement été envisagée comme la capacité de répondre à une urgence vitale. Dans le référentiel, le terme d’urgence est pourtant explicitement décliné en urgence vitale, vraie, ressentie ou de confort.

Par ailleurs, les MSU ont proposé l’adjonction de com-pétences qui font parfois défaut aux internes : la ges-tion du temps au cours de la consultages-tion, la gesges-tion du cabinet médical, maintenir et améliorer ses compéten-ces par une formation médicale continue validée et la réalisation de certains gestes techniques. Elles n’ont pas été retenues parce qu’elles peuvent être acquises en dehors du cabinet de médecine générale ou sont plus spécifiques du stage de niveau 2. Leur ajout rendrait le référentiel plus volumineux et difficile à maîtriser. Enfin, le RC a été élaboré en 2006, sur la base de la liste des compétences utilisée à l’époque5_{. Cette liste} a depuis été refondue21_{. Une nouvelle version du RC} qui tienne compte de ces dernières avancées est en cours d’élaboration.

Forme et utilisation du RC

Les participants ont trouvé le RC trop volumineux et complexe. Le principe et l’intérêt des échelles descripti-Le principe et l’intérêt des échelles descripti-ves n’ont pas été compris par tous. Une ignorance des principes de l’évaluation par compétence et du paradigme constructiviste a été constatée. Chaque MSU et chaque interne adhèrent de façon plus ou moins inconsciente à un paradigme donné selon son âge et son expérience. Un MSU qui adhère au paradigme humaniste et s’op-pose spontanément à la notion d’évaluation a du mal à en réaliser une16_{. Les MSU et les internes adhérant au} paradigme d’enseignement n’associent pas les activités d’enseignement et d’évaluation, et s’opposent à l’évalua-tion formative. Ils envisagent difficilement d’utiliser l’éva-luation pour développer les apprentissages. L’éval’éva-luation est restreinte à la validation ou non du stage. Certains MSU ou internes auraient préféré une grille où cocher « fait » ou « pas fait » pour chaque élément descriptif de la compétence. Donner au référentiel une telle forme entraînerait une perte de signifiance de la compétence du fait de sa fragmentation. Il s’inscrirait alors dans une logique d’enseignement par objectifs. Le MSU doit juger de l’acquisition d’une compétence : c’est-à-dire la mise en œuvre harmonieuse d’un ensemble de critères décrivant cette compétence. Conserver une forme d’outil traduisant cette interactivité des composantes de la compétence est essentiel16_{. Une formation au paradigme d’apprentissage,} au référentiel et une simplification du mode d’emploi pourraient lever ces obstacles.

L’intérêt du niveau « au-delà des attentes », discrédité par certains internes et MSU, peut être discuté. Le but du RC est de certifier que le niveau « conforme aux attentes » est atteint ou de souligner des manquements importants dans l’acquisition d’une compétence afin de donner des objec-tifs de progrès. Une échelle descriptive avec trois niveaux suffirait. La suppression de ce niveau simplifierait l’outil. Toutefois, l’interne ne connaîtra plus les caractéristiques d’un excellent travail lui permettant de devenir un médecin expert, comme le préconise le paradigme d’apprentissage.

Les niveaux à connotation péjorative deviendraient alors dominants, ce qui n’est pas valorisant pour les internes. Une imprécision du mode d’emploi a été constatée. L’expérimentateur avait choisi d’évaluer une compé-tence sur une consultation donnée. Le but était de simplifier la tache des MSU et internes qui n’avaient pas eu de formation pour maîtriser l’outil et de diminuer leur investissement en temps. Les MSU ont débattu sur le nombre de compétences à évaluer et ont compris qu’on devait choisir par avance une compétence et la tester sur une consultation. Ceci est impossible, car toutes les compétences ne sont pas mises en œuvre lors d’une consultation. Cet élément devra être précisé clairement sur le mode d’emploi.

Peu de temps a été dégagé par les MSU pour l’évalua-tion et la discussion avec l’interne. Le manque de temps était la principale raison évoquée. Pourtant, tous les MSU se sont accordés sur la nécessité de dégager au moins une heure par semaine pour cette évaluation. La multiplication des évaluations au cours du semestre est fondamentale pour couvrir l’ensemble des compé-tences et observer une progression.

Il n’a pas été possible de comparer cet outil à d’autres, car aucune grille qualitative globale d’évaluation de compé-tence n’a été trouvée dans la littérature. Ce RC ne peut évi-demment pas être comparé à d’autres outils (ECOS,TCS…) qui ne sont pas construits pour évaluer la même chose. Ses concepteurs s’attacheront maintenant à l’adapter à l’évolution des compétences. Une annexe pointant les situations cliniques propices à l’évaluation des six com-pétences principales qui constituent la « marguerite des compétences » pourrait simplifier le travail des MSU.

Conclusion

Cette étude a permis l’élaboration d’un RC et montré qu’il était perçu comme un outil pertinent et adapté pour l’évaluation formative des internes en stage de premier niveau en médecine générale. Le référentiel participe à la formation des internes et des MSU. Il permet une évaluation et une auto-évaluation des internes répondant mieux à leurs attentes que la grille préexistante. Il suscite une pratique réflexive pour les MSU et les internes. Les critères d’évaluation sont en adéquation avec la réalité de la médecine générale. Ce RC est utilisé depuis 2008 pour la validation du stage de premier niveau en médecine générale au DUMG de Tours. À l’heure de la publication récente du référentiel métier et de la réflexion pédagogique des enseignants du CNGE sur les compétences et les indicateurs de leur acquisition, une mise à disposition à grande échelle d’une version actualisée de cet outil et une évaluation de son implantation semblent nécessaires. Seule une étude quan-titative, conduite auprès d’un échantillon représentatif d’internes et de MSU formés, le validerait.

Résumé

1. Attali C, Bail P, Magnier AM, et al. Diplôme d’études (D.E.S.) : certifier la compétence des internes à exercer la médecine générale. La Revue du Praticien-Médecine Générale 2005;19: 1237-8.

2. Comité national d’évaluation des établissements publics à carac-tère scientifique, culturel et professionnel. Le troisième cycle de médecine générale dans les universités françaises. CNE 1998;25:2. Disponible sur : http://www.cne-evaluation.fr/WCNE_ pdf/Bulletin25.pdf.

3. Magnier AM, Beis JN, Ghasarossian C, et al. La certification des médecins : une exigence sociale ? exercer 2005;74:7. Disponible sur : http://www.parisouest.cnge.fr/doc/Magnier_Beiss.pdf. 4. Renoux C, Potier A. Former les internes de médecine générale :

un long fleuve tranquille ? exercer 2010;90:15-9.

5. Attali C, Bail P, Magnier AM, et al. Compétences pour le DES de médecine générale. exercer 2006;76:31-2.

6. Groupe de travail de certification du CNGE. Les compétences du médecin généraliste. exercer 2005;74:75-114.

7. Popham WJ. Modern educational measurement: practical gui-delines for educational leaders, 3rd ed. London : Pearson,2000: 288-92.

8. Gay B, Le Goaziou MF, Budowski M, et al. Médecine générale. Paris : Masson, 2003.

9. Simpson M, Buckman R, Stewart M, et al. Doctor-patient communi-cation : the Toronto consensus statement. BMJ 1991;303:1385-7. 10. Balint M. Le médecin, son malade et la maladie. Paris : Payot,

1973.

11. Rogers C. Le développement de la personne, 2e _{ed. Paris : Dunod,}

2005.

12. Baartts C, Tulinius C, Reventlow S. Reflexivity-a strategy for a patient-centred approach in general practice. Fam Pract 2000; 17:430-4.

13. Hall ET. La dimension cachée. Paris : Seuil, 1971.

14. Haute autorité de santé. Guide d’analyse de la littérature et grade des recommandations. Paris : HAS, 2000. Disponible sur http://www.has-sante.fr/portail/upload/docs/application/ pdf/analiterat.pdf.

15. Union professionnelle des médecins libéraux de la région Rhône-Alpes, collège des généralistes. Qualité de l’accueil des patients dans les cabinets de médecine générale en région Rhône-Alpes. Lyon : UPML-RA, 2003. Disponible sur http://www.urps-med-ra. fr/upload/urmlra/urm_etude/pj/accueilcabinetmedecin.pdf. 16. Tardif J. L’évaluation dans le paradigme constructiviste. In :

Hivon R (eds.). L’évaluation des apprentissages : réflexions, nouvelles tendances et formation. Sherbrooke : Éditions du CRP, 1993:27-56.

17. Scallon G. L’évaluation des apprentissages dans une approche par compétences. Bruxelles : de Boeck, 2004:183-201. 18. De Haes JC, Oort FJ, Hulsman RL. Summative assessment of

medical student’s communication skills and professional attitu-des through observation in clinical practice. Med Teach 2005; 27:583-9.

19. Korszun A, Winterburn PJ, Sweetland H, Tapper-Jones L, Hous-ton H. Assessment of professional attitude and conduct in medical undergraduates. Med Teach 2005;27:704-8. 20. Normand S. Recommandations pour l’élaboration et l’utilisation

de grilles standardisées d’observation pour évaluer les apprentis-sages dans les programmes d’études médicales. Faculté de méde-cine de Montréal : 2006. Disponible sur http://www.medbev. umontreal.ca/docimo/DocSource/Recommandations_Grilles_ observation.pdf.

21. Compagnon L, Bail P, Huez JF, et al. Définitions et descriptions des compétences en médecine générale. exercer 2013;108:148-55.