Critères d’évaluation

2.3.1. Activité sur la plateforme pédagogique

Le suivi automatique généré par le système de gestion de l’apprentissage de la plateforme a été utilisé pour suivre l’activité des chirurgiens-dentistes sur la plateforme pédagogique.

 Données recueillies

Pour chaque chirurgien-dentiste, les données suivantes ont été extraites : - la date de la première connexion à la plateforme pédagogique ;

- la date de « réussite » au test d’évaluation des connaissances du module 10, définie comme étant la date à laquelle le chirurgien-dentiste a atteint, pour la première fois, un taux de réponses correctes supérieur ou égal à 50% au test ;

- pour chaque mois de la période d’étude, le nombre de connexions à la plateforme pédagogique ;

- pour chaque mois de la période d’étude, le nombre de connexions aux adresses des documents pédagogiques ;

- pour chaque mois de la période d’étude, le nombre de connexions aux adresses des tests d’évaluation des connaissances.

 Variables statistiques construites

A partir des données recueillies, les variables suivantes ont été construites :

a) Pour chaque chirurgien-dentiste

- délai (en mois) entre la date de la première connexion à la plateforme pédagogique et la date de « réussite » au test d’évaluation des connaissances du module 10 (variable temporelle) ;

- nombre de connexions à la plateforme pédagogique entre le mois de la première connexion à la plateforme pédagogique et le mois de « réussite » au test d’évaluation des connaissances du module 10 (inclus).

b) Pour chaque mois de la période d’étude

- nombre de chirurgiens-dentistes en cours de formation théorique (variable quantitative discrète). Un chirurgien-dentiste a été considéré en cours de formation théorique pendant la période comprise entre la date de sa première connexion à la plateforme pédagogique et la date de la dernière réalisation du test d’évaluation des connaissances du module 10 enregistrée par le système de gestion de l’apprentissage de la plateforme ;

71 - nombre de chirurgiens-dentistes en cours de formation théorique et actifs sur la plateforme pédagogique (variable quantitative discrète). Un chirurgien-dentiste en cours de formation théorique a été considéré actif sur la plateforme pédagogique dès lors qu’il s’était connecté au moins une fois à la plateforme dans le mois considéré ;

- nombre moyen de connexions à la plateforme pédagogique par chirurgien-dentiste en cours de formation théorique et actif sur la plateforme pédagogique (variable quantitative continue) ;

- nombre moyen de connexions aux adresses des documents pédagogiques par chirurgien-dentiste en cours de formation théorique et actif sur la plateforme pédagogique (variable quantitative continue) ;

- nombre moyen de connexions aux adresses des tests d’évaluation des connaissances par chirurgien-dentiste en cours de formation théorique et actif sur la plateforme pédagogique (variable quantitative continue).

2.3.2. Tests d’évaluation des connaissances

Le suivi automatique généré par le système de gestion de l’apprentissage de la plateforme a été utilisé pour suivre la progression des chirurgiens-dentistes dans le parcours pédagogique.

 Données recueillies

Pour chaque chirurgien-dentiste et pour chaque test d’évaluation des connaissances proposé à la fin d’un module d’enseignement, les données suivantes ont été extraites :

- la (les) date(s) à laquelle (auxquelles) le test d’évaluation des connaissances a été réalisé, partiellement ou totalement ;

- le taux de réponses correctes atteint à chaque test d’évaluation des connaissances réalisé.

 Variables statistiques construites

a) Pour chaque chirurgien-dentiste et pour chaque test d’évaluation des connaissances proposé en fin de module d’enseignement, les variables suivantes ont été construites :

- nombre de réalisation du test d’évaluation des connaissances (variable quantitative discrète) défini comme étant le nombre de fois où le chirurgien-dentiste a réalisé le test ;

- réussite du test d’évaluation des connaissances (variable binaire : oui/non). Le test d’évaluation des connaissances a été considéré réussi si un taux de réponses correctes supérieur ou égal à 50% a été noté quelque soit le nombre de fois où le test a été réalisé ;

72 - succès à la première réalisation (variable binaire : oui/non). La première réalisation du test d’évaluation des connaissances a été considérée comme un succès si un taux de réponses correctes supérieur ou égal à 50% a été noté la première fois que le test a été réalisé par le chirurgien-dentiste ;

- réitération du test d’évaluation des connaissances après réussite (variable binaire : oui/non). La réponse était oui, si après la date de réussite du test, le système de gestion de l’apprentissage de la plateforme a de nouveau enregistré une participation au test ;

- taux de réponses correctes (en %) enregistré à la première réalisation du test d’évaluation des connaissances (variable quantitative continue) ;

- meilleur taux de réponses correctes (en %) enregistré pour le test d’évaluation des connaissances (variable quantitative continue), défini comme étant le taux de réponses correctes le plus élevé atteint au test par le chirurgien-dentiste.

b) Pour chaque chirurgien-dentiste, les variables suivantes ont été construites en considérant tous les tests d’évaluation des connaissances ensemble

- taux global de réponses correctes (en %) enregistré à la première réalisation des tests d’évaluation des connaissances (variable quantitative continue) calculé de la manière suivante : somme du nombre de réponses correctes obtenues à chaque première réalisation d’un test / somme du nombre de questions constituant chaque test *100 ;

- meilleur taux global de réponses correctes (en %) (variable quantitative continue) calculé de la manière suivante : somme du meilleur nombre de réponses correctes obtenues à chaque test / somme du nombre de questions constituant chaque test *100.

2.3.3. Calibration au recueil d’indicateurs cliniques de santé orale

Les réponses aux exercices de calibration (test-retest) des chirurgiens-dentistes ont été utilisées pour vérifier la faisabilité d’une calibration en ligne.

 Données recueillies

Ont été considérées pour chaque chirurgien-dentiste - la date de réalisation du premier exercice (test), - la date de réalisation du second exercice (retest), - les réponses aux 153 questions du « test », - les réponses aux 153 questions du « retest ».

73  Variables statistiques construites

Les variables statistiques suivantes ont été construites : a) Pour chaque chirurgien-dentiste

- respect du délai de 7 à 15 jours entre les dates de réalisation du « test » et du « retest » (variable binaire : oui/non) ;

- coefficient Kappa intra-observateur mesurant la concordance entre les réponses données par le chirurgien-dentiste aux questions du « test » et aux questions du « retest ».

b) Pour chaque paire de chirurgiens-dentistes

- coefficient inter-observateur au « test » mesurant la concordance entre les réponses données par les 2 chirurgiens-dentistes aux questions du « test » ;

- coefficient inter-observateur au « retest » mesurant la concordance entre les réponses données par les 2 chirurgiens-dentistes aux questions du « retest » ;

2.3.4. Sentiment de compétence

Un questionnaire (Questionnaire C) en 16 items a été développé par l’EA 4847 CROC, pour mesurer l’impact de l’enseignement théorique sur le sentiment de compétence des chirurgiens-dentistes (question formulée de la manière suivante : Aujourd’hui, vous estimez que vous êtes capable de …) dans 16 aptitudes requises pour la mise en place d’une action de promotion de la santé orale en établissement médico-social accueillant des personnes à besoins spécifiques en santé orale (Tableau 12).

Pour chacune des 16 aptitudes, les chirurgiens-dentistes ont été invités à évaluer la perception qu’ils avaient de leurs propres compétences en se situant sur une échelle visuelle analogique (présentée sous la forme d’une ligne horizontale non graduée de 10 cm) allant de 0 (pas du tout capable) à 10 (parfaitement capable).

Les chirurgiens-dentistes ont été invités à renseigner ce questionnaire, nominatif et daté, avant de débuter la formation et après avoir « réussi » le test d’évaluation des connaissances du dernier module d’enseignement (module 10).

Le questionnaire a été transmis aux chirurgiens-dentistes par courriel par le coordinateur de la formation. Les chirurgiens-dentistes pouvaient retourner le questionnaire renseigné à l’EA 4847 CROC par fax, par courriel ou par courrier.

74

Tableau 12 : Liste des 16 aptitudes requises pour la mise en place d’une action de promotion à la santé orale en établissement médico-social accueillant des personnes à besoins spécifiques en santé orale pour lesquelles les chirurgiens-dentistes ont évalué leur sentiment de compétence

N° de l’aptitude Libellé de l’aptitude 1

Rédiger le protocole d’un projet de prévention et d’éducation à la santé bucco-dentaire pour un établissement spécialisé ou un centre médicalisé hébergeant des enfants ou des adultes non autonomes.

2 Evaluer l’état de santé bucco-dentaire d’un enfant ou d’un adulte fréquentant un

établissement spécialisé ou un centre médicalisé.

3 ^{Evaluer les besoins en soins bucco-dentaires d’un enfant ou d’un adulte fréquentant un} établissement spécialisé ou un centre médicalisé.

4 ^{Evaluer les besoins en prévention bucco-dentaire d’un enfant ou d’un adulte fréquentant un}

établissement spécialisé ou un centre médicalisé. 5

Utiliser du matériel vidéo informatique simple (ordinateur et vidéoprojecteur) pour faire une présentation à un groupe de professionnels dans un établissement spécialisé ou un centre médicalisé.

6

Vulgariser pour un groupe de professionnels de l’éducation spécialisée ou de paramédicaux, la problématique de la santé bucco-dentaire, l’intérêt de l’hygiène, et les conséquences d’un mauvais état bucco-dentaire sur la santé et la qualité de vie d’un individu.

7 Prodiguer à l’intention d’un professionnel paramédical des conseils pour sa propre hygiène

bucco-dentaire. 8

Prodiguer à l’intention d’un professionnel de l’éducation spécialisée ou d’un professionnel paramédical des conseils sur les techniques de prévention et d’hygiène bucco-dentaire adaptées à un jeune adulte handicapé totalement opposant.

9

Prodiguer à l’intention d’un professionnel paramédical des conseils sur les techniques de prévention et d’hygiène bucco-dentaire adaptées à une personne âgée démente sujette aux fausses routes, nourrie et hydratée avec des produits gélifiés.

10

Faire à l’intention d’un professionnel de l’éducation spécialisée ou d’un professionnel paramédical une démonstration des techniques de prévention et d’hygiène bucco-dentaire adaptées à un jeune adulte handicapé présentant un réflexe nauséeux.

11 Identifier les obstacles à la prévention et à l’hygiène bucco-dentaire pour un enfant ou un

adulte non autonome résidant en collectivité dans un établissement spécialisé. 12

Identifier si la continuité des soins* est assurée pour un enfant ou un adulte non autonome résidant en collectivité dans un établissement spécialisé (*existe-t-il des praticiens et des services pour assurer les soins de ce type de patient ?).

13 ^{Rédiger un projet individuel de santé bucco-dentaire pour un enfant ou un adulte non} autonome résidant en collectivité dans un établissement spécialisé.

14

Gérer un programme de prévention et d’éducation à la santé bucco-dentaire pour des enfants, des adultes, et des personnes âgées non autonomes résidant en collectivité dans un établissement spécialisé.

15

Former un professionnel de l’éducation spécialisée ou un professionnel paramédical à contrôler l’efficacité des gestes d’hygiène bucco-dentaire (se brosser les dents, se rincer la bouche, cracher) d’un enfant ou d’un adulte semi-autonome (troubles moteurs) résidant en collectivité dans un établissement spécialisé.

16

Former un professionnel de l’éducation spécialisée ou un professionnel paramédical à faire un examen buccal sommaire pour identifier l’existence éventuelle de pathologies justifiant le recours aux soins.

75  Traitement des données recueillies

L’exploitation des questionnaires visait la constitution pour chaque chirurgien-dentiste, de 2 séries de 16 scores d’auto-évaluation du sentiment de compétence : la première série correspondant aux scores initiaux issus du questionnaire renseigné avant de débuter la formation, la deuxième série correspondant aux scores finaux issus du questionnaire renseigné après avoir réussi le test d’évaluation des connaissances du module 10.

Le score d’auto-évaluation du sentiment de compétence d’un chirurgien-dentiste pour une aptitude donnée a été défini comme la transcription de la distance (exprimée en cm avec un chiffre significatif après la virgule) entre le point 0 et le repère marqué par le chirurgien-dentiste sur l’échelle visuelle analogique correspondant à ladite aptitude.

Toutes les mesures ont été faites par un opérateur unique au moyen d’un réglet gradué en ½ mm, les mesures ont été arrondies à la graduation en mm la plus proche (si le deuxième chiffre après la virgule était un 5, alors l’arrondi a été fait par excès).

 Variables statistiques construites

Les variables statistiques suivantes ont été construites pour chaque chirurgien-dentiste :

a) Pour chaque aptitude

- score initial (variable quantitative),

- score final (variable quantitative).

b) Pour l’ensemble des aptitudes

- score global initial (variable quantitative), défini comme étant la moyenne des 16 scores initiaux,

- score global final (variable quantitative), défini comme étant la moyenne des 16 scores finaux.