Il s’agit de simulateurs permettant de reproduire une gestuelle dans un
environnement non réaliste. Il s’agit par exemple des pelvi-trainers pour la
chirurgie laparoscopique (25). Rock et al. ont proposé un modèle pour l’apprentissage de la ponction percutanée utilisant un gant rempli de produit de contraste enrobé dans un modèle de rein en gélatine (30). Bach et al. ont décrit un simulateur de résection trans-urétrale de prostate utilisant des tissus animaux placés dans une boîte en plastique (31).
3.3.2. Les simulateurs haute-‐fidélité
Ces simulateurs visent à reproduire aussi fidèlement que possible la procédure et son environnement. Cet objectif est en général atteint par l’utilisation de la réalité virtuelle, mais les simulateurs patients ou mannequins font également partie de cette catégorie.
4. Modalités de validation d’un simulateur chirurgical
4.1.Hier, aujourd’hui…
Les étapes de validation d’un simulateur ont plusieurs objectifs et devraient être indispensables avant sa diffusion et son utilisation pour l’enseignement. Ces objectifs sont résumés dans le Tableau 1.1.
Objectifs
Vérifier les qualités intrinsèques du simulateur (aspect, contenu, fiabilité) Vérifier que le simulateur est capable de discriminer novices et experts
Vérifier que les résultats obtenus sur le simulateur correspondent aux performances en situation réelle
Vérifier que les compétences acquises sur le simulateur peuvent être reproduites en situation réelle
Tableau 1.1 : Objectifs de la validation d’un simulateur
A chacun de ces objectifs correspond une étape de validation. Nous utilisons ici la terminologie rapportée dans l’article de McDougall et al. en 2007, dans sa traduction en langue française (32). Les différentes étapes de validation sont ainsi présentées dans le Tableau 1.2, et leur correspondance avec les objectifs initiaux dans le Tableau
1.3.
Étapes de validation subjectives
Validité apparente Le simulateur semble-t-il enseigner ce qu’il est supposé
enseigner (jugé par des novices) ?
Validité de contenu Le simulateur enseigne-t-il ce qu’il est supposé enseigner
(jugé par des experts) ?
Étapes de validation objectives
Validité intrinsèque/fiabilité Une même performance sur le simulateur donne-t-elle
toujours le même résultat ?
Validité de construit Le simulateur est-il capable de discriminer les novices et les
experts ?
Validité concurrente Les résultats obtenus sur le simulateur sont-ils corrélés aux
résultats mesurés sur un autre modèle validé ?
Validité prédictive Les compétences acquises sur le simulateur sont-elles
transférables en situation réelle ?
Objectifs Validités recherchées
Analyser les qualités intrinsèques du simulateur
Apparence Contenu Fiabilité Vérifier que le simulateur est capable de
discriminer novices et experts
Construit Vérifier que les résultats obtenus sur le
simulateur correspondent aux performances réalisées sur un modèle validé
Concurrente Vérifier que les compétences acquises sur le
simulateur peuvent être reproduites en situation réelle
Prédictive
Tableau 1.3 : Correspondance entre les objectifs et les validités correspondantes
Certaines étapes de validation concernent les qualités intrinsèques du simulateur : il s’agit ainsi de son apparence, de son contenu, de sa fiabilité ou du construit. Les étapes suivantes en revanche vont étudier les qualités extrinsèques au simulateur, sa capacité à enseigner une technique que les étudiants vont pouvoir reproduire en situation réelle.
La distinction entre validité concurrente et prédictive est difficile, et les deux termes sont souvent confondus dans la littérature. Selon la définition, on parlera plutôt de validité concurrente lorsque les résultats obtenus sur simulateur peuvent être comparés aux résultats obtenus sur un modèle validé faisant office de « gold-standard ». Dans les autres situations, on parlera plutôt de validité prédictive. Cette dernière étape nécessite de pouvoir quantifier les performances réalisées en situation réelle.
Certaines étapes de validation sont subjectives (voir Tableau 1.3) et donc très fréquemment soumises à des biais lorsque la validation est réalisée par l’équipe à l’origine du développement du simulateur. Les études de validation externe sont alors particulièrement intéressantes.
4.2.…Demain ?
Le concept de validation d’un simulateur chirurgical est en pleine évolution depuis le début des années 2010. Les différentes validités décrites dans la partie précédente et utilisées dans l’intégralité de la littérature sur le sujet seraient en effet obsolètes depuis…1985 (33).
En réalité, ce n’est pas tant la terminologie qui est obsolète que la finalité des différentes étapes de validation. L’enjeu, en effet, n’est plus uniquement de démontrer que l’outil est valide, mais de prouver qu’il peut être utilisé en tant qu’outil d’évaluation des compétences. Dans cet objectif, la validité est considérée comme une hypothèse, un processus jamais achevé nécessitant d’apporter des arguments permettant de valider ou non cette hypothèse.
Les différentes preuves ou arguments soutenant l’hypothèse (de la capacité du simulateur à évaluer les compétences) sont issues de 5 sources présentées dans le
Tableau 1.4 d’après le travail de revue de Noureldin et al. (34).
Preuves à apporter Comment ?
1 Contenu Prouver l’adéquation entre le contenu du
simulateur (tâches, scénarios, cursus) et l’objectif pédagogique recherché
2 Validité du système de notation Prouver que le score utilisé est pertinent pour
discriminer novices et experts
3 Structure interne Montrer la fiabilité/reproductibilité
4 Corrélation avec d’autres variables
Prouver que le résultat obtenu est corrélé à d’autres valeurs prouvant le niveau de l’étudiant : année d’étude, expérience, autre score, etc. (inclut les concepts de validité concurrente et prédictive)
5 Conséquences Montrer le rôle (bénéfique ou non) du résultat
obtenu sur simulateur : motivation pour travailler davantage, découragement, etc.
Tableau 1.4 : Concept moderne de validité d’un simulateur (34)
On voit que l’on retrouve dans ce tableau, sous une forme différente, les différentes validités décrites par l’ancienne terminologie. La littérature utilisant toujours exclusivement cette dernière, c’est bien l’ancienne terminologie qui sera utilisée pour la suite de cette thèse.