Dans ce chapitre, nous reviendrons sur l’ensemble des travaux exposés dans ce manuscrit. Tout d’abord, ensection7.1, nous présenterons un rapide rappel des différentes contributions. Nous proposerons ensuite, en section 7.2 quelques perspectives pour poursuivre ces travaux de recherche. Pour finir, nous discuterons en section 7.3 des domaines d’application de nos travaux.
7.1 R
APPEL DES CONTRIBUTIONSL’idée principale sous-tendant le projet « Living Book of Anatomy » [36] est, pour un utili-sateur donné, de superposer à sa propre image une maquette anatomique utiliutili-sateur-spécifique 3D (peau, squelette, muscles et organes) et de l’animer en mimant les mouvements de celui-ci. Il s’agit ici d’une application temps-réel de type « miroir augmenté». Trois défis devaient donc être relevés.
7.1.1 Anatomie personnalisée
Ce premier défi consiste à personnaliser une maquette anatomique de référence en temps-réel ou temps interactif, à partir de caractéristiques morphologiques de surface (mensurations de l’utilisateur) capturées sur la silhouette utilisateur 2D Kinectsouvent partielle et bruitée. La qualité de l’expérience en RA en dépend directement. Notons qu’il serait intéressant de connaître la précision de la silhouette pour en déduire l’impact sur les résultats.
Nous avons présenté en chapitre4 deux méthodes de recalage interchangeables en fonc-tion des besoins en termes de temps de calcul et de qualité des résultats. La première méthode, appelée « recalage par skinning » et introduite ensection4.3, a été développée complètement au cours du doctorat. La seconde méthode, appelée « recalage complexe » introduite en sec-tion4.4, étend la méthode « Anatomy Transfer » développée précédemment à ce doctorat par Dicko et collègues [88].
Nos méthodes se démarquent grâce à des résultats anatomiquement corrects (voir définition en
section4.1), réalistes malgré l’utilisation de caractéristiques morphologies simples et robustes
malgré le port de vêtements lors de la capture.
La méthode temps-réel du recalage par skinning, est insuffisante pour gérer des postures éloignées de celle de la maquette de référence et gère mal les tissus mous. La méthode temps-interactif du recalage complexe vise à lever les limitations de l’approche précédente, elle est définie en plusieurs étapes successives.
Pour paramétrer le temps de calcul du recalage, nous avons proposé plusieurs enveloppes englobantes aux topologies plus ou moins complexes (enveloppe de peau de la maquette de référence ou cage de déformation figure4.10). Plus la peau est simplifiée et plus le recalage sera rapide, par contre plus la peau est simplifiée et moins la maquette sera déformée donc le résultat sera plus éloigné de l’anatomie utilisateur.
En ajoutant des repères de contrôle au niveau des articulations nous gardons leur cohérence anatomique : pas d’interpénétration des os ni d’espacement incorrects. Cela nous permet éga-lement de définir les degrés de liberté ainsi que les butées articulaires associées pour éviter les rotations non-anatomiques que l’on pourrait trouver, dans le cas par exemple, d’un utilisateur se trouvant dans une posture très éloignée de celle de la maquette anatomique de référence.
Nous innovons également par rapport à la méthode du transfert d’anatomie [88] en définis-sant pour chaque type d’os un nombre de repères de contrôle différent. Cela permet d’avoir un
modèle plus modulaire : les types osseux sont définis en fonction de la forme de ceux-ci et per-mettent d’obtenir plus de cohérence dans le modèle final. Cela permet également de garder les os longs droits en toutes circonstances, ou encore d’obtenir une déformation moins importante au niveau des têtes osseuses ce qui permet un résultat plus correct grâce à la mise en place de zones d’intérêts.
Nous avons également comparé les résultats des méthodes ensection4.5.1pour connaître les variabilités apportées par chaque méthode. Une amélioration proposée ensection4.7serait un recalage hybride permettant d’obtenir le meilleur résultat possible en temps-réel.
Comme cela a été démontré à travers la validation des résultats grâce à des images IRM en
section 4.6, nos méthodes permettent d’obtenir une maquette utilisateur-spécifique
suffisam-ment précise pour donner à l’utilisateur l’illusion de voir à travers son propre corps.
Nous reprendrons ici deux points que nous jugeons important de réaliser prochainement : la gestion des tissus adipeux lors du recalage ; et une validation plus précise des résultats, basée sur un nombre plus conséquent de données IRM.
7.1.2 Capture et restitution de mouvements
Ce second défi consiste en la capture réaliste et temps-réel des mouvements utilisateurs dans le but de reproduire le comportement des structures anatomiques, à partir de données Ki-nect, souvent partielles et bruitées. Nous avons présenté en chapitre5notre structure de contrôle hiérarchique basée sur des connaissances anatomiques (axes de rotation et butées articulaires). Nous avons déterminé ce second défi pour pouvoir étudier l’anatomie en mouvement à partir de capteurs légers, dans le but d’une installation et d’une utilisation de l’outil en dehors d’une salle spécialisée.
Notre système de capture temps-réel se démarque grâce à :
— des mouvements réalistes : avec l’utilisation de connaissances anatomiques pour la cor-rection des données d’entrée ;
— des mouvements fluides et robustes : avec l’application d’un filtre sur les données brui-tées ;
— des mouvements cohérents : grâce à la suppression d’une partie des artefacts avec les corrections articulaires et l’application du filtre.
Nous avons également évalué notre système de capture grâce à une première étude utilisateur disponible enannexeC, et dont les résultats sont discutés ensection5.5. Grâce à cette étude, nous avons pu déterminer que le point le plus critique, pour notre système de capture, est la gestion de données très occultées : dues à l’orientation du corps par rapport au point de vue caméra, ou encore dues à de l’auto-occultation. L’exploitation de la carte de profondeur de la
Kinectpourrait permettre de gérer en partie ces occultations. L’utilisation d’un modèle
biomé-canique, même partiel, pourrait également corriger une partie des artefacts dus à l’occultation et ainsi aider à améliorer nos résultats.
7.1.3 Intégration, visualisation et expérimentation
Il existe plusieurs « miroirs interactifs » permettant de visualiser et d’interagir avec du contenu anatomique (voir section 2.3.4) ; chacun ayants ces points forts et points faibles dé-pendant du but que les auteurs se sont donné à atteindre.
Avec une dominante intégrative, le dernier défi concerne la réalisation d’un noyau opéra-tionnel du LBA permettant visualisation et interaction avec du contenu anatomique. Nous nous sommes tout particulièrement intéressés à une visualisation temps-réel du système musculo-squelettique (voirsection3.1.2) :
— Visualisation du corps complet : pour expliquer le fonctionnement articulaire du corps. — Visualisation des membres inférieurs : pour présenter des phénomènes anatomiques
spécifiques, comme l’activité musculaire.
Parmi les travaux futurs, l’interfaçage avec notre base de connaissances symboliques struc-turées (voirsection3.2.3), semble être primordial. Grâce à cette connexion, il sera possible de développer des interfaces plus complexes permettant d’interagir avec le contenu symbolique et ainsi créer des leçons anatomiques pour l’apprentissage de notions en lien avec une zone ou un système anatomique spécifique.
Dans lasection7.3.1traitant des applications possibles de ce travail dans le domaine mé-dical et para-mémé-dical, nous présenterons quelques exemples concrets d’études, dans lesquels pourront s’intégrer nos travaux.
À travers la présentation de nos travaux lors de différentes conférences et salons (voir an-nexeD), sous forme de démonstration, nous avons développé différentes interfaces en fonc-tion des objectifs à atteindre. La pertinence de l’outil dans le cadre de l’auto-apprentissage de connaissances anatomiques complexes et dynamiques reste à valider. Nous espérons, dans un futur proche construire et valider un outil complet, avec l’aide d’étudiants et d’enseignants en anatomie humaine.
7.2 P
ERSPECTIVESDans la section précédente (voirsection7.1), nous avons synthétisé les différentes contri-butions développées dans ce manuscrit, ainsi que les pistes d’amélioration à court terme. Nous exposons ici des perspectives à appliquer sur le long terme.
Capture et restitution
Les travaux présentés dans le chapitre5 permettent de capturer les mouvements de l’uti-lisateur. Une suite logique de ces travaux serait de faire de la reconnaissance de mouvements pour permettre d’afficher du contenu en lien direct avec le mouvement de façon automatique.
Nous avons énoncé à plusieurs reprises l’aspect critique de la capture de mouvement ; une approche multi-capteurs ou l’utilisation d’un capteur plus performant semble une idée intéres-sante à envisager. Cela permettrait d’obtenir une capture plus précise rendant le domaine de la rééducation ou de l’apprentissage d’un geste possible ; c’est notamment ce que se propose d’étudier à terme le projet ANR « An@tomy2020 » qui prend la suite du projet LBA.
Grâce à la démonstration faite dans le cadre du congrès des morphologistes (voir sec-tionD.4) et à travers l’étude utilisateur menée (voirsection5.5), nous avons constaté que les utilisateurs estiment le choix du système d’animation par skinning propose un réalisme suffi-sant pour l’apprentissage de notions globales.
Nous pouvons également dire que le niveau d’animation obtenu est équivalent ou de meilleure qualité que celui des miroirs interactifs présentés dans l’état de l’art (voirsection2.3.4).
Il est évident que selon le système anatomique étudié et la zone plus ou moins importante visualisée, d’autres modes d’animations plus réalistes seraient intéressants à mettre en place. C’est par exemple ce que certains utilisateurs ont mentionné, notamment par rapport à la dé-formation des organes internes. Ma et collègues [143] proposent par exemple une déformation du système musculaire des membres supérieurs plus réaliste, définie à partir d’animations pré-enregistrée jouées en fonction des mouvements de l’utilisateur.
Interface et interaction
Nous introduisons dans lasection 6.3.3(voir égalementannexeD), différentes interfaces proposées pour le LBA. Nous n’avons, à ce jour, pas développé d’interface complexe permet-tant l’interaction avec le contenu. Une étude poussée de l’interface nous semble essentielle pour déterminer son ergonomie et permettra de choisir la ou les meilleures façons d’interagir avec le contenu : soit en fonction de la profondeur, comme le système « Anatomie Spiegel» [77], soit en utilisant les mains, comme pour le « Magic Mirror» [142]. Des alternatives avec objets tangibles sont aussi envisageables. Le niveau d’immersion d’un tel outil nous semble également un point intéressant à analyser, son étude pourra par exemple apporter des modifica-tions importantes quant à l’échelle de visualisation ou encore la gestion du point de vue. Nous espérons à travers la présentation de nos travaux à la conférence francophone d’IHM, pouvoir entamer la réflexion sur ce point.
Intégration des données et immersion
Il est important, à chaque pas de temps, que la maquette anatomique 3D reste dans les li-mites de la silhouette utilisateur. Dans le cas d’une maquette utilisateur-spécifique ou encore dans le cas d’artefacts dans la capture de mouvements, la maquette peut se retrouver partielle-ment en dehors de la silhouette utilisateur. Une bonne intégration de la maquette anatomique dans l’image utilisateur pourrait augmenter le niveau d’immersion du système.
Le développement d’un recalage entre la silhouette de la maquette 3D (du point de vue de la caméraKinect) et la silhouette de l’utilisateur 2D, comme proposé par Zhou et collègues [202], nous permettrait d’améliorer nos résultats actuels.
Comme expliqué en page131, il existe différentes façons de mieux incruster nos données 3D dans l’image utilisateur. Une étude de ce qu’une telle intégration pourrait apporter au niveau de l’apprentissage semble une perspective intéressante à suivre en parallèle avec les perspec-tives de visualisation des connaissances présentées ci-après.
Visualisation des connaissances
Nous avons jusqu’à présent présenté notre travail sous deux formes : la première, sans réa-lité virtuelle, donne de l’information, mais ne reflète pas l’utilisateur (on peut voir cela comme un mime). La seconde, avec réalité augmentée, permet de donner à l’utilisateur l’impression de voir à travers son corps. Actuellement, nous présentons une maquette anatomique 3D, ana-tomiquement proche de l’utilisateur, dans un rendu et niveau de détail simple (les choix ont été présentés en section 3.2.1). Étudier l’impact de la qualité visuelle sur l’apprentissage est une tâche longue, mais qui nous semble très intéressante ; une qualité visuelle trop développée pouvant installer un inconfort chez l’utilisateur et une qualité visuelle trop basse pouvant nuire à la compréhension. Une approche adaptative est certainement intéressante à considérer.
Comme nous l’avons évoqué à plusieurs reprises, enrichir notre système pourrait permettre d’accéder facilement à du contenu complexe. Par exemple des informations de rapports des surfaces articulaires, de mise en tension des ligaments, de rôle de chaque muscle et de leurs actions coordonnées,etc.
Conclusion
Le LBA, outil développé au cours de ce doctorat, est actuellement à un stade expérimental. Comme nous venons de le voir, il peut encore être amélioré : au niveau du recalage, de la capture de mouvement, de l’interface, de l’interaction et de la visualisation des connaissances. Cet outil permet déjà d’ouvrir la réflexion sur son utilisation dans différents domaines, notamment dans le cadre de la formation en anatomie. C’est ce que nous allons voir dans la section suivante :section7.3.
7.3 D
OMAINES D’
APPLICATION DE CE TRAVAIL7.3.1 Domaine médical et para-médical
L’hypothèse selon laquelle l’apprentissage serait facilité par l’expérience corporelle relève de la notion d’incarnation ou « embodiment ». Ce concept issu de la psychologie cognitive fait référence aux processus cognitifs basés sur nos expériences sensorielles et sur nos postures corporelles.
Ce travail, en lien direct avec la Faculté de Médecine de Grenoble, pourrait contribuer à de nouvelles techniques pédagogiques d’enseignement de la médecine. Dans les travaux futurs, notamment grâce au projet ANR « An@tomy2020 », les différences d’apprentissage entre un groupe d’étudiants ayant des supports d’apprentissage classique (ex. : texte et schémas), un groupe d’étudiants ayant des supports animés (ex. : texte et vidéo) et un groupe d’étudiants ayant des supports interactifs (ex.: texte et LBA) pourront être évaluées sur différents public étudiants (médecine, sciences du sport,etc.).
Pouvoir attacher du contenu pédagogique au système actuel des schémas explicatifs, des vidéos ou encore du texte pourraient accroître la dimension d’apprentissage. Il serait, par exemple, possible de demander à un étudiant de faire un mouvement tout en lui présentant ce genre de contenu symbolique. Pour évaluer les étudiants, une validation des mouvements effectués, ainsi qu’un système de questionnaire, pourraient être envisageables.
Un autre type d’interaction serait un système de quiz présentant des structures anatomiques à un étudiant et lui demandant de les replacer ou de les pointer sur son propre corps. Un tel outil pourrait aider les étudiants à créer leur modèle mental du corps humain.
Toutes ces solutions possibles sont évidemment à approfondir, à développer et à tester. Le LBA peut aussi s’appliquer plus largement au corpus de l’anatomie.
D’autres applications sont envisageables. Cet outil pourrait également permettre de captu-rer des gestes de massages fait par des kinésithérapeutes et les restituer pour former d’autres personnes à cette gestuelle.
Cet outil peut être également utilisé dans le cadre d’une salle d’attente pour présenter de l’information ciblée de façon ludique et interactive. Dans le cadre de la pratique médicale ou encore de la rééducation, l’utilisation une version du LBA pourrait être envisageable. Dans ce contexte de soin, il faudrait alors tenir compte de l’aspect "sécurité" en validant la robustesse
du système : celui-ci ne devra en aucun cas proposer un mauvais mouvement à l’utilisateur. Le potentiel des nouvelles technologies a été utilisé pour aider à l’apprentissage de connais-sances et à l’entraînement aux procédures et gestes professionnels.
Nous sommes conscients que ce travail ne fait que poser la base de ce qu’il est possible de faire avec une telle technologie.
7.3.2 Ouverture aux autres domaines
Cet outil a initialement été créé pour ces applications dans le domaine médical et para-médical. Nous avons vu, au cours du développement de cet outil et lors de différentes présen-tations de nos travaux, le potentiel offert par d’autres domaines.
Nous citerons par exemple les deux applications les plus évidentes :
— L’application au domaine du grand public à travers musées et expositions, comme le système Mir’Os [52] introduit en page44, permettant à toute personne de découvrir de façon ludique l’anatomie en mouvement et les notions anatomiques associées.
— L’application au domaine du jeu vidéo, à travers la création d’outils d’entraînement sportif ou de fitness, combinant un avatar personnalisé évoluant en fonction des exer-cices sportifs (voir le travail réalisé par Saito et collègues [181]).
Notre travail est autour de la visualisation de connaissances, il contient donc une forte domi-nante visuelle. De ce fait, nous pouvons imaginer une évolution de notre outil vers le domaine artistique à travers la réalisation d’une œuvre d’art interactive ; ou encore vers le domaine de la mode, en utilisant les connaissances anatomiques comme base pour une meilleure immersion des technologies d’essayage virtuel de vêtements.