HAL Id: tel-02886659
https://tel.archives-ouvertes.fr/tel-02886659
Submitted on 1 Jul 2020
HAL is a multi-disciplinary open access
archive for the deposit and dissemination of
sci-entific research documents, whether they are
pub-lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.
L’archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d’enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.
Développement, optimisation, évaluation d’un système
de réalité augmentée en chirurgie laparoscopique
Nicolas Bourdel
To cite this version:
Nicolas Bourdel. Développement, optimisation, évaluation d’un système de réalité augmentée en
chirurgie laparoscopique. Médecine humaine et pathologie. Université Clermont Auvergne, 2017.
Français. �NNT : 2017CLFAS021�. �tel-02886659�
Développement, optimisation, évaluation d’un système de
Réalité Augmentée en chirurgie laparoscopique
E
COLE
D
OCTORALE
DES
S
CIENCES DE LA
V
IE ET DE LA
S
ANTE
Thèse
Soutenue le 28 mars 2017
BOURDEL Nicolas
Année 2017 N° d’ordre : 4-DOC
E
COLE
D
OCTORALE
DES
S
CIENCES DE LA
V
IE ET DE LA
S
ANTE
Thèse
Présentée à l’Université Clermont Auvergne pour l’obtention du grade de DOCTEUR
(Décret du 5 juillet 1984) Spécialité `
soutenue le 28 mars 2017
BOURDEL Nicolas
Développement, optimisation et évaluation
d’un système de réalité augmentée en
chirurgie laparoscopique
Président : M. Bartoli Adrien Membres : M. Golfier FrançoisMme Barthelemy Isabelle Mme Chauleur Céline M. Canis Michel Rapporteurs : M. Golfier François
Mme Chauleur Céline
3
REMERCIEMENTS :
J’ai parfois du mal (génétique ou acquis paternel?) à verbaliser mon attachement, ma reconnaissance, mon admiration à vous tous qui m’entourez dans ma vie privée (Hélène (je t’aime), Jacques, Clotilde, Célestine, Alcide, Papa, Maman, Anne, Marie) mais aussi dans ma vie professionnelle. Donc je vous le dis ce jour: merci à tous pour tout ce qui fait de ma vie une richesse, un perpétuel avancement, une quête, une passion, un bonheur…. C’est grâce à chacun de vous. Si vous lisez ce message vous faites déjà partie de cet ensemble.
Merci de continuer à vouloir vivre, aimer et travailler avec moi. Nous avons encore tellement de choses à faire ensemble !
4
RÉSUMÉ :
Nous avons développé un système de réalité augmentée (RA) permettant de guider le chirurgien dans son geste opératoire coelioscopique grâce aux données d’imagerie acquises en préopératoire. Ce système permet de voir au travers d’un organe comme si celui ci était semi-transparent. Le chirurgien peut ainsi parfaitement localiser une tumeur dans le parenchyme d’un organe. Il peut ou pourra voir également toutes les données anatomiques et structurelles disponibles en préopératoire sur l’imagerie.
Le fonctionnement de notre système se déroule en trois phases. En préopératoire, une acquisition des données d’imagerie (IRM) et la création des modèles 3D associés (surface externe de l’organe, tumeur(s), repères anatomique(s)) sont réalisées. En peropératoire un modèle 3D de l’organe d’intérêt est réalisé, une phase de recalage initial est réalisée, puis le suivi de l’organe est effectué en temps réel. Notre système permet de suivre un organe mobile ce qui n’avait jamais été réalisé auparavant.
Pour débuter le développement de notre système, nous avons étudié deux modèles de tumeurs : les myomes utérins et les tumeurs rénales. Pour chaque type de tumeur et d’organe les phases initiales de développement sont identiques: test sur modèle (phase 1), test ex-vivo et faisabilité clinique (phase 2), tests cliniques (phase 3). Nous sommes en phase 3 pour la myomectomie et en phase 2 pour la néphrectomie partielle.
Nous avons démontré sur un modèle utérin (utérus imprimé en 3D, myomes virtuels) les avantages de la RA par rapport à une technique standard pour laquelle l’opérateur n’utilise que la lecture de l’IRM. En effet, dans ce modèle, l’utilisation de la RA améliore la localisation des myomes en permettant à l’opérateur de voir littéralement au travers de l’utérus. Après optimisation ex-vivo, nous avons testé notre système en clinique. Nous avons démontré la faisabilité de son utilisation avec une localisation en temps réel des myomes et de la cavité utérine. L’objectif est maintenant la validation de son utilisation en pratique courante.
Pour la néphrectomie partielle nous avons développé un modèle de tumeur du rein (reins porcins, tumeurs créées par injection d’alginate). Dans ce modèle l’utilisation de la RA améliore la localisation tumorale en améliorant de façon significative le taux de marges saines péri-tumorales. La phase 2 est en cours de mise en place. Parallèlement l’étude du système pour les tumeurs hépatiques a débuté.
Le développement de notre système a été réalisé grâce à une équipe mixte associant scientifiques, ingénieurs, chirurgiens et médecins. Le champ des possibilités offert par la RA est très prometteur car il permettra d’intégrer l’ensemble des données préopératoires à notre vue laparoscopique. Le système devrait pouvoir rapidement être utilisé pour d’autres pathologies en gynécologie mais aussi en urologie et en chirurgie digestive. D’autres technologies comme le deep learning permettront également des évolutions majeures dans l’automatisation du système.
5
ABSTRACT:
We developed an Augmented reality (AR) system that can guide the surgeon during laparoscopy. Augmented Reality (AR) is a technology that can allow a surgeon to see subsurface structures. This works by overlaying information from another modality, such as MRI and fusing it in real time with the endoscopic images. The surgeon can easily localize tumor in the parenchyma of an organ. He could also easily localize all anatomical and structural landmarks available on the preoperative imaging.
Three phases are necessary. Firstly, Preoperative MRI data are used (segmentation) to construct 3D mesh models (external surface of the organ, tumor(s), anatomical landmarks). During the surgery a 3D mesh model of the organ is constructed and an initial registration phase (using a deformable model of the organ) is performed. Then the third phase is a real-time tracking phase. AR has never been developed for a very mobile organ like the uterus and has never been performed for gynecology. Our system works for soft and mobile organs.
We used two tumor models: myomas in gynecology and kidney’s tumor for partial nephrectomy. For each type of tumor we used the same step to develop our system. First step: experimental tumor model, second step: ex vivo improvement and first clinical evaluation, third step: clinical evaluation. We are in the third phase for myomectomy and in the second phase for partial nephrectomy.
In our uterine model (3D printed uterus), AR improves localization accuracy of the myomas compared to the classical localization method (MRI only). This was the first user study to quantitatively evaluate an AR system for improving a surgical task. After optimizing our system using ex-vivo data, we tested it during laparoscopic myomectomy and demonstrated the feasibility of the real-time tracking and localization of the myomas and of the uterine cavity.
For partial nephrectomy we created a kidney’s tumor model (porcine model). Our study shows that AR allows accurate localization of very small tumors and improved the mean accuracy of tumor resection, with higher rate of free margins around the tumor. We are currently developing phase 2. For liver resection the development is in phase 1.
Our team is a mix of engineers, scientists, doctors and surgeons. AR is a very promising technique with large applications. It allows displaying all preoperative imaging data on our laparoscopic screen. AR should be used soon for other gynecological, urological and digestive pathologies. Other technologies (including deep learning) should allow major improvement of our system.
6
TABLE DES MATIÈRES
I. Introduction et rationnel du projet de recherche ... 7
II. Réalité Augmentée: définition, historique, developpement en medecine ... 8
III. Principe de notre système de réalité augmentée ... 13
IV. Matériel nécessaire ... 20
V. Évaluation expérimentale dans un modèle utérin ... 24
VI. Utilisation pour la myomectomie: études ex-‐vivo et faisabilité clinique ... 31
VII. Evaluation expérimentale dans un modèle de néphrectomie partielle ... 34
VIII. Perspectives ... 44
IX. Conclusion ... 48
X. Bibliographie...49
7
I. Introduction et rationnel du
projet de recherche
Pendant plus de 150 ans, depuis la première laparotomie réussie du Dr Ephraim McDowell (figure 1), l’accès à la cavité abdominale s’est fait systématiquement dans un milieu ouvert voire « public » (figure 2). La chirurgie laparoscopique se déroule par contre dans un environnement relativement clos obtenu par l’insufflation de CO2 dans l’immense majorité des cas. Il implique la diminution en taille de l’accès à la cavité péritonéale, cet accès se faisant par l’intermédiaire d’instruments chirurgicaux voire par l’intermédiaire de commandes déportées (chirurgie robotique). Le pendant de cet accès réduit appelé aussi « mini-invasif » est lié à la technique elle-même. Tout d’abord l’angle de vision est relativement fixe (l’optique entre par un trocart déterminé dans la cavité abdominale, les seuls mouvements possibles sont un rapprochement (équivalent du zoom) ou éloignement de la caméra de l’organe cible ainsi que son orientation latérale), le champ de vision est également limité par l’optique et l’orientation de la vision (angulation) également déterminée de l’optique (0°, 30° ou 70°). Un des inconvénients majeurs de ces techniques mini-invasives est la réduction ou l’absence de sensation tactile (12). La transmission de l’information haptique sera d’autant plus difficile avec les nouveaux abords chirurgicaux par les orifices naturels (NOTES) (comme la chirurgie par voie transvaginale tel que nous l’avons rapporté (18)) où des instruments souples sont utilisés.
Ces informations visuelles et surtout tactiles sont des éléments clefs de la décision et du geste chirurgical par laparotomie. La diminution des informations disponibles pour permettre la décision chirurgicale doit donc être compensée. Des progrès majeurs ont été réalisés mais ils concernent essentiellement le matériel utilisé pour retransmettre l’image (caméra HD, écran HD, caméra 3D…). Le retraitement de l’image est par contre toujours très limité. La vision par ordinateur pourrait permettre de compenser les limitations inhérentes aux techniques de chirurgie mini-invasive. Cette vision assistée ou améliorée par l’ordinateur ne concerne pas seulement le retraitement basique du contraste ou des couleurs mais l’application d’algorithmes pour comprendre réellement le contenu de l’image voire le combiner, le fusionner avec des données obtenues en préopératoire (12). Plus particulièrement, la réalité augmentée semble être une partie de la réponse à la diminution de l’information tactile. Elle permet en effet
d’afficher en temps réel les informations d’imagerie recueillies en préopératoire : les données de localisation, de limites chirurgicales, de repères anatomiques voire d’anatomie fonctionnelle peuvent ainsi être affichées directement et en temps réel sur l’écran utilisé par le chirurgien.
Pourtant si l’adjonction d’informations paraît intuitivement pertinente (3) il n’existe pas de données en chirurgie apportant des preuves d’un quelconque bénéfice de l’utilisation de cette technologie. Dans ce travail nous avons participé au développement d’un système de réalité augmentée au sein de l’équipe ALCoV (ENCOV depuis le 01/01/2017). Nous avons ensuite évalué ce système ex vivo. Cette évaluation s’est d’abord attachée à la chirurgie gynécologique laparoscopique (modèle de myomectomie). Nous avons ensuite débuté l’utilisation de notre système en clinique. Nous avons également développé un système adapté à la prise en charge des tumeurs rénales dont l’évaluation à été réalisée ex-vivo.
Figure 1. Ephraim McDowell (1771-1830) qui pratiqua en 1809 la première ovariotomie où la patiente survécut.
Figure 2. Laparotomie. Hôpital Broca. 1901.
8
II. Réalité Augmentée: définition,
historique, developpement en
medecine
Définition:
La réalité augmentée (RA) désigne les systèmes informatiques qui rendent possible la superposition d'un modèle virtuel 2D ou 3D à la perception que nous avons naturellement de la réalité et ceci en temps réel. Il faut séparer la réalité virtuelle (RV) qui par définition implique un environnement totalement virtuel de la réalité augmentée qui intègre et fusionne des « données virtuelles » à la vision que nous avons du monde physique réel (8). L’utilisation de l’appellation « données virtuelles » prête probablement à confusion. La définition scolastique qualifie de virtuel un être ou une chose n’ayant pas d’existence actuelle. Cette opposition entre virtuel et actuel se retrouve dans l’ouvrage de Pierre Levy qui tente de définir la notion de virtuel (19). Dans notre utilisation il s’agit d’intégrer des données tout à fait réelles (données d’imagerie) à la vision que nous avons du champ opératoire. La définition de virtuel ne peut donc s’appliquer dans notre cas puisqu’il s’agit de données bien réelles, actuelles, existantes. En fait la virtualité est un continuum depuis le réel jusqu’à l’environnement virtuel (figure 3 (20)). Nous pourrions dans notre cas de l’adjonction « d’éléments synthétiques » plus que virtuels (8). Nous avons pu discuter de ce point avec le philosophe Pierre Levy. Pour lui la notion d’adjonction de données synthétiques (dans le sens "synthèse" de l'information préopératoire) au réel paraissait une définition intéressante. Il s’agit donc en fait de la superposition de données synthétiques virtuelles à la perception du monde physique réel.
Le deuxième élément majeur (en dehors de l’adjonction de données synthétiques) de la définition de la réalité augmentée en chirurgie est le recalage en temps réel. Il ne s’agit en aucun cas d’ajouter une information sur un point défini de l’écran (utilisation de Google glass, figure 4) mais il est nécessaire de « contextualiser » l’information : il faut que cette information s’affiche sur l’organe en temps réel quelque soit sa localisation et ses mouvements. Cette phase est la phase de recalage de notre système ou phase d’alignement. Azuma propose que soit considéré comme réalité augmentée un système qui (1) combine des objets virtuels et réels dans un environnement réel, (2) qui fonctionne de manière interactive et en temps réel, et (3) permette le recalage entre eux des objets virtuels et réels (21). Cela inclut donc toutes les caractéristiques de notre système en dehors du fait que les informations sont plutôt synthétiques que virtuelles comme nous en avons déjà parlé.
Figure 3. Continuum de la virtualité (8).
Figure 4. Image IRM affichée grâce aux lunettes Google, telle que l’image apparaît pour le chirurgien (Dr. Paul Szotek, Photo IU Health).
9
Historique:
Pour l’anecdote, le concept de réalité augmentée est ancien même si le terme de réalité augmentée n’existait pas au départ. En 1901, dans le magicien d’Oz, Lyman Frank Baum décrit des lunettes qui pourraient s’apparenter à des lunettes de réalité augmentée « While you wear them every one you meet will be marked upon the forehead with a letter indicating his or her character. The good will bear the letter 'G,' the evil the letter 'E.' The wise will be marked with a 'W' and the foolish with an 'F.' » (figure 5).
Dans le début des années 60, Morton Heilig, aux Etats Unis invente le sensorma (figure 6). Il s’agit d’un appareil dans lequel le spectateur est « immergé » dans un environnement virtuel visuel, sonore, olfactif et mécanique. Le point de départ est la vidéo d’un parcours (réel lui) en moto dans New-York. Le film 3D du réel est « augmenté » par surimposition des effets sensoriels synchronisés avec le film. Il s’agit là de réalité virtuelle et non pas de réalité augmentée.
Le premier véritable système de réalité augmentée («l’épée de Damoclès », « the ultimate display ») a été developpé par Ivan E. Sutherland, un ingénieur informaticien. Il s’agit d’un casque de visualisation tête haute réagissant aux mouvements de la tête (figure 7) crée en 1968. Il peut être considéré comme l’ancètre des visiocasques et autres
casques de réalité virtuelle et augmentée. Ce système inclut plusieurs avancées majeures qui le différencie des systèmes précédents : il est informatisé. Il inclut un logiciel de traitement de l’image, il possède des capteurs de mouvement permettant de mesurer la position de la tête de l’utilisateur. Le troisième pionnier est Tom Furness (figure 8) qui travailla pour l’US army au développement de casque de la réalité virtuelle pour l’entraînement des pilotes.
Plus tard, vers la fin des années 70, début des années 80, Steve Mann chercheur canadien est un des premiers à proposer un dispositif vraiment opérationnel. Le EyeTap (figure 9) est un casque permettant d’afficher les informations virtuelles devant les yeux du porteur. Son système est aujourd’hui aussi léger qu’une paire de lunette, le système développé par Google est en beaucoup de point semblable.
Figure 5. William Wallace Denslow, illustration issue de l’ouvrage "The Wizard of Oz" de L. Frank Baum.
Figure 6. Le sensorama. 1962.
Figure 7. Système de réalité virtuelle « sword of Damocles ».
Figure 8. Dispositif mis au point par Tom Furness pour l’armée américaine.
10
De très nombreux projets ont été développés de façon concomitante à la fois en réalité augmentée et en réalité virtuelle. La réalité virtuelle a notamment été portée par la simulation pour les pilotes d’avion et par l’univers du jeu. Le terme réalité augmentée a probablement été utilisé par la première fois en 1990 par un ingénieur travaillant pour Boeing (Tom Caudell) (5). Il développe avec David Mizell une des premières applications civiles de réalité augmentée : il s’agit d’aider les ouvriers au câblage dans la fabrication des avions. Ce câblage nécessite de se référer en permanence à des manuels difficiles à consulter. La réalité augmentée permettra d’afficher leur contenu de manière simplifiée alors que l’ouvrier continue son travail (figure 10). Un système analogue a été développé par Feiner et al. Au début des années 90, il permettait l’utilisation de la RA pour la réparation d’imprimantes électroniques (système KARMA, figure 11) (7).Un système (virtual fixtures, laboratoire Amstrong de l’U.S. Air Force était également développé par Rosenberg à ces mêmes dates (figure 12). Ce chercheur a publié le premier article qui retrouvait une amélioration de la performance humaine lors de l’utilisation de la RA (22).
De nombreux autres acteurs ont ensuite été impliqués dans le développement de la RA. Ce développement a été non seulement très rapide mais une des caractéristiques principales est la miniaturisation des dispositifs nécessaires pour son fonctionnement. En 2003, une première étude démontre la faisabilité de l’utilisation d’un simple « assistant personnel » (figure 13, (6)).
Un simple Smartphone peut être suffisant a l’heure actuelle (23, 24). Le jeu Pokémon go est un des exemples d’utilisation récréative de la RA. Parallèlement, de nombreux software en open source ont été développés et ont permis une amélioration logicielle continue (ARtoolkit, (25)). La RA est maintenant présente dans notre quotidien avec des applications disponibles sur notre Smartphone ou l’affichage d’informations en temps réel lors de programmes télévisuels (figure 14).
Figure 11. RA permettant de montrer le démontage et la réparation en temps réel d’une imprimante laser. (7)
Figure 10. RA: Système développé pour Boeing. (5)
Figure 12. Système
developpé par Louis
Rosenberg. Amstrong labs
Figure 13. RA avec assistant personnel utilisé (6)
Figure 14. Image d’une course automobile en direct avec utilisation de la RA. Application smartphone de la RA.
11
Developpement en médecine :
En médecine, et notamment en chirurgie l’évolution est en fait relativement similaire (26): la publication d’une des première utilisation de réalité augmentée en médecine date des années 1990. Plusieurs équipes notamment en Autriche et aux États Unis ont rapporté à ce moment l’utilisation de la RA afin de faciliter les gestes de biopsies écho guidées (21, 27).
La première publication en neurochirurgie date de 1996 (28), Il s’agissait de chirurgie pour le traitement de l’épilepsie. Comme le décrit l’auteur le système était « rudimentaire » mais le coût peu élevé. Les données du scanner ou de l’IRM étaient affichées en utilisant le moniteur d’un Portable PC ou un système « tête haute » semi-transparent. Le recalage était réalisé en utilisant des repères visuels (marqueurs fiduciaires), le suivi (tracking) étant réalisé avec l’aide de repères magnétiques. Ce premier article rapporte l’utilisation du système chez 40 patients. La plupart des séries suivantes rapportées en neurochirurgie rapportent l’utilisation de repères visuels. La phase de recalage est manuelle ou utilise la peau (les reliefs) de la face comme dans l’exemple de la figure 15 (16). Dans cette série, l’auteur rapporte également l’utilisation du système « dextroscope » qui permet de recréer l’ensemble de la boîte crânienne et de son contenu en réalité virtuelle. Cette étude évalue auprès de 10 chirurgiens l’apport théorique de la RV
sur la planification du geste opératoire
(compréhension de l’anatomie de cette tumeur, de sa localisation exacte, de la localisation de la crâniotomie..). Le système utilisé est celui développé par Brainlab (https://www.brainlab.com/fr/). Dans cette série 5 patients ont été opérés avec une combinaison de la réalité virtuelle, de la neuro-navigation et de techniques endoscopiques.
Dans leur revue récente, publiée en 2016, Meola et al rapportent que seulement 195 cas de patients opérés en utilisant la réalité augmentée ont été rapportés en neurochirurgie alors que la première publication date de 1996. La majorité des études rapportent l’utilisation d’un microscope afin d’afficher les données préopératoires. Ce microscope est parfaitement aligné par rapport au champ opératoire permettant ainsi un recalage facilité. Mais cet alignement requiert une fixation invasive sur la boîte crânienne ou les dents du patient. Plus récemment un recalage basé sur l’analyse de la surface a été proposé. Ce recalage se rapproche un peu plus de la technique que nous avons développée figure 16 (3, 29).
Dans d’autres spécialités plusieurs utilisations sont apparues plus récemment comme l’affichage (utilisation de lumière infra rouge) du réseau veineux des patients (30), des dispositifs sont déjà commercialisés ((31, 32) figure 17).
D’autres systèmes permettant notamment de voir en RA le champ irradié en peropératoire (33) mais aussi les localisations (et les images microscopiques correspondantes) des biopsies réalisées en endoscopie (34). En psychiatrie la RA est utilisée pour l’immersion de patient afin de traiter certains types de phobie (figure 18, (8)).
Elle est également utilisée dans le traitement des douleurs des membres fantômes (35) en intégrant un système de projection du membre fantôme relié au contrôle neurologique volontaire du patient.
Figure 16. Recalage en neurochirurgie utilisant la reconnaissance surfacique (ici l’oreille) (3)
Figure 15. RA: Chirurgie pour un cavernome avec RA (16).
Figure 17. Dispositif VeinViewer ASSESS™ Figure 18 (13). RA utilisée dans le traitement des arachno-phobies.
12
En ce qui concerne la chirurgie hépatique, l’institut Fraunhofer rapporte la première utilisation en 2012 de son système de RA « MEVIS » en utilisant une de ses applications sur tablette (36).
En 2009, une chirurgie avec guidage stéréotaxique avait été rapportée par la même équipe mais il ne s’agissait pas de RA à proprement parlé (37). Une des équipes pionnières est celle de Marescaux et Soler qui ont publié en 2009 une évaluation de l’utilisation de la RA ex-vivo (38). En 2015 ils rapportent l’utilisation de la RA pour la réalisation de segmentectomies hépatiques (Série de trois cas, (1)), figure 20) et en 2016 l’utilisation de la RA en laparotomie pour la résection de métastases hépatiques (2). Ils utilisent le système VR RENDER(®) pour la segmentation préopératoire. Par l’intermédiaire de ce système commercialisé et mis au point à l’IRCAD, tout clinicien peut soumettre les images DICOM de ses patients et obtenir une reconstruction en 3D de ces images. En laparotomie l’exoscope VITOM® (Storz, Tüttlingen, Germany) est utilisé par cette équipe. Marescaux et al. ont également rapporté l’utilisation de la RA pour une résection surrénalienne dès 2004 (39) ainsi que la réalisation d’une duodénopancreatectomie robotique (40) en 2013. Malgré leur expérience, La technique de recalage utilisée par cette équipe est encore largement et essentiellement manuelle. Elle est réalisée en temps réel uniquement du fait de la présence et du travail continu d’un scientifique (ou « opérateur » puisqu’il va exécuter l’opération technique déterminée associée à l’intervention mais
pas opérateur dans le sens médical « chirurgien »). C’est à ce niveau que notre système a une approche différente et nous permet l’automatisation et la simplification de cette phase essentielle de la RA.
En urologie, l’utilisation de la RA a essentiellement été rapportée pour la réalisation de néphrectomies partielles (17). Moins de 20 cas ont été rapportés à l’heure actuelle avec des méthodologies là encore très variables. Plusieurs systèmes de recalage ont été décrits mais aucun système de suivi vraiment fiable de l’organe (17). Encore une fois c’est ici qu’interviennent les solutions techniques que nous proposons et que nous avons évaluées. Pour la prostatectomie l’utilisation de la RA à partir d’images préopératoires scanner et /ou IRM a également été rapportée (41, 42). L’utilisation notamment de la combinaison de l’image échographique en temps réel et de l’image laparoscopique a été aussi rapportée
((4), figure 21). Il ne faut pas confondre avec un guidage échographique peropératoire (échographie transrectale surtout) qui est décrit depuis plus longtemps et pour lequel il n’y a pas de recalage des deux images ce qui limite bien sur l’aide à la décision et au geste pour le chirurgien (43-45). Là encore les techniques utilisées nécessitent dans la majorité des cas l’adjonction de marqueurs visuels ((4), figure 21). Là encore notre système qui ne nécessite pas de marqueurs visuels ou magnétiques pourrait avoir un intérêt majeur.
Figure 19 (Prof. Oldhafer / MEVIS)
Figure 20, RA en chirurgie robotique et en laparotomie, IRCAD (1, 2).
Figure 21: Utilisation de marqueurs visuels pour la RA dans la prostatectomie (étude-préclinique) (4).
13
III. Principe de notre système de
réalité augmentée
4 étapes sont essentielles au fonctionnement de la RA en général et de notre système en particulier :
1) Acquisition des données d’imagerie et création du modèle 3D associé (préopératoire)
2) Création du modèle 3D peropératoire et recalage initial
3) Le suivi ou « tracking » en temps réel. 4) Affichage de la RA
1) Acquisition des données d’imagerie et création du modèle 3D associé (préopératoire):
L’objectif est la création d’un modèle en trois dimensions de toutes les données d’imagerie que l’opérateur voudra voir s’afficher y compris l’organe « cible ». Cette étape nécessite la segmentation ou le « contourage » des données (images) que l’on veut intégrer à la RA. Il faut donc déterminer le contour de chaque élément que l’on veut intégrer à la réalité augmentée : pour intégrer l’image 3D (modèle 3D, 3D mesh) de l’utérus il faut déterminer sa forme en 3D. L’image (IRM, scanner, échographique) dont nous disposons de cet organe en constitué de coupe en 2D (dans plusieurs plans axial, sagittal et coronal). En délimitant le contour d’un organe sur toutes les coupes axiales par exemple et en additionnant tous ces contours on va pouvoir déterminer sa forme 3D. Cette étape peut être automatique ou semi-automatique. Plusieurs logiciels et/ou matériels informatiques (notamment ceux des fabricants de matériel d’imagerie (comme Syngo 3D visualization workstation de Siemens).
D’autres logiciels sont aussi disponibles : Mimics (Materialise's Interactive Medical Image Control System, Belgium) (46) ou MITK (medical imaging
interaction toolkit) (47) que nous utilisons et qui
peuvent fonctionner sur un PC standard (47, 48).
Leurs performances semblent globalement
satisfaisantes et comparables (48) pour certains tissus dont le contraste scanner, IRM ou échographique est élevé (os, poumon, rein, foie) (49). Des solutions techniques de segmentation totalement automatiques ont été décrites (50-52). Il s’agit en fait de simplement remplacer les points d’une intensité donnée (par exemple celle de l’os qui est très homogène et très spécifique sur le scanner notamment) par une couleur et une transparence données. Il s’agit d’une fonction de transfert simple qui est disponible sur toutes les stations de travail
des radiologues actuellement. Malheureusement
cette segmentation automatique ou
semi-automatique est essentiellement limitée encore une fois aux organes avec fort contraste ou en tout cas homogènes et bien différenciés des organes
adjacents. Plusieurs équipes de recherche
commencent à décrire des systèmes de
segmentation pour l’utérus ainsi que pour les myomes avec comme application l’évaluation pré et post procédures lors du traitement par ultrasons focalisés (53). Des solutions de segmentation des images échographiques de l’utérus ont également été proposées (54). Ces solutions sont notamment développées pour l’irradiation dans les cancers du col utérin permettant de définir de façon plus précise le champ d’irradiation (55). Tout cela s’inscrit aussi dans une analyse de l’anatomie assistée par l’ordinateur et est donc voué à des développements futurs importants. Des structures fortement convexes, hétérogènes, aux frontières mal définies (jonction isthme / col, trompe / corne …) sont autant de difficultés pour la segmentation utérine. Nous avons choisi de ne pas orienter nos recherches sur ces méthodes de segmentation car nécessitant un développement à elles seules, d’autres équipes travaillant également sur des algorithmes de segmentation des reins (56). Nous avons utilisé un logiciel simple mais robuste : MITK (47), un logiciel gratuit en Open-source qui permet une segmentation semi-automatique. Dans la figure 22, on peut voir le contourage (segmentation) d’un rein sur une image IRM en T1. Plusieurs instruments 2D (« 2D tools ») du programme existent, la fonction « region growing » permet de sélectionner toute une région homogène puis l’opérateur va affiner manuellement la segmentation. L’opérateur vérifie sur les coupes sagittales et coronales correspondantes que la segmentation soit correcte. Plus la surface de
Figure 22. Utilisation du logiciel MITK (Images de gauche) pour la segmentation. Création du modèle 3D avec Meshlab.
14
l’organe à segmenter est irrégulière plus il faudra segmenter de coupes axiales pour obtenir un résultat précis et cohérent intégrant toutes les variations de formes. En général la segmentation est réalisée quasiment sur chaque coupe pour l’utérus et toutes les 3 à 4 coupes sur le rein (la résolution étant meilleure). Le modèle est ensuite vérifié, exporté et « lissé » (smoothed). Le logiciel MeshLab est ensuite utilisé pour créer à partir du contourageen 2D un modèle 3D utilisable (figure 22). Il s’agit
donc d’un processus semi-automatique. Trois écueils sont inhérents à cette méthode : elle est opérateur dépendant et nécessite donc un apprentissage (il faut savoir isoler et délimiter l’organe sur l’imagerie), elle est relativement longue et troisièmement elle exige une définition suffisante de l’imagerie sinon le modèle 3D est trop extrapolé et trop loin de la réalité surtout si son volume est irrégulier et hétérogène (non géométrique). Dans nos travaux basés sur l’IRM, cette segmentation est réalisée à partir des images brutes DICOM de l’organe d’intérêt. Elle nécessite une résolution suffisante c’est à dire des coupes fines tous les 2.5 mm. En effet la résolution classique des IRM pelviens fait appel a des coupes tous les 4 mm. Notre objectif a été de recréer dans un premier temps le modèle 3D utérin (figure 23). Un utérus normal mesure 30 à 40 mm de large (57), des coupes tous les 4 mm ne peuvent donner un rendu précis de l’organe. De plus certains myomes (notre premier modèle de pathologie) font 10 à 15 mm, leur modèle 3D ne peut être créé avec seulement deux à trois coupes IRM. Pour notre deuxième modèle d’étude (rein porcin), l’organe cible mesurait en moyenne 75 mm mais surtout les tumeurs étudiées mesuraient 8 mm en moyenne ce qui a imposé une optimisation de l’IRM pour avoir des coupes de 1,5 mm d’épaisseur avec une résolution de 0,4mm, bien supérieure à un IRM classique. Nous utilisions initialement les séquences LAVAFLEX (séquence T1 avec suppression de graisse au contraste amélioré développé par General Electric et comparable aux autres techniques utilisées en pratique courante et développées par d’autres fabricants (VIBE pour Siemens, THRIVE pour Philips) (58, 59). Nous utilisons maintenant les séquences T2 hautes résolution (coupes axiales tous les 2,5 mm). Cette étape permet donc de créer un modèle 3D de l’organe d’intérêt, de la tumeur à réséquer mais également de tout élément anatomique qui pourrait être pertinent pour le chirurgien. Le modèle ainsi crée possède une surface mais pas de texture particulière à sa surface (figure 23). Nous avons segmenté dans nos travaux l’utérus, les reins
porcins, les tumeurs à reséquer (myome et tumeur du rein crées ex-vivo) et également la cavité utérine. D’autres éléments tels que la vascularisation, les canaux excréteurs, les uretères, le rectum… pourront être segmentés.
2) La création du modèle 3D en peropératoire et recalage initial :
La création du modèle 3D peropératoire va permettre en fait la phase initiale du recalage (« initial registration stage » (60, 61)), la deuxième phase étant la phase de suivi (« tracking ») et donc de recalage en temps réel développé dans le chapitre suivant (Troisième phase: phase de suivi (tracking)). L’objectif de cette étape peropératoire est la réalisation d’un modèle 3D de l’organe d’intérêt. Ce modèle 3D est constitué d’un ensemble d’informations géométriques (position, orientation, ….) et photométriques (couleur, texture, ombres, contours....) (62). Il existe plusieurs techniques de reconstruction de ces modèles 3D à partir d’image digitales 2D (nous utilisons une optique 2D donc nous n’avons pas l’information 3D). On utilise pour les regrouper le terme Shape-from-X (« forme à partir de X »). X étant la méthode et donc l’information utilisée dans la reconstruction. Schématiquement il existe deux catégories : les techniques photométriques (shading, Shape-from-focus, stéreophotométrie) et les techniques géométriques (Shape-from-shadow, Shape-from-contour, Shape-from-texture, Shape-from-Template, la projection de lumière structures, Shape-from-motion, Shape-from-silhouettes, la stéréoscopie...) (62) Figure 24.
En fait ces méthodes sont souvent combinées (62) mais la plupart des approches ont été développées pour la chirurgie robotique avec des stéréo-laparoscopes et non des optiques monoculaires (60, 63-67). L’avantage indéniable du robot est la vision stéréoscopique systématique. Elle permet de faciliter la reconstruction 3D et le recalage en donnant deux images d’un même objet vu par deux optiques selon un angle légèrement différent.
Figure 23. Modèle 3D préopératoire correspondant à la segmentation de l’utérus et des myomes de la figure 23A. A gauche le modèle est au représenté au sein de l’IRM ave4
15
Plusieurs auteurs ont rapporté l’utilisation de cette vision stéréoscopique dans la création du modèle 3D per opératoire et dans le recalage (68). Malgré ces
développements récents les méthodes de
reconstruction 3D sont encore peu fiables (68) (69) et les auteurs proposent d’associer à leur technique une technique de marqueurs optiques ou magnétiques (68). En effet même avec la stéréoscopie il faut pouvoir intégrer la déformation des tissus, l’occlusion partielle du champ due aux instruments, la réflectivité variable des tissus... La stéréoscopie ne résout donc pas l’ensemble de la problématique, de plus elle implique un cout très important à la fois en matériel et en software et sa disponibilité dans tous les blocs opératoires est loin d’être acquise (17).
Les optiques « classiques » 2D sont de loin les plus utilisées en laparoscopie du fait de leur coût bien moindre qu’une optique 3D, de leur facilité d’utilisation, de leur performance (résolution 4k maintenant disponible). Depuis plus de 10 ans les chercheurs ont essayé de trouver des solutions à la reconstruction 3D à partir d’image 2D d’objet déformable (70), (71, 72) : la forme préopératoire de l’utérus notamment n’est pas la même que sa forme peropératoire. Ces modifications sont notamment dues à la canulation et aux pressions externes différentes appliquées sur l’utérus. Trois équipes sont pionnières dans ces recherches sur la reconstruction d’objet 3D déformable : le CVLab à l’école polytechnique de Lausanne, t EPFL, le groupe d’Agapito à la Queen Mary University of
London, et notre groupe (travaux initiés par le Pr Bartoli A.) (12). Seul notre groupe travaille plus spécifiquement sur des applications médicales. La solution technique developpée par notre équipe s’appuie au départ sur une structure 3D réalisée par shape-from-motion (figure 24, 25) grace à un nuage de point sur la surface du fond utérin ou à la surface du rein. Cela permet une reconstruction rigide de l’organe d’interêt. Ce sytème est déjà validé et a prouvé sa robustesse pour de nombreuses applications (70, 72). Il faut pour cela disposer d’une courte séquence vidéo de l’organe d’intérêt intégrant à la fois un mouvement propre à l’organe et un mouvement de la caméra. Cette séquence a une durée d’une minute à une minute trente. Dans cette séquence sont extraites des image « clefs » de l’organe d’intérêt (une dizaine d’images nettes où l’organe apparaît correctement de façon complète mais aussi en possition extrême (mouvement de l’organe), sous différents angles et à différentes distances. Les images sont choisies automatiquement : la vidéo est fractionnée en 12 séquences, pour chaque séquence le meilleur cliché clef est retenu (celui où le flou est le moins important, déterminé par une technique utilisée dans la compression vidéo pour déterminer les parties stables d’une image à l’autre), la SfM (Shape form Motion) étant plus fiable pour des images plus nettes. Sur ces images l’organe n’a donc pas toujours la même position, il faut manuellement appliquer un masque pour indiquer au software où est l’organe d’intérêt et enlever le « bruit de fond ».
Figure 24.: A gauche la vue peropératoire, Exemple de forme 3D de l’utérus reconstruite au centre (obtenue par shape-from-motion) et à droite (obtenue par shape-from-shading) (12)
Figure 25: construction du modèle 3D peropératoire. De gauche à droite: les images de la courte sequence video initiale sont combines pour extraire un nuage de points de la surface uterine. Puis le modèle 3d est construit et texturé.
16
On délimite donc manuellement sur 4 ou 5 clichés la zone d’intérêt où ce trouve l’organe (figure 26): on indique ainsi au logiciel quelle est la zone à reconstruire. Plus on réalise de contourage sur un grand nombre de clichés, plus le recalage sera précis mais le temps de création du modèle 3D peroératoire en sera d’autant plus long. Ce contourage peut être partiel, rapide et grossier puisque secondairement l’intervention d’un logiciel de découpe automatique (« ciseaux intelligents ») affine la silouhette automatiquement (73).Initialement (63), pour l’utérus un repère anatomique était repéré manuellement sur les clichés clefs et sur l’IRM (jonction utérus / trompe). Ce repère peut être utile si l’utèrus est très déformé ou la texture utérine trop homogène. Dans notre expérience initiale le SfM ne marchait pas systématiquement, il faut alors augmenter le nombre de clichés clefs en augmentant le temps de la séquence vidéo initiale, nous nous sommes également aperçu que en pratique clinique la réalisation de marques de coagulation sur la surface de l’utérus facilitait également cette tache. L’utilisation du mode CLARA de la colonne Spies (Storz) qui augmente le contraste et la visibilité des vaisseaux de surface facilite cette phase de reconstruction 3D (elle favorise ensuite aussi la phase de suivi).
Il faut dans un second temps faire la correspondance entre le modèle pré et per-opératoire (72). Cette correspondance doit être exacte en forme et en localisation (63, 72) si on veut pouvoir localiser très précisément une forme (tumeur) à l’intérieur de l’organe d’intérêt. Pour adapter, transformer la forme pré à la forme peropératoire il faut appliquer une transformation à la forme préopératoire. Cette transformation est déterminée par une fonction faisant intervenir deux termes :
a) un terme de distance entre le modèle 3D pré et per-opératoire (localisation de chaque point identique et dépendant notamment de l’echelle)
b) un terme d’énergie interne dérivé des propriétés biomécaniques du tissu (le rein, l’utérus, les myomes ont des propriétés biomécaniques propres (modèle de St Venant-Kirchhoff, élasticité non linéaire) (72, 74, 75)).
La détermination de la fonction nécessite une première étape d’initialisation manuelle. Schématiquement, l’initialisation fait intervenir la détermination de 4 points de correspondance sur le modèle 3d préopératoire et 1 point sur les images clefs peropératoires. Ces mises en correspondance sont initialement déterminées (initialisation du système) en utilisant une interface interactive manuelle permettant la rotation du modèle pour qu’il corresponde à une vue similaire de l’image clef. Tout le modèle 3D préopératoire est alors modifié en utilisant une transformation rigide (localisation et échelle, pas de critère biomécanique d’élasticité). Puis ce modèle est comparé au modèle réalisé grâce aux nuages de points peropératoires (figure 25). La transformation de chaque point (fonction) est déterminée par la composition de toutes les transformations retrouvées. Dans la première description de notre système (63) le modèle 3D opératoire était simplement adapté au modèle per-opéraoire sans intégrer de données biomécaniques de déformation mais cela ne permettait pas un recalage correct.
Il est necessaire par ailleurs que la caméra soit calibrée pour intégrer les déformations propres à l’optique et à la caméra. Pour cela une courte séquence vidéo d’un damier est réalisée en début de procédure. Cette courte vidéo est réalisée en réalisant un plan fixe puis en réalisant un mouvement du damier par rapport à la caméra (angulation de celui ci) et enfin de l’optique elle même (70).
Le modèle pré-opératoire va donc être déformé, modélisé pour correspondre exactement au modèle peropératoire : le modèle 3D préopéraoire modifié peut être fusionné avec l’image
Figure 26. SfM d’un utérus.
Chaque première image
correspond à une des images de la séquence vidéo initiale sur laquelle l’opérateur contoure grossiererment l’utérus (deuxième image), un modèle 3D est ainsi construit.
17
laparoscopique. Pour la phase de recalage initiale, Il faut, en utilisant notre système, trois minutes sur un PC standard : deux minutes pour réaliser les masques et créer le modèle 3d et une minute pour son optimisation.3) Troisième phase: phase de suivi (tracking) :
Une fois la phase initiale de recalage réalisée, cette phase de tracking est plus simple (dans notre système, contrairement aux systèmes développés par d’autres équipes). Elle doit être néanmoins précise, fiable et réalisée en temps réel bien sûr. Elle doit être automatique et stable. Elle repose en fait sur le suivi de la texture de la surface utérine. A chaque position de la texture de l’utérus sera associée une posisiton du modèle 3D peropératoire. Le suivi est modélisé sur une transformation (mouvement) uniquement rigide (pas d’intervention de propriétées biomécaniques) la forme de l’utérus une fois canulé se modifiant peu (avant incision) lors des mouvements (il en est de même pour le rein une fois que son expostion est réalisée). Cette transformation (mouvement) rigide peut être estimée de façon beacoup plus rapide et robuste que la phase intiale car elle fait intervenir une fonction mathématique intégrant les données de rotation et de translation de l’organe mais pas de déformation ce qui rend le calcul beaucoup plus simple et rapide.
Les techniques de tracking en RA « classique » pour une optique monoculaire nécessitent en fait l’emploi de marqueurs (magnétiques ou visuels) (14, 76). Il
faut que soit la position l’organe, soit la position du patient (si l’organe est fixe par rapport au patient : c’est a peu près le cas du cerveau par exemple) soient déterminés dans l’espace et que la position de la caméra (de l’optique) ou d’un des instruments soit déterminée également dans l’espace. En fait la majorité des autres techniques nécessite un recalage manuel si l’organe d’intérêt bouge mais également si la caméra est sortie et réinsérée dans le champ opératoire ou même si un instrument occulte temporairement le champ de la caméra. Autrement dit un recalage manuel va être nécessaire plusieurs fois au cours d’une intervention ce qui est consommateur de temps et ne facilite pas le geste (2, 17, 38, 40, 77, 78). De plus ce recalage manuel nécessite une localisation spatiale d’un instrument qui va réaliser un contourage / un repérage spatial de l’organe d’intérêt : cela correspond dans notre technique à la phase initiale du recalage. En chirurgie robotique cela complique encore plus les choses si on veut localiser un instrument : plusieurs systèmes ont été étudiés (17) figure 27 : un système qui utilise les données connues par le robot uniquement (la positon des articulations (donnée intrinsèque, système le plus grossier)), un système de marqueur optique (en haut de la partie terminale de l’instrument ou après les articulations : figure 27), un système optique associé pour la partie terminale au repérage du robot ou un système utilisant un repère magnétique sur la partie terminale de l’instrument. Avec le premier système la marge d’erreur est de 10 à 22mm ce qui n’est pas acceptable si l’on considère que l’objectif de marge de résection pour une tumeur rénale par exemple est de 5mm (79)(80, 81). Une méthode combinant les données intrinsèque au robot et extrinsèque (capteur optique ou magnétique sur un instrument et la caméra 3D) arrive à des résolutions beaucoup plus convaincantes de 10 à moins de 2 mm (79). Le problème majeur des capteurs optiques est qu’il ne doit pas y avoir d’interférence (donc de passage d’instrument, de personnel ..) entre la caméra qui filme le repère optique et le repère optique lui même ce qui est difficile dans un bloc opératoire.
Aucun de ces systèmes ne peut intégrer le déplacement de l’organe d’intérêt. Pour intégrer ce déplacement plusieurs auteurs ont proposé d’intégrer des repères magnétiques, comme ceux déjà utilisés pour la radiothérapie dans le cancer de la prostate (Calypso 4D Localization System (Calypso Medical Technologies, Seattle, WA) figure 25. Il s’agit en fait de transpondeur injecté dans l’organe d’intérêt de la même manière qu’auraient été réalisées des biopsies guidées par imagerie.
Figure 27 : méthode de repérage de la position des instruments en chirurgie robotique(17)
18
Cette technique (42, 76) a été décrite pour la néphrectomie partielle. Malheureusement la présence d’instruments laparoscopiques diminue la fiabilité de ces repères (42, 76), par ailleurs toutes les salles opératoires renferment des éléments pouvant avoir une interaction ferromagnétique avec ce dispositif, cela réduit d’autant plus son intérêt. Tout comme une autre équipe a décrit l’injection de traceur fluorescent (82) ,figure 28) cela nous paraît relativement invasif et impose un geste supplémentaire au patient non dénué de risques immédiats (83) même si cela ne semble pas entraîner de dissémination tumorale. Une autre équipe a proposé la mise en place per–opératoire d’aiguille dont la tête est recouverte d’un bille de couleur donnée (14) figure 29. Cette technique paraît également invasive, de plus l’introduction de matériel de petit calibre non résorbable augmente par définition le risque de perte et donc de complications liées à son utilisation.Il semble donc nécessaire de développer des techniques n’utilisant pas de marqueurs physiques. Les techniques utilisant la reconnaissance de surface n’impliquent pas l’utilisation systématique de repères ou traceurs
(marqueurs, « trakers », repères) visuels ou magnétiques. En fait lors de l’utilisation d’une optique monoculaire, la technique surfacique la plus utilisée est la technique SLAM (Simultaneous Localization And Mapping). SLAM implique de construire une représentation 3D de l’environnement (une carte 3D) et détermine une transformation rigide (pas d’intégration de données biomécaniques) pour repositionner cette carte dans l’image de l’optique (dans la réalité). Ce système (construction de la carte 3D puis localisation des points de la carte
dans l’image) fonctionne bien dans un
environnement relativement fixe et relativement rigide : typiquement une pièce avec des objets statiques (en forme et en localisation par rapport aux autres), une rue avec beaucoup d’éléments fixes,
tout cela d’aspect / texture très différents et très
spécifiques). Ce n’est pas le cas d’un
environnement chirurgical biologique (par exemple modification de la place du tube digestif, de la paroi, liquides biologiques (sang) sous jacent à l’organe d’intérêt, mouvement rapide de la caméra, textures relativement répétitives et homogènes). En fait la technique SLAM (par définition) crée une carte alors que nous n’utilisons que l’organe d’intérêt (sur lequel nous voulons afficher les informations en RA). Le système SLAM a malheureusement beaucoup de chance d’associer des points sur deux images qui ne sont en fait pas les mêmes mais qui sont semblables (texture, localisation…). Ce n’est pas le cas avec la technique SfM que nous avons développée. Notre système est basé sur une approche novatrice qui utilise une cartographie très large des textures de la surface de l’utérus (70). Le système utilise cette précision dans l’analyse des textures (70) pour identifier précisément les changements dans l’apparence de la surface de l’utérus. Cette technique apporte des changements majeurs et indéniables par rapport aux techniques SLAM utilisées classiquement par les autres équipes (39, 78, 84, 85). L’utilisation de la technique SLAM était déjà une évolution majeure par rapport aux autres techniques utilisées. Une autre caractéristique de notre technique est qu’elle n’utilise pas de modèle prédictif. Dans le modèle SLAM, le recalage en temps réel se fait en partie grâce aux données du recalage de l’image juste avant, dans notre modèle le recalage est réalisé de novo sur chaque image car basé la reconnaissance des textures de l’organe
d’intérêt (« Wide-Baseline Multi-Texturemap
Registration : WBMTR »). Il faut pour cela que dans la séquence vidéo que nous prenons de l’organe d’intérêt inclure des images prises de différents points de vue et de différentes positions de l’organe. Les différences et les variations de texture entre
Figure 28. Beacon® electromagnetic
transponder (~8 mm in length).
Figure 29. Prostatectomie radicale. Repères visuels (aiguille + tête colorée). (14)
19
chaque cliché clef vont être analysés et enregistrés, ces données vont permettre de littéralement suivre l’organe en reconnaissant sa texture de surface et en déduire ainsi sa position dans l’espace. Cette position dans l’espace étant reconnue on va pouvoir y ajouter le modèle préopératoire « optimisé » (transformé) et les données d’intérêt (tumeur à l’intérieur de l’organe, repères anatomiques)…. En fait ce qui pourrait être un handicap (différents aspects de la texture en fonction de la réflectivité du tissu (très variable sur un tissu biologique intra-abdominal), de l’éclairage, de l’angle de vue) va être transformé en avantages de reconnaissance et de véritable lecture du champ opératoire et de son contenu. Nous avons testé ce modèle et démontré sa fiabilité et sa robustesse comparées à la méthode de référence SLAM (article reproduit en Annexe 1) sur des données vidéo acquises in-vivo. En effet notre système est beaucoup moins sensible que le système SLAM au mouvement de l’organe, à sa déformation secondaire par la pression d’un instrument, à l’occlusion du champ opératoire par un
instrument et aux différentes phases de
retrait/insertion de l’optique.
Le Circuit est donc complet : les textures sont automatiquement reconnues, en est déduite la position de l’organe, position initialement paramétrée grâce à une courte séquence vidéo initiale (incluant des mouvements de l’organe ou tout du moins son angle de vue et nécessitant un traitement manuel minime) qui permet ainsi de positionner l’image 3D préopératoire modifiée selon les données du modèle
3D peropératoire et les caractéristiques
biomécaniques de l’organe…. On sait donc où et avec quelles modifications afficher l’information obtenue en préopératoire. Il faut alors définir les modalités pratiques (couleur, texture…) d’affichage de ces informations et déterminer quelles informations afficher : surface externe de l’organe, tumeur à l’intérieur de l’organe, repères anatomiques
4) Modalités pratiques d’affichage de l’information
La dernière problématique, en fin de circuit, est donc l’affichage des informations à l’écran. Il s’agit d’afficher deux types d’informations : les informations réelles synthétiques (tumeurs, repères anatomiques, cavité utérine, …) et l’affichage d’informations, de repères guidant le chirurgien (marge saine, niveau d’incision, aide à la 3D …)
décidées en préopératoire. Pour localiser
(localisation spatiale) correctement une tumeur dans un organe opaque il faudrait que le chirurgien voit au travers de cet organe comme si cet organe était transparent. C’est cet effet que nous utilisons : l’information d’intérêt (tumeur, structure interne d’un organe : cavité, vaisseaux, canaux excréteurs, …) situés dans l’organe d’intérêt vont s’afficher sur l’organe d’intérêt. Nous utilisons de la 2D, l’information va donc s’afficher sur l’organe mais il faut non seulement donner l’impression que l’information d’intérêt est à l’intérieur de l’organe mais également que le chirurgien puisse estimer de façon précise la localisation en profondeur de l’information ce qui est pas intuitif sur un écran 2D. Dans le début de nos travaux était affiché au chirurgien uniquement l’information d’intérêt (figure 30) sans aucun rendu de la surface de l’organe d’intérêt ce qui rendait difficile l’évaluation de la profondeur de cette information par rapport à la
surface de l’organe. L’organe apparaissait
totalement transparent, dans un deuxième temps, pour améliorer la localisation en profondeur donc la capacité du chirurgien à localiser l’information d’intérêt un rendu de type maillage noir a été ajouté (figure 30). Celui ci correspond au modèle 3D préopératoire optimisé et recalé de l’organe suivi. En dehors de cet avantage de retranscription au moins partielle de l’information 3D il permet au chirurgien et à l’opérateur qui s’occupe de la partie manuelle du recalage de vérifier en temps réel, quelque soit le mouvement de l’organe, la bonne corrélation du modèle 3D optimisé et de l’image laparoscopique réel de l’organe.
Figure 30. Dans les deux images de gauche : affichage de l’information d’intérêt, sans rendu de la surface de l’organe. Images de droite : rendu de la surface de l’organe par un maillage noir semi transparent.
20
De fait le mouvement de l’organe est finalement un avantage majeur dans la localisation de l’information puisque l’opérateur peut voir l’organe de profil et estimer plus facilement la localisation de la tumeur ou de l’information d’intérêt en général (figure 30 et 31). Nous avons également débuté l’optimisation d’ajout de repères en RA permettant d’augmenter la précision de la localisation. Il s’agit de formes en « clou » dont la tête est à la surface de l’organe (au niveau du maillage de l’organe) et la pointe au niveau de la tumeur (Figure 31). Plusieurs de ces formes peuvent être ajoutées selon des angles différents déterminés par l’opérateur informatique avant la chirurgie (angle de 90° entre chaque forme généralement, figure 31). Nous avons également ajouté des marges de résections pour afficher aux chirurgiens la marge tumorale minimale à respecter lors d’une résection oncologique notamment (figure 32). Cette marge est définie en préopératoire (5 mm par exemple en néphrectomie partielle) et peut être facilement adaptée aux désidérata du clinicien.
Au cours de nos expérimentations et
notamment dans la mise au point du modèle de néphrectomie partielle nous avons réalisé que cette vue transparente ou semi-transparente présentait des limitations dans la localisation de tumeurs et dans la décision de l’incision initiale s’il s’agissait de
petites tumeurs ou de tumeurs profondes. Cette limitation est représentée figure 32: il existe une angulation entre la caméra et l’instrument coelioscopique, en 2D si seule l’information de la tumeur et des marges est affichée le chirurgien aura tendance à effectuer un accès à la tumeur aligné avec l’optique, là ou se projette l’image du centre de la tumeur (c, sur la figure 32) si son objectif est d’accéder directement à la tumeur. L’incision est poursuivie dans l’alignement de l’instrument (trait fin rouge de la figure 32, image de gauche) et se trouve en dehors de la tumeur. La projection est la même pour une tumorectomie: le risque est de réaliser une résection conique passant par la tumeur ou sans respect des marges saines (trait épais rouge de la figure 32, image de gauche), nous avons donc adapté la projection des limites de section à réaliser pour effectuer une tumorectomie à l’angulation instrument / caméra. Nous avons appelé ce système « tool port projection ». Cet anneau de section représente la projection de la tumeur à laquelle sont ajoutées les marges de résection. Nous avons donc développé de véritables outils d’aide à la tumorectomie (projection de l’anneau d’incision, représentation des marges saines à respecter, aide d’estimation de la profondeur, tumeur en elle même) permettant probablement de diminuer le facteur « expérience » dans la tumorectomie.
Figure 32. Image de gauche, système sans repère d’incision adapté à l’angulation caméra instrument (c : point de projection du center de la tumeur aligné à l’optique et le utilisé comme point d’incision du chirurgien, traits rouge : poursuite de l’incision si l’angulation de l’instrument n’est pas pris en compte). Image du centre : projection du cercle d’incision adapté à l angulation optique/instrument et sa vue laparoscopique telle qu’utilisé dans notre protocole.
Figure 31. Vue de dessus (a gauche), l’évaluation de la localisation en profondeur de la tumeur est difficile. Vue latérale (au centre) permettant d’apprécier plus facilement la localisation de la tumeur. Adjonction de formes en «clou» améliorant la vision 3D, sur cette image sont
également présentent la simulation de marge de résection et l’adjonction d’autres informations telle que la cavité utérine.
21
IV. Matériel nécessaire
Comme nous l’avons décrit plus haut la plupart des systèmes actuels de RA nécessite un repérage spatial des instruments et ou de la caméra tel qu’illustré dans la figure 27 avec le système NARVIS (Figure 33).
Dans notre système il n’est pas nécessaire d’avoir recours ni à des repères ni à ce suivi spatial (« tracked » instruments / endoscope). Nous avons donc « éliminé » cette contrainte technique majeure. Il faut quand même afficher l’information au chirurgien. En chirurgie ouverte, si l’opérateur regarde habituellement directement le champ opératoire il semble logique d’interposer un système de visualisation entre l’œil et le champ opératoire : il apparaît délétère de regarder un écran et le champ opératoire alternativement ou d’un œil l’écran et de l’autre le champ opératoire (figure 34) alors que des systèmes de visualisation fixés sur la tête du chirurgien (Head Mounted Device, visiocasque en français) existent Il existe de très nombreuses versions de ces systèmes de visiocasque du plus simple au plus évolué (figure 35).
Figure 33. Navigated Augmented Reality Visualization System (NARVIS) (11)
Figure 34. En haut : affichage de l’information sur un écran déporté, l’opérateur est obligé de déporté son regard du champ opératoire. En bas système de visiocasque (optical see through). Illustration Bernard Peuchot. (9)
Figure 35. Visiocasques : systèmes simples et peu couteux à gauche (67) et plus beaucoup plus évolués (système anthropomatik, système Augmented Intervention Assistant (AIA)), Système VIPAAR : Virtual Interactive
Presence in Augmented Reality, University of Alabama). A droite : Projet d’évolution la plus récente : Lentille
22
Pour certaines chirurgies ouvertes (neurochirurgie, chirurgie maxillo-faciale) l’utilisation systématique d’un microscope impose déjà la présence d’un appareillage entre le chirurgien et le patient, l’affichage de l’information de la RA au niveau des lentilles est donc logique et intuitive (figure 36). En fait la différence majeure entre ces systèmes est le fait de voir directement la réalité au travers de verre-écran (ou lentille) sur lesquels s’affiche la RA (Optical see-through) ou par l‘intermédiaire d’écran comme dans notre système (vidéo see-through) ce qui impose que la réalité soit filmée (figure 37).Dans la littérature, un travail a rapporté les différentes méthodes d’affichage utilisées en RA en
chirurgie Kersten-Oertel, Jannin (15), figure 38. Le
système d’affichage des données est donc essentiellement fonction du type de chirurgie : microscope dans la majorité des cas en neurochirurgie, figure 36), écran en laparoscopie, projecteur en chirurgie ouverte maxillo-faciale. En chirurgie laparoscopique, la majorité du temps un écran est donc utilisé puisque le principe même de ce type de chirurgie nécessite l’utilisation d’un écran.
Figure 38. Graphiques montrant la part de chaque méthode d’affichage utilisé en RA en fonction du type de chirurgie. Kersten-Oertel, Jannin (15).
Figure 36. Intervention de neuro-chirurgie avec RA. Technologie CaptiView. Leica. Dr Joshua Bederson, MD.
