Les syst` emes centr´ es utilisateur

La deuxi`eme approche l`eve une partie des limitations ergonomiques des syst`emes centr´es image en augmentant la perception du champ op´eratoire par le chirurgien.

Ce mode d’interaction appel´e R´ealit´e Augment´ee consiste `a enrichir les canaux perceptifs de l’utilisateur avec des donn´ees artificielles en lui donnant l’illusion de leur int´egration `a l’environnement r´eel per¸cu : par exemple superposer un objet synth´etique dans la sc`ene r´eelle vue par l’utilisateur `a travers des lunettes semi-transparentes ou bien cr´eer l’illusion d’une localisation 3D de la source d’un son entendu par l’utilisateur `a travers une paire d’´ecouteurs. Ce mode d’interaction a ´et´e originellement d´evelopp´e pour les applications militaires et les syst`emes de vis´ee tˆete haute dans les avions de combat. Mais il trouve un champ d’application naturel en chirurgie o`u les informations `a apporter sont nombreuses et les tˆaches `a r´ealiser sont pr´ecises, demandant l’attention constante du chirurgien.

L’immense majorit´e des syst`emes utilis´es dans le domaine m´edical concerne l’augmen-tation visuelle. Cependant l’augmenl’augmen-tation haptique apparaˆıt comme un moyen naturel de guidage dans les syst`emes t´el´e-op´er´es [Turro et al., 2001]. La main du praticien est guid´ee selon une trajectoire planifi´ee par l’application de forces attractives sur l’interface qu’il mani-pule. Par exemple le syst`eme pr´esent´e dans [Salb et al., 1999] favorise, en chirurgie maxillo-faciale, certaines directions de coupes relativement aux fibres musculaires mod´elis´ees. Le prototype pr´esent´e intervient en phase de simulation et utilise le dispositif `a retour de force

PHANToM r de SensAble, Inc. Le canal haptique est un moyen de combiner deux modes

d’assistance op´eratoires que sont le simple guidage et la d´efinition de contraintes.

En r´ealit´e augment´ee visuelle, plusieurs types de dispositifs sont envisageables pour “s’in-tercaler” dans la perception du praticien.

La premi`ere approche consiste `a profiter des instruments optiques ou vid´eo utilis´es par le chirurgien pour certaines proc´edures m´edicales. Les instruments optiques (microscopes, bi-noculaires op´eratoires, ophtalmoscopes) doivent ˆetre ´equip´es de dispositifs semi-transparents

(a) (b)

Fig. 1.9 –Le syst`eme de neuronavigation d’IDM `a Rennes [Jannin et al., 2000] : (a) superposition avant incision d’informations anatomiques et fonctionnelles `a travers le microscope chirurgical, (b) superposition apr`es incision.

pour superposer des informations au flux lumineux direct sur le plan focal. La neurochirurgie est une sp´ecialit´e b´en´eficiant de cette technologie avec les premiers dispositifs int´egr´es dans des microscopes commerciaux. Les auteurs de [Jannin et al., 2000] utilisent les fonctionnalit´es du dispositif de neuronavigation SMN r de Carl Zeiss pour superposer des contours anatomiques et fonctionnels (voir figure 1.9). N´eanmoins la superposition est monochrome et uniquement visible dans l’oculaire droit. Les contours repr´esentent l’intersection du plan focal avec les

mod`eles 3D des structures environnantes. Le syst`eme MAGI : Microscope-Assisted Guided

Interventions [Edwards et al., 1995; Edwards et al., 2000] est construit `a partir d’un micro-scope Leica M695 modifi´e. La superposition de structures anatomiques est effectu´ee dans les deux oculaires (voir figure 1.10). Le mˆeme principe est utilis´e dans le syst`eme de vis´ee

Fig. 1.10 –Le syst`eme MAGI : superposition sur le crˆane ´equip´e de marqueurs de l’arche zygoma-tique et de l’art`ere carotide [Edwards et al., 1995; Edwards et al., 2000].

binoculaire VARIOSCOPE r (figure 1.11). Ce syst`eme optique mont´e directement sur la tˆete du chirurgien poss`ede un syst`eme autofocus et un zoom pour un champ d’application plus

1.3 Les syst`emes de guidage 29

large (implantologie dentaire par exemple) [Birkfellener et al., 2002]. Les proc´edures

chirur-Fig. 1.11 – Varioscope AR [Birkfellener et al., 2002]

gicales r´ealis´ees sous endoscopie semblent aussi candidates au guidage par r´ealit´e augment´ee puisque le chirurgien per¸coit la r´ealit´e `a travers un flux vid´eo. Il suffit alors de superposer des donn´ees annexes `a ce flux vid´eo avant pr´esentation au chirurgien. C’est ce que font les auteurs de [Mori et al., 2002] en ´etiquetant les structures anatomiques observ´ees en bronchoscopie. Des r´esultats pr´eliminaires en laparoscopie sont pr´esent´es dans [Buck et al., 2001] et nous avons publi´e nos premiers r´esultats dans [Coste-Mani`ere et al., 2002].

Une autre approche consiste `a augmenter la vision externe du champ op´eratoire `a partir d’un point de vue fixe. Dans [Masamune et al., 2002] le syst`eme est compos´e d’un miroir semi-transparent attach´e au scanner. Le praticien voit le patient sur la table du syst`eme d’acquisition `a travers le miroir mais il per¸coit aussi, en superposition, les coupes scanner correspondantes. Il peut donc effectuer un pr´el`evement guid´e par cette vue (voir figure 1.12). Dans [Sato et al., 1998c] le patient est film´e par une cam´era fixe et le flux vid´eo est augment´e avec le mod`ele de la tumeur canc´ereuse mod´elis´ee `a partir d’acquisitions en ultrasons. La mˆeme technique est utilis´ee en neurochirurgie dans [Grimson et al., 1998] pour aider le chi-rurgien `a dessiner des zones d’int´erˆet sur le cuir chevelu du patient (figure 1.13). Les donn´ees peuvent aussi ˆetre projet´ees directement sur le patient `a l’aide d’un simple vid´eo-projecteur [Bantiche et al., 2002]. L’inconv´enient de ces m´ethodes est qu’elles n’offrent que peu de li-bert´e au chirurgien : l’information est int´egr´ee au champ op´eratoire mais uniquement selon un point de vue d´efini qui ne permet pas toujours de r´ealiser tous les gestes.

Le port d’un dispositif d’affichage, localis´e par rapport `a un point fixe est le seul moyen d’obtenir une augmentation coh´erente de la vision en permettant une certaine libert´e d’ac-tions. Deux types de technologies coexistent : les syst`emes optiques dans lesquels la r´ealit´e est per¸cue directement `a travers des lunettes semi-transparentes (“optical see-through Head-Mounted Display”) et les syst`emes dans lesquels la r´ealit´e est film´ee par des cam´eras mi-niatures puis restitu´ee `a l’utilisateur sur des afficheurs opaques (“video see-through Head-Mounted Display”). Les premiers pr´esentent l’avantage d’une bonne r´esolution du r´eel (!) et d’un faible poids. En revanche ils sont souvent sombres et plus difficiles `a calibrer. La deuxi`eme technologie permet de g´erer facilement la superposition d’images mais la r´esolution

(a) (b)

Fig. 1.12 – Syst`eme de guidage par r´ealit´e augment´ee utilisant un miroir semi-transparent et un scanner [Masamune et al., 2000; Masamune et al., 2002].

Fig. 1.13 –Superposition de structures anatomiques mod´elis´ees `a partir d’une IRM dans des images vid´eo au bloc op´eratoire [Grimson et al., 1998].

1.3 Les syst`emes de guidage 31

du r´eel est limit´ee, les ´equipements sont plus lourds et les syst`emes n’ayant pas de probl`eme de parallaxe (diff´erence de position entre la cam´era et l’oeil) sont complexes.

D`es 1992 Henry Fuchs propose d’utiliser un casque vid´eo pour visualiser des images ultra-sonores sur le ventre d’une patiente enceinte [Bajura et al., 1992]. La sc`ene n’´etait film´ee que par une seule cam´era et la superposition n’´etait r´ealis´ee que pour l’oeil gauche de l’utilisa-teur. Dans [Fuchs et al., 1998] le point de vue naturel du chirurgien est r´etabli en laparosco-pie classique. Le chirurgien per¸coit en regardant l’abdomen du patient son anatomie interne mod´elis´ee en trois dimensions `a partir des images endoscopiques. Le prototype original souf-frait de quelques limitations techniques (localisation “maison” de l’endoscope et du casque, reconstruction 3D peu pr´ecise) mais l’approche est en cours de validation exp´erimentale pour la r´ealisation de biopsies sous contrˆole ultrasonore [Rosenthal et al., 2002]. Le praticien est aid´e dans sa tˆache par la mat´erialisation de la trajectoire de la seringue de pr´el`evement et de son intersection avec le plan d’acquisition de la sonde qu’il manipule simultan´ement (voir figure 1.14). Dans [Sauer et al., 2001b], des cibles op´eratoires peuvent ˆetre point´ees sur le plan d’acquisition de la sonde ultrasonore avec une souris ou bien grˆace `a un syst`eme de vis´ee dans la direction regard´ee par l’utilisateur. Le casque vid´eo est aussi utilis´e en test pr´e-cliniques pour visualiser in-situ des donn´ees d’IRM intra-op´eratoire [Sauer et al., 2001a]. Les auteurs de [Salb et al., 2002] utilisent un casque optique pour superposer au champ op´eratoire une carte de risques ´evalu´ee avant l’intervention pour indiquer au chirurgien les zones critiques `a ne pas l´eser.

Fig. 1.14 – Guidage par r´ealit´e augment´ee d’une biopsie [Rosenthal et al., 2002] : le praticien visualise dans son casque le plan d’acquisition de la sonde `a ultrasons et la direction de la seringue.

Les syst`emes d’assistance par r´ealit´e augment´ee pr´esentent un potentiel int´eressant puisque le guidage est int´egr´e dans la sc`ene per¸cue par l’utilisateur. Cependant, aux dif-ficult´es communes `a beaucoup de syst`emes d’assistance chirurgicale par ordinateur (recalage au bloc op´eratoire, localisation du patient et d’instruments, prise en compte des d´eformations intra-op´eratoires par imagerie. . . ) s’ajoutent des difficult´es propres.

La premi`ere est que la plupart des syst`emes de r´ealit´e augment´ee tentent de donner l’illu-sion de la transparence : les structures virtuelles seraient “derri`ere” la surface r´eelle observ´ee

alors que celles-ci sont superpos´ees dans les images. Les auteurs de [Edwards et al., 2000] ob-servent ce ph´enom`ene. Malgr´e un syst`eme parfaitement calibr´e et une disparit´e st´er´eoscopique correcte, le cerveau humain a du mal `a ˆetre convaincu qu’un objet synth´etique est “derri`ere” la surface qu’il dissimule. Un meilleur r´esultat est obtenu en utilisant une teinte plus sombre et absente de la sc`ene r´eelle (voir la superposition en bleue sur la figure 1.10). L’utilisation de mod`eles fils de fer semblent aussi am´eliorer la perception de la profondeur comme la superpo-sition de courbes de niveaux [Sauer et al., 2001a]. Une meilleure int´egration `a la sc`ene r´eelle passe aussi par la gestion des occlusions des objets virtuels par la sc`ene r´eelle. Mais celle-ci demande soit un mod`ele avec le suivi des objets r´eels (par exemple les instruments en laparo-scopie) soit une reconstruction st´er´eoscopique de la sc`ene observ´ee. Nous avons pr´esent´e un tel syst`eme dans [Mourgues et al., 2001a] : la surface des organes observ´es avec un endoscope st´er´eoscopique est reconstruite en pr´esence d’instruments chirurgicaux mobiles au premier plan. La m´ethode segmente simultan´ement les instruments ce qui permet de g´erer l’occlusion d’un objet virtuel par ceux-ci. Les difficult´es sont ici celles du calcul temps r´eel.

Les syst`emes qui ´equipent le chirurgien d’un casque d’affichage doivent aussi r´epondre `

a des contraintes temporelles fortes sous peine de perdre leur avantage ergonomique. La premi`ere contrainte concerne le d´elai entre la perception d’une image r´eelle et la vue vir-tuelle correspondante. Ce d´elai r´esulte entre autre du temps de mise `a jour des donn´ees de localisation du casque (suivi visuel, syst`eme de localisation) et du temps de calcul de la vue virtuelle. Les casques opaques permettent d’annuler ce d´elai en retardant le flux vid´eo direct. Le deuxi`eme param`etre est la latence du retour visuel c’est `a dire le d´elai entre le mouve-ment effectu´e par l’utilisateur et sa perception dans le casque, qui, trop ´elev´ee, provoque une sensation d´esagr´eable pour l’utilisateur.

Tous ces syst`emes b´en´eficient des progr`es rapides du rendu graphique sur ordinateur (r´ealisme et rapidit´e de calcul des sc`enes).