HAL Id: inria-00436996
https://hal.inria.fr/inria-00436996
Submitted on 28 Nov 2009
HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci-entific research documents, whether they are pub-lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.
L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.
Asservissement visuel par imagerie médicale
A. Krupa
To cite this version:
A. Krupa. Asservissement visuel par imagerie médicale. Journées Nationales de la Recherche en Robotique, JNRR’09, 2009, Neuvy-sur-Barangeon, France, France. �inria-00436996�
Asservissement visuel par imagerie m´edicale
Alexandre Krupa
INRIA Rennes - Bretagne Atlantique / IRISA Campus universitaire de Beaulieu
35042 Rennes Cedex
t´el : 02 99 84 25 85 - alexandre.krupa@irisa.fr
R´esum´e - Cet article pr´esente les avanc´ees r´ecentes dans le domaine de l’asservissement visuel
par imagerie m´edicale, r´ealis´ees notamment depuis les derni`eres JNRR’07. Le domaine applicatif concerne la robotique m´edicale o `u la tˆache est r´ealis´ee selon un sch´ema de commande en « boucle ferm´ee » utilisant directement l’information visuelle fournie par une modalit´e d’imagerie m´edicale telles l’endoscopie, la fibroscopie, l’´echographie, la tomodensitom´etrie (scanner X), la r´esonance magn´etique (IRM) ou autres.
Mots-cl´es - Robotique m´edicale, Asservissements visuels
I. INTRODUCTION
Apparue au milieu des ann´ees 1980, la robotique m´edicale et chirurgicale n’a cess´e depuis de progresser. En effet, grˆace `a l’introduction de nouvelles technologies de l’information et de la communication dans la m´edecine, une nouvelle discipline est apparue, laquelle s’int´eresse aux Gestes M´edicaux et Chirurgicaux Assist´es par Ordinateur (GMCAO). Ainsi, les techniques d’imagerie m´edicale informatis´ee permettent aujourd’hui d’assister le praticien de fac¸on quantitative et fiable. L’utilisation de syst`emes robotiques permet d’augmenter la pr´ecision du geste et d’effectuer des op´erations chirurgicales peu invasives pour le patient voir mˆeme des interventions ne pouvant pas ˆetre r´ealis´ees auparavant par une technique manuelle. A leur d´ebut, ces syst`emes ont principalement ´et´e t´el´e-op´er´es par le praticien. Depuis une dizaine d’ann´ees, l’´emergence des techniques d’imagerie a permis d’envisager de nouvelles applications robotiques d’assis-tance aux gestes m´edicaux. Il est `a pr´esent possible d’utiliser l’information provenant d’une ou de plusieurs modalit´es d’imagerie telles l’endoscopie, l’´echographie, l’imagerie `a rayonnement X, ou l’imagerie `a r´esonance magn´etique IRM pour guider des robots m´edicaux. Actuellement, une grande majorit´e des interventions r´ealis´ees sous imagerie m´edicale `a l’aide de robots est bas´ee sur des techniques de recalage utilisant g´en´eralement des syst`emes externes de mesure optique ou magn´etique pour localiser la position courante d’un instrument dans le r´ef´erentiel de l’imageur o`u est planifi´ee la position de la cible `a atteindre `a partir d’une image pr´e-op´eratoire du patient. La pr´ecision de la localisation et du positionnement de l’instrument est dans ce cas directement fonction de la pr´ecision fournie par le syst`eme de localisation externe utilis´e. L’erreur de positionnement est ´egalement plus grande lorsque la cible r´eelle `a atteindre est mobile, ce qui est g´en´eralement le cas dˆu aux perturbations induites par les mouvements physiologiques du patient. Dans ce contexte, l’asservissement visuel est une approche alternative que plusieurs ´equipes de recherche ont propos´e dans des applications m´edicales, afin de commander directement `a partir d’informations visuelles extraites de l’image m´edicale, et en boucle ferm´ee, soit le d´eplacement de l’imageur ou celui d’un instrument. Ces techniques ont un avantage majeur. Elles permettent d’obtenir des pr´ecisions de positionnement de l’ordre du pixel tout en essayant de compenser au mieux les perturbations introduites par les mouvements physiologiques du patient au moyen de la boucle de retour visuel.
Dans cette article, nous reportons les avanc´ees r´ecentes de l’asservissement visuel dans le contexte de la robotique m´edicale. Nous nous int´eresserons et d´etaillerons dans la mesure du possible plus par-ticuli`erement les travaux r´ealis´es lors des 2 ou 3 derni`eres ann´ees dans la communaut´e franc¸aise et
citerons quelques travaux pr´ecurseurs ou novateurs r´ealis´es `a l’´etranger. Nous proposons ici de classer ces travaux en fonction du dispositif d’imagerie m´edicale utilis´e dans l’application cibl´ee. La section III porte sur les travaux utilisant une ou plusieurs cam´eras avec ou sans optique particuli`ere. Les travaux sur l’asservissement visuel `a partir d’images ´echographiques sont d´ecrits dans la section IV. Et pour finir, la section V pr´esente les travaux o`u les imageurs `a rayonnement X ou `a r´esonance magn´etique nucl´eaire sont consid´er´es. Mais tout d’abord un petit rappel sur les notions de base de l’asservissement visuel est donn´e dans la section qui suit.
II. ASSERVISSEMENT VISUEL
Dans cette section, nous pr´esentons bri`evement les bases utiles `a la compr´ehension de ce qu’est un asservissement visuel. Afin d’obtenir une explication plus approfondie, nous invitons le lecteur `a se reporter aux articles tutoriels [1] et [2]. La commande par vision ou asservissement visuel consiste `a contrˆoler les mouvements d’un syst`eme dynamique en int´egrant les informations fournies par un capteur de vision dans un syst`eme de commande en boucle ferm´ee. Initialement, les techniques d’asservissement visuel ont ´et´e d´evelopp´ees pour contrˆoler, `a partir de l’image fournie par une cam´era monoculaire, des robots de type manipulateurs. Une classification `a pr´esent bien connue permet de qualifier les diff´erents types d’asservissement visuel selon 3 crit`eres qui sont : la configuration du capteur visuel dans le syst`eme robotique, le type d’architecture de commande utilis´e et le type de grandeur `a asservir. Ces crit`eres sont bri`evement pr´esent´es ci-dessous.
A. Le positionnement du capteur visuel
– La configuration du capteur embarqu´e : Comme l’expression l’indique, le capteur visuel est mont´e sur l’organe terminal du robot. Cette configuration est d´enomm´ee “eye in hand” dans la litt´erature anglo-saxonne. L’objectif de l’asservissement est g´en´eralement de d´eplacer le capteur visuel pour atteindre ou suivre par exemple un objet en mouvement.
– La configuration du capteur d´eport´e : Pour cette configuration “eye to hand”, le capteur visuel n’est pas solidaire du robot asservi. L’objectif est de faire ´evoluer le robot par rapport `a son environnement de travail, en percevant g´en´eralement `a l’aide du capteur visuel l’image du robot et des objets avec lesquels il interagit.
B. Les grandeurs asservies
– Asservissement visuel 3D :
Dans un asservissement visuel 3D, l’objectif est de contrˆoler le d´eplacement du robot dans l’espace cart´esien. La grandeur `a asservir correspond directement `a l’attitude d’un rep`ere li´e rigidement `a l’effecteur du robot par rapport `a un rep`ere attach´e `a l’objet d’int´erˆet. L’inconv´enient majeur de ce type d’asservissement est la n´ecessit´e d’une ´etape de reconstruction 3D permettant de fournir une mesure d’attitude. Cette derni`ere peut par exemple ˆetre obtenue par triangulation en utilisant un syst`eme de vision st´er´eoscopique calibr´e, ou par des techniques de reconstruction de pose dans le cas d’un capteur monoculaire. Les techniques de reconstruction de pose utilisent des primitives extraites de l’image et sont g´en´eralement bas´ees sur la connaissance d’un mod`ele de la sc`ene observ´ee. Malheureusement quelle que soit la m´ethode de reconstruction de pose utilis´ee, l’estimation de l’attitude est tr`es sensible aux bruits de mesure et aux erreurs de calibrage du capteur visuel. Il en r´esulte, apr`es convergence de l’asservissement lorsque le r´egime permanent est atteint, un biais entre la position du robot et l’objet d’int´erˆet `a atteindre. Cet inconv´enient constitue le probl`eme majeur de l’asservissement visuel 3D.
– Asservissement visuel 2D : Dans un asservissement visuel 2D, la grandeur `a asservir est exprim´ee sous la forme de primitives visuelles dans l’image. Pour ce type d’asservissement, on parle ´egalement “d’asservissement r´ef´erenc´e image”. Contrairement `a un asservissement visuel 3D, le contrˆole du
robot n’est pas effectu´e dans l’espace cart´esien, mais directement dans l’image. Les primitives extraites de l’image sont g´en´eralement des formes g´eom´etriques ´el´ementaires qui proviennent de l’objet d’int´erˆet. Diff´erents types de primitives peuvent ˆetre utilis´es. Des coordonn´ees de points dans l’image sont les plus couramment utilis´ees. Ces primitives peuvent ´egalement ˆetre des droites, des ellipses, des cylindres, des invariants projectifs, etc... Pour des sc`enes complexes qui ne contiennent aucune primitive g´eom´etrique simple, l’information du mouvement dans l’image ou directement l’information photom´etrique d’une r´egion d’int´erˆet de l’image peuvent ˆetre utilis´ees comme primitives visuelles.
C. L’architecture de commande du robot
– Commande s´equentielle : Cette approche est recommand´ee lorsque le dispositif d’imagerie ne peut pas fournir des images `a une cadence d’acquisition sup´erieure au Hertz. L’asservissement fonctionne selon un mode s´equentiel ´egalement appel´e “look then move” dans la litt´erature anglo-saxonne. La s´equence consiste `a acqu´erir une ou un ensemble d’images puis traiter et analyser ces images pour g´en´erer une trajectoire en position de l’organe terminal du robot qui est envoy´ee au contrˆoleur bas-niveau du robot fourni par le constructeur. Ce dernier effectue ensuite l’asservissement en position des coordonn´ees articulaires. Cette s´equence peut ˆetre r´ep´et´ee ´eventuellement jusqu’`a atteindre un crit`ere d’arrˆet impos´e. L’avantage de cette architecture r´eside dans sa simplicit´e, sa portabilit´e et sa robustesse, car le robot peut ˆetre consid´er´e comme un syst`eme de positionnement autonome o`u les singularit´es et les s´ecurit´es sont g´er´ees par le contrˆoleur de bas niveau du robot. L’inconv´enient est l’impossibilit´e de r´ealiser des asservissements visuels pour lesquels le but recherch´e est la rapidit´e. – Commande cin´ematique : La commande cin´ematique est un asservissement en boucle ferm´ee qui
consiste `a envoyer p´eriodiquement des consignes de vitesses articulaires au contrˆoleur bas niveau du robot. La cadence du rafraˆıchissement des consignes est impos´ee par la fr´equence d’acquisition des images et la dur´ee des traitements n´ecessaires `a l’extraction de l’information visuelle et du calcul de la loi de commande. Ce type de commande est g´en´eralement utilis´e pour des fr´equences d’acquisition des images allant de 1 `a 50 Hz. La fonction de transfert du robot est consid´er´ee comme ´etant un int´egrateur pur car les effets dynamiques ne sont pas mod´elis´es. Cette commande a l’avantage d’ˆetre facilement mise en œuvre si le contrˆoleur bas niveau du robot permet de g´en´erer et d’appliquer une trajectoire de positions articulaires `a partir de consignes de vitesses articulaires. N´eanmoins, elle n’est pas ad´equate pour des applications n´ecessitant une r´eactivit´e ´elev´ee du robot du fait de la non mod´elisation des effets dynamiques.
– Commande dynamique : La commande dynamique tient compte d’une mod´elisation plus r´ealiste du comportement du robot. Une identification des param`etres dynamiques (masses, inerties, frotte-ments,...) du robot est n´ecessaire afin de mettre en œuvre une commande en vitesse ou en couple qui lin´earise le comportement du syst`eme. Dans ce cas, le syst`eme de vision commande directement les variateurs des actionneurs du robot en se substituant au contrˆoleur bas niveau du robot. Cette architecture permet de tirer pleinement partie des possibilit´es dynamiques offertes par le robot pour r´ealiser des asservissements visuels rapides. Elle n´ecessite cependant une cadence ´elev´ee du syst`eme de vision (plus de 50 images/s), afin de garantir la stabilit´e et la convergence de la commande.
III. CAMERAS AVEC OU SANS OPTIQUE PARTICULI´ ERE`
Historiquement, les premiers travaux d’asservissement visuel en robotique m´edicale ont ´et´e r´ealis´es dans le contexte de la chirurgie laparoscopique o`u le dispositif d’imagerie utilis´e est un endoscope constitu´e d’une cam´era coupl´ee `a une optique particuli`ere de forme cylindre. Cette optique de longueur importante est introduite dans l’abdomen du patient par l’interm´ediaire d’un trocart pr´ealablement positionn´e au travers d’un point d’incision. Un r´eseau de fibres optiques plac´e en p´eriph´erie de l’optique permet de transporter `a l’int´erieur de l’abdomen du patient l’´eclairage d’une source de lumi`ere froide qui est situ´ee
`a l’ext´erieur. Ce type d’imageur m´edicale a l’avantage de b´en´eficier des bonnes propri´et´es des cam´eras classiques, qui sont entre autres une cadence ´elev´ee de l’acquisition d’images (25 images/s ou plus) et la pr´esence d’un faible temps de retard d’acquisition (de l’ordre de 20 ms). Il est donc appropri´e pour ˆetre int´egr´e dans des applications robotiques avec asservissement visuel utilisant une architecture de commande cin´ematique ou dynamique.
Les premiers travaux [3], [4], [5] ont port´e sur le positionnement automatique d’un robot porteur d’endoscope (configuration “eye in hand”) afin de suivre et maintenir dans le champs visuel de la cam´era un ou plusieurs instruments de chirurgie laparoscopique lors d’une intervention chirurgicale et ´evitant ainsi la pr´esence d’un chirurgien pour manipuler l’endoscope.
Par la suite, des travaux ont port´e sur le positionnement automatique d’un instrument de chirurgie laparoscopique actionn´e par un robot m´edical command´e par asservissement visuel (configuration “eye to hand”). Les applications mises en œuvre ont ´et´e : la r´ecup´eration automatique par asservissement visuel 2D d’un instrument dans le champs visuel de la cam´era [6], une tˆache de suture automatique [7] effectu´ee par asservissement visuel 3D apr`es indication dans l’image du point d’entr´ee et de sortie d’une aiguille circulaire et la compensation des mouvements physiologiques du patient au moyen d’une commande dynamique utilisant un correcteur pr´edictif bas´e sur un mod`ele du mouvement de l’organe [8].
L’utilisation de la vision pour le guidage de robot `a l’int´erieur du corps humain est limit´ee par les difficult´es ´emanant de l’interpr´etation des images. Pour cette raison, les travaux mentionn´es pr´ec´edemment ont pour la plupart consid´er´e des informations visuelles fournies par des marqueurs artificiels ajout´es dans la sc`ene. Ces marqueurs ont ´et´e fix´es sur l’extr´emit´e des instruments [3], [4], [5], [7] et/ou ´egalement sur la surface de l’organe d’int´erˆet par projection de spot laser [6] ou fixation de marqueurs lumineux [8].
Une m´ethode alternative `a l’utilisation de marqueur a ´et´e propos´ee dans [9] dans le but de d´etecter des instruments de chirurgie laparoscopique. Cette m´ethode est bas´ee sur l’hypoth`ese que chaque instrument est introduit dans l’abdomen par un point “fixe”. Elle n´ecessite une phase d’initialisation au d´ebut de l’intervention qui consiste `a visualiser par la cam´era endoscopique les points de l’abdomen o`u sont ins´er´es les diff´erents instruments afin de calculer leurs coordonn´ees 3D dans un rep`ere li´e au robot selon le principe de st´er´eovision. Ces coordonn´ees 3D constituent des contraintes sur les positions attendues des outils dans les images permettant ainsi `a un algorithme de segmentation bas´e sur la m´ethode de Hough [10] d’extraire efficacement les contours lat´eraux des instruments. La d´etection de l’extr´emit´e de l’outil est bas´ee sur une m´ethode d’Otsu [11] qui consiste `a r´ealiser un seuillage sur l’histogramme des niveaux de gris des pixels appartenant `a l’axe de sym´etrie de l’instrument. Cette m´ethode de d´etection a ´et´e valid´ee sur cadavre lors d’une chol´ecystectomie (ablation de la v´esicule biliaire) et un asservissement visuel 2D “eye in hand” a ´et´e mis en œuvre pour contrˆoler 2 degr´es de libert´e d’un robot porte-endoscope afin de suivre et maintenir un instrument au centre de l’image (Figure 1).
En vue de r´ealiser le positionnement relatif des instruments par rapport aux surfaces des organes, d´eformables et en mouvement, une approche diff´erente consiste `a effectuer une mesure 3D imm´ediate de la surface des organes. Celle-ci a ´et´e abord´ee dans [12] par la mise en œuvre d’un dispositif de lumi`ere structur´ee qui projette un motif sur les organes, ind´ependamment de l’information renferm´ee dans la texture. Cette ´etude concerne plus particuli`erement la conception automatique de motifs de grandes dimensions, codant sp´ecifiquement la lumi`ere et o`u la distance de Hamming permet de quantifier la robustesse vis-`a-vis des occultations et des discontinuit´es de courbures de la surface observ´ee. Des dispositifs de projection miniaturis´es ont ´et´e d´evelopp´es en partenariat avec un industriel. Grˆace aux choix des indices visuels repr´esentant les ´el´ements du motif et `a un sch´ema de d´ecodage propos´e, la
Fig. 1. Quelques exemples de d´etection des instruments chirurgicaux avec la m´ethode du “point fixe” et le robot porte-endoscope LER command´e par asservissement visuel 2D pour centrer l’instrument dans l’image
rapidit´e d’ex´ecution obtenue permet une reconstruction 3D (Figure 2) en temps r´eel (50 ms) pour des applications de r´ealit´e augment´ee et de commande de robot [13].
Fig. 2. Projection d’un motif monochrome sur les organes de l’abdomen d’un porc - D´ecodage : les indices visuels d´etect´es et d´ecod´es (mis en correspondance avec le mod`ele) sont colori´es en rouge - Reconstruction 3D
R´ecemment une nouvelle technique de chirurgie mini-invasive a ´et´e mise en place par les m´edecins. Cette technique consiste `a introduire des instruments chirurgicaux dans la cavit´e abdominale par voie transluminale, c’est `a dire par des orifices naturels tels que la bouche, l’anus, le vagin ou l’ur`etre. Cette nouvelle technique pr´esente de nombreux avantages par rapport aux techniques traditionnelles telles que la chirurgie ouverte (laparotomie) ou chirurgie laparoscopique. Le plus significatif est l’absence d’incisions dans la paroi abdominale et de cicatrices visibles apr`es l’intervention. Dans ce contexte, des travaux de recherche [14], [15] ont ´et´e men´es afin de contrˆoler automatiquement l’orientation de la tˆete d’un endoscope flexible robotis´e. Deux degr´es de libert´e en orientation sont command´es par un asservissement visuel bas´e image, de sorte que la cam´era endoscopique maintienne une cible anatomique fixe dans l’image (voir Figure 3). Afin de rejeter efficacement les perturbations li´ees au mouvement respiratoire, l’asser-vissement visuel est coupl´e `a un m´ecanisme de commande r´ep´etitive [16]. Cette commande, r´ecemment utilis´ee dans le domaine m´edical, a une limitation importante : elle ne permet pas de rejeter efficacement des perturbations non p´eriodiques. Cette limitation est particuli`erement gˆenante en endoscopie flexible o`u la cam´era est embarqu´ee sur le syst`eme portant les instruments. Ainsi, dans le syst`eme consid´er´e, l’enfoncement de l’endoscope est contrˆol´e manuellement et ces mouvements manuels agissent comme des perturbations inconnues sur l’asservissement visuel. La solution propos´ee par les auteurs consiste `a d´ecomposer ces perturbations selon 2 axes : les changements de profondeur selon l’axe de la cam´era et les
perturbations perpendiculaires `a cet axe. Un algorithme de commande permettant de g´erer au mieux ces 2 types de perturbations est propos´e. Les variations de profondeur sont estim´ees `a partir des modifications de la cible anatomique dans l’image en utilisant un mod`ele de transformation homographique. Ces variations de profondeur sont utilis´ees pour mettre `a jour le tampon des commandes pass´ees intervenant dans l’algorithme de commande r´ep´etitive, de sorte que les actions appliqu´ees correspondent `a la nouvelle profondeur de la cible [14]. La commande r´ep´etitive classique ne permet pas de rejeter l’autre partie des perturbations ou produit des r´ep´etitions inappropri´ees. Pour r´esoudre ce probl`eme, un algorithme de commande `a commutation est propos´e o`u un observateur permet de d´etecter l’arriv´ee d’une perturbation non pr´evue. La commande r´ep´etitive est alors d´erout´ee pour une p´eriode, ce qui ´evite de r´ep´eter les actions de commandes de rejet de cette perturbation [15]. Ces algorithmes de commande ont ´et´e test´es avec succ`es lors de plusieurs op´erations in vivo men´ees sur mod`ele porcin. Les am´eliorations dans le rejet des perturbations dues au mouvement manuel de l’endoscope sont importantes et n’affectent pas le rejet des perturbations pr´edites. Ceci permet d’envisager un mode de commande coop´eratif chirurgien / asservissement visuel pour les endoscopes flexibles pour des applications intraluminales (gastroscopie) ou transluminales.
Fig. 3. Gastroscope robotis´e - Image observ´ee durant l’asservissement visuel par l’endoscope flexible (gastroscope). L’orientation de la tˆete est automatique afin de suivre un point de brˆulure du foie (tˆache blanche) alors que l’enfoncement du gastroscope et des instruments est manuel - Vue du gastroscope et de son instrument par un laparoscope conventionnel
Depuis quelques ann´ees, des recherches sont men´ees en vue de permettre la r´ealisation d’interventions chirurgicales tel que le pontage de l’art`ere coronaire sur cœur battant `a l’aide d’un syst`eme robotique t´el´eop´er´e par le chirurgien. Une premi`ere approche est de synchroniser les d´eplacements de la cam´era endoscopique et des instruments laparoscopiques avec les mouvements du cœur, de sorte que le chirurgien puisse op´erer sur un cœur virtuellement stabilis´e. Dans cette optique, des asservissements visuels rapides [8], [16] ont ´et´e d´evelopp´es et test´es sur animaux pour synchroniser les d´eplacements des instruments chirurgicaux au moyen de commandes dynamiques. Les premiers travaux ont port´e plus particuli`erement sur la synth`ese de commandes pr´edictives et r´ep´etitives o`u le mouvement du cœur battant est consid´er´e comme une perturbation cyclique pour l’asservissement visuel qui a pour objectif de la compenser. Ces commandes sont bas´ees sur un mod`ele du mouvement du cœur permettant de fournir une pr´ediction de l’´evolution de la perturbation. Dans [17], le mod`ele de la perturbation a ´egalement ´et´e corr´el´e `a des signaux externes tels que le d´ebit respiratoire et l’ECG. Ces travaux ont consid´er´e des informations visuelles de type point correspondant `a la projection de marqueurs lumineux fix´es sur la surface du cœur.
Des solutions ont par la suite ´et´e propos´ees pour estimer le mouvement du cœur sans l’utilisation de marqueurs artificiels. Une approche bas´ee sur une analyse de texture est pr´esent´ee dans [18] pour d´etecter
des marqueurs naturels de la surface du cœur et fournir une estimation du mouvement 3D `a partir de l’image fournie par une cam´era endoscopique monoculaire. Une m´ethode utilisant un syst`eme de vision st´er´eoscopique a ´egalement ´et´e propos´ee [19] . Dans [20], le suivi du mouvement d’un cœur battant est r´ealis´e dans une s´equence d’images par une m´ethode de suivi diff´erentiel. Dans ce travail, la d´eformation de la surface du cœur est approch´ee par un mod`ele bas´e sur des fonctions radiales de base (Radial basis function) de type splines de plaques minces (thin plate spline). Les param`etres de d´eformations du mod`ele incluent des param`etres de d´eformation affine et des points de contrˆole 2D des splines traduisant les d´eformations non lin´eaires dans le plan image. L’algorithme de suivi consiste `a estimer les param`etres du mod`ele de d´eformation qui minimisent l’erreur d’alignement entre une image de r´ef´erence, acquise `a l’initialisation du suivi, et l’image courante apr`es application de la transformation estim´ee. L’erreur d’alignement est mesur´ee directement `a partir de la diff´erence de l’intensit´e (en niveaux de gris) des pixels appartenant `a l’image de r´ef´erence et ceux de l’image courante modifi´ee par la transformation inverse estim´ee. Afin de tenir compte des d´eformations projectives et de permettre le suivi 3D complet de la surface, le mod`ele de d´eformation a par la suite ´et´e ´etendu et param´etr´e par des points de contrˆole 3D qui correspondent `a des points de la surface observ´ee. Les coordonn´ees 3D de ces nouveaux points de contrˆole sont estim´ees en minimisant l’erreur d’alignement entre l’image de r´ef´erence et deux images observ´ees par un syst`eme st´er´eoscopique calibr´e (Figure 4). Cette m´ethode a l’avantage de s’affranchir d’une mise en correspondance explicite des images st´er´eoscopiques. Afin d’ˆetre robuste au changement d’illumination, la m´ethode de compensation propos´ee dans [21] a ´et´e mise en œuvre. Cette derni`ere repose sur une estimation d’une surface mod´elisant la variation d’´eclairage par des fonctions radiales (splines de plaques minces).
Fig. 4. La r´egion suivie de la surface du cœur visualis´ee dans les 2 images lors d’un battement simul´e par un robot manipulateur portant un cœur - La reconstruction 3D de la surface `a un instant donn´e.
Toujours dans le contexte de la chirurgie sur cœur battant, un syst`eme robotique [22] a ´et´e d´evelopp´e pour stabiliser de mani`ere active une surface locale du cœur. Le principe consiste `a d´eplacer automatique-ment 2 doigts m´ecaniques en contact du cœur de sorte `a compenser son mouveautomatique-ment. Le travail a port´e sur la conception d’un robot miniature rapide bas´e sur une structure `a m´ecanisme compliant actionn´e par un actionneur pi´ezo´electrique ainsi que sur une commande par asservissement visuel dynamique permettant de stabiliser le mouvement du cœur dans sa direction principale (1 DDL). Une cam´era rapide en configuration “eye to hand” et fournissant 333 images/seconde mesure la variation de position de l’organe terminal du robot par suivi d’un marqueur visuel de type point qui est attach´e `a l’extr´emit´e du dispositif. Aucune reconstruction 3D n’est n´ecessaire car la cam´era est positionn´ee de sorte que le plan image soit parall`ele au plan du marqueur visuel. Plusieurs lois de commande ont ´et´e synth´etis´ees par une approche H∞
sans ou avec connaissance a priori de la fr´equence cardiaque ou d’un mod`ele du mouvement. Une nouvelle
version du syst`eme robotique [23] a ´et´e par la suite d´evelopp´ee pour compenser le mouvement du cœur selon 2 directions principales.
Dans [24], un asservissement visuel r´ef´erenc´e image est mis en œuvre pour effectuer automatiquement l’insertion d’une aiguille dans le petit animal (souris) afin de r´ealiser une biopsie ou injecter une substance m´edicamenteuse dans le cadre d’essais th´erapeutiques. Le dispositif est constitu´e d’un manipulateur robotique porteur d’aiguille et d’un dispositif de vision st´er´eoscopique en configuration “eye to hand”. La proc´edure consiste tout d’abord `a r´ealiser une imagerie 3D de l’animal fix´e sur un lit pr´evu sp´ecialement `a sa taille au moyen d’un micro-scanner `a rayon X. Le m´edecin indique ensuite dans le volume obtenu la cible `a atteindre et le point d’entr´ee de l’aiguille. L’ensemble animal et lit est par la suite positionn´e devant le robot et le syst`eme de vision st´er´eoscopique. Une reconstruction 3D du lit exprim´ee dans le r´ef´erentiel du syst`eme de vision est ensuite r´ealis´ee par une technique de projection de lumi`ere structur´ee, puis recal´ee au volume pr´e-op´eratoire obtenu par le scanner. Ce recalage permet alors d’exprimer en pixel les consignes des informations visuelles 2D `a atteindre dans les images st´er´eoscopiques qui sont : la position de la cible et les droites correspondant `a la projection de l’axe de l’aiguille dans les 2 plans images. Les droites d´ecrivant la position et l’orientation courante de l’aiguille sont extraites par une technique bas´ee sur la m´ethode de Hough [10].
IV. ECHOGRAPHES
L’imagerie ultrasonore poss`ede trois principaux atouts. Elle permet une imagerie anatomique en temps r´eel, non-invasive et `a faible coˆut. La plupart des dispositifs d’imagerie ´echographique 2D ont l’avantage de fournir des images `a la cadence vid´eo (25 images/seconde), ce qui rend possible leur utilisation pour des applications robotiques o`u la commande est bas´ee sur un asservissement visuel. N´eanmoins, le rapport signal/bruit des images ´echographiques est faible et rend difficile leur interpr´etation et traitement. L’utilisation de cette modalit´e en asservissement visuel a d´emarr´e aux alentours de l’an 2000. Cependant, le nombre de travaux existant n’est pas ´elev´e et nous sommes donc en mesure de faire ici un ´etat de l’art international quasiment complet. Les applications concernent soit le guidage de la sonde ´echographique (configuration “eye in hand”), soit le guidage d’un instrument ou d’une aiguille observ´ee par la sonde (configuration “eye to hand”). Nous pouvons distinguer deux cat´egories de travaux : ceux qui se sont limit´es `a commander, par asservissement visuel, les mouvements de la sonde ou de l’instrument uniquement dans le plan de coupe du capteur et ceux qui ont fourni des solutions pour commander ´egalement les d´eplacements en-dehors du plan de coupe par asservissement visuel. En effet, il est important de noter qu’une sonde ´echographique 2D standard a la particularit´e de fournir une information compl`ete dans le plan d’observation du capteur mais de ne fournir aucune information en dehors de ce plan. Les capteurs de vision usuels (cam´eras) agissent d’une mani`ere totalement diff´erente car il fournissent une projection de l’environnement perc¸u vers une image 2D. Par cons´equent, les m´ethodes classiques d’asservissement visuel ne peuvent pas ˆetre directement appliqu´ees pour un capteur fournissant une coupe. Il faut ´egalement noter qu’une probl´ematique importante concerne l’extraction en temps r´eel des informations visuelles, n´ecessaires `a la commande du syst`eme car comme nous l’avons d´ej`a mentionn´e, les images ´echographiques sont par nature tr`es fortement bruit´ees.
A. Asservissements visuels limit´es au contrˆole des d´eplacements dans le plan de coupe
Les auteurs de [25] ont ´et´e les premiers `a mettre en œuvre un asservissement visuel utilisant l’image ´echographique. Un robot porteur de sonde ´echographique 2D est utilis´e pour r´ealiser l’imagerie ultrasonore 3D d’une art`ere. La commande visuelle mise en œuvre permet de centrer automatiquement la section de l’art`ere dans l’image ´echographique 2D afin de maintenir l’art`ere visible dans l’image lors du d´eplacement de la sonde. Parmi les six degr´es de libert´e du robot manipulant la sonde, seuls les trois degr´es de libert´e
g´en´erant un mouvement dans le plan du capteur (deux translations et une rotation) sont command´es par vision ´echographique, les 3 autres sont t´el´e-op´er´es par l’utilisateur. Dans [26], un robot m´edical est command´e par asservissement visuel ´echographique afin d’ins´erer automatiquement une aiguille lors d’une chol´ecystostomie percutan´ee. Cependant, uniquement 2 degr´es de libert´e de l’aiguille (une rotation et une translation) sont command´es directement par l’image ´echographique et l’aiguille est m´ecaniquement contrainte de rester dans le plan d’observation de la sonde 2D. Un travail plus r´ecent [27] a port´e sur la conception d’un dispositif robotique ainsi que sur sa commande par asservissement visuel en vue de dissoudre un calcul r´enal en mouvement par ´emission d’un faisceau ultrasonore focalis´e `a forte ´energie (lithotripsie). Ce dispositif est constitu´e d’un robot cart´esien XYZ dont l’organe terminal porte un ´emetteur d’onde ultrasonore de puissance rigidement li´e `a une sonde ´echographique 3D. La sonde ´echographique 3D est configur´ee dans un mode bi-plan fournissant 2 coupes orthogonales. L’exp´erimentation mise en œuvre consiste `a d´eplacer automatiquement l’ensemble ´emetteur et sonde ´echographique afin de suivre les d´eplacements d’une bille plong´ee dans une bassine d’eau qui est actionn´ee par un piston simulant ainsi un calcul r´enal en mouvement. Dans cette ´etude, une commande rapide du robot est r´ealis´ee par un asservissement visuel r´ef´erenc´e image utilisant comme informations visuelles les coordonn´ees du barycentre de la bille extraites dans les 2 images ´echographiques. Cet asservissement visuel peut ˆetre consid´er´e comme ´etant limit´e au contrˆole des d´eplacements dans le plan de coupe (dans chaque plan) car il n’y a pas de couplage des informations visuelles entre les 2 images du fait que les axes des images sont align´es avec les axes du robot et que les mouvements de rotation de la sonde ne sont pas consid´er´es.
B. Asservissements visuels pour contrˆoler les d´eplacements dans et en-dehors du plan de coupe
L’utilisation d’un capteur ´echographique 3D a ´et´e propos´ee dans [28] pour contrˆoler les 4 degr´es de libert´e d’un instrument robotis´e de chirurgie laparoscopique. Dans cette ´etude, une reconstruction compl`ete du volume observ´e par le capteur permet d’estimer la position de l’instrument dans un rep`ere cart´esien associ´e `a la sonde. Cette localisation 3D de l’instrument est ensuite utilis´ee pour guider automatiquement ce dernier vers une cible pr´ealablement indiqu´ee par l’utilisateur dans le volume 3D. N´eanmoins, les sondes 3D sont pour l’instant limit´ees `a l’acquisition de volumes de petites tailles et de faible r´esolution spatiale, ce qui limite l’amplitude des mouvements possibles de l’instrument.
Une autre approche permettant d’utiliser une sonde 2D consiste `a mod´eliser l’interaction compl`ete entre l’objet observ´e et le plan de coupe de la sonde. Les premiers objets consid´er´es ont ´et´e constitu´es par de simples droites 3D produisant des points d’intersection avec le plan de coupe. Dans [29] deux points visuels, correspondant dans l’image ´echographique `a la section d’une pince ouverte de chirurgie laparoscopique (mod´elis´ee par deux droites), sont utilis´es comme informations visuelles afin de contrˆoler les 4 degr´es de libert´e de l’instrument en vue d’assister le geste du chirurgien lors d’une intervention de r´eparation de la valve mitrale du cœur. En lien avec ce travail, les auteurs de [30] ont propos´e une commande pr´edictive qui tient compte des contraintes de visibilit´e de l’instrument dans l’image. Les auteurs de [31] ont ´egalement propos´e une m´ethode permettant de recaler le robot porteur d’instrument par rapport `a la sonde ´echographique au moyen d’un algorithme utilisant uniquement l’observation des points r´esultant de l’intersection de l’outil avec le plan de coupe. Il faut noter que ce recalage est n´ecessaire pour r´ealiser la commande d’un instrument avec une sonde d´eport´ee (“eye to hand”), ce qui n’est pas utile `a la commande d’une sonde embarqu´ee (“eye in hand”).
L’utilisation d’informations visuelles de type point a ´egalement ´et´e consid´er´ee dans [32] o`u une com-mande r´ef´erenc´ee image ´echographique permet de r´ealiser automatiquement la proc´edure de calibrage d’une sonde ´echographique 2D. La proc´edure consiste `a positionner selon diff´erentes configurations le plan ´echographique sur un point 3D fixe qui est mat´erialis´e par l’intersection de deux fils de nylon tendus
et immerg´es dans une bassine d’eau. Elle est r´ealis´ee par une tˆache visuelle qui consiste `a centrer les sections des deux fils sur une cible d´efinie dans l’image pour diff´erentes orientations de la sonde.
Dans [33] une premi`ere ´etude a pr´esent´e une m´ethode d’asservissement visuel bas´ee sur une formulation implicite du contour 2D d’un ´el´ement anatomique observ´e dans la coupe, dont la g´eom´etrie 3D est a priori connue au moyen d’une imagerie pr´e-op´eratoire, dans le but de positionner et maintenir par asservissement visuel une sonde ´echographique sur une section d´esir´ee de l’´el´ement anatomique d’int´erˆet. Une m´ethode [34] utilisant les moments extraits de la section d’un organe d’int´erˆet a par la suite ´et´e propos´ee pour augmenter la robustesse de la commande aux erreurs de mesure dans l’image. R´ecemment, cette m´ethode bas´ee sur les moments de la section observ´ee a ´et´e ´etendue dans [35] pour s’affranchir de la connaissance d’un mod`ele de l’organe consid´er´e. Son principe repose sur une estimation du vecteur normal `a la surface de l’organe pour chaque point du contour de la section observ´ee. Cette estimation qui est r´ealis´ee en ligne `a partir de l’information fournie par l’image et de l’odom´etrie du robot permet alors de d´eterminer la matrice d’interaction, n´ecessaire `a la commande par asservissement visuel, qui mod´elise la variation des moments aux d´eplacements (selon les 6 degr´es de libert´e) de la sonde. La figure 5 pr´esente les derniers r´esultats obtenus avec cette m´ethode.
Fig. 5. L’image initiale, une image interm´ediaire et l’image finale obtenues durant l’asservissement visuel bas´e sur les moments extraits de la section observ´ee. Le contour rouge indique la section d´esir´ee `a atteindre et le contour vert entoure la section actuelle
Ces derni`eres approches reposent toutes sur l’utilisation d’informations visuelles g´eom´etriques qui sont extraites de l’image par des techniques de segmentation, soit des points dans [29], [30], [32], des contours dans [33] ou les moments d’une section d’un organe d’int´erˆet dans [35]. Afin de s’affranchir de l’´etape de segmentation et de consid´erer des images ´echographiques non structur´ees, une approche [36] totalement diff´erente utilise directement l’information de corr´elation du bruit de type “speckle” pr´esent dans l’image ´echographique pour r´ealiser la poursuite d’un organe en mouvement par une sonde ´echographique robotis´ee selon les 6 degr´es de libert´e. La m´ethode consiste `a minimiser la position cart´esienne relative entre une coupe de r´ef´erence apprise `a un instant donn´e et se d´eplac¸ant avec l’objet d’int´erˆet et la coupe actuellement observ´ee par la sonde. Une technique de d´ecorr´elation du “speckle” est utilis´ee pour obtenir une estimation de cette position relative qui est imm´ediatement minimis´ee par un asservissement visuel hybride 2D/3D. Les premiers r´esultats exp´erimentaux obtenus sur une maquette anatomique ont d´emontr´e la faisabilit´e d’une telle approche (Figure 6).
V. IMAGEURSA RAYONS` XET A R` ESONANCE MAGN´ ETIQUE NUCL´ EAIRE´ (IRM)
Peu de travaux ont ´et´e men´es sur la mise en œuvre d’asservissement visuel utilisant l’image fournie par un imageur `a rayon X ou `a r´esonance magn´etique nucl´eaire (IRM). Ceci s’explique en grande partie par la difficult´e `a r´ecup´erer un flux temps r´eel d’images mˆeme si les derniers dispositifs d’imagerie sont capables actuellement de r´ealiser des acquisitions proches du temps r´eel. Le verrou principal est l’absence d’un format de donn´ees universel permettant le transfert de flux de donn´ees continu et sans retard. La
Fig. 6. Poursuite automatique d’une maquette anatomique, simulant le d´eplacement de tissus mous (selon 6 DDL), par une sonde ´echographique 2D embarqu´ee sur un robot. L’asservissement visuel utilise uniquement le bruit de “speckle” contenu dans l’image ´echographique pour r´ealiser la tˆache
norme actuellement utilis´ee dans la communaut´e m´edicale est le format DICOM (The Digital Imaging and Communications in Medicine) qui est d´ej`a assez ancien. Ce dernier permet de r´ecup´erer les images acquises uniquement par une proc´edure hors-ligne bas´ee sur un protocole de communication lent de type client-serveur o`u le serveur est dans ce cas le dispositif d’imagerie. Ce format DICOM n’est donc pas en mesure de fournir les images `a une cadence compatible au besoin de l’asservissement visuel. Pour l’instant, seul le fluoroscope permet de fournir en temps r´eel via une sortie analogique une image radiographique du patient `a la cadence vid´eo. Le premier asservissement visuel avec fluoroscope `a ´et´e pr´esent´e dans [37] o`u le positionnement d’une aiguille de chirurgie percutan´ee est r´ealis´e de mani`ere it´erative par une commande s´equentielle avec une configuration d´eport´ee “eye to hand” de l’imageur.
Un asservissement visuel en mode s´equentiel [38] a ´egalement ´et´e mis en œuvre dans le cadre d’une application robotique de traitement du cancer au centre de protonth´erapie d’Orsay. Le patient est port´e par un robot manipulateur pour ˆetre positionn´e devant une source de protons de sorte que le faisceau converge exactement au centre d’une tumeur du cerveau `a traiter avec une orientation donn´ee. Cette asservissement visuel utilise deux coupes radiographiques perpendiculaires du crˆane du patient qui sont acquises non p´eriodiquement afin de r´eduire la dose de rayonnement. Elle sont ensuite compar´ees `a des coupes virtuelles g´en´er´ees par un syst`eme de planification indiquant la position exacte o`u devraient se situer des marqueurs impl´ement´es dans le crˆane du patient. Une commande par asservissement visuel r´ef´erenc´ee image permet ensuite de d´efinir la nouvelle position du robot `a atteindre qui minimise au mieux l’erreur d’alignement. Ce processus est r´eit´er´e jusqu’`a l’obtention d’une erreur minimale avant d’envoyer le faisceau de protons.
Les applications chirurgicales utilisant le scanner X ou l’IRM sont g´en´eralement bas´ees sur le recalage de donn´ees per-op´eratoires avec des donn´ees pr´e-op´eratoires o`u est planifi´e `a l’avance le geste d’intervention. La plupart des applications concernent l’insertion d’aiguille en vue de r´ealiser une biopsie ou le traitement d’une tumeur par injection de substances m´edicamenteuses, par thermo-ablation ou par cryo-ablation. Dans ce contexte, aucun asservissement visuel n’a pour l’instant ´et´e mis en œuvre. Les raisons sont d’une part la non disponibilit´e d’un flux temps r´eel des images per-op´eratoires comme nous l’avons d´ej`a mentionn´e et d’autre part la difficult´e `a faire entrer des syst`emes robotiques dans ces imageurs. En effet, pour ce
dernier point, il est indispensable que les robots ne soient pas constitu´es de mat´eriaux ferro-magn´etiques pour ´eviter d’une part d’introduire des distorsions dans les images scanner X, ou tout simplement de d´etruire le scanner IRM sous l’influence de son champ magn´etique intense. Plusieurs ´equipes de recherche se sont donc int´eress´ees ces derni`eres ann´ees `a concevoir des robots porteur d’aiguille respectant ces contraintes. Nous pouvons compter en France, le robot CT-Bot [39] qui se pose sur le ventre du patient dans un scanner X conventionnel et le robot l´eger LPR [40] compos´e enti`erement de pi`eces en plastique et actionn´e int´egralement par des moteurs `a air comprim´e, le rendant ainsi ´egalement capable de manipuler une aiguille dans un scanner IRM. Pour ces syst`emes, le positionnement automatique de l’aiguille est r´ealis´ee apr`es une proc´edure de recalage qui consiste `a localiser un rep`ere attach´e au robot dans le rep`ere de l’imageur au moyen d’un marqueur st´er´eotaxique solidairement fix´e sur le robot. Ce marqueur est g´en´eralement constitu´e par une pi`ece contenant un ensemble de droites radio-opaques (cas du scanner X) ou d’un mat´eriau visible `a l’IRM dont les positions et orientations sont pr´ecis´ement connues dans le rep`ere attach´e au robot. L’intersection d’un ou plusieurs plans de coupe avec ses droites g´en`ere des points dans les images observ´ees dont les coordonn´ees sont utilis´ees pour d´eterminer l’attitude du rep`ere attach´e au robot par rapport au rep`ere de r´ef´erence de l’imageur. Ce recalage permet par la suite de traduire les coordonn´ees de la cible `a atteindre, du point d’entr´ee de l’aiguille et de son orientation, qui ont ´et´e indiqu´ees pr´ealablement par le m´edecin dans un volume pr´e-op´eratoire du patient, en consignes exprim´ees dans le rep`ere du robot. Le positionnement de l’aiguille est alors r´ealis´e par une commande de position sans retour visuel. Une ou plusieurs acquisitions de coupe sont par la suite effectu´ees pour v´erifier voir corriger (principe d’une commande s´equentielle) le positionnement de l’aiguille avant son insertion par le robot [40] ou manuellement par le m´edecin avec une orientation impos´ee par le robot [39].
R´ecemment des chercheurs d’un laboratoire qu´eb´ecois on propos´e une application r´evolutionnaire [41], [42] qui consiste `a utiliser le champ magn´etique d’un scanner IRM pour positionner une micro-capsule endovasculaire dans le r´eseau art´eriel sous retour visuel de l’imageur. La micro-capsule est constitu´ee d’un mat´eriau ferro-magn´etique et sa propulsion est obtenue en modifiant l’orientation du champs magn´etique par une commande actionnant le champ magn´etique cr´e´e par les bobines de gradient de l’imageur. Dans cette ´etude, une micro-capsule est guid´ee selon une trajectoire 2D pr´ed´efinie afin d’atteindre une position d´esir´ee dans le r´eseau sanguin. Le scanner IRM est utilis´e alternativement en mode de propulsion durant 14 ms et en mode d’imagerie durant 16 ms, ce qui permet d’atteindre une p´eriode d’asservissement visuel de 30 ms. La trajectoire `a suivre est fragment´ee en segments lin´eaires qui sont d´elimit´es par des points de passage. Le long de chaque segment un correcteur de type PID d´etermine la propulsion `a appliquer `a la capsule en fonction de sa position courante extraite de l’image.
VI. PERSPECTIVES
Nous pouvons souligner que la communaut´e roboticienne en France m`ene des recherches tr`es actives dans le domaine des asservissements visuels appliqu´es `a la robotique m´edicale. Le nombre et la qualit´e des travaux pr´esent´es dans des revues ou `a des conf´erences internationales t´emoignent de l’excellence des ´equipes franc¸aises dans le domaine. Les diff´erentes modalit´es d’imagerie offrent actuellement la possibilit´e de mener d’innombrables travaux de recherche en asservissement visuel et il est quasiment certain que dans un futur proche, des ´equipes de recherche mettront en œuvre des asservissements visuels rapides utilisant des images fournies par un scanner X ou un IRM. Une probl´ematique int´eressante concerne ´egalement la compensation du mouvement physiologique du patient en vue de r´ealiser des interventions sur cœur battant ou autres organes d´eformables en mouvement. Nous pouvons ´egalement imaginer que ce type d’intervention pourra ˆetre r´ealis´e dans un futur proche sous imagerie endoscopique, voir sous imagerie ´echographique ou scanner IRM `a plus long terme. Les limitations actuelles sont d’ordre mat´eriel et il n’est pas impossible que les nouvelles g´en´erations d’imageurs puissent fournir des flux d’images `a des fr´equences ´elev´ees au moyen d’un nouveau format de donn´ees.
REMERCIEMENTS
Je remercie les chercheurs qui m’ont envoy´e des contributions en provenance du LSIIT, du LIRMM, du TIMC et de l’ISIR.
REFERENCES
[1] F. Chaumette, S. Hutchinson, “Visual servo control, part I : Basic approaches,” IEEE Robotics and Automation Magazine, vol. 13, no. 4, pages. 82-90, d´ecembre 2006.
[2] F. Chaumette, S. Hutchinson, “Visual servo control, part II : Advanced approaches,” IEEE Robotics and Automation Magazine, vol. 14, no. 1, pages. 109-118, mars 2007.
[3] D. Uecker, L. Cheolwhan, Y. Wang, Y. Wang, “Automated instrument tracking in robotically assisted laparoscopic surgery,” Journal of
Image Guided Surgery, vol. 1, pages. 308-325, 1995.
[4] A. Casal, J. Amat, E. Laporte, “Automatic guidance of an assistant robot in laparoscopic surgery,” in IEEE International Conference on
Robotics and Automation (ICRA’96), pages. 895-900, avril 1996.
[5] G.-K. Wei, K. Arbter, G. Hirzinger, “Real-time visual servoing for laparoscopic surgery,” IEEE Trans. in Engineering in Medecine and
Biology, vol. 16, no. 1, pages. 40-45, 1997.
[6] A. Krupa, J. Gangloff, C. Doignon, M. de Mathelin, G. Morel, J. Leroy, L. Soler, J. Marescaux, “Autonomous 3-d positioning of surgical instruments in robotized laparoscopic surgery using visual servoing,” IEEE Trans. on Robotics and Automation, vol. 19, no. 5, pages. 842-853, octobre 2003.
[7] F. Nageotte, C. Doignon, M. de Mathelin, P. Zanne, L. Soler, “Circular needle and needle-holder localization for computer-aided suturing in laparoscopic surgery,” in SPIE International Symposium on Medical Imaging, pages. 87-89, San Diego, Etats-Unis, f´evrier 2005. [8] R. Ginhoux, J. Gangloff, M. de Mathelin, L. Soler, M. Sanchez, J. Marescaux, “Active filtering of physiological motion in robotized
surgery using predictive control,” IEEE Trans. on Robotics and Automation, vol. 21, no. 1, pages. 67-79, f´evrier 2005.
[9] S. Voros, E. Orvain, L. Long, P. Cinquin, “Automatic detection of instruments in laparoscopic images : a first step towards high level command of robotized endoscopic holders,” Int. Journal of Robotic Research, vol. 26, no. 11-12, pages. 1173-1190, 2007.
[10] R. Duda and P. Hart, “Use of the hough transformation to detect lines and curves in pictures,” Communication of the Association for
Computing Machinery, vol. 15, no. 1, pages. 11-15, 1972.
[11] N. Otsu, “A threshold selection method from gray level histograms,” IEEE Trans. on Systems, Man and Cybernetics, vol. 9, pages. 62-66, 1979.
[12] C. Albitar, P. Graebling, C. Doignon, “Robust structured light coding for 3D reconstruction,” in IEEE Int. Conf. on Computer Vision, Rio de Janeiro, Br´esil, pages. 1-6, octobre 2007.
[13] C. Albitar, C. Doignon, P. Graebling, “Calibration of vision systems based on pseudo-random patterns,” in IEEE/RSJ Int. Conf. on
Intelligent Robots and Systems, St Louis, MO, Etats-Unis, octobre 2009.
[14] L. Ott, F. Nageotte, P. Zanne, M. de Mathelin, “Simultaneous physiological motion cancellation and depth adaptation in flexible endoscopy,” IEEE Transactions on Biomedical Engineering, vol. 56, no. 9, pages. 2322-2328, septembre 2009.
[15] L. Ott, F. Nageotte, P. Zanne, M. de Mathelin, “Physiological motion rejection in flexible endoscopy using visual servoing and repetitive control : Improvements on non-periodic reference tracking and non-periodic disturbance rejection,” in IEEE Int. Conf. on Robotics and
Automation (ICRA’09), pages. 4233-4238, Kobe, Japon, mai 2009.
[16] J. Gangloff, R. Ginhoux, M. de Mathelin, L. Soler, J. Marescaux, “Model predictive controler for compensation of cyclic organ motions in teleoperated laparoscopic surgery,” IEEE Trans. on Control Systems Technology, vol. 14, no. 2, pages. 235-246, mars 2006. [17] L. Cuvillon, J. Gangloff, M. de Mathelin, A. Forgione, “Towards robotized beating heart TECABG : assessment of the heart dynamics
using high-speed vision,” Computer Aided Surgery, vol. 11, no. 5, pages. 267-277, septembre 2006.
[18] M. Sauv´ee, A. Noce, P. Poignet, J. Triboulet, E. Dombre., “Motion estimation using endoscopic monocular vision system : from artificial landmarks to texture analysis,” Biomedical Signal Processing and Constrol in the Special Issue : IFAC Symposia (2008), vol. 2, no. 3, pages. 199-207, juillet 2007.
[19] A. Noce, S. Petit, J. Triboulet, P. Poignet, “Stereo-vision for 3D tracking of the beating heart,” in In Proceedings of Computer-Aided
Medical Interventions : tools and applications (SURGETICA 07), pages. 63-65, Chambery, France, janvier 2007.
[20] R. Richa, P. Poignet, C. Liu, “Deformable motion tracking of the heart surface,” in IEEE/RSJ Int. Conf. on Intelligent Robots and
Systems, IROS’08, pages. 3997-4003, Nice, France, septembre 2008.
[21] G. Silveira, E. Malis, “Real-time visual tracking under arbitrary illumination changes,” in IEEE Int. Conf. on Computer Vision and
Pattern Recognition, CVPR’2007, pages. 1-6, Minneapolis, Etats-Unis, 2007.
[22] W. Bachta, P. Renaud, L. E., A. Forgione, J. Gangloff, “Cardiolock : an active cardiac stabilizer, first in vivo experiments using a new robotized device,” Computer Aided Surgery, vol. 13, pages. 243-254, 2008.
[23] W. Bachta, P. Renaud, E. Laroche, J. Gangloff, “Cardiolock2 : Parallel singularities for the design of an active heart stabilizer,” in
IEEE Int. Conf. on Robotics and Automation (ICRA’09), pages. 3839-3844, mai 2009.
[24] A. Ayadi, B. Bayle, P. Graebling, G. J, “An image-guided robot for needle insertion in small animal. accurate needle positioning using visual servoing,” in IEEE/RSJ Int. Conf. on Intelligent Robots and Systems, pages. 1453-1458, Nice, France, septembre 2008. [25] P. Abolmaesumi, S. Salcudean, W. Zhu, M. Sirouspour, S. DiMaio, “Image-guided control of a robot for medical ultrasound,” IEEE
[26] J. Hong, T. Dohi, M. Hashizume, K. Konishi, N. Hata, “An ultrasound-driven needle insertion robot for percutaneous cholecystostomy,”
Physics in Medicine and Biology, vol. 49, no. 3, pages. 441-455, 2004.
[27] D. Lee, N. Koizumi, K. Ota, S. Yoshizawa, A. Ito, Y. Kaneko, Y. Matsumoto, M. Mitsuishi, “Ultrasound-based visual servoing for lithotripsy,” in IEEE/RSJ Int. Conf. on Intelligent Robots and Systems, IROS’07, pages. 877-882, San Diego, CA, Etats-Unis, octobre 2007.
[28] J. Stoll, P. Novotny, R. Howe, P. Dupont, “Real-time visual servoing of a robot using three-dimensional ultrasound,” in IEEE Int. Conf.
on Robotics and Automation, ICRA’2007, pages. 2655-2660, Rome, Italie, avril 2007.
[29] M. Vitrani, G. Morel, H. Mitterhofer, N. Bonnet, “Robust ultrasound-based visual servoing for beating heart intracardiac surgery,” in
IEEE Int. Conf. on Robotics and Automation, ICRA’2007, pages. 3021-3027, Rome, Italie, avril 2007.
[30] M. Sauvee, P. Poignet, E. Dombre, “Ultrasound image-based visual servoing of a surgical instrument through nonlinear model predictive control,” International Journal of Robotics Research, vol. 27, no. 1, janvier 2008.
[31] M. Vitrani, G. Morel, “Hand-eye self-calibration of an ultrasound image-based robotic system,” in IEEE/RSJ Int. Conf. on Intelligent
Robots and Systems, IROS’08, pages. 1179-1185, Nice, France, septembre 2008.
[32] A. Krupa, “Automatic calibration of a robotized 3D ultrasound imaging system by visual servoing,” in IEEE Int. Conf. on Robotics
and Automation, ICRA’2006, pages. 4136-4141, Orlando, Florida, mai 2006.
[33] W. Bachta, A. Krupa, “Towards ultrasound image-based visual servoing,” in IEEE Int. Conf. on Robotics and Automation, ICRA’2006, pages. 4112-4117, Orlando, Florida, mai 2006.
[34] R. Mebarki, A. Krupa, F. Chaumette, “Image moments-based ultrasound visual servoing,” in IEEE Int. Conf. on Robotics and Automation,
ICRA’08, pages. 113-119, Pasadena, California, mai 2008.
[35] R. Mebarki, A. Krupa, F. Chaumette, “Modeling and 3D local estimation for in-plane and out-of-plane motion guidance by 2D ultrasound-based visual servoing,” in IEEE Int. Conf. on Robotics and Automation, ICRA’09, pages. 319-325, Kobe, Japon, mai 2009. [36] A. Krupa, G. Fichtinger, G. Hager, “Real-time motion stabilization with B-mode ultrasound using image speckle information and visual
servoing,” The International Journal of Robotics Research, IJRR, 2009.
[37] N. Navab, B. Bascle, M. Lose, B. Geiger, R. Taylor, “Visual servoing for automatic and uncalibrated needle placement for percutaneous procedures,” in IEEE Int. Conf. on Computer Vision and Pattern Recognition, pages. 327-334, Hilton Head Island, SC, juin 2000. [38] R. Belaroussi, G. Morel, “Visual servoing for patient alignment in protontherapy,” in Advances in Visual Computing, 4th International
Symposium, ISVC 2008, pages. 843-850, Las Vegas, NV, Etats-Unis, d´ecembre 2008.
[39] B. Maurin, B. Bayle, O. Piccin, J. Gangloff, M. de Mathelin, C. Doignon, P. Zanne, A. Gangi, “A patient-mounted robotic platform for CT-scan guided procedures,” IEEE Trans. on Biomedical Engineering, vol. 55, no. 10, pages. 2417-2425, octobre 2008.
[40] I. Bricault, N. Zemiti, E. Jouniaux, C. Fouard, E. Taillant, F. Dorandeu, P. Cinquin, “Light puncture robot for CT and MRI interventions,”
IEEE Engineering in Medicine and Biology Magazine, vol. 27, no. 3, pages. 42-50, mai-juin 2008.
[41] S. Tamaz, R. Gourdeau, A. Chanu, J.-B. Mathieu, S. Martel, “Real-time MRI-based control of a ferromagnetic core for endovascular navigation,” IEEE Trans. on Biomedical Engineering, vol. 55, no. 7, pages. 1854-1863, 2008.
[42] O. Felfoul, J.-B. Mathieu, S. Martel, “Real-time positioning and tracking technique for endovascular untethered microrobots propelled by MRI gradients,” in IEEE Int. Conf. on Robotics and Automation, ICRA’2009, pages. 2693-2698, Kobe, Japon, mai 2009.
