Application de l’asservissement visuel en milieu médical

Cette partie offre un tour d’horizon des différents asservissements visuels vus précédemment dans le domaine médical. Nous distinguerons entre autres les travaux sous imagerie X et IRM, les échographies interventionnelles et enfin ceux dédiés aux interventions mini-invasives (le lecteur pourra en trouver une très bonne synthèse dans [Kru09]). Le but est d’une part de montrer le champ applicatif de l’asservis-sement visuel dans ce milieu et d’autre part mettre en évidence les écarts avec notre étude et celles développées notamment en termes de connaissance a priori de l’objet d’intérêt.

4.1.3.1 Asservissement visuel sous imagerie X et IRM

Nous devons les premiers travaux d’asservissement visuel dans le domaine des rayons X à [LN00] et [NBL⁺00] pour le guidage autonome d’une aiguille jusqu’à un élément cible en vue d’une biopsie. Leur approche repose sur un renseignement explicite du système effectué par le chirurgien qui spécifie le point d’insertion ainsi que la localisation de la cible sur deux image prises arbitrairement. Dans ces travaux il n’est pas nécessaire de calibrer le système (utilisation d’un phantom ou de marqueurs) ni d’utiliser des capteurs supplémentaires autres que l’imageur X. L’asservissement visuel de type AV3D est réalisé à l’aide d’un robot à six degrés de liberté distant du patient. Le placement de l’aiguille suivant trois plans de coupes orthogonales conduit au bon positionnement du système. Une application similaire est proposée dans [MPB⁺04] où le robot est cette fois-ci posé directement sur le patient (éliminant ainsi les mouvements relatifs) et contrôlé à distance afin de limiter l’exposition du praticien aux radiations. Le robot (CT-bot) permet grâce à deux degrés de liberté d’orienter et d’insérer l’aiguille. L’asservissement visuel de ce robot est étudié dans [DMBdM06], où il s’agit d’éliminer les mouvements résiduels dus à la respiration. La mise en œuvre de cet asservissement repose sur la régulation dans l’image (image de coupe obtenue à l’aide du scanner), d’un ensemble de marqueurs placés sur le robot (AV2D).

Dans [BM08], le but est de positionner une table où se trouve un patient atteint d’une tumeur au cerveau, de telle sorte qu’il soit dans l’alignement d’un faisceau collimaté de proton. Pour placer correc-tement la table, deux images de coupes réalisées par rayons X sont comparées à une image de référence.

Des marqueurs radio-opaques implantés sur la tête du patient permettent sur ces images de connaître l’erreur de placement. La loi de commande calculée permet de déterminer le mouvement à effectuer.

D’autres auteurs encore comme [TGC⁺08] et [FACM09] permettent le guidage d’une capsule à travers le réseau veineux jusqu’à l’atteinte d’un élément cible. Munie d’une partie ferromagnétique, sa propulsion est générée par les variations de champ magnétique produit par un imageur IRM. La loi de commande à l’origine de ces fluctuations est basée sur le suivi d’une trajectoire de référence bidimensionnelle décom-posée en segment. Les corrections de trajectoire résultent de la différence entre la position courante de la capsule et celle définie par la trajectoire de référence.

4.1.3.2 Asservissement visuel échographique

Les développements en matière de robotique télé-opérée et les propriétés de non intrusivité et de non destructivité de l’échographe sont à l’origine de l’essor de l’asservissement visuel dans ce domaine.

Dans [ASZ⁺02], le praticien procède à un examen de la carotide, et manipule à distance la base d’un

robot de telle sorte à déplacer la sonde sur le cou du patient. L’asservissement visuel consiste à contrôler la tête supportant la sonde de manière à centrer la carotide dans l’image. La primitive utilisée est de type point et correspond au centre de la carotide. Toutefois, il est nécessaire pour contrôler les trois degrés de liberté de la sonde, de localiser le centre de deux artères. Ceux-ci sont détectés à l’aide d’une mesure de similarité qui recherche dans l’image les éléments s’apparentant à la carotide (connaissance a priori sous forme de fragment d’image). Les techniques utilisées sont de type "corrélation croisée" et SSD.

Poursuivant les travaux de [GGdM⁺04] sur la compensation des mouvements physiologiques de faibles amplitudes intégrant un modèle de contrôle prédictif couplé à un observateur adaptatif, [LKO⁺07] pro-pose un asservissement visuel d’une sonde échographique à forte intensité dans le cadre d’une élimination d’un calcul rénal. L’asservissement est de type AV3D et se base sur une reconstruction de la pose du calcul rénal à l’aide de deux coupes échographiques perpendiculaires. Dans chacune de ces coupes, le calcul est détecté grâce à un algorithme de segmentation. La pose ainsi calculée est envoyée en consigne à l’entrée de la boucle de régulation afin d’agir sur les trois degrés de liberté du robot. L’élimination des mouvements relatifs est donc tributaire de la phase de calibration intervenant entre les deux sondes auxiliaires et la sonde principale, et nécessite un modèle représentatif du calcul ce qui pénalise la robustesse de l’approche.

Dans [VMO05], le but est le placement d’un instrument chirurgical dans le cadre d’une réparation de valve mitrale effectuée en mini-invasif. La technique développée repose sur une détection des extrémités de l’instrument (mords d’un forceps) dans l’image fournie par une sonde échographique trans-œsophagienne.

La récupération du centre de gravité s’effectue par seuillage. Les primitives utilisées sont donc de type point, cependant pour augmenter la robustesse du système, les auteurs utilisent également le barycentre des extrémités ainsi que l’angle formé par ce point et le plan horizontal de l’image. Dès lors, connaissant l’image échographique désirée et celle courante, l’asservissement permet le déplacement de l’instrument par action sur un robot à quatre degrés de liberté. L’application de cette détection de la pointe des ins-truments par seuillage est également utilisée dans les travaux de [SPDC06] qui utilise cette information pour compenser les mouvements cardiaques. Cette étude se base sur une commande prédictive prenant en compte les contraintes de visibilité de l’instrument ainsi que les mécaniques du robot à six degrés de liberté : saturation des actionneurs, butées articulaires.

Poursuivant le même objectif que [VMO05], [NSDH07] s’appuie sur une détection de droite dans l’espace cartésien réexprimé dans le repère du robot, rendue possible grâce à l’ajout de marqueurs spécifiques sur l’instrument (notons que la transposition dans l’AV2D s’effectue à l’aide de la transformée de Hough ce qui ne nécessite aucun marqueur [HDH⁺04]). La pose de la cible est là aussi obtenue à l’aide d’un marqueur (en forme de croix), ce qui nuit à l’utilisation de cette méthode mais pose aussi le problème de calibration. La régulation se résume à un correcteur proportionnel dérivé prenant en entrée l’erreur entre la pose courante et celle désirée.

De manière générale, les asservissements visuels se basent soit sur des marqueurs rajoutés à la scène soit sur des caractéristiques de la cible comme la forme. L’approche développée par [KFH09] pour des activités de suivi d’organe, s’appuie sur le speckle obtenu dans l’image (interférence obtenue dans l’image s’apparentant à du bruit). Résultant des multiples interfaces tissulaires, des échos forment ce qui s’appa-rente à du bruit dans l’image. La sonde échographique n’effectuant pas une coupe parfaite mais légèrement

conique, il y a donc corrélation des plans parallèles. Retrouver des fragments speckle sur différents plans de coupe permet donc d’estimer le déplacement de l’organe et d’atteindre, connaissant l’image désirée, la position correcte (validée expérimentalement par des essais expérimentaux réalisés sur fantôme). Cette idée de travail en dehors du plan de l’effecteur, a été reprise dans [NK11]. L’asservissement repose sur trois coupes orthogonales de l’objet ainsi que sur un calcul des moments d’où sont extraits six paramètres géométriques. L’application de ces travaux est le suivi d’une coupe désirée, une extension intégrant la compensation des mouvements physiologiques périodiques est étudiée à l’aide d’un contrôleur prédictif (GPC) [NKG11].

Dans [MKC10], l’objectif est de déplacer la sonde échographique dans une configuration désirée préala-blement définie. L’asservissement visuel est basé sur un calcul des moments sur la section observée de l’objet d’intérêt, permettant ainsi d’accéder à son aire, aux coordonnées de son centre de gravité, son orientation, ainsi qu’à la longueur de son axe principal. L’hypothèse utilisée dans ces travaux est que la forme non symétrique de l’objet est connue (modèle approché effectué avant l’intervention).

4.1.3.3 Asservissement visuel endoscopique

Comme nous l’avons mentionné dans le chapitre 1, les interventions chirurgicales à théâtre ouvert tendent à être supplantées par les opérations mini-invasives moins traumatisantes pour les tissus. En an-nexeB, nous présentons certains problèmes liés à ce type d’interventions et notamment le besoin d’avoir un assistant pour tenir la caméra endoscopique. Pour éviter ce recours systématique à un assistant, nombre de travaux proposent d’orienter la caméra sur la zone d’intérêt du chirurgien.

Pour [CM04], la technique employée (à l’image des travaux qui vont être présentés) est basée sur un asservissement visuel 2D reposant sur une recherche des éléments rectilignes dans l’image (monochro-matique) préalablement filtrée (filtre gaussien). Il s’ensuit une sélection parmi les droites candidates. La discrimination s’effectue suivant certains critères tels que la longueur de la droite (qui doit être supérieure à un seuil prédéfini), l’intersection de l’instrument avec le cadre de l’image, l’orientation de l’instrument qui doit être dirigé vers le centre de l’image. Les essais sur une séquence de 128 images issues d’opérations montrent que le taux de bonne identification est de 77%. Ce taux avoisine les 99% lorsqu’un mécanisme de prédiction (linéaire) est utilisé pour estimer la position de l’instrument (en supposant la détection à l’instant précédent correcte et l’amplitude du mouvement faible). Ces résultats sont satisfaisants mais souffrent de plusieurs défauts dont notamment l’impossibilité de différencier plusieurs instruments simul-tanément, ce qui limite l’exploitation de cette méthode en conditions réelles.

Pour pallier ce point [Rou02] propose une approche basée sur le mouvement des instruments. En faisant la différence de deux images successives il est possible d’accéder uniquement aux éléments qui se sont déplacés. De là, une détection de contours permet de récupérer l’enveloppe de ces éléments que l’on mo-délise par des droites. Leur intersection définit la zone d’intérêt à centrer dans l’image. Les hypothèses selon lesquelles les instruments sont facilement différenciables (norme du gradient élevé lors de la détec-tion de contours) et rectilignes apparaissent raisonnables. Cependant, bien que facilement implémentable, cette technique suppose qu’en dehors des instruments, aucun élément dans la scène n’est en mouvement.

Pour éviter cette contrainte forte rarement respectée du fait de la proximité des organes de la caméra endoscopique, [WUW98], [MCF05] et plus récemment [AKN⁺11] utilisent l’information couleur pour

localiser les instruments (les auteurs se focalisent sur le suivi des instruments et non la désignation de la région à centrer dans l’image). Cette technique utilise un classifieur bayésien pour discriminer les régions de couleur (espace couleur RGB) semblables à celle d’un instrument dont on a au préalable construit l’histogramme. En la matière, quatre fragments d’image contenant l’instrument servent à l’élaboration de l’histogramme afin d’avoir la vue la plus complète de l’instrument. Ceci suppose donc qu’il n’y a pas de dénaturation de la couleur de l’instrument tout au long de l’intervention (comme des projections de sang par exemple) ainsi qu’une absence de modification des conditions d’éclairement. Il est possible de trouver des travaux mêlant ce type d’approche à ceux de [CM04] comme par exemple dans [SSS⁺08].

Pour [KGD⁺03], [VLC06] et [DNdM07] la technique employée consiste dans un premier temps à segmen-ter l’image (figure4.5b). Puis ils adaptent un cylindre dégénéré aux contours des régions précédemment trouvées (figures4.5cet4.5d). En parcourant l’axe de l’instrument, il est possible de retrouver la pointe de l’instrument (figure 4.5e). Même si ce type d’approche permet la localisation de plusieurs instru-ments simultanément, elle repose sur des hypothèses fortes qui empêchent toute transposition vers les interventions à théâtre ouvert : absence de dégradation de l’apparence des instruments (projection de sang par exemple), formes des instruments constantes et non variées, présence d’éléments exogènes rares (compresse, prothèse), aucune occlusion de la zone d’intérêt, etc.

(a) Image d’origine.

(b) Segmentation. (c) Extraction des contours. (d) Adaptation d’un cylindre dégénéré.

(e) Parcours le long de l’axe principale du cylindre.

Fig. 4.5 – Détermination de la pointe des instruments (source [DNdM07]).

Une autre contrainte des interventions mini-invasives concerne les mouvements physiologiques qui vus de la caméra endoscopiques sont de très grandes amplitudes et peuvent conduire à la sortie de la zone d’intérêt de l’image. Pour y remédier, [BRL⁺07] propose une compensation par stabilisation active du myocarde. La structure élaborée est à liaisons compliantes ce qui permet une absence de jeu mécanique.

Celle-ci est montée sur un robot sphérique à deux degrés de liberté, contrôlé par une loi de commande à rejet de perturbation (H_∞). Plusieurs schémas de commande ont été développés, basés sur différentes connaissances a priori du mouvement cardiaque à compenser (nous retiendrons notamment celle utili-sant la commande prédictive). Dans la même thématique, [BBM10] utilise une commande basée sur un apprentissage des mouvements respiratoires, dans le cas d’une découpe du thorax. Un laser servant à la découpe est placé en bout d’effecteur, sa position est repérée à l’aide de marqueur. De même le thorax est rigidement lié à des marqueurs de même type. La position relative du robot est donc connue. La

répétitivité du mouvement respiratoire est prédite et compensée par action sur le robot.

D’autres auteurs comme [OZN⁺08] proposent une aide pour le cas d’interventions transluminales (qui diffèrent des chirurgies mini-invasives dans la mesure où celles-ci utilisent les voies naturelles). Dans ces travaux, il s’agit d’asservir visuellement la tête d’un endoscope flexible de telle sorte à compenser les mouvements physiologiques. En l’occurrence la technique utilisée repose sur un suivi d’une zone d’intérêt préalablement définie. Celle-ci est ensuite envoyée à l’entrée d’une boucle de régulation de type AV2D. La compensation du mouvement (périodique dont l’harmonique est à 3Hz) s’effectue à partir d’un modèle ARIMAX et à l’aide des correcteurs R-GPC (commande prédictive généralisée répétitive) et PRC (Pro-totype Repetitive Controller). L’adjonction d’un terme commutatif permet de rejeter les perturbations non périodiques.

En résumé :

Ces quelques exemples montrent les trois grandes thématiques de l’asservissement visuel dans le do-maine médical. L’ensemble de ces travaux utilise soit des informations rajoutées, soit une connaissance forte de la forme ou l’apparence de l’objet d’intérêt. Notons néanmoins les travaux de [DNdM07] qui s’approchent de notre objectif par la localisation de la pointe des instruments. Toutefois ceux-ci ne peuvent être transposés à notre cas compte-tenu des écarts en matière de contraintes : la distance par rapport à la zone d’intérêt, les mouvements apparents dans l’image, les occultations, le type d’instru-ment utilisé, etc.

4.1.3.4 Application de l’asservissement visuel à un éclairage opératoire Dans notre étude :

– le système de vision est une caméra unique. L’utilisation de plusieurs caméras est rejetée dans la mesure où aucune information supplémentaire facilitant la reconnaissance de la zone d’intérêt ne peut être extraite. En effet, la distance séparant les objets ne permet pas de localiser la zone d’intérêt et peut même dans certains cas amener à des résultats contre-intuitifs et de là conduire à effectuer des mouvements erronés (notamment dans le cas de la chirurgie du genou) ;

– la caméra est située au centre de la coupole. Ceci facilite la tâche d’asservissement et s’avère aisé-ment intégrable. Il s’agit donc de la configuration "eye-in-hand" au sens de [KC02] ;

– la caméra choisie est une caméra perspective afin de ne voir que la scène opératoire sans être in-fluencé par les éléments se situant autour de la table d’opération (activité de l’infirmière de bloc par exemple) comme cela serait le cas avec une caméra omnidirectionnelle ;

– la bande spectrale est dans le visible afin de faciliter la reconnaissance des objets en présence.

Toutefois, le recours à une caméra infrarouge est envisageable mais complexifie grandement cette tâche car les matériaux composant les objets peuvent différer d’un bloc à l’autre ;

– un asservissement visuel indirect est considéré. Le souci d’évolutivité combiné à la rapidité de mise en application nous ont poussés à privilégier ce type d’asservissement. Ainsi l’unité chargée du trai-tement d’image est complétrai-tement dissociable de la partie commande, ce qui a pour conséquence

de restreindre le choix à des caméras basses fréquences (mais permettant d’apprécier les mouve-ments du chirurgien) ; cela n’est pas incompatible avec le processus de désignation de zone d’intérêt ; – l’asservissement 2D est le choix le plus rationnel par rapport à notre application. Nous écartons l’asservissement 3D car il nécessite un modèle des objets en présence dans la scène. Un appren-tissage (à réitérer à chaque itération) est toutefois possible mais s’avère très coûteux en temps de calcul. L’asservissement d2D/dt basé sur le champ de vitesse observé depuis la caméra est lui aussi écarté. A l’origine de ce rejet, la nécessité durant la phase de déplacement d’avoir une scène immobile. Or, cela n’est pas envisageable dans le cadre de notre application : il devient dès lors très complexe de calculer la bonne direction à prendre pour le système ;

– la primitive utilisée est de type point. Celle-ci correspond au maximum de la densité de probabilité définie à l’aide de l’estimateur à noyaux. Il ne s’agit donc pas d’un élément spécifique de la zone d’intérêt car par définition inconnue par avance ce qui implique qu’il n’est pas possible de déterminer les indices visuels devant être extraits par le traitement d’image.