HAL Id: inria-00350639
https://hal.inria.fr/inria-00350639
Submitted on 7 Jan 2009
HAL is a multi-disciplinary open access
archive for the deposit and dissemination of
sci-entific research documents, whether they are
pub-lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.
L’archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d’enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.
Quoi de neuf en asservissement visuel depuis les
JNRR’03 ?
François Chaumette, Nicolas Andreff
To cite this version:
François Chaumette, Nicolas Andreff. Quoi de neuf en asservissement visuel depuis les JNRR’03 ?.
Journées Nationales de la Recherche en Robotique, JNRR’07, 2007, Obernai, France. �inria-00350639�
Quoi de neuf en asservissement visuel
depuis les JNRR’03 ?
Franc¸ois Chaumette
INRIA / IRISA Campus de Beaulieu 35042 Rennes Cedex T´el. 02 99 84 72 55 – Francois.Chaumette@irisa.frNicolas Andreff
LaMI/LASMEA – IFMA/UBP/CNRS Campus des C´ezeaux/Clermont-Ferrand63175 Aubi`ere Cedex
T´el. 04 73 28 80 66 – Nicolas.Andreff@ifma.fr
R´esum´e - Cet article de synth`ese pr´esente les avanc´ees
r´ealis´ees en France au cours de ces quatre derni`eres ann´ees dans le domaine de l’asservissement visuel. 1
Mots-cl´e - Asservissement visuel, robotique
I. INTRODUCTION
Les premiers travaux en asservissement visuel au sein de la communaut´e franc¸aise datent de la fin des ann´ees 1980. Depuis lors, ils n’ont cess´e de prendre de l’essor, via des contributions m´ethodologiques propres ou via l’´elargissement de leur domaine d’application en se confrontant aux autres domaines de la robotique. Au niveau factuel, depuis le dernier point fait sur l’asservissement visuel aux JNRR’03, on peut noter la soutenance d’une quinzaine de th`eses dans le domaine, la publication d’une centaine d’articles dans les conf´erences et revues internationales (dont cet article tente d’en faire la synth`ese), la production d’un article de base [12], ainsi que d’un tutoriel [13], [14], le seul existant jusqu’`a pr´esent datant de 1996. Parmi toutes ces publications, on peut mettre en exergue [28], prix du meilleur papier 2005 d’ITRO, faisant suite `a celui d´ej`a attribu´e en 2002, d´emontrant ainsi l’excellent niveau des travaux r´ealis´es en France sur le sujet. Un effort important de diffusion logicielle a ´egalement ´et´e r´ealis´e via la mise `a disposition de la biblioth`eque d’asservissement visuel ViSP [42] et de l’algorithme de suivi ESM [38].
Les contributions r´ecentes touchent `a tous les domaines de l’asservissement visuel. Nous d´ecrivons dans un premier temps celles ayant trait `a la mod´elisation des informations visuelles qui sont utilis´ees en entr´ee des lois de commande. Sur ce point, on peut particuli`erement noter les travaux r´ealis´es pour prendre en compte de nouveaux capteurs tels les capteurs de vision omnidirectionnelle, ainsi que les sondes ´echographiques en robotique m´edicale. La prise en compte de contraintes au cours d’un asservissement visuel, soit pour r´ealiser des tˆaches complexes, soit pour appr´ehender des environnements de plus en plus r´ealistes, a ´egalement ´et´e largement ´etudi´ee. Nous d´ecrivons en section III les travaux bas´es sur des techniques de
1Cet article a ´et´e r´ealis´e grˆace `a l’envoi de contributions en provenance
d’Heudyasic, de l’Inria Sophia-Antipolis, d’I3S, du Lab, du Laas, du Lirmm, du Lisir, du LSIIT et du LVR. Que leurs auteurs nous pardonnent les mauvais traitements que nous avons fait subir `a leur prose !
commande avanc´ee telles les LMI ou la commande pr´edictive, et, en section IV ceux utilisant des techniques de planification ou de s´equencement de tˆaches. Nous pr´esentons ensuite en section V les contributions obtenues dans le domaine de la navigation visuelle en robotique mobile. Celles-ci sont significatives, en raison notamment des progr`es r´ealis´es dans le domaine de la vision par ordinateur qui permettent `a pr´esent de consid´erer de mani`ere fiable et robuste des environnements d’ext´erieur. Comme nous le verrons en section VI, le contrˆole d’engins volants par asservissement visuel est ´egalement en pleine expansion. Nous terminerons enfin en section VII par la description de travaux plus ponctuels.
II. MODELISATION D´ ’INFORMATIONS VISUELLES
Le but de ces ´etudes est de d´eterminer des informations visuelles telles que les lois de commande associ´ees pr´esentent des propri´et´es remarquables. Nous consid´erons tout d’abord les ´etudes reposant sur un mod`ele de projection perspective classique, puis sur la mod´elisation de nouveaux capteurs.
A. Projection perspective
1) Asservissement visuel 2D ´etendu : Les travaux d´ecrits
dans [59] portent sur l’analyse d’une commande utilisant comme informations visuelles les coordonn´ees homog`enes de points de l’image exprim´ees en pixel multipli´ees par la profondeur du point 3D correspondant, d’o`u le terme d’asser-vissement visuel 2D ´etendu choisi par les auteurs de [59]. On rappelle que ces informations visuelles peuvent ˆetre obtenues soit `a partir d’un calcul de pose si on dispose d’une cam´era ´etalonn´ee et du mod`ele 3D de l’objet consid´er´e, soit `a partir de points appari´es sur les images courante et d´esir´ee en remontant `a la structure partielle de l’objet. L’emploi de ces informations visuelles redondantes aboutit `a de bonnes propri´et´es de la commande associ´ee telles la possibilit´e de caract´eriser l’en-semble de ses minima locaux, la g´en´eration de trajectoires satisfaisantes, ainsi que la stabilit´e asymptotique globale du syst`eme sous l’hypoth`ese de mesures parfaites et sa stabilit´e asymptotique locale en pr´esence d’erreurs d’´etalonnage.
2) Homographie: De nombreux travaux en asservissement
visuel utilisent l’estimation d’une homographie, soit pour calculer les informations visuelles comme il est possible de le faire en asservissement visuel 2D 1/2 ou 2D ´etendu, soit
pour le suivi visuel de texture plane, ou mˆeme les deux simultan´ement [38]. Il est bien connu que l’extraction de la pose partielle de la cam´era `a partir de l’homographie donne deux solutions possibles. Bien que de nombreuses applications aient pu ˆetre r´ealis´ees, comme par exemple le suivi automatique de v´ehicule [6], la double solution issue de la d´ecomposition peut poser des probl`emes, qui peuvent ˆetre contourn´es en utilisant la moyenne des deux solutions [66]. Les travaux pr´esent´es dans [7] montrent que la d´ecomposition n’est mˆeme pas indispensable.
3) Informations visuelles photom´etriques: Pour limiter au
maximum la phase de traitement d’image, et donc r´eduire le risque d’erreur dans le suivi ou la mise en correspondance des mesures utilis´ees pour construire les informations visuelles, il est possible d’utiliser directement l’intensit´e lumineuse d’une zone de l’image. Ainsi, dans [43], une loi de commande est propos´ee afin de maximiser le contraste ou l’´eclairement d’un objet dans l’image. Cette commande peut s’appliquer aussi bien pour r´egler la pose de la source de lumi`ere que celle de la cam´era.
4) M´ecanismes parall`eles: L’analyse de la cin´ematique
particuli`ere des robots parall`eles a montr´e que l’asservissement visuel 3D-pose d’un tel type de robot, c’est-`a-dire utilisant comme informations visuelles la pose de l’organe terminal du robot par rapport `a la cam´era, est en fait une simple commande par retour d’´etat non-lin´eaire qui ne d´epend aucunement de la mesure proprioceptive [18]. Une extension `a la dynamique est en cours [47], bas´ee notamment sur la mesure simultan´ee de la pose 3D et de la vitesse cart´esienne de l’organe terminal du robot par cam´era `a exposition s´equentielle [1].
Alternativement, la commande des robots parall`eles peut se faire en observant les ´el´ements cin´ematiques du robot, ce qui permet de mesurer la cin´ematique du robot (plutˆot que de l’estimer par mod`ele) et de r´eduire ainsi le jeu de param`etres g´eom´etriques n´ecessaires `a la commande. Cette approche a ´et´e valid´ee exp´erimentalement sur la plateforme de Gough-Stewart [4] et sur la famille I4R/Par4 [19].
B. Nouveaux capteurs
1) Asservissement visuel omnidirectionnel: La vision
omni-directionnelle a connu un essor important ces derni`eres ann´ees au sein de la communaut´e de vision par ordinateur. Il est donc naturel que la communaut´e en asservissement visuel s’y soit ´egalement int´eress´ee, notamment pour profiter du champ de vision panoramique qu’elle fournit, particuli`erement int´eressant pour la navigation d’un robot mobile.
Sur la base d’un mod`ele de projection sph´erique unifiant les capteurs de vision omnidirectionnelle `a centre de projection unique et les cam´eras classiques r´egies par une projection perspective, des asservissements visuels valables pour tous ces capteurs ont ´et´e propos´es. L’image de droites est consid´er´ee dans [32] et une homographie dans [31], amenant alors `a de bonnes propri´et´es de d´ecouplage. Ces r´esultats ont ´et´e valid´es avec un capteur omnidirectionnel sur un robot manipulateur `a six degr´es de libert´e et sur un robot mobile. Dans ce dernier cas, les lois de commande ont ´et´e construites en consid´erant les
contraintes de non-holonomie [30]. La commande d’un robot parall`ele (plateforme de Gough) par vision omnidirectionnelle a ´egalement ´et´e r´ecemment r´ealis´ee [63].
Le mod`ele de projection sph´erique pr´esente ´egalement de bonnes propri´et´es pour d´eterminer des informations vi-suelles optimales. Par exemple, des informations vivi-suelles caract´erisant l’image d’une sph`ere, proportionnelles aux co-ordonn´ees du centre de la sph`ere, peuvent ˆetre obtenues assez ais´ement grˆace `a ce mod`ele [64]. Il en r´esulte une loi de commande dont le seul param`etre inconnu est le rayon de la sph`ere et il est possible d’assurer la stabilit´e asymptotique globale du syst`eme quelle que soit la valeur choisie pour ce rayon. Pour les capteurs catadioptriques disposant d’une zone morte, une variante aux informations initiales peut ˆetre choisie afin d’´eviter autant que possible de traverser cette zone morte [65].
2) Lumi`ere structur´ee: L’emploi de lumi`eres structur´ees
n’avait pas fait l’objet d’´etudes depuis de nombreuses ann´ees. Elles simplifient pourtant sensiblement les traitements d’images et permettent d’appr´ehender des objets non struc-tur´es et non texstruc-tur´es. Dans le cas o`u la grille projet´ee est rigidement li´ee `a l’objet d’int´erˆet, les techniques classiques peuvent s’appliquer directement. Par contre, si les sources lumineuses sont li´ees `a la cam´era, la phase de mod´elisation doit ˆetre revue enti`erement. Une ´etude a ´et´e effectu´ee dans ce sens dans [49] pour determiner le motif de lumi`ere et les informations visuelles associ´ees r´ealisant au mieux la liaison classique plan sur plan.
3) Asservissement visuel ´echographique: Le travail d´ecrit
dans [67] concerne la conception et la commande d’un syst`eme robotique permettant de guider un instrument `a partir d’images ´echographiques ainsi que son application pour de la chirurgie intracardiaque `a cœur battant. Les informations visuelles uti-lis´ees sont compos´ees de l’intersection entre l’instrument et le plan ´echographique, dont il a fallu d´eterminer la matrice d’interaction. La difficult´e particuli`ere est que le mod`ele utilis´e est corrompu par des incertitudes sur les param`etres estim´es. Il est donc n´ecessaire de mettre en œuvre, au niveau de l’analyse et de la synth`ese, des m´ethodes avanc´ees pour garantir la robustesse en boucle ferm´ee : m´ethode indirecte de Lyapunov et adaptation en ligne des gains. Le syst`eme propos´e a ´et´e valid´e par des exp´eriences in vitro et in vivo sur animaux. Signalons que les techniques de commande pr´edictive peuvent ˆetre utilis´ees pour assurer que l’instrument reste visible dans le plan de coupe [56].
Une autre ´etude dans le domaine de l’utilisation d’images ´echographiques a port´e sur l’utilisation de l’asservissement vi-suel pour ´etalonner les param`etres intrins`eques et extrins`eques d’une sonde embarqu´ee [33]. Apr`es ´etalonnage, il est en effet possible de superposer les diff´erents plans de coupe pour obtenir une reconstruction de la zone observ´ee par la sonde. L’asservissement visuel a ´et´e utilis´e pour positionner la sonde `a des configurations particuli`eres par rapport `a une mire d’´etalonnage.
Par ailleurs, des travaux tr`es novateurs sont actuellement en cours sur l’utilisation du speckle contenu dans les images
´echographiques pour contrˆoler localement la pose de la sonde [34].
III. COMMANDE
A. Commande sans prise en compte de contraintes
De nombreux travaux sur le d´eveloppement de nouvelles lois de commande ont ´egalement ´et´e r´ealis´es. Pour celles utilisant en entr´ee des informations visuelles redondantes proches des mesures effectu´ees, telles des coordonn´ees de points, on peut tout d’abord signaler [16] qui permet de rejeter des informations visuelles aberrantes dues `a des erreurs de traitement d’image. Le principe consiste `a associer un poids `a chaque information visuelle. Ce poids, refl´etant la confiance en la mesure associ´ee, peut ˆetre calcul´e automatiquement en utilisant les techniques statistiques robustes `a base de M-estimateur.
Dans le mˆeme ordre d’id´ee, pour assurer la continuit´e de la loi de commande lorsque des informations visuelles dispa-raissent ou appadispa-raissent (et sous hypoth`ese qu’un nombre suf-fisant reste visible), il est possible d’introduire une pond´eration sur chaque information visuelle, cette pond´eration ´etant alors une fonction d´ecroissante de la distance de la primitive visuelle au centre de l’image [27].
Le probl`eme majeur des lois de commande classiques utilis´ees en asservissement visuel 2D sur des informations visuelles redondantes de type point porte sur les trajectoires r´ealis´ees pour de grands d´eplacements `a effectuer. En effet, ces lois de commande ne sont valables que localement. Il est montr´e dans [37] que des techniques de commande ins-pir´ees des m´ethodes d’optimisation ESM (Efficient Second-order Method) permettent de rem´edier en bonne partie `a ce probl`eme. En pratique, elles consistent `a utiliser la moyenne des matrices d’interaction calcul´ees pour la configuration courante et celle d´esir´ee.
B. Commande par LMI
Comme cela avait d´ej`a ´et´e soulign´e en 2003, les tech-niques de commande utilis´ees en asservissement visuel ont continu´e `a progresser et `a se g´en´eraliser `a des techniques non lin´eaires plus complexes, capables notamment de prendre en compte des contraintes au niveau de l’asservissement. Dans ce domaine, des avanc´ees concernant l’analyse et la synth`ese multicrit`eres de lois de commande par la th´eorie de Lyapunov et l’optimisation convexe sous contraintes LMI (In´egalit´es Lin´eaires Matricielles) ont ´et´e obtenues. Ainsi, le probl`eme d’asservissement visuel (3D ou 2D) sous contraintes (visibilit´e, saturation des actionneurs, contraintes 3D, etc.) peut ˆetre r´esolu de cette mani`ere [20], [62] et formalis´e comme la stabilisation d’un syst`eme non lin´eaire rationnel sous des contraintes rationnelles, ce qui permet de r´eduire le conservatisme habituel de ces approches [21].
C. Commande pr´edictive
Une autre approche pour prendre en compte des contraintes au niveau de l’asservissement visuel consiste `a utiliser les techniques de commande pr´edictive non lin´eaire. Dans cette
approche, les objectifs sont exprim´es sous la forme d’un probl`eme d’optimisation non lin´eaire dont la r´esolution fournit une planification implicite et optimale de trajectoire sous contraintes. De plus, le mod`ele non lin´eaire complet du syst`eme est consid´er´e. La lin´earisation locale via la ma-trice d’interaction n’est donc plus n´ecessaire, ce qui permet d’am´eliorer le comportement du syst`eme. Diff´erentes appli-cations ont ´et´e r´ealis´ees sur des bras manipulateurs [55] et sur des robots mobiles, notamment pour la stabilisation en une image d´esir´ee [2], ainsi que pour du guidage sous ´echographie [56]. Dans tous les cas, l’´etude de la stabilit´e reste un probl`eme ouvert. Le temps de calcul pour r´esoudre le probl`eme d’optimisation NL, qui doit ˆetre effectu´e `a chaque it´eration de la loi de commande, est parfois aussi une li-mitation `a l’utilisation de cette approche. Il est cependant montr´e dans [3] que l’utilisation de la propri´et´e de platitude diff´erentielle du syst`eme permet de diviser par deux le temps de calcul dans le cas d’un robot mobile.
La commande pr´edictive peut ´egalement ˆetre utilis´ee pour des tˆaches de poursuite d’un objet en mouvement. Ainsi, un mod`ele pr´edictif du mouvement du cœur a-t-il ´et´e utilis´e dans [28] pour r´eduire l’erreur de suivi du p´ericarde en chirurgie `a cœur battant. L’objectif de ces travaux vise `a r´ealiser des interventions en laissant le cœur battre librement. Le robot est alors utilis´e pour suivre de mani`ere synchrone les mouvements du coeur dans le but d’annuler le d´eplacement relatif entre l’outil de chirurgie et la zone du p´ericarde `a traiter. De cette mani`ere, le chirurgien a l’impression d’op´erer un cœur arrˆet´e. Ces travaux ont ´et´e valid´es par des exp´eriences r´ealis´ees sur animaux avec un syst`eme robotique control´e par asservissement visuel `a 500 Hz.
D. Couplage vision/force
Il existe deux fac¸ons classiques pour r´ealiser le couplage vision/force : la m´ethode par imp´edance et la m´ethode dite hy-bride. Il a ´et´e montr´e dans [46] que la m´ethode par imp´edance peut pr´esenter des minima locaux et que la m´ethode hybride requiert un mod`ele tr`es pr´ecis de la tˆache. Pour circonvenir ces difficult´es, une nouvelle m´ethode dite hybride externe a ´et´e propos´ee. L’asservissement visuel y est plac´e `a l’int´erieur d’une commande en effort externe, de mani`ere hi´erarchique. Le couplage est ainsi fait dans l’espace capteur : la trajectoire de r´ef´erence g´en´er´ee par asservissement visuel est modifi´ee par la commande en effort. Cette m´ethode a ´et´e appliqu´ee pour l’ex´ecution de tˆaches de robotique de service telles l’ouverture de porte et de tiroir [50].
IV. PLANIFICATION ET SEQUENCEMENT DE T´ ACHESˆ
La planification hors ligne de trajectoire est une approche connue pour pallier aux probl`emes des commandes clas-siques lors de grands d´eplacements `a r´ealiser et pour pouvoir consid´erer des contraintes. Dans ce domaine, deux algo-rithmes, bas´es sur les coordonn´ees 2D ´etendues et fournissant une solution analytique, ont ´et´e propos´es r´ecemment. Les trajectoires ´etant planifi´ees en coordonn´ees 2D ´etendues, elles peuvent ˆetre inject´ees `a tout asservissement visuel charg´e de
suivre ces trajectoires. La premi`ere m´ethode impose `a un point image s´electionn´e de se d´eplacer en ligne droite, en faisant varier la distance entre cam´era et objet pour assurer ´egalement la visibilit´e de tous les autres points images [58]. La seconde m´ethode cherche `a d´eplacer en ligne droite le centre de la cam´era, en admettant d’´eventuels ´ecarts locaux pour assurer la visibilit´e [57].
L’utilisation du formalisme de la redondance est une autre approche classique pour prendre en compte des contraintes. Dans cette approche, celles-ci sont assur´ees, autant que faire se peut, par les mouvements disponibles ne modifiant pas l’´evolution de la tˆache visuelle principale. Ceci s’av`ere ˆetre parfois trop contraignant et il est possible d’´elargir sensi-blement l’ensemble des mouvements permis en consid´erant tous ceux qui font diminuer la norme de la tˆache principale, conservant ainsi sa stabilit´e [39].
Il n’empˆeche que des degr´es de libert´e doivent ˆetre dis-ponibles pour pouvoir respecter les contraintes, ce qui n’est pas toujours possible. Il est alors n´ecessaire de mod´eliser et de s´equencer plusieurs tˆaches qui seront activ´ees ou d´esactiv´ees en fonction des ´ev´enements se produisant, et donc des contraintes `a assurer. C’est ce principe qui a ´et´e utilis´e dans [25] afin de faire naviguer un robot mobile tout en ´evitant des obstacles et des occultations ´eventuels. Dans certains cas cependant, il n’est pas possible d’´eviter toute occultation tout en naviguant vers le but et en ´evitant simultan´ement les obstacles. C’est pourquoi ces travaux ont ´et´e am´elior´es afin de laisser les occultations se produire si cela est n´ecessaire au bon d´eroulement de la mission. Pour cela, plusieurs m´ethodes ont ´et´e propos´ees pour pr´edire la position des mesures visuelles lorsque celles-ci sont momentan´ement indisponibles [26].
Plutˆot que d’imposer a priori le s´equencement `a effectuer, ce qui peut s’av´erer probl´ematique pour des applications complexes, il est possible de s´electionner automatiquement les tˆaches et contraintes `a activer ou `a d´esactiver au cours de la r´ealisation de la mission. On se ram`ene alors `a un probl`eme de gestion de pile de tˆaches [40]. Cette approche a ´et´e r´ecemment appliqu´ee sur un robot humano¨ıde afin de r´ealiser la saisie d’une balle en mouvement au cours de la marche tout en conservant l’´equilibre et en ´evitant les but´ees du bras [41].
V. ROBOTS MOBILES
A. Fonctions transverses
Pour les robots non-holonomes, il est bien connu que la stabilisation de la pose compl`ete du robot ne peut pas ˆetre r´esolue de mani`ere g´en´erique `a l’aide de commandes par retour d’´etat classiques. L’utilisation de retours d’´etat tr`es non-lin´eaires pose alors des probl`emes difficiles de robustesse, en particulier vis-`a-vis d’erreurs d’estimation de la pose. Dans [5], le suivi d’une cible mobile omnidirectionnelle par un robot de type unicycle muni d’une cam´era embarqu´ee est trait´e, via l’approche de commande par fonctions transverses. Un mod`ele pr´ecis de la cible et des param`etres intrins`eques de la cam´era permet une reconstruction fine de la pose, et conduit `a de bonnes performances du sch´ema de commande. Le mˆeme
probl`eme a ´et´e reconsid´er´e dans [44] sous l’angle de la robus-tesse des sch´emas de commande vis-`a-vis d’erreurs de mod`ele de l’ensemble capteur/cible. Ce travail a montr´e qu’`a partir d’un mod`ele tr`es grossier, il est toujours possible de garantir de bonnes propri´et´es de bornitude de l’erreur de suivi, mais il montre aussi une d´egradation des performances pour certaines trajectoires de r´ef´erence, qui se traduit par l’apparition de mouvements parasites autour du point de fonctionnement. Au vu de ces r´esultats pr´eliminaires, il apparaˆıt que l’´etude de l’asservissement visuel pour des syst`emes tr`es non-lin´eaires m´erite d’ˆetre approfondie.
B. Navigation par localisation 3D
Des travaux tr`es fructueux ont ´et´e r´ealis´es ces derni`eres ann´ees dans le domaine de la navigation de robot mobile en milieu urbain. Dans [54], la trajectoire `a suivre est donn´ee au robot suite `a une phase d’apprentissage. Pendant cette phase d’apprentissage, la cam´era embarqu´ee enregistre une vid´eo `a partir de laquelle une carte de l’environnement est construite. Cette carte, obtenue par un algorithme de reconstruction 3D bas´e sur la mise en correspondance de points d’int´erˆet, est un mod`ele 3D de la sc`ene observ´ee constitu´e d’un nuage de points. Au cours de la navigation, les images prises par la cam´era permettent de localiser le robot au voisinage de la trajectoire de r´ef´erence. Cette localisation consiste `a mettre en correspondance des points d’int´erˆet d´etect´es sur l’image courante avec le mod`ele 3D de la sc`ene, ce qui permet d’en d´eduire la pose de la cam´era et donc du robot. La pose est ensuite utilis´ee pour commander le robot et faire en sorte qu’il suive de fac¸on autonome le mˆeme parcours que durant la phase d’apprentissage ou un parcours l´eg`erement diff´erent.
C. Navigation par m´emoire visuelle
Le mˆeme type d’application, reposant ´egalement sur une phase d’apprentissage, a ´et´e trait´e dans [52] et [8]. La diff´erence principale porte sur le fait qu’une reconstruc-tion globale de l’environnement n’est pas indispensable pour r´ealiser la navigation, mais que des reconstructions locales suffisent entre les diff´erentes images cl´es repr´esentant le chemin `a parcourir. Une autre diff´erence importante porte sur les lois de commande utilis´ees. Dans [52], on ne cherche pas `a suivre pr´ecis´ement une trajectoire planifi´ee, mais `a progresser le long du couloir de navigation. En termes d’asservissement visuel, cela revient `a ce que les informations visuelles restent au sein d’un intervalle, au lieu qu’elles atteignent des valeurs sp´ecifiques. L’application de cette approche pour la navigation d’un Cycab est d´ecrite dans [23] et pour un robot mobile d’int´erieur dans [8]. Initi´ee avec une cam´era conventionelle, cette approche a ´et´e r´ecemment g´en´eralis´ee `a toutes les cam´eras `a point central unique [17].
VI. ROBOTS VOLANTS
La commande par asservissement visuel d’engins volants a connu elle aussi un essor tr`es important ces derni`eres ann´ees. Les premiers travaux que l’on peut signaler portent sur les dirigeables pour lesquels des asservissements visuels ont ´et´e
d´evelopp´es pour la stabilisation en un point fixe, l’atterrissage automatique, ainsi que le suivi de structures lin´eiques (routes, rivi`eres, lignes ´electriques,...) [61], [53].
Pour la commande d’h´elicopt`eres, autre type de syst`emes sous-actionn´es, les premi`eres contributions portent logique-ment sur des asservisselogique-ments visuels 3D utilisant la vision pour estimer la pose du drone [48]. Cot´e asservissement visuel 2D, des lois de commande cin´ematiques ont tout d’abord ´et´e propos´ees [9]. Elles reposent sur la mesure du centre de gravit´e d’une cible apr`es projection sph´erique, ce qui permet d’avoir des informations visuelles disposant de la propri´et´e de passi-vit´e structurelle. Une commande dynamique a ´egalement ´et´e r´ecemment propos´ee [29]. Dans ce type de loi de commande, la mesure de la vitesse de translation de la cam´era est suppos´ee connue. Il est d´emontr´e dans [35] que, si on suppose que la cible observ´ee est plane, alors, en combinant la vitesse d’un point dans l’image et les mesures fournies par les gyrom`etres, il est possible d’estimer la vitesse de la cam´era `a un facteur d’´echelle pr`es. Une nouvelle strat´egie de contrˆole adaptatif a ensuite ´et´e d´evelopp´ee et exp´eriment´ee sur un drone. Le principal inconv´enient de cette premi`ere m´ethode r´eside dans la non observabilit´e de certains param`etres rendant obligatoire une mesure de la vitesse d’un point dans l’image, tr`es d´egrad´ee en pratique avec les capteurs utilis´es. Une seconde approche a alors ´et´e explor´ee [36] pour se ramener `a un syst`eme enti`erement observable `a partir des simples mesures des amers visuels. Pour cela, la taille de la cible observ´ee par la cam´era a ´et´e utilis´ee.
Par ailleurs, la relation entre le sous actionnement et l’ana-lyse des conditions de visibilit´e d’une cible est un probl`eme tr`es int´eressant pour toute r´ealisation pratique d’un asservis-sement visuel sur un drone. Pour ce probl`eme, une premi`ere approche de contrˆole, bas´ee sur les techniques de commande par petits gains et utilisant l’homographie comme information visuelle, a ´et´e ´etudi´ee dans [45].
Enfin, des ´etudes sont ´egalement en cours pour r´ealiser l’atterrissage automatique d’avions. La strat´egie propos´ee dans [10] consiste `a planifier une trajectoire compatible avec la dynamique de l’avion permettant de rejoindre la trajectoire nominale d’atterrissage, puis `a suivre cette trajectoire en utilisant des lois de commande d´ecoupl´ees pour les contrˆoles lat´eral et longitudinal en utilisant des informations visuelles extraites de la piste d’atterrissage.
VII. AUTRES APPLICATIONS
Des progr`es importants ont ´egalement ´et´e r´ealis´es dans le domaine du traitement d’images pour suivre des objets de forme ou de texture complexes. Outre le suivi de points d’int´erˆet d´ej`a ´evoqu´e, on peut notamment citer le suivi de surface planaire textur´ee [38] `a partir duquel il est possible d’estimer la pose du robot et la structure de la sc`ene. On peut alors concevoir des approches d’asservissement visuel qui ne n´ecessitent pas une image de r´ef´erence pour sp´ecifier une position `a atteindre [60]. Des techniques de reconstruction locale peuvent ´egalement ˆetre utilis´ees pour se positionner par rapport `a des objets non poly´edriques [15]. Enfin, des
techniques de suivi 3D combinant des mesures de type contour et texture ont ´et´e d´evelopp´ees, permettant d’appr´ehender des objets 3D complexes [51]. Des applications d’envergure, autres que celles d´ej`a cit´ees, sont donc `a pr´esent consid´er´ees, telles la manipulation d’objets en environnement spatial [22], l’aide aux personnes handicap´ees pour la d´etection et la saisie d’ob-jets [24], ou la reconstruction 3D d’obd’ob-jets rigides naturels dans les fonds marins par des techniques de perception active [11]. Dans un proche avenir, les techniques d’asservissement visuel seront ´egalement utilis´ees pour des applications de micro-manipulation et de micro-assemblage.
REFERENCES
[1] O. Ait-Aider, N. Andreff, J.-M. Lavest, P. Martinet, “Simultaneous Object Pose and Velocity Computation Using a Single View from a Rolling Shutter Camera”, ECCV’06, pp. 56-68, Graz, mai 2006. [2] G. Allibert, E. Courtial, Y. Tour´e, “Visual predictive control”, IFAC
Workshop on Nonlinear Predictive Control for Fast Systems, Grenoble,
octobre 2006.
[3] G. Allibert, E. Courtial, Y. Tour´e, “A Flat Model Predictive Controller for Trajectory Tracking in Image Based Visual Servoing”, 7th IFAC
Symp. on Nonlinear Control Systems, Pr´etoria, aoˆut 2007.
[4] N. Andreff, T. Dallej, P. Martinet, “Image-based Visual Servoing of a Gough-Stewart Parallel Manipulator using Leg Observations”, Int.
Journal of Robotics Research, 26(7) :677-687, juillet 2007.
[5] G. Artus, P. Morin, C. Samson. “Tracking of an omnidirectional target with a nonholonomic mobile robot”, ICAR, pages 1468–1473, 2003. [6] S. Benhimane, E. Malis, P. Rives, J. R. Azinheira, “Vision-based control
for car platooning using homography decomposition”, ICRA, pp. 2173– 2178, Barcelone, avril 2005.
[7] S. Benhimane, E. Malis, “Homography-based 2D visual tracking and servoing”, Int. Journal of Robotic Research, 26(7) :661-677, juillet 2007. [8] G. Blanc, Y. Mezouar, P. Martinet. Indoor navigation of a wheeled
mobile robot along visual routes. ICRA, Barcelona, avril 2005. [9] O. Bourquardez, R. Mahony, T. Hamel, F. Chaumette, “Stability and
performance of image based visual servo control using first order spherical image moments”, IROS, P´ekin, octobre 2006.
[10] O. Bourquardez, F. Chaumette, “Visual Servoing of an Airplane for Auto-Landing”, IROS, San Diego, octobre 2007.
[11] V. Brandou, E. Malis, P. Rives, A.-G. Allai , M. Perrier, “Active stereovision using invariant visual servoing”, IROS, pp. 2326–2331,
P´ekin, octobre 2006.
[12] F. Chaumette, “Visual Servoing”, In Robot manipulators : Modeling,
Performance Analysis and Control, E. Dombre, W. Khalil (eds.), Chap.
6, pp. 279-336, ISTE, 2007.
[13] F. Chaumette, S. Hutchinson, “Visual Servo Control, Part I : Basic Approaches”, IEEE Robotics and Automation Magazine, 13(4) :82-90, d´ecembre 2006.
[14] F. Chaumette, S. Hutchinson, “Visual Servo Control, Part II : Advanced Approaches”, IEEE Robotics and Automation Magazine, 14(1) :109-118, mars 2007.
[15] C. Collewet, F. Chaumette, “Visual Servoing on Non-Planar Objects From Active Vision”, ICRA, Rome, avril 2007.
[16] A.I. Comport, E. Marchand, F. Chaumette, “Statistically robust 2D visual servoing”, IEEE Trans. on Robotics, 22(2) :415-421, avril 2006. [17] J. Courbon, G. Blanc, Y. Mezouar, P. Martinet. “Navigation of a
non-holonomic mobile robot with a memory of omnidirectional images”.
Workshop on Planning, Perception and Navigation for intelligent ve-hicles, ICRA, pages 51–56, Rome, Italie, avril 2007.
[18] T. Dallej, N. Andreff, P. Martinet, “3D pose visual servoing is the canonical choice for the Cartesian control of parallel robots”, IROS, P´ekin, octobre 2006.
[19] T. Dallej, N. Andreff, P. Martinet, “Image-Based Visual Servoing of the I4R parallel robot without Proprioceptive Sensors”, ICRA, Rome, avril 2007.
[20] P. Dan`es, D. Bellot. “Towards an LMI approach to multicriteria visual servoing in robotics”, Eur. Journal of Control, 12(1) :86–110, 2006.
[21] P. Dan`es, D. F. Coutinho, “Multicriteria analysis of visual servos via biquadratic Lyapunov functions”, 5th IFAC Symp. on Robust Control
Design , Toulouse, juillet 2006.
[22] F. Dionnet, E. Marchand. “Robust stereo tracking for space robotic applications”, IROS, San Diego, octobre 2007
[23] A. Diosi, A. Remazeilles, S. Segvic, F. Chaumette, “Outdoor Visual Path Following Experiments”, IROS, San Diego, octobre 2007.
[24] C. Dune, E. Marchand, C. Leroux. “One Click Focus with Eye-in-hand/Eye-to-hand Cooperation”, ICRA, pp. 2471-2476, Rome, avril 2007.
[25] D. Folio, V. Cadenat, “A redundancy-based scheme to perform safe vision-based tasks amidst obstacles”, Int. Conf. on Robotics and
Bio-mimetics, d´ecembre 2006.
[26] D. Folio, V. Cadenat, “A new controller to perform safe vision-based navigation tasks amidst possibly occluding obstacles”, ECC, Kos, juillet 2007.
[27] N. Garcia-Aracil, E. Malis, R. Aracil-Santonja, C. Perez-Vidal. “Conti-nuous visual servoing despite the changes of visibility in image featu-res”, IEEE Trans. on Robotics, 21(6) :1214–1220, d´ecembre 2005. [28] R. Ginhoux, J. Gangloff, M. de Mathelin, L. Soler, M.M. Arenas
Sanchez, J. Marescaux. “Active Filtering of Physiological Motion in Robotized Surgery Using Predictive Control”, IEEE Trans. on Robotics, 21(1) :67-79, f´evrier 2005.
[29] N. Gu´enard, T. Hamel, R. Mahony, “A Practical Visual Servo Control for a Unmanned Aerial Vehicle”, ICRA, pp. 1342-1348, Rome, avril 2007.
[30] H. Hadj Abdelkader, Y. Mezouar, N. Andreff, P. Martinet, “Image-based control of mobile robot with central catadioptric cameras”, ICRA, Barcelone, avril 2005.
[31] H. Hadj Abdelkader, Y. Mezouar, N. Andreff, P. Martinet, “Decoupled homography based visual servoing with omnidirectional camera”, IROS, P´ekin, octobre 2006.
[32] H. Hadj Abdelkader, Y. Mezouar, N. Andreff, P. Martinet, “Omnidirec-tional visual servoing from polar lines”, ICRA, Orlando, mai 2006. [33] A. Krupa, “Automatic Calibration of a Robotized 3D Ultrasound
Ima-ging System by Visual Servoing”, ICRA, pp. 4136-4141, Orlando, mai 2006.
[34] A. Krupa, G. Fichtinger, G. Hager, “Full Motion Tracking in Ultrasound Using Image Speckle Information and Visual Servoing”, ICRA, Rome, avril 2007.
[35] F. Le Bras , R. Mahony, T. Hamel, P. Binetti, “Adaptive filtering and image based visual servo control of aducted fan flying robot”, CDC, San-Diego, d´ecembre 2006.
[36] F. Le Bras, T. Hamel , R. Mahony , “Nonlinear Observer-Based Visual Control of a VTOL UAV”, ECC, Kos, juillet 2007.
[37] E. Malis, “Improving vision-based control using efficient second-order minimization techniques”, ICRA, pp. 1843–1848, New Orleans, avril 2004.
[38] E. Malis, S. Benhimane. A unified approach to visual tracking and servoing. Robotics and Autonomous Systems, 52(1) :39–52, July 2005. [39] N. Mansard, F. Chaumette, “Directional redundancy : a new approach of the redundancy formalism”, CDC/ECC, pp. 5366-5371, S´eville, d´ecembre 2005.
[40] N. Mansard, F. Chaumette, “Task sequencing for sensor-based control”,
IEEE Trans. on Robotics, 23(1) :60-72, f´evrier 2007.
[41] N. Mansard, O. Stasse, F. Chaumette, K. Yokoi, “Visually-Guided Grasping while Walking on a Humanoid Robot”, ICRA, Rome, avril 2007.
[42] E. Marchand, F. Spindler, F. Chaumette, “ViSP for visual servoing : a generic software platform with a wide class of robot control skills”,
IEEE Robotics and Automation Magazine, 12(4) :40-52, d´ecembre 2005.
[43] E. Marchand, “Control Camera and Light Source Positions using Image Gradient Information”, ICRA, pp. 417-422, Rome, avril 2007. [44] M. Maya-Mendez, P. Morin, C. Samson, “Control of a nonholonomic
mobile robot via sensor-based target tracking and pose estimation”,
IROS, pp. 5612-5618, P´ekin, octobre 2006.
[45] N. Metni, T. Hamel, “Visual Tracking Control of Aerial Robotic Systems with Adaptive Depth Estimation”. Int. Journal of Control, Automation, and Systems. 5(1) :51-60, 2007.
[46] Y. Mezouar, M. Prats, P. Martinet, “External Hybrid Vision/Force Control”, ICAR, Jeju, aoˆut 2007.
[47] F. Paccot, N. Andreff, P. Martinet, W. Khalil, “Vision-based computed torque control of parallel robots”, 32nd Annual Conf. of the IEEE Industrial Electronics Society, Paris, novembre 2006.
[48] A. Palomino, P. Castillo, I. Fantoni, R. Lozano, C. P´egard, “Control strategy using vision for the stabilization of an experimental PVTOL aircraft setup”, IEEE Trans. on Control Systems Technology, 13(5) :847-850, septembre 2005
[49] J. Pag`es, C. Collewet, F. Chaumette, J. Salvi, “Optimizing plane-to-plane positioning tasks by image-based visual servoing and structured light”,
IEEE Trans. on Robotics, 22(5) :1000-1010, octobre 2006.
[50] M. Prats, P. Martinet, A. Del Pobil, S. Lee, “Vision/Force Coupling in Task-Oriented Grasping and Manipulation”, IROS, San Diego, octobre 2007.
[51] M. Pressigout, E. Marchand, “Real-Time Hybrid Tracking using Edge and Texture Information”, Int. Journal of Robotics Research, 26(7) :689-713, juillet 2007.
[52] A. Remazeilles, F. Chaumette, “Image-based robot navigation from an image memory”, Robotics and Autonomous Systems, 55(4) :345-356, avril 2007.
[53] P. Rives, J.R. Azinheira, “Linear structures following by an airship using vanishing point and horizon line in a visual servoing scheme”, ICRA, New Orleans, mai 2004.
[54] E. Royer, J. Bom, M. Dhome, B. Thuilot, M. Lhuillier, F. Marmoiton, “Outdoor autonomous navigation using monocular vision”, IROS, pp. 3395-3400, Edmonton, aoˆut 2005.
[55] M. Sauv´ee, P. Poignet, E. Dombre, E. Courtial, “Image based servoing through nonlinear model predictive control”, CDC, pp. 1776–1781, San Diego, 2006.
[56] M. Sauv´ee. Contribution `a l’aide aux gestes pour la chirurgie cardiaque
`a cœur battant. Guidage ´echographique par asservissement pr´edictif lin´eaire. Th`ese de l’Universit´e de Montpellier 2, 2006.
[57] F. Schramm, F. Geffard, G. Morel, A. Micaelli, “Calibration free image point path planning simultaneously ensuring visibility and controlling camera path”, ICRA, pp. 2074- 2079, Rome, avril 2007.
[58] F. Schramm, G. Morel, “Ensuring visibility in calibration-free path planning for image-based visual servoing”, IEEE Trans. on Robotics, 22(4) :848–854, 2006.
[59] F. Schramm, G. Morel, A. Micaelli, “Extended 2D visual servoing”,
ICRA, pp. 267-273, New Orleans, avril 2005.
[60] G. Silveira, E. Malis, P. Rives, “Visual servoing over unknown, unstructured, large-scale scenes”, ICRA, pp. 4142–4147, Orlando, mai 2006.
[61] G.F. Silveira, P. Rives. “Reference image computation from a cartesian specifications for model-free visual servoing”, Intelligent and
Autono-mous Systems, Lisbonne, juillet 2004.
[62] P. Sou`eres, S. Tarbouriech, S. Bo Gao, “A robust vision-based controller for mobile robots navigation : application to the task sequencing problem”, IROS, pp. 2191-2196, Edmonton, aoˆut 2005.
[63] O. Tahri, Y. Mezouar, N. Andreff, P. Martinet, “Omnidirectional visual-servo of a Gough-Stewart platform”, IROS, San Diego, novembre 2007. [64] R. Tatsambon Fomena, F. Chaumette, “Visual servoing from spheres
using a spherical projection model”, ICRA, Rome, avril 2007. [65] R. Tatsambon Fomena, F. Chaumette, “Visual servoing from spheres
with paracatadioptric cameras”, ICAR, Jeju, aoˆut 2007.
[66] M. Vargas, E. Malis, “Visual servoing based on an analytical homo-graphy decomposition”, CDC/ECC, pp. 5379-5384, S´eville, d´ecembre 2005.
[67] M.-A. Vitrani, G. Morel, H. Mitterhofer, N. Bonnet, “Robust ultrasound-based visual servoing for beating heart intracardiac surgery”, ICRA, Rome, avril 2007.
