Classication des asservissements visuels

Même si la classication proposée dans [Sanderson et Weiss, 1980] date de 1980, elle reste aujourd'hui pertinente malgré l'évolution qu'a connue la discipline. Les critères re- tenus sont :

1. La conguration du système : caméra embarquée ou déportée.

2. Le type d'architecture de commande : contrôle direct ou indirect.

3. L'espace de contrôle : dans l'image ou dans l'espace Cartésien. 2.3.2.1 Positionnement de la caméra 0000 0000 0000 0000 0000 1111 1111 1111 1111 1111 0000 0000 0000 0000 0000 1111 1111 1111 1111 1111

Fig. 2.3: Conguration de la caméra : embarquée (Eye in hand) (gauche), déportée (Eye to hand) (droite)

Le choix du positionnement de la caméra inue sur la façon dont le problème d'asser- vissement visuel peut être déni. Cependant, la plupart des résultats obtenus dans une conguration sont applicables à l'autre, sous réserve de quelques modications concer- nant la description des changements de repère et des liens cinématiques entre la caméra, le robot et la scène.

Caméra Traitement d'image+ -

+ _{asservissement bas niveau}Robot+

(en couple ou en vitesse)

pd p Controleur de la boucle de vision Controleur de position Caméra Traitement d'image+ - + pd p Controleur de la boucle de vision variateurs + Robot

Fig. 2.4: Architecture de contrôle : indirect (en haut), direct (en bas)

Lorsque la caméra n'est pas xée par une liaison mécanique au robot asservi, on parle d'asservissement visuel déporté. Diérentes solutions sont alors envisageables pour contrôler le bras manipulateur : observation de l'organe terminal, de la scène, ou des deux [Hashimoto et al., 2002]. La caméra peut aussi être mobile et montée sur un autre robot [Nelson et Khosla, 1994]. Dans tous les cas, il est nécessaire de connaître soit la transformation rigide entre le repère de base du robot et le repère de la caméra, soit celle entre le repère de la caméra et celui de l'eecteur.

Lorsque la caméra est xée sur l'organe terminal du robot, l'asservissement visuel est dit embarqué. Dans la littérature, la majorité des travaux se situe dans le cadre d'une caméra embarquée [Hutchinson et al., 1996]. La transformation rigide entre le repère de la caméra et celui de l'eecteur du robot doit être connue. Cette conguration est mieux adaptée pour fournir une information locale et une meilleure pécision puisque la caméra est alors placée au plus proche de la tâche à accomplir.

Il est aussi possible de tirer avantage des deux congurations, comme par exemple dans [Flandin et al., 2000] où la caméra déportée permet un positionnement global du système et la caméra embarquée ore plus de précision pour eectuer le suivi local d'objets. 2.3.2.2 Commande et architecture de commande en asservissement visuel

Le second critère porte sur la structure de commande. La distinction est faite sur l'existence ou non d'une boucle d'asservissement interne. Deux familles d'asservissement visuel se distinguent : indirect et direct.

2.3. Asservissements visuels

Dans le cas de l'asservissement visuel indirect (gure 2.4 - haut), la boucle de vision fournit une consigne pour la boucle interne de commande en position articulaire du robot. On parle de commande en cascade, la boucle de vision se comporte alors comme un géné- rateur de trajectoire. Cette structure permet de travailler à des cadences d'échantillonnage faibles, comme par expemple la cadence vidéo standard (25Hz) ou plus faible. La boucle interne remplit alors le rôle de stabilisation du système. De plus, la boucle de vision est indépendante de la structure de commande du robot ce qui ore une bonne portabilité. Cependant, ce type d'architecture ne permet pas d'atteindre de hautes performances dy- namiques, pour le suivi rapide de cible par exemple. Elle permet néanmoins de proter de l'armoire de contrôle industrielle fournie avec le robot.

L'asservissement visuel direct ne possède pas de boucle interne (gure 2.4 - bas) : la boucle de vision fournit directement les consignes pour les variateurs des moteurs du robot (en vitesse ou en couple). Dans ce cas, la cadence de la boucle de vision doit être susamment élevée pour garantir la stabilité du système. Ce type d'architecture a connu ces dernières années une progression importante, due en particulier à l'augmen- tation de la puissance de calcul des ordinateurs et de l'augmentation de la fréquence d'acquisition des systèmes de vision. Corke [Corke et Good, 1996] a été l'un des premiers à proposer un asservissement visuel direct. Néanmoins, les expérimentations étaient limi- tées par son système de vision cadencé à 50Hz. Aujourd'hui, l'arrivée de caméra haute vitesse sur le marché, aussi bien que le développement de systèmes intégrés (capteur et carte d'acquisition), permet de réaliser des asservissements visuels directs rapides. Dans [Hashimoto et al., 2002], la cadence de la boucle de vision est de 1kHz.

Aujourd'hui, deux axes de recherche en asservissement visuel se distinguent. Le pre- mier considère le robot comme un simple intégrateur. Dans ce cas, la loi de commande la plus répandue est une commande de type proportionnelle mais d'autres lois de commande peuvent être employées (placement de pôles [Papanikolopoulos et al., 1991], commande optimale de type LQ ou LQG [Hashimoto et al., 1996], commande par retour d'état non linéaire [Martinet et Gallice, 1999], mode glissant [Zanne et al., 2000]). L'objectif est sou- vent de démontrer la faisabilité de la commande ou de concentrer l'eort de recherche sur les problèmes liés à l'emploi de la boucle de vision. Dans le second type d'étude, les auteurs prennent en compte la dynamique du bras manipulateur dans la concep- tion de la commande [Kelly et al., 2000, Tarbouriech et Souères, 2000]. Ganglo et al [Ganglo et de Mathelin, 2000] ont proposé une commande de type GPC appliquée au suivi rapide d'objet en tenant compte d'un modèle dynamique du robot (fonction de transfert en vitesse identifée) et de la dynamique du capteur. Il s'agit alors d'étudier les problèmes dynamiques associés à l'asservissement visuel.

2.3.2.3 Espace de contrôle

La commande par retour visuel peut être dénie soit dans l'espace du capteur, soit dans l'espace Cartésien, soit en combinant de l'information issue des deux espaces. Espace Image

Si l'asservissement visuel est réalisé dans l'espace du capteur, on parle d'asservisse- ment visuel dans l'image ou asservissement visuel 2D. La consigne et la boucle de retour

Caméra Traitement d'image+ Caméra Traitement d'image+ Contrôleur - + Reconstruction 3D ˆ X Xd Contrôleur - + p pd Robot Robot

Fig. 2.5: Espace de contrôle : dans l'image (en haut), dans l'espace Cartésien (en bas)

sont exprimées dans l'image, sous forme de primitives visuelles. Une primitive visuelle est une forme géométrique élémentaire (résultat de la projection dans l'image d'une forme géométrique 3D) que l'on peut caractériser sous forme d'un vecteur de paramètres selon la représentation choisie. Une bonne primitive visuelle doit pouvoir être extraite facile- ment et sans ambiguïté d'une image quelle que soit la vue de la scène considérée. Dif- férentes primitives ont été étudiées dans la littérature : point, segment, droite, ellipse (voir [Chaumette, 1990] pour une étude détaillée sur les primitives visuelles et leur re- présentation mathématique). Des primitives plus complexes ont aussi été évaluées : dans [Chaumette, 2004], les moments d'un objet complexe sont considérés pour réaliser l'as- servissement visuel. Néanmoins, les objets considérés ou les scènes observées sont souvent réprésentés par un ensemble de points puisqu'ils facilitent le traitement d'image. Il faut souligner que le comportement de la structure de commande dépend fortement du type de primitives utilisées [Hashimoto et Noritsugu, 1998, Chaumette, 1998] et de leur nombre [Michel et Rives, 1993]. La position désirée dans l'image est généralement dénie à l'ini- tialisation par apprentissage, ce qui permet d'éviter d'utiliser le modèle de la caméra pour générer l'image désirée.

L'avantage majeur de l'asservissement visuel dans l'image est sa robustesse par rap- port aux erreurs de calibration du capteur visuel [Espiau, 1993]. En contrepartie, puisque l'asservissement est réalisé dans l'espace du capteur, les trajectoires cartésiennes corres- pondantes du robot ne sont pas contraintes, et certains mouvements désirés dans l'image peuvent conduire à des trajectoires inadéquates dans l'espace cartésien ou articulaire (voir

2.3. Asservissements visuels

partie 2.4).

Espace cartésien

Lorsque la boucle de vision est dénie dans l'espace cartésien, on parle d'asservissement visuel 3D. La consigne et l'information de retour sont exprimées sous forme de pose cartésienne X (position et orientation) du repère lié rigidement à l'eecteur par rapport à un repère attaché à la scène ou à l'objet considéré. Cette pose est estimée à partir des informations visuelles extraites de l'image. L'estimation de X peut s'avérer délicate dans le cas d'un capteur visuel monoculaire compte tenu de la perte d'information associée à la projection dans l'image. Cette estimation peut être facilitée en augmentant l'information visuelle, soit avec une deuxième caméra pour exploiter les propriétés de la stéréovision, soit en utilisant un dispositif secondaire comme un télémètre laser. Dans le cas de la vision monoculaire, des informations métriques sur l'objet doivent être ajoutées dans l'algorithme d'estimation. Diérentes solutions ont été proposées pour estimer ˆX dans le cas d'un capteur monoculaire. Ces solutions utilisent des primitives extraites de l'image et du modèle géométrique de l'objet, en connaissant les paramètres intrinsèques de la caméra. La méthode de Tsaï [Tsaï, 1986] permet de reconstruire la pose d'un objet en utilisant n points coplanaires ; la méthode de Dementhon [DeMenthon et Davis, 1992] utilise aussi n points, qui peuvent ne pas être coplanaires, mais sa résolution est itérative ce qui peut être problématique dans une boucle de commande à période d'échantillonnage xe. D'autres méthodes sont basées sur l'utilisation d'une résolution par moindres carrés [Lowe, 1991]. Récemment, une approche basée sur l'asservissement visuel virtuel a été proposée par Marchand et al [Marchand et Chaumette, 2002], en considérant le problème d'estimation de pose comme un problème dual de l'asservissement visuel dans l'image.

L'inconvénient majeur de l'asservissement visuel 3D est l'estimation de la pose X. Si l'on utilise des algorithmes itératifs [Lowe, 1991, DeMenthon et Davis, 1992] pour estimer

ˆ

X, le temps de calcul peut être important et ne pas respecter les contraintes temps réel. De plus, ces méthodes nécessitent d'avoir un modèle de l'objet. Quelle que soit la méthode utilisée, itérative ou basée sur la géométrie épipolaire (géométrie d'un système à deux prises de vue), l'étape d'estimation entraîne une forte sensibilité de l'architecture aux erreurs de calibration des paramètres de la caméra et aux bruits de mesure. Par contre son avantage repose sur l'obtention de la pose cartésienne de la caméra ou de l'eecteur du robot qui permet d'obtenir des trajectoires cartésiennes réalisables.

Espace image et espace cartésien

Lorsqu'une partie de l'information utilisée pour asservir le système robotique est ex- primée dans l'image et l'autre partie dans l'espace cartésien, on parle d'asservissement visuel hybride. L'asservissement visuel 2D1

2 proposé par Malis et al [Malis et al., 1999]

illustre parfaitement cette approche. Une reconstruction partielle de la pose de la caméra, basée sur la décomposition de la matrice d'homographie calculée entre deux images consé- cutives, permet d'exprimer le contrôle de la position dans l'espace image, et le contrôle de l'orientation dans l'espace cartésien. Une propriété intéressante de cette structure de commande est le découplage entre la commande en rotation et la commande en transla- tion. L'utilisation de la décomposition de la matrice d'homographie a aussi été explorée

dans [Deguchi, 1998]. Malheureusement, la décomposition de cette matrice rend le système sensible aux bruits de mesure. De plus, il est nécessaire d'avoir de l'information supplé- mentaire pour sélectionner la solution parmi les solutions analytiques possibles, mais ce problème peut facilement être contourné en utilisant une troisième image.