Nous avons décrit dans le chapitre 2, dans quel contexte nous avons effectué ces travaux sur la modélisation et la reconnaissance d’objets 3D en vue de les manipuler. Nous rappelons ci-dessous nos objectifs en terme de démonstration Robotique : saisir un objet qui est au préalable, modélisé, reconnu et localisé par le système embarqué sur le robot.
Etat de l’art sur la saisie
Commençons par citer quelques travaux qui ont été effectués dans ce domaine. Miller et al. [94] ont réalisé la saisie d’un objet modélisé par des primitives 3D, telles que des sphères ou des boîtes et en disposant pour chacun, d’un catalogue de positions de prise déjà apprises ou données par l’opérateur. La méthode proposée en [94] est très similaire à celle développée au LAAS-CNRS par López-Damian [83] qui a aussi exploité les primitives des objets afin de réaliser la saisie de l’objet de manière rapide et efficace. Strandberg et Wahlberg [136] ont présenté une méthode fondée sur la capacité du robot de rejeter des forces de perturbation au moment de la saisie : la procédure prenait en considération la géométrie de l’objet ainsi que sa position et son orientation dans la scène.
Au LAAS-CNRS, la vision a été exploitée par V.Garric [54] pour effectuer des opérations de saisie précises d’un objet avec une stratégie de type Static Look and Move, c’est-à-dire que les images acquises depuis une caméra montée sur le poignet du manipulateur, sont exploitées pour localiser l’objet plusieurs fois sur la trajectoire de saisie. Vu le temps nécessaire pour ce traitement de localisation, le mouvement est stoppé à chaque prise d’images.
De nombreuses contributions ont traité de la saisie par asservissement visuel, donc par une stratégie Dynamic Look and Move (ou asservissement 3D, via des localisations successives) ou Image-Based servoing (ou asservissement 2D, via des lois de commande définies à partir de consignes exprimées dans l’image) : citons les travaux de F.Dornaika [43] qui contrôlait une opération de saisie faite par un manipulateur A depuis un système stéréo monté sur un manipulateur B : une fois localisé l’objet à saisir depuis les images acquises par B, on peut déterminer où sera en fin de saisie, la pince de A, et plus précisément où devront être des amers visuels placés sur la pince dans l’image finale acquise par B avant de fermer cette pince. Le contrôle était effectué en asservissement visuel 2D, en plaçant de manière optimale les caméras montées sur B pour garder à tout moment la visibilité sur la pince de A.
Expérimentation générique de saisie
En collaboration avec des collègues du pôle Robotique et IA du LAAS-CNRS, nous avons participé à la définition et la préparation d’une expérimentation réelle, démonstration qui rendait nécessaire de porter nos algorithmes sur la plate-forme robotique JIDO déjà présentée en chapitre 2. Afin d’accomplir cette tâche, nous avons exploité différents modules qui étaient déjà embarqués sur le robot JIDO : commande du bras manipulateur (thèses de Ignacio Herrera [60] et Xavier Broquère [27]), planification de trajectoires (thèse de E.Lopez Damian [83]). . . sans évoquer les autres modules liés à l’interaction avec l’homme :
– I.Herrera [60] a réalisé sa thèse sur la commande souple de bras manipulateurs, commande nécessaire quand de tels bras doivent être exploités en milieu humain.
– E.López-Damian[83] a fait sa thèse sur la planification d’une trajectoire pour un bras robotique afin de pouvoir saisir un objet posé sur une table ; il s’est surtout intéressé à la recherche des positions de prise optimales.
Nous ne présentons pas ici l’intégralité du scénario du KE2 Cogniron, scénario rappelé au chapitre 2 : il inclue des séquences d’Interaction Homme-Robot sur lesquelles nous n’avons pas travaillé. Notre objectif va se centrer dans la prise d’un objet connu ou inconnu, placé sur une table. Le but final est que le système soit capable d’exécuter la séquence d’actions suivantes :
– dans un premier temps, détection d’un objet ou d’un amas d’objets (un TRUC) posé sur une table ; – planification de la meilleure position d’accostage autour de la table pour pouvoir modéliser et/ou
reconnaître le TRUC ;
– accostage le long de la table et positionnement de la caméra sur la demi-sphère centrée approxima- tivement sur le TRUC ;
– tentative de reconnaissance de manière active à partir des images acquises en plusieurs positions autour de cet objet ;
– sélection de N positions pour le capteur stéréo sur la demi-sphère autour du TRUC ;
– acquisition d’un nuage de points 3D sur le TRUC par recalage des N images de points 3D acquises par stéréo depuis les N positions du capteur ;
– modélisation 3D du TRUC par triangulation du nuage de points 3D ;
– sélection des positions de prise du TRUC, sélection d’une position et génération d’un mouvement pour aller en cette position (planification) ;
– exécution de ce mouvement en boucle ouverte (commande). – s’il est reconnu : le TRUC est en fait un objet de la classe Ci
– localisation de l’objet dans un repère lié à la plate-forme robotique,
– sélection de la position de prise la plus adéquate étant donnée la position courante de l’objet, génération d’un mouvement pour aller en cette position (planification) ;
– exécution de ce mouvement en boucle ouverte (commande) ;
Il est supposé (1) que la scène n’est pas encombrée (en fait le TRUC est toujours un objet isolé) et (2) que le manipulateur est précis (ce qui est vrai) et que la tolérance sur la précision de la localisation est assez grande vis-à-vis de la précision de positionnement de la pince. De ce fait, le mouvement de positionnement de la pince se fait en boucle ouverte : en principe, il conviendrait de le faire en asservissement visuel sur des points suivis au fur et à mesure des déplacements de la pince.
Dans l’expérimentation compléte, une fois l’objet saisi, le robot devrait l’apporter à l’Homme, lui tendre, surveiller les mouvements de l’Homme et lâcher l’objet quand il est pris par l’Homme. L’ensemble de ce scénario a été exécuté pour le projet COGNIRON, mais sans traiter de la modélisation en ligne de l’objet 3D, et sans notre méthode de reconnaissance non finalisée à temps. Une méthode plus élémentaire a été intégrée sur JIDO pour reconnaître et localiser un objet 3D (module Ublob, fondé sur la détection d’un blob couleur pour reconnaître et localiser une bouteille) ; JIDO ne saisit que des bouteilles colorés aujourd’hui.
Pour saisir un objet, plusieurs points sont à considérer : comme c’est le seul objet présent sur la table, est-il possible que le bras puisse le prendre ? Rappelons qu’un bras manipulateur a des points faibles : il doit éviter les singularités des moteurs, à chaque fois qu’il lui est demandé de se déplacer d’un point à un autre. Par exemple, la possibilité qu’il passe dans un de ces points lorsqu’on lui demande de se déplacer d’un extrême à l’autre de la demi-sphère, est relativement haut : c’est exactement ce type de mouvement dont nous avons besoin, aussi bien dans la phase de modélisation que dans celle de reconnaissance.
Citons quelques raisons de notre renoncement à valoriser nos fonctions perceptuelles dans cette expé- rimentation, et de manière plus générale, à finaliser des expérimentations en ligne pour l’instant :
– le modèle géométrique du PA10 étant assez imprécis, son enveloppante est mal connue, et nous avons eu de nombreux problèmes pour estimer quelles étaient les positions atteignables sur la demi-sphère centrée sur l’objet.
– notre méthode de reconnaissance a été prototypée en Matlab, en exploitant le ToolKit Image : la réécriture en C ou C++ n’est pas achevée.
Environnement de simulation
Les environnements de simulation sont très utilisés dans le monde de la robotique puisqu’ils per- mettent d’analyser simplement comment un système évolue pendant le déroulement d’une tâche. Cela est possible grâce à la simulation de la physique et du comportement des capteurs ainsi que des éléments du monde physique qui vont interagir avec le système robotique. De cette manière nous pouvons simuler un environnement en considérant des collisions et l’action de la force de gravité sur les objets et sur le ou les robots.
Mentionnons quelques exemples de ce type de simulateur : Miller [93] a réalisé la saisie des objets en exploitant les primitives 3D qui composent l’objet. Au LAAS, le groupe de robotique a développé un environnement de simulation appelé Move3D [130], qui est surtout focalisé sur la planification des trajectoires libres de collisions ; il ne traite pas des effets dynamiques. Microsoft a aussi développé un environnement de simulation connu comme Robotic Studio [4] : cet environnement permet d’interagir avec des robots virtuels pour simuler leurs fonctionnements et valider les modules fonctionnels avant de les exporter sur le robot réel. Le trio Player/Stage/Gazebo [5] est un simulateur créé par l’Université of South California (USC), qui a l’avantage de fonctionner sous Linux ; il permet de simuler un très grand nombre de matériels y compris les capteurs (surtout la télémétrie laser ; les caméras sont simulées de
Figure 5.3 – Environnement de simulation manière trop sommaire).
Nous avons développé notre propre environnement de simulation en Opengl (voir figure 5.3) en utilisant les modèles de la plate-forme JIDO et du bras PA10 existants au laboratoire. Nous avons simulé aussi la physique (force de gravité, rebond des objets...) afin d’avoir des collisions de robot manipulateur avec son environnement, mais nous n’avons pas traité les contraintes venant des singularités du bras. Nous simulons aussi la paire stéréo de caméras afin d’obtenir des images de points 3D nécessaires pour l’extraction des caractéristiques géométriques de l’objet.
Dans les sections suivantes nous allons montrer quelques tests de prise d’un objet. Nous présentons deux cas possibles : (1) l’objet est connu du système, c’est-à-dire l’objet a été déjà appris par le système et (2) on ne connaît pas l’objet avant de décider de le saisir.