HAL Id: tel-00604522
https://tel.archives-ouvertes.fr/tel-00604522
Submitted on 29 Jun 2011
HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.
L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.
Techniques d’automatique et de traitement du signal pour l’asservissement visuel et la perception auditive en
robotique
Patrick Danès
To cite this version:
Patrick Danès. Techniques d’automatique et de traitement du signal pour l’asservissement visuel et
la perception auditive en robotique. Automatique / Robotique. Université Paul Sabatier - Toulouse
III, 2010. �tel-00604522�
TH` ESE
Pr´ esent´ ee devant l’Universit´ e de Toulouse (Universit´ e Paul Sabatier ) en vue de l’obtention de l’Habilitation ` a Diriger des Recherches par Patrick Dan` es
Maˆıtre de Conf´ erence ` a l’Universit´ e Paul Sabatier ( ´ Ecole Doctorale Syst` emes)
TECHNIQUES D’AUTOMATIQUE ET DE TRAITEMENT DU SIGNAL POUR L’ASSERVISSEMENT VISUEL ET LA PERCEPTION AUDITIVE EN ROBOTIQUE
Soutenue le 8 D´ ecembre 2010, devant le jury compos´ e de
M. Yannick Deville Professeur Universit´ e Toulouse III, LATT Pr´ esident M. Fran¸ cois Chaumette Directeur de Recherche INRIA, IRISA Rennes Rapporteur M. Michel De Mathelin Professeur ENSP Strasbourg, LSIIT/IRCAD Rapporteur M. Philippe Poignet Professeur Universit´ e Montpellier II, LIRMM Rapporteur M. Germain Garcia Professeur INSA Toulouse, LAAS-CNRS Examinateur M. Bruno Gas Professeur Universit´ e Paris VI, ISIR Examinateur M. Michel Devy Directeur de Recherche CNRS, LAAS-CNRS Garant
Rapport LAAS N
◦10858
Th` ese pr´ epar´ ee au LAAS-CNRS
7, avenue du Colonel Roche
31 077 Toulouse C´ edex 4
Ce m´ emoire pr´ esente les travaux effectu´ es au LAAS-CNRS depuis mon recrutement en tant que Maˆıtre de Conf´ erence ` a l’Universit´ e Paul Sabatier de Toulouse. Le LAAS-CNRS consti- tue un cadre de travail exceptionnel, o` u la notion d’int´ erˆ et g´ en´ eral se r´ ealise au quotidien par l’existence de services communs disponibles et efficaces. Je remercie l’ensemble des directions successives, de mˆ eme que les responsables successifs et membres de ces services, pour avoir permis que se p´ erennise cette singularit´ e dans un paysage sans cesse plus incertain.
J’exprime ma sinc` ere reconnaissance ` a MM. Fran¸ cois Chaumette , Directeur de Recherche INRIA ` a l’IRISA de Rennes, Michel De Mathelin , Professeur ` a l’ ´ Ecole Nationale Sup´ erieure de Physique de Strasbourg, et Philippe Poignet , Professeur ` a l’Universit´ e de Montpellier II, pour m’avoir fait l’honneur de juger ce travail et d’en ˆ etre les rapporteurs. Je suis ´ egalement tr` es honor´ e que MM. Germain Garcia , Professeur ` a l’INSA de Toulouse, et Bruno Gas , Professeur ` a l’Universit´ e Pierre et Marie Curie , aient accept´ e d’ˆ etre examinateurs. Merci enfin
`
a M. Yannick Deville , Professeur ` a l’Universit´ e Paul Sabatier , de m’avoir fait l’honneur d’ˆ etre examinateur et de pr´ esider le jury de soutenance.
Je remercie M. Michel Devy , Directeur de Recherche au LAAS-CNRS et responsable bien- aim´ e de notre groupe de recherche pour la tr` es bonne ambiance qu’il fait r´ egner dans notre pe- tite ´ equipe, et pour s’ˆ etre port´ e garant de ces travaux. Mes remerciements vont ´ egalement aux responsables successifs du groupe Robotique et Intelligence Artificielle (RIA) puis des groupes qui en ont ´ eman´ e, pour leurs efforts continus dans l’animation de la recherche. Je sais parti- culi` erement gr´ e ` a M. Malik Ghallab d’avoir permis ma r´ eorientation scientifique dans RIA au tout d´ ebut de ma carri` ere.
J’exprime ma reconnaissance et mon amiti´ e ` a tous les doctorants, stagiaires et visiteurs que j’ai encadr´ es ou co-encadr´ es, ` a tous les coll` egues avec qui j’ai eu l’occasion de collaborer dans mon activit´ e professionnelle, et plus largement ` a mes ami(e)s du LAAS et/ou de l’UPS qui se reconnaˆıtront ais´ ement ` a la lecture de ces lignes. Je remercie tout particuli` erement mes amis anciens membres du LAAS, qui m’ont apport´ e une aide inestimable : (par ordre alphab´ etique) G´ erard Authi´ e (et Viviane), Fran¸ coise Le Gall-Cholin (et Sylvestre), ainsi que Mario Paludetto (et Fran¸coise).
Enfin, merci ` a Marie-Laure, nos proches et amis pour m’avoir support´ e dans tous les sens du terme ; ` a notre poussinette Emma pour le doux bonheur qu’elle nous apporte ; ainsi qu’` a...
un petit f´ elin espi` egle qui a partag´ e de longues heures de r´ edaction ` a mes cˆ ot´ es durant l’´ et´ e.
Les travaux pr´ esent´ es dans ce manuscrit d’Habilitation ` a Diriger des Recherches concernent essentiellement un ensemble de primitives du niveau fonctionnel de la Robotique, dont les fondements scientifiques sont ancr´ es dans l’Automatique et le Traitement du Signal. Bien plus qu’un domaine d’application de th´ eories d´ evelopp´ ees par ailleurs, la Robotique, par ses sp´ ecificit´ es ou ses contraintes,
questionne
souvent l’´ etat de l’art en Automatique et Signal, voire exige des extensions m´ ethodologiques non triviales. C’est la richesse du dialogue entre ces trois disciplines qui a constitu´ e le fil conducteur principal de nos recherches.
Un premier volet de nos travaux vise ` a d´ evelopper un cadre g´ en´ erique pour l’analyse et la synth` ese
multicrit` eres
de commandes r´ ef´ erenc´ ees vision, i.e. qui prennent en compte l’ensemble des contraintes (visibilit´ e, saturations d’actionneurs, contraintes 3D pendant le d´ eplacement, etc.). Ces probl` emes sont ramen´ es ` a l’analyse en stabilit´ e / la stabilisation de syst` emes non lin´ eaires incertains rationnels sous contraintes rationnelles. Le support th´ eorique est la th´ eorie de Lyapunov et l’optimisation LMI. Par dualit´ e, la localisation visuelle est abord´ ee par des techniques de filtrage ensembliste robuste de syst` emes rationnels.
Une deuxi` eme contribution s’inscrit dans la th´ ematique relativement r´ ecente de l’Audition en Robotique. Nous proposons des fonctions auditives bas-niveau pour la d´ etection de sources sonores, leur localisation et leur extraction. Un capteur auditif int´ egr´ e original con¸ cu au LAAS-CNRS permet leur impl´ ementation. Le support th´ eorique est le traitement d’antenne (formation de voie, m´ ethodes ` a haute r´ esolution) et l’optimisation LMI. Plus r´ ecemment, nous avons pos´ e les fondements d’une nouvelle approche pour la d´ etection d’activit´ e vocale, sur la base du filtrage adapt´ e stochastique.
En parall` ele ` a ces d´ eveloppements cibl´ es, un travail de fond dans les th´ ematiques du filtrage stochastique et de la d´ etection de ruptures s’est mat´ erialis´ e par des collaborations scientifiques dans des domaines d’application cibl´ es : m´ ethodes s´ equentielles de Monte Carlo et Quasi Monte Carlo pour le suivi visuel de personnes, de gestes, et la capture de mouvement par vision ; d´ etection de ruptures et filtrage IMM entre mod` eles d’´ etat d’ordres h´ et´ erog` enes pour la surveillance de sc` enes dynamiques et la localisation ARGOS.
Certaines des th´ ematiques expos´ ees ci-dessus se
rejoignent
au sein des axes struc- turants de nos d´ eveloppements futurs. Un effort particulier concernera la perception active (i.e. exploitant la proprioception et le mouvement), d´ eclin´ ee dans le cadre de l’audition bi- naurale, ainsi que la fusion de donn´ ees auditives embarqu´ ees et d´ eport´ ees dans des lieux intelligents.
Mots-cl´ es : d´ etection et estimation, asservissement visuel multicrit` ere, th´ eorie de Lyapunov ,
audition en robotique, traitement d’antenne, optimisation LMI.
\
R´ esum´ e
Introduction g´ en´ erale 1
A BILAN D’ACTIVIT´ ES 3
I CURRICULUM VITÆ 5
I.1 Fonctions Actuelles – Parcours – Vue globale des activit´ es . . . . 7
I.2 Synth` ese des Activit´ es de Recherche . . . . 12
I.3 Synth` ese des Activit´ es d’Enseignement . . . . 28
I.4 Annexe : R´ esum´ e ´ etendu de la Th` ese de Doctorat . . . . 33
B ACTIVIT´ ES DE RECHERCHE (POST-TH` ESE) 39 II Panorama des Activit´ es de Recherche Post-Th` ese 41 II.1 R´ esum´ e ´ etendu des travaux en D´ etection et Estimation . . . . 43
II.2 R´ esum´ e condens´ e des travaux en Asservissement Visuel . . . . 54
II.3 R´ esum´ e condens´ e des travaux en Audition en Robotique . . . . 59
III Asservissement Visuel 65 III.1 Introduction . . . . 66
III.2 Contexte scientifique . . . . 66
III.3 Contribution ` a l’asservissement visuel multicrit` ere . . . . 71
III.4 Approche de la localisation visuelle en tant que le dual de l’asservissement visuel 95 III.5 Conception et impl´ ementation d’un environnement de simulation de commandes en robotique . . . . 98
III.6 R´ ef´ erences . . . . 99
IV Audition en Robotique 105 IV.1 Introduction . . . . 106
IV.2 Contexte scientifique . . . . 106
IV.3 Contribution ` a l’audition en robotique . . . . 111
IV.4 R´ ef´ erences . . . . 137
i
ii \SOMMAIRE
V Prospectives 141
V.1 Travaux en cours et prospectives associ´ ees ` a court terme . . . . 142 V.2 Axes structurants de notre recherche . . . . 145 V.3 Quelques r´ ef´ erences significatives . . . . 150
C S´ ELECTION D’ARTICLES 153
La perception que les chercheurs ont de la Robotique est tr` es variable, y compris ` a l’int´ erieur de la th´ ematique. Pour certains, la Robotique est une discipline ` a part enti` ere, du fait qu’elle a exhib´ e des probl` emes scientifiques propres et qu’elle a d´ evelopp´ e un corpus original pour leur r´ esolution. Pour d’autres, il s’agit plutˆ ot d’un champ d’application de disciplines connexes, implicitement consid´ er´ ees comme
plus fondamentales
. D’aucuns pensent que la recherche en Robotique est avant tout th´ eorique et que l’exp´ erimentation n’a qu’un rˆ ole de validation, alors qu’a contrario la Robotique est aussi consid´ er´ ee comme une discipline exp´ erimentale, au sens o` u seule l’exp´ erimentation permet de r´ ev´ eler sa substance. Quels que soient les points de vue, il est toutefois commun´ ement admis que la mise en œuvre de la boucle perception- d´ ecision-action, centrale ` a la probl´ ematique du robot autonome et/ou en interaction avec les humains, n´ ecessite un travail d’´ equipe au confluent de comp´ etences multiples : Automatique, Traitement du Signal, Math´ ematiques Appliqu´ ees, M´ ecanique, G´ enie Logiciel, Informatique Temps R´ eel, Vision par Ordinateur, Intelligence Artificielle, etc.
Ce manuscrit d’Habilitation ` a Diriger des Recherches se situe ` a mi-chemin entre les posi- tions exprim´ ees ci-dessus. Les travaux que nous avons d´ evelopp´ es et que nous pr´ esentons ici concernent un ensemble de primitives du niveau fonctionnel de la Robotique, dont les fondements scientifiques ont ´ et´ e d´ elib´ er´ ement ancr´ es dans l’Automatique et le Traitement du Signal. La premi` ere ´ etape des recherches correspondantes a par cons´ equent consist´ e ` a
s’impr´ egner
de techniques existantes, souvent d´ evelopp´ ees sans pr´ ejuger d’un domaine d’application. Or, la simple application de ces techniques ne subvient pas aux besoins de la Robotique, pour de multiples raisons : la Robotique apporte syst´ ematiquement un lot de contraintes in´ edites, qui exige en retour des extensions th´ eoriques non triviales ; la n´ ecessit´ e de construire un syst` eme et de le faire fonctionner suscite parfois des d´ eveloppements scienti- fiques nouveaux, ` a la fronti` ere de la th´ eorie et de l’impl´ ementation ; enfin, le fait de se placer dans des environnements non contrˆ ol´ es, variables et ´ evolutifs rend souvent illusoire l’obtention d’une solution monolithique, auquel cas on recourt ` a une multiplicit´ e d’algorithmes ex´ ecut´ es conditionnellement au contexte. Au-del` a de telle ou telle contribution ponctuelle, c’est la ri- chesse de ce dialogue entre Automatique, Signal et Robotique qui constitue le fil conducteur de nos recherches.
Les travaux que nous avons d´ evelopp´ es peuvent ˆ etre partitionn´ es en trois volets :
• un volet
D´ etection et Estimation
, qui a consist´ e en un travail de fond dans les th´ ematiques du filtrage stochastique et de la d´ etection de ruptures ; ce travail s’est mat´ erialis´ e au sein de collaborations scientifiques avec des coll` egues sp´ ecialistes de do- maines d’application cibl´ es ne relevant pas de notre comp´ etence ;
• un volet
Asservissement Visuel
, qui constitue une ligne de recherche propre dont le but principal est l’analyse et la synth` ese multicrit` eres de commandes r´ ef´ erenc´ ees vi-
1
2 \SOMMAIRE
sion, i.e. qui prennent en compte l’ensemble des contraintes ; notre contribution ` a ce probl` eme relativement peu abord´ e malgr´ e le dynamisme de la communaut´ e asservis- sement visuel s’appuie sur des d´ eveloppements r´ ecents en Automatique, qu’il a fallu adapter et compl´ eter significativement pour r´ epondre aux besoins de la Robotique ;
• un volet
Audition en Robotique
, qui constitue ´ egalement une ligne de recherche propre, dont le but est de participer ` a l’´ emergence de cette th´ ematique tr` es r´ ecente par la d´ efinition de primitives de localisation/extraction de sources sonores en temps r´ eel, et par le d´ eveloppement d’un capteur audio int´ egr´ e embarquable.
Ce document est structur´ e en deux parties. La Partie A pr´ esente un bilan d’activit´ es. L’unique Chapitre I qui la constitue propose une synth` ese des activit´ es de recherche et des activit´ es d’enseignement. R´ edig´ e ` a la premi` ere personne ` a la mani` ere d’un Curriculum Vitæ, il recense en particulier les encadrements, publications, participations ` a des projets et autres faits mar- quants de notre activit´ e scientifique. Une annexe d´ edi´ ee propose au lecteur un r´ esum´ e ´ etendu de la th` ese de Doctorat, qui se situait hors du champ de la Robotique.
La Partie B constitue le m´ emoire de recherche proprement dit. Le Chapitre II propose
d’abord un panorama succint de nos recherches. Le but est d’en pr´ eciser le contexte, de
r´ esumer les principales contributions, et de les relier aux publications et encadrements. En
raison de leur caract` ere plus individuel, nos travaux en
Asservissement Visuel
et
Audi-
tion en Robotique
sont ensuite pr´ esent´ es plus longuement dans les Chapitres III et IV en
les resituant par rapport ` a l’´ etat de l’art, en exposant les verrous scientifiques et en d´ ecrivant
le principe des solutions apport´ ees. Le Chapitre V conclut le document par les travaux en
cours, les prospectives envisag´ ees, ainsi que les axes qui structureront notre recherche ` a moyen
terme.
BILAN D’ACTIVIT´ ES
3
CURRICULUM VITÆ
Sommaire
I.1 Fonctions Actuelles – Parcours – Vue globale des activit´es . . . 7
I.2 Synth`ese des Activit´es de Recherche . . . 12
I.2.1 Travaux de Doctorat . . . 12
I.2.1.1 Intitul´e . . . 12
I.2.1.2 R´esum´e condens´e . . . 12
I.2.1.3 Production scientifique associ´ee . . . 13
I.2.2 Bilan des th´ematiques de recherche post´erieures au Doctorat . . . 13
I.2.3 Encadrements . . . 15
I.2.3.1 Post-Doctorant . . . 15
I.2.3.2 Th`eses de Doctorat . . . 15
I.2.3.3 Stages de M2R/DEA . . . 17
I.2.3.4 Encadrement de stages Ing´enieur, M1 ou de Visiteurs . . . 18
I.2.4 Publications . . . 19
I.2.4.1 Contribution `a un ouvrage collectif international . . . 19
I.2.4.2 Journaux scientifiques . . . 19
I.2.4.3 Conf´erences Internationales avec Actes et Comit´e de Lecture . . . 20
I.2.4.4 Symposia Internationaux avec Actes et Comit´e de Lecture . . . 22
I.2.4.5 Conf´erences Nationales avec Actes et Comit´e de Lecture . . . 22
I.2.4.6 Manifestations avec Actes `a Diffusion Limit´ee . . . 23
I.2.5 Visibilit´e - Faits marquants - Animation scientifique . . . 23
I.2.5.1 R´edaction de Rapport de Pr´esoutenance de Th`ese de Doctorat . . . . 23
I.2.5.2 Participation `a un Jury de Soutenance de Th`ese de Doctorat . . . 24
I.2.5.3 Responsabilit´e Scientifique de Projets de Recherche . . . 24
I.2.5.4 Contribution `a des Projets de Recherche . . . 25
I.2.5.5 Participation ponctuelle `a des Projets de Recherche . . . 26
I.2.5.6 S´eminaires significatifs . . . 26
I.2.5.7 Collaborations Scientifiques Suivies . . . 27
I.2.5.8 Animation Scientifique . . . 27
I.2.6 Divers . . . 28
I.3 Synth`ese des Activit´es d’Enseignement . . . 28
I.3.1 Enseignements dispens´es `a l’Universit´e PaulSabatier. . . 28
I.3.2 Investissement en Enseignements Pratiques . . . 30
5
6 \
I.3.3 Responsabilit´e de la d´efinition et de la mise en place d’enseignements th´eoriques 31 I.3.4 Responsabilit´es administratives - Tˆaches d’int´erˆet collectif . . . 32 I.4 Annexe : R´esum´e ´etendu de la Th`ese de Doctorat . . . 33