Djemâa KACHI/Fabio MORBIDI

UPJV, Département EEA Master 2 EEAII

Parcours ViRob

Djemâa KACHI/Fabio MORBIDI

Laboratoire MIS !

Équipe Perception et Robotique!

E-mails: [email protected], [email protected]!

Mardi 9h30-12h30 et 15h00-17h30 Salle TP101

Cours M1 & M2, parcours ViRob

Perception Avancée et Robotique Mobile (M2) Robotique

Industrielle (M1)

Localisation et Navigation de Robots (M2)

Bras Robotiques Robots Mobiles

Découverte de la Recherche (M1) Commande

des Robots (M2)

Vision non conventionnelle et Robotique Coopérative (M2)

Asservissement Visuel (M2)

Vision Avancée (M2)

Plan du cours

Chapitre 1: Perception pour la robotique [F. Morbidi]

Chapitre 2: Modélisation d’incertitudes [D. Kachi]

1. Introduction

3. Typologies de capteur

2. Classification des capteurs

1. Introduction

3. Représentation statistique 2. Représentation de l’incertitude

4. Propagation de l’erreur: fusion des mesures de l’incertitude

Chapitre 3: Traitement des mesures [D. Kachi]

1. Réseau multi-capteurs 2. Fusion des mesures

Partie I : Perception Avancée

Chapitre 1: Introduction [F. Morbidi]

Plan du cours

Partie II : Robotique Mobile

1. Petit historique

3. Marché mondial et besoins technologiques 2. Systèmes, locomotions, applications

Chapitre 2: Locomotion [F. Morbidi]

1. Effecteurs et actionneurs

3. Robots mobiles à roues 2. Robots mobiles à jambes

4. Robots mobiles aériens

Chapitre 3: Décision et contrôle [F. Morbidi]

1. Commandabilité d’un robot

3. Contrôle de mouvement 2. Architectures de contrôle

•  Introduction to Autonomous Mobile Robots R. Siegwart, I.R. Nourbakhsh, D. Scaramuzza, MIT press, 2ème édition, 2011

[PerAv Ch. 4; RobMob Ch. 1-3]

Bibliographie

•  Robotics: Modelling, Planning and Control B. Siciliano, L. Sciavicco, L. Villani, G. Oriolo, Springer, 1ère édition, 2009

[PerAv Ch. 5; RobMob Ch. 11]

•  Theory of Robot Control

C. Canudas-de-Wit, B. Siciliano, G. Bastin (Éditeurs), Springer 1996 [RobMob Ch. 7]

Bibliographie

•  Diapos du cours

http://home.mis.u-picardie.fr/~fabio/Teaching.html

UPJV, Département EEA Master 2 EEAII Parcours ViRob

Djemâa KACHI/Fabio MORBIDI Laboratoire MIS !

Équipe Perception et Robotique!

E-mails: [email protected], [email protected]!

Semestre 9, A.U. 2015-2016

Mardi 9h30-12h30 et 15h00-17h30 Salle TP102

Connaissances préalables …

On part de l'hypothèse que vous avez une (bonne) connaissance de:

•  Algèbre linéaire (manipulation de vecteurs et matrices)

•  Calcul multidimensionnel (gradients, jacobien, équ. différentielles)

•  Variables aléatoires et théorie de l’estimation

•  Notions de base de robotique (cours de Robotique Industrielle)

•  Notions de programmation (environ. Matlab [TD], C++ [TP])

Note finale = 1 2

��DS1 + DS2 2

� +

�TP1 + TP2 + TP3 3

��

Amigobot

DARPA Robotics Challenge 2015

DARPA Robotics Challenge (DRC) 2015

•  D.A.R.P.A. = U.S. Defense Advanced Research Projects Agency

•  DARPA Grand Challenge (2004, 2005), Urban Challenge (2007)

•  DRC: 5-6 juin 2015, Pomona CA, É.U.

•  25 robots finalistes (11 Américains); robots semiautonomes

•  But: intervention de robots dans situations d'urgence et en cas de catastrophes (par exemple, désastre de Fukushima en 2011)

1. Drive a utility vehicle at the site 2. Travel dismounted across rubble

3. Remove debris blocking an entryway 4. Open a door and enter a building

5. Climb an industrial ladder and traverse an industrial walkway 6. Use a tool to break through a concrete panel

7. Locate and close a valve near a leaking pipe

8. Connect a fire hose to a standpipe and turn on a valve

Défis

DARPA Robotics Challenge (DRC) 2015

Vidéo autres robots Vidéo DRC-Hubo

•  Gagnant: Team Kaist, Corée du Sud, robot DRC-Hubo

•  8 points, durée de la mission: 44 min 28 s

•  Prix (1ère place): 2 M$

Aperçu général

Perception

Action

Décision

Partie 1 Partie 2

Partie 2

Environnement

Paradigme “See-Think-Act”

En particulier …

1. Localisation

Les 3 problèmes à résoudre

Les 3 problèmes à résoudre

2. Cartographie

Les 3 problèmes à résoudre

3. Planification

  Perception nécessaire pour:

◦  Retrouver l’« état » d’un robot

◦  Détecter des obstacles, localiser un but

◦  Détecter des changements dans l’environnement

  Comment ?

◦  Mesure de signal  information

  Sur le robot lui-même

  Sur l’environnement

  Aucun sens n’est parfait …

◦  Identifier les sources et types d’erreur

◦  Les modéliser pour pouvoir les retirer des mesures (« filtrage »)

  Interprétation

◦  Traitement des mesures

◦  Multi-capteurs et fusion des mesures

bruit signal « vrai »

signal mesuré

Plan du cours

Chapitre 1: Perception pour la robotique [F. Morbidi]

Chapitre 2: Modélisation d’incertitudes [D. Kachi]

1. Introduction

3. Typologies de capteur

2. Classification des capteurs

1. Introduction

3. Représentation statistique 2. Représentation de l’incertitude

4. Propagation de l’erreur: fusion des mesures de l’incertitude

Chapitre 3: Traitement des mesures [D. Kachi]

1. Réseau multi-capteurs 2. Fusion des mesures

Partie I : Perception Avancée

Perception: « Événement cognitif dans lequel un stimulus ou un objet, présent dans l'environnement immédiat d'un individu, lui est représenté dans son activité psychologique interne, en

principe de façon consciente » (Larousse)

Origine

Du Latin perceptio(n-), à partir du verbe percipere 'saisir', 'comprendre'

Perception: « La capacité de voir, écouter, ou prendre conscience de quelque chose à travers les sens » (Oxford dictionary)

Chapitre 1: Perception pour la robotique

1. Introduction

Monde

«externe»

Perception Monde

«interne»

Perception: très difficile !

•  Compréhension = données brutes + modèles (probab.) + contexte

•  Les systèmes intelligents interprètent les données brutes en fonction de modèles probabilistes et utilisant des informations contextuelles qui donnent un sens aux données

“En robotique les problèmes faciles sont difficiles et les problèmes difficiles sont faciles”

S. Pinker, “The Language Instinct”, Harper Perennial Modern Classics, 1994

Perception: très difficile !

Vaincre le champion du monde d'échecs: FACILE !

11 mai 1997: “Deep Blue” de IBM vainc le champion du monde Garry Gasparov

Créer une machine avec un certain «bon sens»: DIFFICILE !

•  CAPTCHA: "Completely Automated Public Turing test to tell Computers and Humans Apart"

•  Marque commerciale de l'université Carnegie-Mellon (É.U.)

Perception: très difficile !

•  La perception est une construction statistique effectuée d’après la signification antérieure des stimulus

•  « Percevoir (une luminosité, une couleur, une surface concave ou convexe, une longueur) en fonction des probabilités relatives des sources du stimulus donne à l’observateur les plus grandes les chances d’émettre des réponses comportementales adaptées au monde visuel ambigu dans lequel nous vivons »

•  La vision est un processus constructif:

•  La perception du monde réel est une illusion construite par le cerveau (cf. « Lunettes de soleil » de I. Kant et le roman « Flatland » de E.A. Abbott)

•  La vision résoud des taches spécifiques dans un contexte précis

•  Le comportement visuel est lié aux besoins et au context

• 

Le système visuel humain sert souvent de référence …

Cependant, il ne constitue pas un système parfait et il peut être facilement piégé

Les carrés A et B sont la même nuance de gris !

Checker Shadow Illusion [E.H. Adelson]

Perception: processus inférentiel.

On compte ici sur la luminosité pour apercevoir la couleur des carrés

Checker Shadow Illusion [E.H. Adelson]

Et voici la preuve …

Barres avec la même nuance de gris que les carrés A et B

Simultaneous Contrast Illusion

Autres illusions optiques (effet de contraste):

Les petits carrés sont la même nuance de gris, mais le carré à gauche semble légèrement plus sombre (voir l’animation flash)

http://positivr.fr/illusions-d-optique-gif

http://web.mit.edu/persci/people/adelson/checkershadow_illusion.html

Les sens humains Les sens des robots La vue

L’odorat L’ouïe

Le goût Le toucher

Caméras (spectre visible, IR), lasers, lidars

Sonars, caméras ToF (Time of Flight), microphones Accéléromètres

gyroscopes magnetomètres

Nez électronique pour la detection de fuites de gaz, drogue, nourriture avariée, etc.

Capteurs

piézoélectriques, dispositifs haptiques

Robot sommelier …. ?!

«Centrale inertielle»

ou IMU

Shakey the robot (1966-1972) - Stanford Res. Institute

Espace de travail:

à l’interieur Capteurs:

• Encodeurs (roues)

• Caméra

• Sonar

• Capteur de contact (bumper)

Rhino TourGuide Robot (1995-1998), Université de Bonn

Vidéo Rhino Espace de travail: à l’interieur (un musée: environnement non structuré et dynamique)

Capteurs:

• Encodeurs (roues)

• Caméra stéréo pan/tilt

• Anneau de sonars autour du robot

  Capteurs IR et laser

Vidéo PR2

PR2, Willow Garage (2010)

Espace de travail:

à l'intérieur comme à l'extérieur (mais seulement sur route)

Capteurs:

•  Encodeurs (roues)

•  Capteurs de contact (bumper)

•  Capteurs IR

•  Télémètres laser (2D, 3D)

•  Centrale Inertielle

•  Caméra stéréo (active) pan/tilt

•  Capteurs de pression et accéléromètres (dans les “mains”)

Humanoïde HRP-4C ou “Miim”, AIST, Japan (2012)

1er robot mannequin ( … et concierge: Henn na Hotel)

Classification d’un robot d’après

son utilisation

Classification d’un robot d’après

la source d’informations

Plan du cours

Chapitre 1: Perception pour la robotique [F. Morbidi]

Chapitre 2: Modélisation d’incertitudes [D. Kachi]

1. Introduction

3. Typologies de capteur

2. Classification des capteurs

1. Introduction

3. Représentation statistique 2. Représentation de l’incertitude

4. Propagation de l’erreur: fusion des mesures de l’incertitude

Chapitre 3: Traitement des mesures [D. Kachi]

1. Réseau multi-capteurs 2. Fusion des mesures

Partie I : Perception Avancée

Chapitre 1: Perception pour la robotique

2. Classification des capteurs

• 

Robot = capteurs + actionneurs + processeur(s)!

• 

Le succès dʼun robot réel dépend du choix de ses capteurs (et de ses effecteurs): ils doivent être appropriés par rapport à la tâche!

• 

Lʼautonomie du robot dépend de sa perception

de lʼenvironnement!

Passifs: des « vrais » observateurs de l’environnement.

Ils capturent les signaux qui sont émis par les autres sources de l’environnement (ex. les photons pour les caméras)

Actifs: ils envoient de l’énergie: cette énergie est réfléchie par l’environnement au capteur (élément émetteur- récepteur). Ex. sonars, télémètres laser, Kinect caméra

Classification des capteurs

Extéroceptifs: ils fournissent mesures sur l’environnement

(pour la détection des obstacles, construction de cartes, etc.) Proprioceptifs: ils informent le robot sur son propre état

(attitude, vitesse, accélération, etc.)

De contact: ils informent si le

robot est en contact avec un objet (obstacle)

E R

Caractéristiques d’un capteur (1/3)

•  Taille, poids, consom. énergétique, interface, étanchéité

•  Champ de perception/vue

•   Portée

o  Limites haute et basse

•  Dynamique

o  

Rapport entre la plus petite et la plus grande valeur d’une quantité variable (ex. son, lumière, etc.)

 

Exprimé en décibel «dB» (rapport de puissances)

L

_P

= 10 log

₁₀

� P P

₀

�

dB ^P

P

₀

Ex. mesure de

puissance de 1mW à 20W

: Puissance mesurée

: Puissance de référence où

L

_P

= 10 log

₁₀

� 20 0.001

�

� 43 dB

Caractéristiques d’un capteur (2/3)

• 

Résolution

◦  Plus petite variation δX qui peut être détectée en entrée (ex. pour un encodeur optique)

• 

Linéarité

◦  La sortie varie linéairement en fonction de l’entrée

• 

Fréquence ou largeur de bande

◦  Vitesse du flux de mesures du capteur

◦  Borne supérieure due à la fréquence d’échantillonnage

◦  Délai (déphasage) possible

◦  Ex. un télémètre laser est ~25 fois plus lent qu’une caméra

• 

Sensibilité

◦  Rapport d’un changement de sortie sur l’entrée

capteur

entrée sortie

0.1^◦

Caractéristiques d’un capteur (2/3)

Plage d’éntrée

Plage de sortie

Erreur de linéarité résolution

Offset (décalage)

Caractéristiques d’un capteur (3/3)

• 

Sensibilité croisée

◦  Sensibilité à d’autres influences de l’environnement

◦  Influence d’autres capteurs actifs (ex. deux lasers)

• 

Exactitude (opposée à l’erreur) [« accuracy » Eng.]

◦  Degré de conformité entre la mesure et la valeur réelle

◦  Exprimé en pourcentage de la valeur réelle

• 

Précision [« precision » Eng.]

◦  Liée à la reproductibilité de résultats d’un capteur

Attention: exactitude n’est pas synonime de précision !

Caractéristiques d’un capteur (3/3)

Densité de probabilité

m : valeur mesurée

v : valeur réelle ou de référence

σ : écart type exactitude

précision

valeur

σ

Exactitude (%)

=

Précision = Portée

= 100

�

1 − | m − v | v

�

Pas exact

Précise Exact

Précise

Pas exact

Pas précise Exact

Pas précise Plus d’exactitude

Plus de précision

Autres caractéristiques d’un capteur à considérer …

• 

Coût (ex. un télémètre laser SICK est beaucoup plus cher qu’une caméra)

•   Taux d’erreur (dispersion, aberrations, etc.)

•   Robustesse (ex. par rapport aux champs électromagnétiques dans l’environnement)

•   Charge de calcul (ex. une caméra implique

plus de traitements des données qu’un sonar)

Les erreurs

 

Erreurs systématiques (déterministes)

◦  Causes modélisables et qu’on peut prédire et compenser (au moins partiellement)

◦  Ex. distorsions optiques d’une caméra

 

Erreurs aléatoires (non-déterministes)

◦  Prédiction impossible

◦  Description probabiliste possible

◦  Ex. teinte variable d’une caméra, bruit des photorécepteurs aux basses intensités, échos non réfléchis des sonars, etc.

 

Autres

◦  Sensibilité croisée de capteurs, flou de bougé (blur)

En général: Modélisation difficile des erreurs systématiques et aléatoires en environnement non contraint

Plan du cours

Chapitre 1: Perception pour la robotique [F. Morbidi]

Chapitre 2: Modélisation d’incertitudes [D. Kachi]

1. Introduction

3. Typologies de capteur [15 septembre 2015]

2. Classification des capteurs

1. Introduction

3. Représentation statistique 2. Représentation de l’incertitude

4. Propagation de l’erreur: fusion des mesures de l’incertitude

Chapitre 3: Traitement des mesures [D. Kachi]

1. Réseau multi-capteurs 2. Fusion des mesures

Partie I : Perception Avancée