Fabio MORBIDI/Djemâa KACHI

(1)

UPJV, Département EEA Master 2 EEAII

Parcours ViRob

Fabio MORBIDI/Djemâa KACHI

Laboratoire MIS

Équipe Perception et Robotique E-mails: [email protected],

[email protected]

Mercredi 14h00-16h30, Jeudi 10h00-12h30 Salle TP101

(2)

Cours M1 & M2, parcours ViRob

Perception Avancée et Robotique Mobile (M2) Robotique

Industrielle (M1)

Localisation et Navigation de Robots (M2)

Bras Robotiques Robots Mobiles

Découverte de la Recherche (M1) Commande

des Robots (M2)

Vision non conventionnelle et Asservissement Visuel (M2)

(3)

Plan du cours

Chapitre 1: Perception pour la robotique [F. Morbidi]

Chapitre 2: Modélisation d’incertitudes [D. Kachi]

1. Introduction

3. Typologies de capteur

2. Classification des capteurs

1. Introduction

3. Représentation statistique 2. Représentation de l’incertitude

4. Propagation de l’erreur: fusion des mesures de l’incertitude

Chapitre 3: Traitement des mesures [D. Kachi]

1. Réseau multi-capteurs

Partie I : Perception Avancée

(4)

Chapitre 1: Introduction [F. Morbidi]

Plan du cours

Partie II : Robotique Mobile

1. Petit historique

3. Marché mondial et besoins technologiques 2. Systèmes, locomotions, applications

Chapitre 2: Locomotion [F. Morbidi]

1. Effecteurs et actionneurs

3. Robots mobiles à roues 2. Robots mobiles à jambes

4. Robots mobiles aériens

Chapitre 3: Décision et contrôle [F. Morbidi]

(5)

• Introduction to Autonomous Mobile Robots R. Siegwart, I.R. Nourbakhsh, D. Scaramuzza, MIT press, 2ème édition, 2011

[Perc. Avan., Ch. 4; Rob. Mob., Ch. 1-3]

Bibliographie

• Robotics: Modelling, Planning and Control B. Siciliano, L. Sciavicco, L. Villani, G. Oriolo, Springer, 1ère édition, 2009

[Perc. Avan., Ch. 5; Rob. Mob., Ch. 11]

(6)

• Theory of Robot Control

C. Canudas-de-Wit, B. Siciliano, G. Bastin (Éditeurs), Springer, 1996 [Rob. Mob., Ch. 7]

Bibliographie

• Diapos du cours

http://home.mis.u-picardie.fr/~fabio/Teaching.html

(7)

Connaissances préalables …

On part de l'hypothèse que vous avez une (bonne) connaissance de:

• Algèbre linéaire (manipulation de vecteurs et matrices)

• Calcul différentiel (gradient, matrice jacobienne, équ. différentielle)

• Théories de l’estimation et des probabilités (variable aléatoire)

• Notions de base de robotique (cours de « Robotique Industrielle »)

• Programmation de base (environ. Matlab [TD], langage C++ [TP]) Note finale =

AmigoBot

1 2



DS +

✓TP1 + TP2 + TP3 3

◆

(8)

DARPA Robotics Challenge 2015

(9)

DARPA Robotics Challenge (DRC) 2015

• D.A.R.P.A. = U.S. Defense Advanced Research Projects Agency

• DARPA Grand Challenge (2004, 2005), Urban Challenge (2007)

• DRC: 5-6 juin 2015, Pomona CA, É.U.

• 25 robots finalistes (11 Américains); Robots semiautonomes

• But: intervention dans des situations d'urgence et en cas de

catastrophes (par exemple, désastre de Fukushima en mars 2011) 1. Drive a utility vehicle at the site

2. Travel dismounted across rubble

3. Remove debris blocking an entryway 4. Open a door and enter a building

5. Climb an industrial ladder and traverse an industrial walkway 6. Use a tool to break through a concrete panel

7. Locate and close a valve near a leaking pipe

Challenges

(10)

DARPA Robotics Challenge (DRC) 2015

Vidéo des autres robots Vidéo DRC-Hubo

• Gagnant: Team Kaist, Corée du Sud, robot DRC-Hubo

• 8 points, durée de la mission: 44 min 28 s

• Prix (1ère place): 2 M$

(11)

Vue d’ensemble

Perception

Action

Décision

Partie 1 Partie 2

Paradigme “See-Think-Act”

Environnement

(12)

Au niveau du robot …

perçoit

agit

Loi de commande

(13)

! Perception nécessaire pour:

◦ Retrouver l’«état» d’un robot

◦ Détecter des obstacles, localiser un but

◦ Détecter des changements dans l’environnement

! Comment ?

◦ Mesure de signal ! information

" Sur le robot lui-même

" Sur l’environnement

! Aucun sens n’est parfait …

◦ Identifier les sources et types d’erreur

◦ Les modéliser pour pouvoir les retirer des mesures (« filtrage »)

! Interprétation

◦ Traitement des mesures

◦ Multi-capteurs et fusion des mesures

bruit

signal « vrai » signal mesuré

(14)

1. Localisation Où suis-je ?

Les 3 grands problèmes de la robotique mobile

(15)

2. Planification Comment aller du point A au point B ?

(16)

3. Cartographie Comment créer une carte de

l’environnement ?

(17)

Plan du cours

1. Introduction

1. Réseau multi-capteurs 2. Fusion des mesures

(18)

Perception: « Événement cognitif dans lequel un stimulus ou un objet, présent dans l'environnement immédiat d'un individu, lui est représenté dans son activité psychologique interne, en

principe de façon consciente » (Dictionnaire Larousse)

Chapitre 1: Perception pour la robotique

1. Introduction

(19)

Perception: « La capacité de voir, écouter, ou prendre conscience de quelque chose à travers les sens » (Oxford dictionary)

1. Introduction

(20)

1. Introduction

Monde

«externe»

Perception Monde

«interne»

(21)

Origine

Du Latin perceptio(n-), à partir du verbe percipere 'saisir’ ou

1. Introduction

Monde

«externe»

Perception Monde

«interne»

(22)

Perception et compréhension

Compréhension = données brutes + modèles (prob.) + contexte Les systèmes intelligents interprètent les données brutes en fonction de modèles probabilistes et utilisant des informations contextuelles qui donnent un sens aux données

y = f(p_rob, p_obs) + w

p_obs

Robot

(23)

“En robotique les problèmes faciles sont difficiles et les problèmes difficiles sont faciles”

S. Pinker, “The Language Instinct”, Harper Perennial Modern Classics, 1994

Perception: très difficile !

Vaincre le champion du monde d'échecs: FACILE !

11 mai 1997: “Deep Blue” de IBM vainc le champion du monde Garry Gasparov

Créer une machine avec un certain «bon sens»: DIFFICILE !

RoDyMan: le robot pizzaiolo (laboratoire PRISMA,

(24)

• CAPTCHA: "Completely Automated Public Turing test to tell Computers and Humans Apart"

• Marque commerciale de l'Université Carnegie-Mellon (É.U.)

Perception: très difficile !

(25)

• La perception est une construction statistique effectuée d’après la signification antérieure des stimuli

• « Percevoir (une luminosité, une couleur, une surface concave ou convexe, une longueur) en fonction des probabilités relatives des sources du stimulus donne à l’observateur les plus grandes les chances d’émettre des réponses comportementales adaptées au monde visuel ambigu dans lequel nous vivons »

• La vision est un processus constructif:

• La perception du monde réel est une illusion construite par le cerveau (cf. « Lunettes de soleil » de I. Kant et le roman « Flatland » de E.A. Abbott)

• La vision résout des tâches spécifiques dans un contexte précis

• Le comportement visuel est lié aux besoins et au context

(26)

• La perception est une construction statistique effectuée d’après la signification antérieure des stimuli

• « Percevoir (une luminosité, une couleur, une surface concave ou convexe, une longueur) en fonction des probabilités relatives des sources du stimulus donne à l’observateur les plus grandes les chances d’émettre des réponses comportementales adaptées au monde visuel ambigu dans lequel nous vivons »

• La vision est un processus constructif:

• La perception du monde réel est une illusion construite par le cerveau (cf. « Lunettes de soleil » de I. Kant et le roman « Flatland » de E.A. Abbott)

• La vision résout des tâches spécifiques dans un contexte précis

• Le comportement visuel est lié aux besoins et au context

• Le système visuel humain sert souvent de référence …

(27)

Les carrés A et B sont la même nuance de gris !

Checker Shadow Illusion [E.H. Adelson]

Perception: processus inférentiel.

On compte ici sur la luminosité pour apercevoir la couleur des carrés

(28)

Checker Shadow Illusion [E.H. Adelson]

Et voici la preuve …

(29)

Simultaneous Contrast Illusion

Autres illusions optiques (effet de contraste):

Les petits carrés sont la même nuance de gris: cependant le carré de gauche semble légèrement plus sombre

http://web.mit.edu/persci/people/adelson/checkershadow_illusion.html

(30)

Les sens humains Les sens des robots La vue

L’odorat L’ouïe

Le toucher

(31)

Le goût Le toucher

Caméras (spectre visible, IR), lasers, lidars

(32)

Le toucher

Sonars, caméras ToF (Time of Flight), microphones

Accéléromètres gyroscopes

«Centrale inertielle»

ou IMU

(33)

Le goût Le toucher

Capteurs

piézoélectriques, dispositifs haptiques

ou IMU

(34)

Le toucher

Nez électronique pour la detection de fuites de gaz, stupéfiants, nourriture avariée, etc.

Capteurs

ou IMU

(35)

Le goût Le toucher

Nez électronique pour la detection de fuites de gaz, stupéfiants, nourriture avariée, etc.

Capteurs

Robot sommelier …. ?!

ou IMU

(36)

Robot Shakey (1966-1972) - Stanford Res. Institute

Espace de travail:

à l’interieur Capteurs:

• Encodeurs (roues)

• Caméra

• Sonar

• Capteur de contact (bumper)

(37)

TourGuide Robot Rhino (1995-1998) - Université de Bonn

Vidéo Rhino Espace de travail: à l’interieur (un musée: environnement non structuré et dynamique)

Capteurs:

• Caméra stéréo pan/tilt

• Anneau de sonars

(38)

PR2 de Willow Garage (2010) Espace de travail:

à l'intérieur comme à l'extérieur (mais seulement sur route)

Capteurs:

• Capteurs de contact (bumper)

• Capteurs IR

• Télémètres laser (2D, 3D)

• Centrale inertielle

• Caméra stéréo (active) pan/tilt

Capteurs de pression et

(39)

Humanoïde HRP-4C ou “Miim”, AIST, Japan (2012)

(40)

Plan du cours

1. Introduction

(41)

2. Classification des capteurs

• Robot = capteurs + actionneurs + processeur(s)

• Le succès d’un robot dépend du choix de ses capteurs (et de ses effecteurs): ils doivent être

appropriés par rapport à la tâche

• L’autonomie du robot dépend de sa perception de l’environnement

(42)

Passifs: des « vrais » observateurs de l’environnement.

Ils capturent les signaux qui sont émis par les autres sources de l’environnement (ex. caméras, lumière;

thermomètres, température; microphones, ondes sonores) Actifs: ils émettent de l’énergie: cette énergie est réfléchie par

l’environnement au capteur (élément émetteur-récepteur).

Ex. sonars, télémètres laser, caméras RGB-D

Classification des capteurs selon 2 axes principaux

Extéroceptifs: ils fournissent mesures sur l’environnement

(pour la détection des obstacles, construction de cartes, etc.) Proprioceptifs: ils informent le robot sur son propre état

(ex. vitesse d’un moteur, attitude, tension d’une batterie)

(43)

Caractéristiques d’un capteur (1/3)

• Taille, poids, consom. énergétique, interface, étanchéité

• Champ de perception/vue

• Portée

o Limites haute et basse

• Plage dynamique

o Rapport entre la valeur maximale d’entrée et la valeur mesurable minimale d’entrée

" Exprimé en décibel «dB» (rapport de puissances)

L_P = 10 log₁₀

✓ P P₀

◆

dB ^P

P₀

Ex. mesure de puissance de 1mW à 20W

: Puissance maximale

: Puissance mes. minimale où

L_P = 10 log₁₀

✓ 20 0.001

◆

' 43 dB

(44)

• Résolution

◦ Plus petite variation δX qui peut être détectée en entrée (ex. 0.1° pour un encodeur optique)

• Linéarité

◦ La sortie varie linéairement en fonction de l’entrée

• Fréquence ou largeur de bande

◦ Vitesse du flux de mesures du capteur

◦ Borne supérieure due à la fréquence d’échantillonnage (cf. Théorème de Shannon)

◦ Délai (déphasage) possible

◦ Par ex. un télémètre laser est approximativement 25 fois plus lent que une caméra

• Sensibilité

◦ Rapport d’un changement de sortie sur un changement d’entrée

(45)

Plage d’entrée

Plage de sortie

Erreur de linéarité résolution

(46)

• Sensibilité croisée

◦ Sensibilité à d’autres influences de l’environnement (ex. compas fluxgate)

◦ Influence d’autres capteurs actifs (ex. 2 lasers face à face)

• Exactitude (opposée à l’erreur) [« accuracy » en anglais]

◦ Degré de conformité entre la mesure et la valeur réelle

◦ Exprimé en pourcentage (%) de la valeur réelle

• Précision [« precision » en anglais]

(47)

Densité de

probabilité (pdf)

m : valeur mesurée

v : valeur réelle ou de référence

σ : écart type

« exactitude »

« précision »

valeur

• Exactitude (%) =

• Précision = Portée

= 100

✓

1 |m v| v

◆

(48)

Pas exact

Précise Exact

Précise

Pas exact Exact

Plus de précision

(49)

Autres caractéristiques d’un capteur …

• Coût (ex. un télémètre laser est typiquement beaucoup plus cher qu’une caméra)

• Taux d’erreur (niveau d'atténuation et/ou de perturbation d'un signal transmis par le capteur)

• Robustesse (ex. par rapport aux champs électromagnétiques dans l’environnement)

• Charge de calcul (ex. une caméra implique plus de traitements de données qu’un sonar)

(50)

Les erreurs

! Erreurs systématiques (déterministes)

◦ Causes modélisables et qu’on peut prédire et compenser (au moins partiellement)

◦ Ex. les distorsions optiques d’une caméra (par étalonnage)

! Erreurs aléatoires (non-déterministes)

◦ Prédiction impossible

◦ Description probabiliste possible

◦ Ex. teinte variable d’une caméra, bruit des photorécepteurs aux basses intensités, échos non réfléchis des sonars, etc.

! Autres

◦ Sensibilité croisée de capteurs, flou de bougé (blur)