Fabio MORBIDI

(1)

UPJV, Département EEA Master 2 EEAII

Parcours ViRob

Fabio MORBIDI

Laboratoire MIS !

Équipe Perception et Robotique!

E-mail: [email protected]!

Semestre 9, A.U. 2015-2016

Mardi 9h30-12h30 et 15h00-17h30 Salle TP101

(2)

Plan du cours

Chapitre 1: Perception pour la robotique [F. Morbidi]

Chapitre 2: Modélisation d’incertitudes [D. Kachi]

1. Introduction

3. Typologies de capteur

2. Classification des capteurs

1. Introduction

3. Représentation statistique 2. Représentation de l’incertitude

4. Propagation de l’erreur: fusion des mesures de l’incertitude

Chapitre 3: Traitement des mesures [D. Kachi]

1. Réseau multi-capteurs 2. Fusion des mesures

Partie I : Perception Avancée

(3)

Télémètres laser

 LIDAR («Light Detection And Ranging») En réalité portmanteau de «light» et «radar»

 Rayons émis/reçus coaxiaux

 Longueur d’onde: typiquement 780-900 nm

 Jamais pure réflexion: toujours de la diffusion sur le cible

Spectre de la lumière visible (390 nm – 750 nm)

Longueur d’onde [nm]

rayon émis rayon reçu

Diffusion sur le cible

400 450 500 550 600 650 700 750

LIDAR

(4)

Télémètres laser

Deux méthodes de mesure:

1. Laser pulsé (ex. SICK)

• Mesure directe du temps de vol

• Besoin d’une mesure à la

picoseconde (10^-12s) (En fait, 3 m correspondent à 10 ns)

2. Mesure de déphasage (ex. Hokuyo)

• Émission d’onde modulée à fréquence connue

• Mesure du déphasage entre les signaux émis et reçus

• Techniquement plus simple

(5)

Télémètres laser: fonctionnement

SICK SICK SICK

Miroir rotatif Faisceau laser

Obstacle Obstacle

LIDAR LIDAR LIDAR

Obstacle

LIDAR LIDAR LIDAR

Mesures de distance (bleu) à des intervalles angulaires réguliers

(6)

Télémètres laser: exemples

 Voitures autonomes: Stanley (Stanford University – Volkswagen), gagnant de la DARPA Grand Challenge en 2005

5 lasers SICK pour couvrir tout l’espace devant le véhicule

 Robots mobiles: Adept Pioneer 3AT

Laser SICK

(7)

Télémètres laser: exemples

 Modélisation 3D: numérisation de bâtiments, formations rocheuses, etc.

Faro Focus3D X 330

Leica ScanStation C10

Nuage de points 3D d’un bâtiment numérisé

(8)

Télémètres laser: mesure de déphasage

émetteur

mesure de phase

cible rayon émis

rayon reçu

θ

(9)

Télémètres laser: mesure de déphasage

λ

La distance totale parcourue par la lumière émise (dans un milieu uniforme):

avec

◦ θ : différence de phase

◦ c : vitesse de la lumière (3 x 10⁸ m/s)

◦ f : fréquence de modulation

◦ : longueur d’onde

 La confiance dans la distance estimée est proportionnelle à l’amplitude du signal reçu:

◦ Objets sombres et/ou lointains: mauvaises estimations

◦ Objets proches et/ou clairs: bonnes estimations

D^� = 2D = λ θ

2π, λ = c f D^�

θ

λ

(10)

Télémètres laser commerciaux

 RoboPeak RPLIDAR (Chine)

 1 laser x 360°, 6 m de portée

 1.15 W, 170 g, 5.5 Hz

 Prix: 400 €

 Hokuyo URG-04LX (Japon)

◦ 1 laser x 240°, 5.6 m de portée

◦ 2.5 W, 160 g, 10 Hz

◦ Prix: 3.5 k€

 SICK LMS200 (Allemagne)

◦ 1 laser x 180°, 80 m de portée

◦ 20 W, 9 kg, 75 Hz

◦ Prix: environ 10 k€

 IBEO LUX HD, app. automobiles (Allemagne)

◦ 4 lasers x 110°, 90 m de portée (4° vertical)

◦ 10 W max, 1 kg, 12.5-50 Hz

◦ Prix: environ 22 k€

 Velodyne HDL-64E (USA)

◦ 64 lasers x 360° (27° vertical), 120 m de portée

◦ 20 W, 13 kg, 5-15 Hz, 1.3 millions de points/s

◦ Prix: environ 75 k$

Émetteurs laser (4 groupes de 16)

Récepteurs laser (2 groupes de 32)

Moteur

(11)

Télémètres laser: résultats

2 lasers SICK combinés: 180^o+ 180^o (salle)

4 lasers Hokuyo combinés (couloir)

Laser

(12)

Télémètres laser: résultats

360^o, fréquence de rotation jusqu’à 15 Hz

Données brutes du Velodyne

HDL-64E

(13)

Capteurs temps-de-vol 3D

Caméra temps-de-vol (ToF)

◦ Projection de lumière infrarouge modulée

◦ Système compact

◦ Possible perturbation due à d’autres sources lumineuses

 Mesa Imaging, SwissRanger 4000

◦ Longueur d’onde: 850 nm

◦ 50 FPS, 176 x 155 pixels

◦ Champ de vision: 43.6^o (h) x 34.6^o (v)

◦ Prix: 4.295 k$

 Microsoft (XBOX), Kinect v.2 (2014)

◦ Fréquence: 30 Hz

◦ 512 x 424 pixels (caméra de profondeur)

◦ 1920 x 1080 pixels (caméra RGB)

◦ Champ de vision: 84.1^o (h) x 53.8^o (v)

◦ Prix: 150 €

Caméra ToF LIDAR

Kinect v.2

SwissRanger

Exemples

FPS = « frames per second » (images par seconde)

(14)

Capteurs de triangulation

avec

6 proximètres IR

Source de lumière (laser)

x z θ

rayon émis

objet

rayon reçu

lentille récepteur

(plan image)

f

p

φ

z = f d

p + f tanθ, x = z tanθ



Triangulation optique (capteur 1D)

◦ IR/Laser

 Émission

 Réflexion

 Mesure de distance

◦ Proximètres IR sur le robot Koala (K-team)

 80 cm de portée maximale

 Bon marché

f : distance focale du récepteur

: distance source-récepteur (connue)

d

(15)

Capteurs de triangulation



Lumière structurée – LS (capteur 2D)

◦ Caméra CCD/CMOS

◦ Projecteur de motif connu

 Vision active

◦ Source lumineuse modulée dans

l’espace, le temps, l’intensité et/ou la couleur

◦ Calcul de profondeur simplifié par rapport à la stéréovision classique

 (Stéréo)vision passive : corrélation entre images/environnement

 Vision active : mesure directe, fonctionne dans le noir, pas besoin de texture

Exemple: Microsoft Kinect v.1 (2011)

Bande de lumière Caméra Projecteur

de lumière

Écran

H

α

(16)

LS – Définitions (D. Fofi)

1 - Point de surbrillance :

• Pas de problème de mise en correspondance.

• Balayage suivant les deux axes

2 - Plan de lumière :

• Correspondance entre points de la ligne projetée ?

• Balayage suivant un axe

3 - Multi-plans :

• Correspondance entre les plans ?

• Pas de balayage

4 - Motif structurant :

• Problème de mise en correspondance

• Pas de balayage

Caméra

(Plan image) Projecteur

(17)

3 critères liées à la:

• Dépendance temporelle (statique ou dynamique)

• Nature de la lumière émise (binaire, niveaux de gris ou couleurs)

• Dépendance aux discontinuités (périodique ou absolu)

LS – Classification

Classification proposée dans l’article:

LS – Exemples de codage

(25)

Fofi, Mouaddib et Salvi

LS – Exemples de codage

Codage couleurs

(26)

Laser

Caméra linéaire

Plaque métallique

Garcia, Garcia, Obeso et Fernandez

Projecteur

Verre dépoli Caméra

Profil analysé

Mouaddib, Brassart et Fofi

Profilométrie pour des plaques métalliques. Une caméra

linéaire observe un point de surbrillance projeté sur la

surface d’une plaque métallique

Profilométrie pour des plaques de verre Le verre est illuminé par un motif binaire:

la déformation du motif se projette sur du verre dépoli observé par la caméra.

LS – Applications: métrologie

(27)

Plan de base

Plan de référence

Plan image Diapositive

Sotoca, Buendia, Iñesta

Mesure des déformations pathologiques du dos

• Une grille codée est projetée sur le dos des patients

• La calibration consiste à

projeter cette grille sur un plan de référence et sur un plan de base

• Par des calculs, basés sur la similarité des triangles, une

image de profondeur est obtenue à partir des données de l’image

LS – Applications: anthropométrie

(28)

Robotique sous-marine

• Le capteur est enfermé dans un caisson en plexiglass

• La ligne de vue est diffractée deux fois (plexiglass et eau)

• La ligne de base n’est plus constante

Robotique extra-terrestre: rover Sojourner (sur Mars en 1997)

Deux lasers sont diffractés en quinze

faisceaux coplanaires et observés par deux caméras

Caméra

Laser

Matthies, Balch et Wilcox

Caméra

Miroir

Rayon laser

Plexiglass

Air Eau

Ligne de base Ligne

de base effective

Chantier, Clark et Umasuthan

LS – Applications: robotique

(29)

Capteurs de vision

Matrice de Bayer: matrice de filtres de couleur placée entre

l’objectif et le CCD d’une caméra afin de pouvoir enregistrer des images en couleur

Caméra



Matrice de photorécepteurs (CCD)

CCD

Matrice de Bayer

(30)

Caméras

Caméra = objectif + capteur photosensible

Diaphragme



Objectif

◦ Optique

 Pour changer la mise à point, l’amplitude du champ de vue, etc.

◦ Diaphragme

 Ouverture: elle laisse

passer/bloque la lumière vers le CCD Capteur

photosensible

Objectif

(31)

Vision passive

◦ Une image: uniquement information 2D sur la scène

 Manque d’information sur la structure 3D de l’environnement

 Besoin d’information supplémentaire:

◦

Taille réelle des objets observés dans la scène

Il faut quantifier la netteté locale d’une image

 Lien direct entre longueur focale et profondeur 3D

Image 1 Image 2

(33)

Vision passive

◦ Une paire d’images

 Deux caméras: stéréovision

• Mise en correspondance

• Triangulation

Image

Caméra 1 Image Caméra 2

Caméra 1

Caméra 2

Information 3D sur la scène

(34)

Vision omnidirectionnelle



Systèmes multi-caméras

◦ Google Streetview

 Image 360^o x 360^o, bonne résolution

 Difficulté d’assembler les images (aberrations)

Dodeca 2360

Point Grey Ladybug

(0.8 Mpixels x 6 caméras)

Panomo

(36 cameras, 100 Mpixels, 360^o x 360^o)

(12 caméras, 30 FPS, 100 Mpixels, 360^o x 360^o)

(35)

35

Vision omnidirectionnelle

• Une même primitive (ex. une «droite») est

perçue longtemps

• Appariement d’une part importante d’une scène avec l’image

Département EEA (image panoramique)



Systèmes catadioptriques (caméra + miroir + lentille)

◦ Vision panoramique

Caméra

conventionnelle Lentille

Miroir

(36)

Vision omnidirectionnelle



Caméras à optique « fisheye »

◦ Très grand angle (180°)

◦ Problème: distorsions provoquées par la lentille fisheye

Nikon 1 V1 avec lentille fisheye

Caméra classique Caméra avec lentille fisheye

(37)

“Chapter House Room”, Cathédrale de Wells, Royaume-Uni



Caméra à optique « fisheye »

Vision omnidirectionnelle

Centre de Perth, Australie

(38)

Un encodeur rotatif est un dispositif qui convertit la position angulaire d’un axe ou d’un arbre en code analogique ou binaire

Encodeurs rotatifs

• Encodeurs mecaniques et optiques (les plus utilisés en robotique, ex. pour l’odométrie)

• Deux types d’encodeurs:

• Absolus: la sortie de l’encodeur indique la position courante de l’axe (transducteur

d’angle). L’information n’est pas perdue lorsque l'alimentation est coupée: elle est

disponible à nouveau lorsque l’alimentation est rétablie

• Incrémentaux (ou relatifs): la sortie de l’encodeur nous informe du mouvement de l’axe. Cette information est typiquement traitée ultérieurement pour obtenir des

mesures de vitesse, distance ou position Encodeur optique incrémental

(39)

• Encodeur optique absolu avec

codage binaire (3 bits; noir 1, blanc 0)

• Une paire émetteur/récepteur par bit

Encodeurs rotatifs: exemples

• Encodeur optique absolu avec

codage Gray (3 bits; noir 1, blanc 0)

0 0 0

(40)

• Encodeur optique absolu avec codage binaire (8 bits; codage mixte sur 4 + 4 bits)

Encodeurs rotatifs: exemples

• Encodeur optique incrémental