UPJV, Département EEA Master 2 EEAII
Parcours ViRob
Fabio MORBIDI
Laboratoire MIS
Équipe Perception et Robotique E-mail: fabio.morbidi@u-picardie.fr
Semestre 9, AU 2016-2017
Mercredi 14h00-16h30, Jeudi 10h00-12h30 Salle TP101
Plan du cours
Chapitre 1: Perception pour la robotique [F. Morbidi]
Chapitre 2: Modélisation d’incertitudes [D. Kachi]
1. Introduction
3. Typologies de capteur 2. Classification des capteurs
1. Introduction
3. Représentation statistique 2. Représentation de l’incertitude
4. Propagation de l’erreur: fusion des mesures de l’incertitude
Chapitre 3: Traitement des mesures [D. Kachi]
1. Réseau multi-capteurs 2. Fusion des mesures
Partie I : Perception Avancée
Télémètres laser
LIDAR («Light Detection And Ranging») En réalité, portmanteau de «light» et «radar»
Technologie pour créer des cartes à haute résolution
Mesure de distance en éclairant une cible avec un faisceau de lumière laser
Rayons émis/reçus coaxiaux
Longueur d’onde: typiquement 780-900 nm
Spectre de la lumière visible (390 nm – 750 nm)
Longueur d’onde [nm]
400 450 500 550 600 650 700 750
LIDAR
Télémètre laser: principe de fonctionnement
LIDAR LIDAR LIDAR
Miroir rotatif Faisceau laser
Obstacle Obstacle
LIDAR LIDAR LIDAR
Obstacle
LIDAR LIDAR LIDAR
Mesures de distance à des intervalles angulaires réguliers (points bleus)
Télémètres laser: méthodes de mesure
1. Laser pulsé (ex. SICK)
• Mesure directe du temps de vol
• Besoin d’une mesure à la
picoseconde (10-12 s) (En fait, 3 m correspondent à 10 ns)
2. Mesure de déphasage (ex. Hokuyo)
• Émission d’onde modulée à fréquence connue
• Mesure du déphasage entre les signaux émis et reçus
• Techniquement plus simple
rayon émis rayon reçu
θ
[deg.]
Mesure de déphasage
émetteur
mesure de phase
cible rayon émis
rayon reçu miroir semitransparent
Diffusion sur la cible
Problème: Jamais pure réflexion. On a toujours de la diffusion sur la cible.
Mesure de déphasage
rayon émis rayon reçu
λ
La distance totale parcourue par la lumière émise (dans un milieu uniforme) est:
avec
◦ θ : différence de phase
◦ c : vitesse de la lumière (3 108 m/s)
◦ f : fréquence de modulation
◦ : longueur d’onde
La confiance dans la distance estimée est proportionnelle à l’amplitude du signal reçu:
◦ Objets sombres et/ou lointains: mauvaises estimations
◦ Objets proches et/ou clairs: bonnes estimations
D = 2D = λ θ
2π, λ = c f D
θ
λ
[deg.]
Télémètres laser 2D: résultats de mesure
2 lasers SICK combinés: 180o + 180o (une salle)
4 lasers Hokuyo combinés (un couloir)
Laser
Laser
Télémètres laser 2D: résultats de mesure
1 RPLIDAR de RoboPeak
Points mesurés
Télémètres laser 3D: résultats de mesure
360o, fréquence de rotation jusqu’à 15 Hz
Données brutes du Velodyne
HDL-64E Laser
Velodyne
Vidéo Velodyne
Télémètres laser commerciaux
Émetteurs laser (4 groupes de 16)
Récepteurs laser (2 groupes de 32)
Moteur
2D 3D
RPLIDAR de RoboPeak (Chine)
1 laser 360°, 6 m de portée
1.15 W, 170 g, 5.5 Hz
Prix: 400 €
URG-04LX de Hokuyo (Japon)
◦ 1 laser 240°, 5.6 m de portée
◦ 2.5 W, 160 g, 10 Hz
◦ Prix: 3.5 k€
LMS200/291 de SICK (Allemagne)
◦ 1 laser 180°, 80 m de portée (typique 10 m)
◦ 20 W, 9 kg, 75 Hz
◦ Prix: environ 10 k€
LUX HD de IBEO, app. automobiles (Allemagne)
◦ 4 lasers 110°, 90 m de portée (4° vertical)
◦ 10 W max, 1 kg, 12.5-50 Hz
◦ Prix: environ 22 k€
HDL-64E de Velodyne (USA)
◦ 64 lasers 360° (27° vertical), 120 m de portée
◦ 20 W, 13 kg, 5-15 Hz, 1.3 millions de points/s
◦ Prix: environ 75 k$
Télémètres laser: applications
Voitures sans chauffeur
5 lasers SICK
Robots mobiles
Lasers SICK
Pioneer 3-AT AmigoBot
Stanley (Stanford Univ.), gagnant de
la DARPA Grand Challenge en 2005 Google car (Lexus RX450h): 2012-2016
Laser Velodyne
Drone HexaKopter
Laser Hokuyo
Télémètres laser: applications
Modélisation 3D: numérisation de bâtiments, vestiges archéologiques, etc.
Focus3D 330 de Faro
ScanStation C10 de Leica
Numerisation 3D du portail sud de la cathédrale d’Amiens
(programme e-cathédrale)
Matrice de Bayer: matrice de filtres de couleur placée entre l’objectif et le CCD d’une caméra afin de pouvoir enregistrer des images en couleur
Matrice de Bayer
Matrice de photorécepteurs (CCD = Charge-Coupled Device)
Capteurs de vision
Caméra couleur numérique
Caméras
Caméra = objectif + capteur photosensible
Diaphragme
Objectif
◦ Optique (lentilles)
Pour changer la mise à point, l’amplitude du champ de vue, etc.
◦ Diaphragme (ouverture à largeur variable)
Il laisse passer/bloque la lumière vers le CCD
Capteur photosensible
Objectif
Lentilles
◦ Une image: uniquement information 2D sur la scène
Manque d’information sur la structure 3D de l’environnement
Besoin d’information supplémentaire:
◦ Taille réelle des objets observés dans la scène
• Mise en correspondance 2D-3D
◦ Mouvement des objets est connu: SfM («Structure-from-Motion»)
◦ Position d’une source lumineuse est connue
• On peut utiliser les ombres pour percevoir la profondeur («Shape-from-Shading»)
Même objet, illumination variable
Vision monoculaire
◦ Estimation de la profondeur à partir de la mise au point («Shape-from-Focus»)
Il faut quantifier la netteté locale d’une image
Lien direct entre la longueur focale et la profondeur 3D
Image 1 Image 2
Vision monoculaire
◦ Deux caméras: une paire d’images
• Mise en correspondance
• Triangulation
Image
Caméra 1 Image Caméra 2
Caméra 1
Caméra 2
Information 3D sur la scène
Vision stéréoscopique
Vision omnidirectionnelle
1. Systèmes multi-caméras
Image 360o 360o, bonne résolution
Difficulté d’assembler les images (aberrations) Dodeca 2360
Ladybug de Point Grey
(0.8 Mpixels 6 caméras)
(36 cameras, 100 Mpixels,
360o 360o) Google Streetview
(12 caméras, 100 Mpixels, 360o 360o, 30 fps*)
Panono
(5 Mpixels 15 caméras) Vidéo
20
Vision omnidirectionnelle
• Une même primitive (ex. une «droite») est
perçue longtemps
• Appariement d’une partie importante
d’une scène avec l’image
Département EEA (image panoramique)
2. Systèmes catadioptriques (caméra + miroir + lentille)
◦ Vision panoramique
Caméra
conventionnelle Lentille
Miroir
Vision omnidirectionnelle
3. Caméras à optique « fisheye »
◦ Très grand angle (180°)
◦ Problème: distorsions provoquées par l’optique (lentille)
Nikon 1 V1 avec optique fisheye
Caméra classique (ex-parking
en face du département EEA) Caméra avec optique fisheye
Image panoramique de la salle TP204 du département EEA, prise avec la caméra THETA S 360° montée sur l’effecteur du robot Stäubli TX60 Exemple de caméra à optique « fisheye »
Vision omnidirectionnelle
THETA S 360° de Ricoh
(400$, 14 Mpixes 2 caméras, 360° 360°,
enregistrement vidéo possible)
Caméras temps de vol
Caméra temps de vol (ToF, Time-of-Flight en anglais)
◦ Projection de lumière infrarouge modulée
◦ Image de profondeur de la scène observée
◦ Système compact
◦ Possible perturbation due à d’autres sources lumineuses
SwissRanger 4000 de Mesa Imaging
◦ Longueur d’onde: 850 nm
◦ 50 fps, 176 155 pixels
◦ Champ de vision: 43.6o (h) 34.6o (v)
◦ Prix: 4295 $
Kinect v.2 de Microsoft pour XBOX (2014)
◦ Fréquence: 30 Hz
◦ 512 424 pixels (caméra de profondeur)
◦ 1920 1080 pixels (caméra RGB)
◦ Champ de vision: 84.1o (h) 53.8o (v)
◦ Prix: 150 €
Caméra ToF LIDAR
Kinect v.2
SwissRanger
Exemples
Capteurs de triangulation
avec
6 proximètres IR
Source de lumière (laser)
x z θ
rayon émis
objet
rayon reçu
lentille récepteur
(plan image)
f
p φ
z = f d
p + f tanθ, x = z tan θ
Triangulation optique (capteur 1D)
◦ Lumière IR/Laser
Émission Réflexion
Mesure de distance d’un objet
Exemple: 16 proximètres IR sur le robot Koala II de K-team
Portée: 5 - 20 cm
Bon marché (approx. 5 €/capteur) « Bumper virtuel »
: distance focale du récepteur (estimée) : distance source-récepteur (connue)
d f d
Capteurs de triangulation
Lumière Structurée – LS (capteur 2D)
◦ Caméra
◦ Projecteur de motif connu Vision active
◦ Source lumineuse modulée dans
l’espace, le temps, l’intensité et/ou la couleur
◦ Calcul de profondeur simplifié par rapport à la stéréovision classique
(Stéréo)vision passive : corrélation entre images/environnement Vision active : mesure directe, fonctionne dans le noir,
pas besoin de texture
Exemple: Kinect v.1 de Microsoft (2011)
Bande de lumière Caméra
Projecteur de lumière
Écran
Motif projecté par la Kinect v.1 H
α H = D tanα
D
LS – Définitions (D. Fofi)
1 - Point de surbrillance :
• Pas de problème de mise en correspondance
• Balayage suivant les deux axes
2 - Plan de lumière :
• Correspondance entre points de la ligne projetée ?
• Balayage suivant un axe
3 - Multi-plans :
• Correspondance entre les plans ?
• Pas de balayage
4 - Motif structurant :
• Problème de mise en correspondance
• Pas de balayage
Caméra (Plan image)
Projecteur
3 critères liées à la:
• Dépendance temporelle (statique ou dynamique)
• Nature de la lumière émise (binaire, niveaux de gris ou couleurs)
• Dépendance aux discontinuités (périodique ou absolu)
LS – Classification
Classification proposée dans l’article:
« Recent progress in coded structured light as a technique to solve the correspondence problem: a survey », J. Batlle, E. Mouaddib, J. Salvi, Pattern Recognition, vol. 31, n. 7, pp. 963-982, 1998
du motif projeté
1. Posdamer et Altschuler
• Statique
• Binaire
• Absolu
LS – Exemples de codage
2. Le Moigne et Waxman
• Dynamique
• Binaire
• Absolu
3. Carrihill et Hummel
• Statique
• Niveaux de gris
• Absolu
LS – Exemples de codage
4. Vuylsteke et Oosterlinck
• Dynamique
• Binaire
• Absolu
5. Boyer et Kak
• Dynamique
• Couleurs
• Périodique
30
LS – Exemples de codage
6. Tajima et Iwakawa
• Statique
• Couleurs
• Absolu
7. Griffin, Narasimhan et Yee
• Dynamique
• Couleurs
• Absolu
LS – Exemples de codage
8. Fofi, Mouaddib et Salvi
32
Codage couleurs
LS – Exemples de codage
Plan projecteur Plan image
Laser
Caméra linéaire
Plaque métallique
Garcia, Garcia, Obeso et Fernandez
Projecteur
Verre dépoli Caméra
Profil analysé
Mouaddib, Brassart et Fofi Profilométrie pour des plaques métalliques
Une caméra linéaire observe un point de surbrillance projeté sur la surface d’une plaque métallique
Profilométrie pour des plaques de verre Le verre est illuminé par un motif binaire:
la déformation du motif se projette sur du verre dépoli observé par la caméra
LS – Applications: métrologie
Plan de base
Plan de référence
Plan image Diapositive
Sotoca, Buendia, Iñesta
Mesure des déformations
pathologiques du dos humain
• Une grille codée est projetée sur le dos des patients
• La calibration consiste à
projeter cette grille sur un plan de référence et sur un plan de base
• Par des calculs, basés sur la similarité des triangles, une image de profondeur est obtenue à partir des données de l’image
34
LS – Applications: anthropométrie
Robotique sous-marine
• Le capteur est enfermé dans un caisson en plexiglass
• La ligne de vue est diffractée deux fois (plexiglass et eau)
• La ligne de base n’est plus constante
• Mesure rapide de profondeur (portée < 2 m)
Robotique extra-terrestre: Rover Sojourner (sur la planète Mars en 1997)
• Deux lasers sont diffractés en quinze
faisceaux coplanaires et observés par deux caméras.
• Analyse du terrain en face au robot
Caméra 1 Caméra 2
Laser 1 Laser 2
Matthies, Balch et Wilcox
Caméra
Miroir
Rayon laser
Plexiglass
Air Eau
Ligne de base Ligne
de base effective
Chantier, Clark et Umasuthan
LS – Applications: robotique mobile
Faisceaux
Tableau récapitulatif:
typologies de capteur
Classification (utilisation
typique) Capteur/Système de
perception PC ou EC A ou P Capteurs tactiles (détection
de contact physique ou de proximité, interrupteurs de sécurité)
Interrupteurs de contacts,
bumpers EC P
Barrière optique EC A
Capteurs de roue/moteur
(vitesse et position de roue/moteur)
Encodeurs à balais PC P
Potentiomètres PC P
Encodeurs optiques PC A Encodeurs magnétiques PC A Encodeurs inductifs PC A Encodeurs capacitifs PC A
A : Actif P : Passif
PC : Proprioceptif EC : Extéroceptif
Classification (utilisation typique) Capteur/Système
de perception PC ou EC A ou P
Capteurs d’orientation (orientation du robot en relation à un référentiel fixe)
Compas EC P
Gyroscope PC P
Inclinomètre PC A/P
Basé balise (localisation dans un référentiel fixe)
GPS EC A
Balise active optique
ou radio EC A
Balise active à ultrasons EC A
Balises réflectives EC A
Classification (utilisation typique) Capteur/Système
de perception PC ou EC A ou P
Télémétrie active (réflectivité, temps de vol et triangulation géométrique)
Capteurs de réflectivité EC A Capteur à ultrasons EC A
Télémètre laser EC A
Triangulation optique (1D) EC A
Lumière structurée (2D) EC A
Capteurs de mouvement/vitesse (vitesse relative à des objets statiques ou fixes)
Doppler radar EC A
Doppler sonore EC A
Capteurs de vision (télémétrie
visuelle, analyse de l’image complète, segmentation, reconnaissance d’objet)
Caméras à capteur
CCD/CMOS EC P