• Aucun résultat trouvé

2D 3D

N/A
N/A
Protected

Academic year: 2022

Partager "2D 3D"

Copied!
38
0
0

Texte intégral

(1)

UPJV, Département EEA Master 2 EEAII

Parcours ViRob

Fabio MORBIDI

Laboratoire MIS

Équipe Perception et Robotique E-mail: fabio.morbidi@u-picardie.fr

Semestre 9, AU 2016-2017

Mercredi 14h00-16h30, Jeudi 10h00-12h30 Salle TP101

(2)

Plan du cours

Chapitre 1: Perception pour la robotique [F. Morbidi]

Chapitre 2: Modélisation d’incertitudes [D. Kachi]

1. Introduction

3. Typologies de capteur 2. Classification des capteurs

1. Introduction

3. Représentation statistique 2. Représentation de l’incertitude

4. Propagation de l’erreur: fusion des mesures de l’incertitude

Chapitre 3: Traitement des mesures [D. Kachi]

1. Réseau multi-capteurs 2. Fusion des mesures

Partie I : Perception Avancée

(3)

Télémètres laser

LIDAR («Light Detection And Ranging») En réalité, portmanteau de «light» et «radar»

Technologie pour créer des cartes à haute résolution

Mesure de distance en éclairant une cible avec un faisceau de lumière laser

Rayons émis/reçus coaxiaux

Longueur d’onde: typiquement 780-900 nm

Spectre de la lumière visible (390 nm – 750 nm)

Longueur d’onde [nm]

400 450 500 550 600 650 700 750

LIDAR

(4)

Télémètre laser: principe de fonctionnement

LIDAR LIDAR LIDAR

Miroir rotatif Faisceau laser

Obstacle Obstacle

LIDAR LIDAR LIDAR

Obstacle

LIDAR LIDAR LIDAR

Mesures de distance à des intervalles angulaires réguliers (points bleus)

(5)

Télémètres laser: méthodes de mesure

1.  Laser pulsé (ex. SICK)

•  Mesure directe du temps de vol

•  Besoin d’une mesure à la

picoseconde (10-12 s) (En fait, 3 m correspondent à 10 ns)

2.  Mesure de déphasage (ex. Hokuyo)

•  Émission d’onde modulée à fréquence connue

•  Mesure du déphasage entre les signaux émis et reçus

•  Techniquement plus simple

(6)

rayon émis rayon reçu

θ

[deg.]

Mesure de déphasage

émetteur

mesure de phase

cible rayon émis

rayon reçu miroir semitransparent

Diffusion sur la cible

Problème: Jamais pure réflexion. On a toujours de la diffusion sur la cible.

(7)

Mesure de déphasage

rayon émis rayon reçu

λ

La distance totale parcourue par la lumière émise (dans un milieu uniforme) est:

avec

◦  θ : différence de phase

◦  c : vitesse de la lumière (3 108 m/s)

◦  f : fréquence de modulation

◦  : longueur d’onde

La confiance dans la distance estimée est proportionnelle à l’amplitude du signal reçu:

◦  Objets sombres et/ou lointains: mauvaises estimations

◦  Objets proches et/ou clairs: bonnes estimations

D = 2D = λ θ

, λ = c f D

θ

λ

[deg.]

(8)

Télémètres laser 2D: résultats de mesure

2 lasers SICK combinés: 180o + 180o (une salle)

4 lasers Hokuyo combinés (un couloir)

Laser

Laser

(9)

Télémètres laser 2D: résultats de mesure

1 RPLIDAR de RoboPeak

Points mesurés

(10)

Télémètres laser 3D: résultats de mesure

360o, fréquence de rotation jusqu’à 15 Hz

Données brutes du Velodyne

HDL-64E Laser

Velodyne

Vidéo Velodyne

(11)

Télémètres laser commerciaux

Émetteurs laser (4 groupes de 16)

Récepteurs laser (2 groupes de 32)

Moteur

2D 3D

RPLIDAR de RoboPeak (Chine)

1 laser 360°, 6 m de portée

1.15 W, 170 g, 5.5 Hz

Prix: 400 €

URG-04LX de Hokuyo (Japon)

◦  1 laser 240°, 5.6 m de portée

◦  2.5 W, 160 g, 10 Hz

◦  Prix: 3.5 k€

LMS200/291 de SICK (Allemagne)

◦  1 laser 180°, 80 m de portée (typique 10 m)

◦  20 W, 9 kg, 75 Hz

◦  Prix: environ 10 k€

LUX HD de IBEO, app. automobiles (Allemagne)

◦  4 lasers 110°, 90 m de portée (4° vertical)

◦  10 W max, 1 kg, 12.5-50 Hz

◦  Prix: environ 22 k€

HDL-64E de Velodyne (USA)

◦  64 lasers 360° (27° vertical), 120 m de portée

◦  20 W, 13 kg, 5-15 Hz, 1.3 millions de points/s

◦  Prix: environ 75 k$

(12)

Télémètres laser: applications

Voitures sans chauffeur

5 lasers SICK

Robots mobiles

Lasers SICK

Pioneer 3-AT AmigoBot

Stanley (Stanford Univ.), gagnant de

la DARPA Grand Challenge en 2005 Google car (Lexus RX450h): 2012-2016

Laser Velodyne

Drone HexaKopter

Laser Hokuyo

(13)

Télémètres laser: applications

Modélisation 3D: numérisation de bâtiments, vestiges archéologiques, etc.

Focus3D 330 de Faro

ScanStation C10 de Leica

Numerisation 3D du portail sud de la cathédrale d’Amiens

(programme e-cathédrale)

(14)

Matrice de Bayer: matrice de filtres de couleur placée entre l’objectif et le CCD d’une caméra afin de pouvoir enregistrer des images en couleur

Matrice de Bayer

Matrice de photorécepteurs (CCD = Charge-Coupled Device)

Capteurs de vision

Caméra couleur numérique

(15)

Caméras

Caméra = objectif + capteur photosensible

Diaphragme

Objectif

◦  Optique (lentilles)

Pour changer la mise à point, l’amplitude du champ de vue, etc.

◦  Diaphragme (ouverture à largeur variable)

Il laisse passer/bloque la lumière vers le CCD

Capteur photosensible

Objectif

Lentilles

(16)

◦ Une image: uniquement information 2D sur la scène

 Manque d’information sur la structure 3D de l’environnement

 Besoin d’information supplémentaire:

◦ Taille réelle des objets observés dans la scène

• Mise en correspondance 2D-3D

◦ Mouvement des objets est connu: SfM («Structure-from-Motion»)

◦ Position d’une source lumineuse est connue

• On peut utiliser les ombres pour percevoir la profondeur («Shape-from-Shading»)

Même objet, illumination variable

Vision monoculaire

(17)

◦ Estimation de la profondeur à partir de la mise au point («Shape-from-Focus»)

Il faut quantifier la netteté locale d’une image

Lien direct entre la longueur focale et la profondeur 3D

Image 1 Image 2

Vision monoculaire

(18)

◦  Deux caméras: une paire d’images

•  Mise en correspondance

•  Triangulation

Image

Caméra 1 Image Caméra 2

Caméra 1

Caméra 2

Information 3D sur la scène

Vision stéréoscopique

(19)

Vision omnidirectionnelle

1.  Systèmes multi-caméras

Image 360o 360o, bonne résolution

Difficulté d’assembler les images (aberrations) Dodeca 2360

Ladybug de Point Grey

(0.8 Mpixels 6 caméras)

(36 cameras, 100 Mpixels,

360o 360o) Google Streetview

(12 caméras, 100 Mpixels, 360o 360o, 30 fps*)

Panono

(5 Mpixels 15 caméras) Vidéo

(20)

20

Vision omnidirectionnelle

•  Une même primitive (ex. une «droite») est

perçue longtemps

•  Appariement d’une partie importante

d’une scène avec l’image

Département EEA (image panoramique)

2.  Systèmes catadioptriques (caméra + miroir + lentille)

◦  Vision panoramique

Caméra

conventionnelle Lentille

Miroir

(21)

Vision omnidirectionnelle

3.  Caméras à optique « fisheye »

◦  Très grand angle (180°)

◦  Problème: distorsions provoquées par l’optique (lentille)

Nikon 1 V1 avec optique fisheye

Caméra classique (ex-parking

en face du département EEA) Caméra avec optique fisheye

(22)

Image panoramique de la salle TP204 du département EEA, prise avec la caméra THETA S 360° montée sur l’effecteur du robot Stäubli TX60 Exemple de caméra à optique « fisheye »

Vision omnidirectionnelle

THETA S 360° de Ricoh

(400$, 14 Mpixes 2 caméras, 360° 360°,

enregistrement vidéo possible)

(23)

Caméras temps de vol

Caméra temps de vol (ToF, Time-of-Flight en anglais)

◦  Projection de lumière infrarouge modulée

◦  Image de profondeur de la scène observée

◦  Système compact

◦  Possible perturbation due à d’autres sources lumineuses

SwissRanger 4000 de Mesa Imaging

◦  Longueur d’onde: 850 nm

◦  50 fps, 176 155 pixels

◦  Champ de vision: 43.6o (h) 34.6o (v)

◦  Prix: 4295 $

Kinect v.2 de Microsoft pour XBOX (2014)

◦  Fréquence: 30 Hz

◦  512 424 pixels (caméra de profondeur)

◦  1920 1080 pixels (caméra RGB)

◦  Champ de vision: 84.1o (h) 53.8o (v)

◦  Prix: 150 €

Caméra ToF LIDAR

Kinect v.2

SwissRanger

Exemples

(24)

Capteurs de triangulation

avec

6 proximètres IR

Source de lumière (laser)

x z θ

rayon émis

objet

rayon reçu

lentille récepteur

(plan image)

f

p φ

z = f d

p + f tanθ, x = z tan θ

Triangulation optique (capteur 1D)

◦  Lumière IR/Laser

Émission Réflexion

Mesure de distance d’un objet

Exemple: 16 proximètres IR sur le robot Koala II de K-team

Portée: 5 - 20 cm

Bon marché (approx. 5 €/capteur) « Bumper virtuel »

: distance focale du récepteur (estimée) : distance source-récepteur (connue)

d f d

(25)

Capteurs de triangulation

Lumière Structurée – LS (capteur 2D)

◦  Caméra

◦  Projecteur de motif connu Vision active

◦ Source lumineuse modulée dans

l’espace, le temps, l’intensité et/ou la couleur

◦  Calcul de profondeur simplifié par rapport à la stéréovision classique

(Stéréo)vision passive : corrélation entre images/environnement Vision active : mesure directe, fonctionne dans le noir,

pas besoin de texture

Exemple: Kinect v.1 de Microsoft (2011)

Bande de lumière Caméra

Projecteur de lumière

Écran

Motif projecté par la Kinect v.1 H

α H = D tanα

D

(26)

LS – Définitions (D. Fofi)

1 - Point de surbrillance :

•  Pas de problème de mise en correspondance

•  Balayage suivant les deux axes

2 - Plan de lumière :

•  Correspondance entre points de la ligne projetée ?

•  Balayage suivant un axe

3 - Multi-plans :

•  Correspondance entre les plans ?

•  Pas de balayage

4 - Motif structurant :

•  Problème de mise en correspondance

•  Pas de balayage

Caméra (Plan image)

Projecteur

(27)

3 critères liées à la:

•  Dépendance temporelle (statique ou dynamique)

•  Nature de la lumière émise (binaire, niveaux de gris ou couleurs)

•  Dépendance aux discontinuités (périodique ou absolu)

LS – Classification

Classification proposée dans l’article:

« Recent progress in coded structured light as a technique to solve the correspondence problem: a survey », J. Batlle, E. Mouaddib, J. Salvi, Pattern Recognition, vol. 31, n. 7, pp. 963-982, 1998

du motif projeté

(28)

1. Posdamer et Altschuler

•  Statique

•  Binaire

•  Absolu

LS – Exemples de codage

2. Le Moigne et Waxman

•  Dynamique

•  Binaire

•  Absolu

(29)

3. Carrihill et Hummel

•  Statique

•  Niveaux de gris

•  Absolu

LS – Exemples de codage

4. Vuylsteke et Oosterlinck

•  Dynamique

•  Binaire

•  Absolu

(30)

5. Boyer et Kak

•  Dynamique

•  Couleurs

•  Périodique

30

LS – Exemples de codage

6. Tajima et Iwakawa

•  Statique

•  Couleurs

•  Absolu

(31)

7. Griffin, Narasimhan et Yee

•  Dynamique

•  Couleurs

•  Absolu

LS – Exemples de codage

(32)

8. Fofi, Mouaddib et Salvi

32

Codage couleurs

LS – Exemples de codage

Plan projecteur Plan image

(33)

Laser

Caméra linéaire

Plaque métallique

Garcia, Garcia, Obeso et Fernandez

Projecteur

Verre dépoli Caméra

Profil analysé

Mouaddib, Brassart et Fofi Profilométrie pour des plaques métalliques

Une caméra linéaire observe un point de surbrillance projeté sur la surface d’une plaque métallique

Profilométrie pour des plaques de verre Le verre est illuminé par un motif binaire:

la déformation du motif se projette sur du verre dépoli observé par la caméra

LS – Applications: métrologie

(34)

Plan de base

Plan de référence

Plan image Diapositive

Sotoca, Buendia, Iñesta

Mesure des déformations

pathologiques du dos humain

•  Une grille codée est projetée sur le dos des patients

•  La calibration consiste à

projeter cette grille sur un plan de référence et sur un plan de base

•  Par des calculs, basés sur la similarité des triangles, une image de profondeur est obtenue à partir des données de l’image

34

LS – Applications: anthropométrie

(35)

Robotique sous-marine

•  Le capteur est enfermé dans un caisson en plexiglass

•  La ligne de vue est diffractée deux fois (plexiglass et eau)

•  La ligne de base n’est plus constante

•  Mesure rapide de profondeur (portée < 2 m)

Robotique extra-terrestre: Rover Sojourner (sur la planète Mars en 1997)

•  Deux lasers sont diffractés en quinze

faisceaux coplanaires et observés par deux caméras.

•  Analyse du terrain en face au robot

Caméra 1 Caméra 2

Laser 1 Laser 2

Matthies, Balch et Wilcox

Caméra

Miroir

Rayon laser

Plexiglass

Air Eau

Ligne de base Ligne

de base effective

Chantier, Clark et Umasuthan

LS – Applications: robotique mobile

Faisceaux

(36)

Tableau récapitulatif:

typologies de capteur

Classification (utilisation

typique) Capteur/Système de

perception PC ou EC A ou P Capteurs tactiles (détection

de contact physique ou de proximité, interrupteurs de sécurité)

Interrupteurs de contacts,

bumpers EC P

Barrière optique EC A

Capteurs de roue/moteur

(vitesse et position de roue/moteur)

Encodeurs à balais PC P

Potentiomètres PC P

Encodeurs optiques PC A Encodeurs magnétiques PC A Encodeurs inductifs PC A Encodeurs capacitifs PC A

A : Actif P : Passif

PC : Proprioceptif EC : Extéroceptif

(37)

Classification (utilisation typique) Capteur/Système

de perception PC ou EC A ou P

Capteurs d’orientation (orientation du robot en relation à un référentiel fixe)

Compas EC P

Gyroscope PC P

Inclinomètre PC A/P

Basé balise (localisation dans un référentiel fixe)

GPS EC A

Balise active optique

ou radio EC A

Balise active à ultrasons EC A

Balises réflectives EC A

(38)

Classification (utilisation typique) Capteur/Système

de perception PC ou EC A ou P

Télémétrie active (réflectivité, temps de vol et triangulation géométrique)

Capteurs de réflectivité EC A Capteur à ultrasons EC A

Télémètre laser EC A

Triangulation optique (1D) EC A

Lumière structurée (2D) EC A

Capteurs de mouvement/vitesse (vitesse relative à des objets statiques ou fixes)

Doppler radar EC A

Doppler sonore EC A

Capteurs de vision (télémétrie

visuelle, analyse de l’image complète, segmentation, reconnaissance d’objet)

Caméras à capteur

CCD/CMOS EC P

Références

Documents relatifs

◦  Très difficile: les quatre roues suédoises doivent avoir exactement la même vitesse pour que le robot suive une ligne droite. Commandabilité

•  Chaque fois que une charge utile plus importante est demandée, la structure mécanique nécessitera d’une plus grande rigidité pour maintenir une précision de

•  Considérons les rotations qu’on peut obtenir à partir de rotations élémentaires autour des axes x , y , z. •  Ces rotations sont positives s’ils sont faites

•  [Rotation] Composants des vecteurs unitaires du repère attaché au solide avec origine O’, par rapport au repère fixe (l’attitude du solide)...

•  Les informations proprioceptives (issues du S.M.A.) sont généralement définies dans des repères liés aux différents segments du robot. •  La position à atteindre

•  Elle peut être mise en échec chaque fois que les points de la trajectoire engendrée ne sont pas dans le volume accessible du robot ou chaque fois que la trajectoire impose

Remarque: les configurations d’un robot qui sont singulières pour le modèle géométrique inverse les sont aussi pour le jacobien. 2)  Les singularités à l’intérieur

Statistiques annuelles de l’IFR (pour les robots de service et les robots industriels).. World Robotics 2016. •  Un autre secteur à forte croissance sera le secteur