HAL Id: hal-01636402
https://hal.archives-ouvertes.fr/hal-01636402
Submitted on 24 Jan 2018
HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-entific research documents, whether they are pub-lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.
L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.
SLAM visuel actif pour la cartographie en grande gamme dynamique
Christian Barat, Andrew I. Comport
To cite this version:
Christian Barat, Andrew I. Comport. SLAM visuel actif pour la cartographie en grande gamme dynamique. XXVIème Colloque GRETSI, Sep 2017, Juan-les-Pins, France. �hal-01636402�
SLAM visuel actif pour la cartographie
en grande gamme dynamique
Barat Christian, Andrew Comport
Laboratoire I3S ,UNS-CNRS
[email protected], [email protected]
Introduction
L'approche visuelle dense de localisation et car-tographie (SLAM) permet d'estimer la pose entre chaque acquisition et de recaler les images et ainsi de construire un environnement 3D gé-néralement en basse gamme dynamique (LDR). Ce travail propose une solution pour construire des cartes 3D de l'environnement en grande gamme dynamique (HDR). L'approche est basée sur théorie de l'information avec pour objectif de contrôler le temps d'exposition du capteur en es-sayant de maximiser l'information de la carte de l'environnement 3D.
Méthode Générale
Capteur RGB-D Suivi en HDR Cartographie en HDR Modèle Inverse Contrôle du temps d'exposition Modèle Direct Temps d'exposition ∆t Image LDR Pose du capteur T Histogrammes prédits Irradiance EModèle direct: Permet de prédire une image pour un temps d'exposition diérent.
Modèle inverse: Permet de convertir les images de luminance en image d'irradiance.
Suivi: Estime la pose courante du capteur à partir d'images d'irradiance et de profondeur.
Cartographie: Construit la carte 3D et fusionne les images dans le domaine des irradiances.
Contrôle: Prédit le meilleur temps d'exposition à partir de l'histogramme courant de l'image d'ir-radiance.
Contrôle du temps d'exposition
Image acquise avec un temps d'exposition ∆t =j ms
Histogramme de Luminance des pixels
Modèle inverse + Modèle direct Entropie + Histogramme Luminance prédit ∆t=1ms Histogramme Luminance prédit ∆t=j ms Histogramme Luminance pré-dit ∆t=30ms Histogramme Irradiance ∆t = 1ms Histogramme Irradiance ∆t = j ms Histogramme Irradiance ∆t = 30ms Entropie
(j & 1) Entropie(j & k) Entropie(j & 30) Mixture histogramme Irradiance (j & 1) Mixture histogramme Irradiance (j & k) Mixture histogramme Irradiance (j & 30) Entropie maximale
Meilleur temps d'exposition prédit
Modèle Direct
Estimer la valeur d'un pixel I∆t2
i pour un temps
d'exposition ∆t2 à partir d'un pixel I∆ti 1 obtenu
avec un temps d'exposition ∆t1:
I∆t2 i = A(I ∆t1 i , ∆t1)I ∆t1 i (1) avec ∆t1 = n, ∆t2 = n + 1 et n ∈ [1, 30]ms
et A matrice de dimension 256 × 30 (niveaux d'intensité×nombre de temps d'expositions).
Modèle Inverse
L'intensité d'un pixel I∆tj
i dépend de la fonction
de réponse de la caméra f, du temps d'exposition
∆tj et de l'irradiance E: I∆ti j = f (Ei∆tj). Avec
le modèle inverse g = lnf −1 :
lnEi = g I∆ti j − ln∆tj (2)
où i est l'indice des pixels et j l'indice des temps d'exposition.
Suivi en HDR
Objectif : Estimer la transformation 3D, Te entre l'image courante IHDR et une image I∗HDR de
référence prédite à partir du modèle 3D. On estime en fait le vecteur x de 6 degrés tel que : e
T = bTT(x) (3)
où Tb est une estimée de la pose initiale Te La variable x est estimée en utilisant une méthode de
Gauss-Newton pondérée:
x = −( JT WJ−1 JT WeHDR (4)
ou W est la matrice de poids et J est le Jacobien.
L'erreur eHDR est dé nie par:
e(x)HDR = h IHDR w b TT(x), V∗ − I∗HDR(P)∗ i (5) où la fonction de projection w TT(x), Vb ∗ projette les sommets V∗ associés aux pixels rétro-projetés P∗ , avec la transformation bTT(x) sur le plan de l'image normalisée.
Cartographie/fusion en HDR
Le modèle 3D (graphe d'images de référence) est mis à jour avec les nouvelles images dans le domaine des log irradiance: ln(E).
Pour mettre à jour le modèle 3D, on mélange la nouvelle image avec les images de référence.
C∗HDR(p, t) ← C∗HDR(p, t − 1) + h(Iw(p, t)) (6) I∗HDR(p, t) ← h(I w(p, t))Iw HDR(p, t) + C∗HDR(p, t − 1)I∗HDR(p, t − 1) C∗HDR(p, t) (7) où Iw et Iw
HDR sont respectivement l'image courante LDR et HDR projetées sur l'image de référence.
Avec h la sensibilité du capteur:
h(I∆ti j ) = dI
∆tj i
dg(I∆ti j ) (8)
Résultats : sous-exposition
Image LDR Reference, Exposure time=15ms
100 200 300 400 500 600 100
200
300
400
Image LDR Warped, Exposure time = 30ms
100 200 300 400 500 600 100
200
300
400
Mixture 2 images, Entropy =6.2094
100 200 300 400 500 600 100
200
300
400
Image LDR Warped,exposure time = 27ms
100 200 300 400 500 600 100
200
300
400
Mixture of 3 images, Entropy =6.2886
100 200 300 400 500 600 100
200
300
400
Figure 1 A gauche les 3 images LDR sources ac-quises et à droite les images résultantes HDR. L'en-tropie évolue de 5.69 à 6.47. On peut remarquer que la partie gauche (sous exposée) est mieux représen-tée sur les images en HDR.
Résultats : sur-exposition
Image LDR Reference, Exposure time=15ms
100 200 300 400 500 600 100
200
300
400
Image LDR Warped, Exposure time = 7ms
100 200 300 400 500 600 100
200
300
400
Mixture 2 images, Entropy =6.4378
100 200 300 400 500 600 100
200
300
400
Image LDR Warped,exposure time = 7ms
100 200 300 400 500 600 100
200
300
400
Mixture of 3 images, Entropy =6.4375
100 200 300 400 500 600 100
200
300
400
Figure 2 A gauche les 3 images LDR sources ac-quises et à droite les images résultantes HDR. L'en-tropie évolue de 6.24 à 6.43. La partie ré échie du ciel sur le tableau n'est plus sur-exposée dans l'image HDR.
