La nouvelle méthode que nous proposons résout le problème de l’alignement des donnéesLiDARet caméra en réalisant un étalonnage cohérent du système multicapteur considéré composé de trois capteurs montés de manière rigide les uns aux autres : un scanner LASER, une caméra et un GNSS/INS. Ces trois capteurs sont respectivement associés aux repères scannerLASERs, caméra c etGNSS/INSb. Comme dans [Ravi et al.,
2018], nous nous appuyons sur des ensembles de données de caméra etLiDARqui sont temporellement synchronisées par rapport aux observations duGNSS/INS.
La méthode proposée
— est entièrement automatique,
FIGURE4.3 – Configuration du système multicapteur.
— est adaptée aux environnements naturels car elle ne nécessite pas de capturer des caractéristiques géométriques remarquables présentes par exemple dans des envi- ronnements urbains,
— ne s’appuie pas sur l’intensité de retour des donnéesLiDAR,
— ne nécessite pas une initialisation précise des paramètres d’étalonnage.
Les avantages susmentionnés de notre approche ont bien sûr une contrepartie ; les limites de cette dernière sont résumées ci-dessous :
— La méthode repose sur la disponibilité de donnéesGNSS/INSsuffisamment précises. — L’approche n’estime pas les paramètres intrinsèques de la caméra et exige qu’ils
soient préalablement étalonnés.
L’étalonnage d’un système multicapteur, dont les capteurs individuels ont été préala- blement étalonnés, consiste à estimer six paramètres d’étalonnage par paires de capteurs : trois paramètres de rotation, appelés angles de désalignement (roulis, tangage, cap) et trois paramètres de translation qui sont les composantes du bras de levier-bras.
Rappelons que ces paramètres peuvent être représentés par une matrice de transfor- mation homogène de corps rigide Txy qui représente la position et l’orientation du repère y
associé au capteur Y par rapport au repère x associé au capteur X. Comme ces capteurs sont supposés être montés de manière rigide les uns aux autres, nous dirons que l’étalon- nage est cohérent si les estimations de Txyalignant les données de X et Y et de Tzyalignant
les données de Y et Z permettent de définir une transformation Txz= TzyT y
x qui aligne les
données de X et Z (voir la figure4.3).
Notre approche consiste à calculer successivement Tcbet Tsb(voir figure4.4). Dans un premier temps, Tsbest calculé par une méthode robuste inspirée de l’approche de l’état de l’art [Glira et al.,2016]. Dans un second temps, une estimation de Tbc est effectuée en s’appuyant sur l’estimation précédente de Tbs, alignant ainsi s et c en assurant la cohérence des données de l’ensemble du système multicapteur et, par conséquent, l’alignement précis des images et du nuage de pointsLiDARgéoréférencés.
Dans la méthode proposée, les estimations des transformations Tbs et Tbc impliquent d’être initialisées de manière approximative en s’appuyant sur la configuration de montage du système multicapteur. Contrairement aux autres méthodes basées sur des mesures de similarité décrites dans la section4.1.1, notre approche est suffisamment robuste pour
FIGURE4.4 – Schéma du processus d’étalonnage LiDAR–GNSS/INS–caméra.
qu’une initialisation éloignée de la solution optimale ne détériore pas la convergence de l’algorithme d’étalonnage, comme le reflète la section4.4.4. De plus, notre méthode présente certains avantages par rapport aux travaux [Glira,2018;Ravi et al.,2018] car elle ne nécessite pas la reconstruction par photogrammétrie de points 3D à partir des points image caractéristiques 2D extraits des images et permet ainsi de s’affranchir de coûteux calculs. Enfin, nous ne supposons pas, dans notre méthode, l’existence de correspondances réelles entre une observation issue d’une image et une mesureLiDAR.
4.2.1 Étalonnage LiDAR–GNSS/INS
Les angles de désalignement et le bras de levier entre s et b sont estimés selon la méthodologie présentée dans [Glira et al., 2016]. Notons que, lors de l’ajustement par la méthode des moindres carrés, nous avons fixé la composante verticale du bras de levier à une valeur mesurée manuellement, en raison de la limitation présentée dans la section4.1.2.
4.2.2 Étalonnage GNSS/INS–caméra
DonnéesLa transformation estimée Tbs permet de géoréférencer, c’est-à-dire de référencer dans le repère terrestre e, un nuage de points 3D à partir de mesures synchronisées issues du LiDARet duGNSS/INS. Chaque prise de vue est horodatée par leGNSS/INSet sa position et son orientation précises peuvent donc être estimées par interpolation. Cependant, la position et l’orientation géoréférencées du repère de la caméra c par rapport au repère e ne sont connues qu’approximativement en raison de l’initialisation grossière préalable de Tbc. Les données d’entrée de notre méthode sont constituées de nuages de points géoréférencés et d’images, issus de différentes lignes de vol recueillies par le système multicapteur à bord d’un drone pendant une campagne d’acquisition de données.
Principe
Au cours du survol, de nombreuses images prisent par la caméra auront des champs de vue qui s’intersectent. Prenons une paire de telles images et supposons que l’on soit capable d’apparier deux points image caractéristiques, chaque point étant issu d’une des images. Grâce au géoréférencement et à l’estimation courante de la transformation Tbc, il est possible d’estimer, dans le repère e, la position de la droite de projection, passant par chacun des points caractéristiques de la paire considérée. Soit une paire { f1, f2} de
points image caractéristiques conjugués extraits de deux images dont les champs de vue s’intersectent. Notons P1le pointLiDAR3D géoréférencé le plus proche de la droite de
projection passant par f1et P2le pointLiDAR3D géoréférencé le plus proche de la droite
de projection passant par f2(voir figure4.5). De cette façon, toute paire de points image
caractéristiques conjugués peut être associée à une paire de pointsLiDAR3D.
En cas d’alignement parfait, P1et P2doivent être identiques (figure4.5d). En cas d’ali-
gnement imparfait, P1et P2sont très probablement différents (figure4.5c). La méthode
proposée consiste à exprimer la distance entre P1et P2en fonction des paramètres de la
transformation Tcb. Par conséquent, la prise en compte de toute paire de points caractéris- tiques conjugués extraits d’images ayant des champs de vues qui se recouvrent permet d’estimer les paramètres de la transformation Tbc en minimisant la somme de toutes les distances entre toutes les paires de pointsLiDAR3D associées.
Cette façon de procéder présente deux intérêts majeurs. Premièrement, elle permet de mettre en relation la position et l’orientation des prises de vue de la caméra avec le nuage de pointsLiDARsans supposer l’existence de correspondances réelles entre ces données, ce qui serait incorrect en raison des différentes caractéristiques capturées par le LiDARet la caméra. Deuxièmement, par ce principe nous ne cherchons pas à reconstruire la position 3D d’un point image, par exemple par des techniques d’interpolation ou de reconstruction surfacique du nuage de pointsLiDAR, ces dernières pouvant introduire des biais dans l’information générée et étant coûteuse en temps de calcul.
Processus
Notonsξ = [ ϑx bc,yϑcb,zϑbc, tx bc, ty bc, tz bc] les paramètres d’étalonnage à estimer,xϑbc,yϑbc, ϑ
z bc étant les angles de désalignement et tx bc, ty bc, tz bc les composantes du bras de levier
associé à la transformationGNSS/INS–caméra Tbc.
Dans une étape de prétraitement, nous extrayons d’abord des points caractéristiques de toutes les images qui sont prises en compte pour ce processus d’étalonnage. Ensuite, nous définissons un ensemble de N paires de points image caractéristiques conjugués en
FIGURE4.5 – Principe de la méthode d’étalonnage GNSS/INS–caméra. Les figures (a) et (b) montrent deux images prises capturant partiellement la même scène et à des positions, orientations et moments différents. f1et f2est une paire de points image caractéristiques conjugués. p1est la
projection de P1dans l’image de gauche, tandis que p2est la projection de P2dans l’image de droite.
La figure (c) illustre le cas d’un alignement imparfait des caméras GNSS/INS : P1et P2sont des
points 3D différents. La figure (d) montre le cas d’alignement parfait : P1et P2sont le même point
LiDAR 3D.
mettant en correspondance les points caractéristiques issus de paires d’images dont les champs de vue se recouvrent. Dans les expériences menées au cours de ce chapitre, nous utilisons le détecteur et le descripteurSIFT[Lowe,2004]. Cependant, tout autre détecteur et descripteur de points de caractéristiques peut être utilisé. Une analyse comparative des différents détecteurs et descripteurs peut être trouvée dans [Tareen et Saleem,2018].
Considérons une paire de points image caractéristiques ( f1, f2) et sa paire de points
LiDAR3D la plus proche (P1, P2). Afin de trouver P1, nous projetons d’abord chaque point
LiDAR3D dans l’image où se trouve f1. Nous effectuons ensuite une recherche du plus
proche voisin dans l’espace image autour de f1en utilisant un arbre k-D [Bentley,1975].
P1est le point dont la projection p1est la plus proche de f1et se trouve dans l’image. P2
s’obtient de manière similaire (figure4.5a-b). De cette façon, nous nous affranchissons d’effectuer une recherche coûteuse du plus proche voisin dans l’espace objet 3D. Bien que la recherche du voisin le plus proche dans l’espace image 2D ou dans l’espace objet 3D
ne soit pas équivalente, la méthode proposée est une approximation raisonnable si l’on considère que les images sont généralement situées à de grandes distances au-dessus du nuage de points.
Soit d (P1, P2) le carré de la distance euclidienne entre P1et P2. L’expression de d (P1, P2)
en fonction deξ est donnée par l’équation4.2:
d (P1, P2) = kTen(t2)Tbn(t2)Tbc(ξ)˜Pc2(t2) − Tne(t1)Tbn(t1)Tcb(ξ)˜P1c(t1)k2, (4.2)
où ˜Pci(tj) ( j ∈ {1,2}) représente les coordonnées homogènes du pointLiDAR3D Pi dans le
repère de la caméra c au temps tj, Tne(tk)Tnb(tj) ( j ∈ {1,2}), le produit des transformations
homogènes entre les repères b et n puis entre n et e au temps tj et Tcb(ξ) la transforma-
tion homogène entre c et b qui dépend uniquement des paramètres d’étalonnageξ (voir chapitre2).
Considérons l’ensemble des N paires de points image caractéristiques conjugués et dk
la distance au carré entre les deux pointsLiDAR3D associés à la paire k de points de ca- ractéristiques d’image conjuguées. Nous déterminons un critère d’alignementGNSS/INS– caméraΓ que nous calculons comme suit :
Γ(ξ) =XN
k
dk (4.3)
Ce critère étant une fonction non linéaire deξ, nous utilisons un algorithme non linéaire des moindres carrés pour trouverξ?, le minimum global deΓ. L’utilisation d’une fonction de perte de Huber [Huber,2011] nous permet de minimiser l’impact des valeurs aberrantes sur cet étalonnage. Il est à noter qu’à chaque itération de l’algorithme non linéaire des moindres carrés, la valeur couranteξ est utilisée pour mettre à jour les pointsLiDAR3D les plus proches de chaque paire de points image caractéristiques conjugués. L’optimisation s’arrête lorsque la variation deΓ entre deux itérations est inférieure à un seuil spécifique.
4.2.3 Étalonnage intrinsèque de la caméra
Comme évoqué dans la section4.2, la méthode d’étalonnage proposée n’estime pas directement les paramètres intrinsèques de la caméra. Or ceux-ci sont nécessaires pour la recherche des pointsLiDARles plus proches des points image caractéristiques. Nous détaillons rapidement dans cette section la solution adoptée dans la suite de ce chapitre pour la modélisation et l’estimation des paramètres intrinsèques de la caméra.
Le modèle de caméra utilisé considère une fonction de distorsionDcomposée unique- ment d’une correction radiale telle queD=DR. Cette fonction fait intervenir 5 paramètres de distorsion radiales Rkavec k = {3,5,7,9,11} et un centre de distorsion (cx, cy) distinct
des coordonnées du centre de projection (ox, oy) dans l’image (voir section2.5.1).
L’étalonnage intrinsèque est effectué suivant une méthode automatique, dite d’auto- étalonnage de la caméra, qui utilise N paires de points image caractéristiques conjuguées détectés dans les images prises en compte pour le processus d’étalonnageGNSS/INS– caméra. Ces paires de points image caractéristiques conjuguées servent ensuite de données d’entrée à une méthode d’ajustement de faisceaux [Triggs et al.,1999] qui permet d’estimer les paramètres intrinsèques du modèle de caméra défini.