DIRECT STEREO CORRESPONDENCE FOR FISHEYE CAMERAS

Figure C.6: Visualisation de l’´etalonnage sous influence du bruit. Bleu — la vraie position, vert — trajectoires optimales, rouge — trajectoires suboptimales. Le mod`ele de camera est une pyramise de taille 0.4 × 0.4 × 0.4 m. Plus fort est le bruit, plus importante est l’erreur d’estimation. Pourtant la trajectoire optimale (`a gauche) paraˆıt plus r´esistante au bruit.

3.3 Conclusions

Une toolbox d’´etalonnage flexible et efficace pour les syst`emes multi-camera a ´et´e d´evelopp´e. Cette toolbox contient un nouveau d´etecteur de la mire d’´etalonnage de type ´echiquier. Le d´etecteur est plus efficace et plus rapide que celui, fourni avec OpenCV. Il nous permet d’utiliser de grand jeux de donn´ees pour faire l’´etalonnage en gardant le temps d’´etalonnage relativement petit.

Le mod`ele unifi´e am´elior´e a ´et´e test´e intensivement. La pr´ecision de ce mod`ele, ´evalu´ee avec l’erreur de reprojection apr`es l’´etalonnage, est proche `a celle du Mod`ele Unifi´e avec la distorsion. Pourtant le temps d’´etalonnage du mod`ele am´elior´e correspond plutˆot `a celui du mod`ele sph´erique. En ayant deux param`etres de distorsion seulement, nous ´evitons tout risque de surapprentissage (overfittig en anglais). Ce fait rend le mod`ele aussi utilisable pour les cameras faibles distorsions.

Nous avons aussi propos´e et test´e une m´ethode de calcul des trajectoires optimales pour l’´etalonnage extrins`eque de robots mobiles. La robustesse de cette m´ethode `a l’´egard du bruit de bruit de mesure a ´et´e d´emontr´ee avec des donn´ee synth´etiques. Un v´ehicule ´equip´e d’une camera a ´et´e ´etalonn´e avec cette m´ethode et les r´esultats de cet ´etalonnage ont ´et´e utilis´e pour faire de la localisation bas´ee vision et odom´etrie des roues.

4

Direct Stereo Correspondence for Fisheye Cameras

La correspondance st´er´eo est la base du syst`eme de perception d´evelopp´e dans le cadre de ce projet. L’id´ee de l’algorithme de correspondance est d’´eviter la rectification des images fisheye et les traiter directement. Le mod`ele de cam´era propose nous permet de calculer les ´equations des courbes ´epipolaires et d’utiliser la notion de disparit´e, c’est `a dire, la distance parcouru le long d’une courbe ´epipolaire mesur´ee en pixels. Tout cela nous permet d’utiliser l’algorithme de correspondance st´er´eo qui s’appelle Semi-Global Matching.

Une autre option est d’utiliser une image de profondeur calcul´ee pour une base st´er´eo plus petite comme valeurs initiales pour le calcul avec une base plus large. Comme ¸ca, on r´eduit significativement l’intervalle de recherche de correspondance ainsi que la probabilit´e de trouver une correspondance erron´ee (`a cause d’une ambigu¨ıt´e). Cet algorithme est particuli`erement utile dans le cas d’une s´equence vid´eo. Pour initialiser l’image de profondeur on utilise SGM avec une base st´er´eo petite.

184 APPENDIX C. R ´ESUM ´E ´ETENDU EN FRANC¸ AIS

4.1 Results

L’algorithm a ´et´e test´e avec des donn´ees synth´etiques, ce qui nous a permis d’´evaluer sa pr´ecision. Nous avons test´e les deux algorithmes sur les mˆeme s´equences, qui repr´esentent la mˆeme sc`ene avec la transformation st´er´eo diff´erente. La premi`ere image de chaque s´equence est la mˆeme (Fig. C.7).

Les deux montrent une performance similaire. Fig. C.8 nous montre la derni`ere image de chaque s´equence ainsi que deux images de profondeur pour chaque des deux m´ethodes: avec la base st´er´eo ≈ 6 cm et ≈ 18 cm. Certaines parties de la carte de profondeur sont vides parce que pour les limites de disparit´e donn´ees, pour ce pixels la recherche le long des courbes ´epipolaires exc´ederais les limites de l’images. On peut voir que dans toit les cas, l’algorithme parvient `a reconstruire la sc`ene, bien que la transformation aie un impacte sur la reconstruction.

Pour SGM, l’effet de quantification est particuli`erement remarquable `a cause du fait que le spectre de profondeur est discret. Donc les discontinuit´e en profondeur sont in´evitables. Au contraire, la reconstruction faite par l’algorithme pr´edictif parait plus lisse car cet algorithme accumule des informations provenantes des images diff´erentes, ce qui lui permet d’avoir un spectre plus dense.

`

A mesure que la base st´er´eo s’´elargit, le spectre de profondeur devient de plus en plus dense et la reconstruction devient plus lisse et pr´ecise.

Real Data Tests L’algorithme a ´et´e ´egalement test´e avec des donn´ees r´eelles. Les images ont ´et´e prises avec une camera fisheye ´etalonn´ee attach´ee `a un bras robotique, ce qui nous a permis de calculer la transformation st´er´eo pour toutes les paires d’images. Fig. C.10 montre quelques exemples d’images et les images de disparit´e calcul´e.

Pour avoir une ´evaluation quantitative de l’algorithme, la reconstruction 3D d’un objet planaire `a ´et´e faite et compar´ee avec les valeurs de r´ef´erence (see Fig. C.11). La r´ealit´e de terrain a ´et´e obtenu de la fa¸con suivante:

1. La transformations entre la base du robot et le plan a ´et´e mesur´ee.

2. En sachant la configuration du robot, il es possible de calculer la transformation camera- plan.

3. L’image de profondeur a ´et´e g´en´er´ee avec les param`etres intrins`eques de la camera. L’objet planaire ne couvrait pas l’images enti`ere, donc plusieurs jeux de donn´ees ont ´et´e acquis pour tester la m´ethode dans les parties diff´erentes de l’image. Les images de disparit´e, c’est `a dire la sortie directe de l’algorithme de st´er´eo, ont ensuit ´et´e converties en images de profondeur. Puis, l’erreur a ´et´e calcul´e et analys´e. Seules les pixels appartenant au plan ont ´et´e pris en compte. Tous les pixels avec une erreur de reconstruction sup´erieure `a 100 mm sont consid´er´es comme outliers et rejet´es.

Les r´esultats montrent que plus la base st´er´eo est large, plus l’erreur est petite. La distri- bution d’erreur est relativement fine par rapport aux valeurs de distance actuelles. Aussi, le taux de inliers est ´elev´e, ce qui veut dire que globalement cet algorithme est efficace et pr´ecis pour la reconstruction d’objets planaires.

4.2 Conclusions

Le propri´et´e du Mod`ele Unifi´e Am´elior´e nous permettent de mod´eliser les syst`emes fisheye st´er´eo. Les ´equations de courbes ´epipolaires calcul´e avec ce mod`ele, une fois rasteris´ees, peuvent ˆetre utiliser pour calculer la correspondance st´er´eo directe.

4. DIRECT STEREO CORRESPONDENCE FOR FISHEYE CAMERAS 185

Figure C.7: L’image de base et la profondeur de r´ef´erence.

a)

b)

c)

d)

Figure C.8: Exemples d’images de profondeur calcul´es pour des mouvements de camera diff´erents. La premi`ere colonne montre les images finales de chaque s´equence. Deuxi`eme et troisi`eme colonnes montrent les r´esultats de reconstruction par SGM. Quatri`eme et cinqui`eme colonnes montrent les r´esultats pour l’algorithme pr´edictif. Deuxi`eme et quatri`eme colonnes correspondent `a une base st´er´eo de ≈ 8 cm. Troisi`eme et cinqui`eme colonnes correspondent `a une base st´er´eo de ≈ 20 cm. (a) mouvement `a droite, pas de rotations. Le mur de l’arri`ere- plan donne beaucoup de bruit de reconstruction car certaines de ses caract´eristiques sont parall`eles aux courbes ´epipolaires. (b) mouvement vers le bas avec une rotations vers le haut. Le mur de l’arri`ere-plan est reconstruite d’une fa¸con plus r´eguli`ere. (c) mouvement en avant avec une rotation `a droite, L’aire noire sur le bord de l’image apparaˆıt parce que quand la camera va en avant, tout ce qui est sur le bord de l’image disparaˆıt. Le cercle noir au milieu est autour de l’´epipole, ou la reconstruction 3D rencontre une singularit´e. (d) mouvement `a droites et en avant avec une rotation autour de l’axe optique. Cela nous montre l’un des avantages les plus int´eressants de cette m´ethode, la rotation autour de l’axe optique n’abˆıme pas les r´esultats de reconstruction.

186 APPENDIX C. R ´ESUM ´E ´ETENDU EN FRANC¸ AIS

a)

b)

c)

d)

Figure C.9: Exmemples de reconstruction. Seul la partie du nuage de points au-dessus du sol est afficher. La sequence (d) de Fig. C.8 est utilis´e. La camera se d´eplace `a gauche et vers l’avant en tournant autour de l’axe optique. Les points rouges repr´esentent les positions de la camera utilis´ees pour le calcul st´er´eo. (a) Le sch´ema de la sc`ene, position de la camera initiale, vue de dessus. (b) Reconstruction avec SGM, la base st´er´eo est de 10 cm environ. (c) La mˆeme configuration que (b), mais avec la m´ethode pr´edictive : le r´esultat est l´eg`erement meilleur parce que l’algorithme fusionne les information de toutes les it´eration pr´ec´edentes. (d) Reconstruction bas´ee pr´ediction pour la base de 20 cm.

4. DIRECT STEREO CORRESPONDENCE FOR FISHEYE CAMERAS 187

Figure C.10: Images originales (`a gauche) et les images de disparit´e correspondantes (`a droite) pur les bases st´er´eo 10, 20, 30 mm.

a b c d

Figure C.11: Illustration de la methodologie d’´evaluation. (a) l’image de base. (b) la vraie image de profondeur du plan du journal. (c) les r´esultats de reconstruction st´er´eo. (d) la difference absolue entre la r´ealit´e de terrain et la reconsrtuction calcul´ee.

188 APPENDIX C. R ´ESUM ´E ´ETENDU EN FRANC¸ AIS

La correspondance st´er´eo bas´ee disparit´e nous donne une reconstruction 3D pr´ecise, ainsi qu’une m´ethode d’estimation d’erreur de reconstruction.

Comme cela est montr´e dans ce travail, l’algorithme st´er´eo fisheye peut ˆetre la base d’un syst`eme de localisation bas´ee vision. Nous sugg´erons que cet algorithme peut potentiellement atteindre le niveau de pr´ecision n´ecessaire pour la navigation autonome s´ecuris´ee et robuste.

5

Vision-Based Localization and Mapping

Un mod`ele de camera fisheye ´etalonn´e et un algorithme de reconstruction st´er´eo sont le ingr´edient n´ecessaires pour mettre en place un syst`eme de localisation visuelle directe. La seule chose manquante est la m´ethode de calcul de transformation entre deux positions bas´ee vision. S’il s’agit d’une m´ethode directe, on utilise le terme ”recalage d’images”. En faisant alternativement le calcul de profondeur et le recalage d’images on arrive `a faire la localisation visuelle.

5.1 Odom´etrie bas´ee points caract´eristiques

Le point fort des points caract´eristiques c’est que L’architecture de l’odom´etrie bas´ee points caract´eristiques est repr´esent´ee sur Fig. C.12. Cet odom´etrie utilise une m´ethode de recon- struction 3D r´egularis´ee ce qui nous permet d’utiliser l’optimisation non-lin´eaire et les mesures d’odom´etrie des roues Une s´equence synth´etis´ee a ´et´e utilis´ee pour tester cet algorithme. Un bruit `a ´et´e ajout´e aux mesures d’odom´etrie des roues.

Figure C.12: L’architecture de l’odom´etrie visuelle. Ii et ξo,i sont les entr´ees: l’image courante et la mesure d’odom´etrie des roues; Pi est l’ensemble des caract´eristiques d´etect´ees; ˜Pi,i−1est l’ensemble d’inliers calcul´e par RANSAC.

Nous utilisons RANSAC `a deux points avec l’odom´etrie des roues en tant que valeur a priori. La trajectoire reconstruite est pr´esenter sur Fig. C.14 L’odom´etrie des roues d´erive tr`es vite a cause d’un biais d’orientation tr`es fort. Et pourtant l’odom´etrie visuelle suit la vraie trajectoire beaucoup plus pr´ecis´ement.

5.2 Odom´etrie visuelle directe

L’odom´etrie visuelle directe est bas´ee sur la minimisation de l’erreur photom´etrique. Cette odom´etrie est bas´ee sur le principe de rep`eres cl´es, illustr´e sur Fig. C.15.

(a) Le premier rep`ere cl´e avec l’origine O1 est cr´e´e. Il a certaines limites d’orientation et de

distance (A et B). Il y a une image de profondeur D1 et une image I1 associ´ee avec ce

rep`ere.

(b) Tant que le robot reste dans les limites du rep`ere, il se localise par rapport `a O1. Cette

transformation ζ est puis utilis´ee pour raffiner D1.

(c) D`es que le robot sort des limites, un nouveau rep`ere cl´e est cr´e´e, avec l’origine O2 et

l’image I2. D1 est projet´e dans O2 et fusionn´e avec une nouvelle image de profondeur