2.7 Pyramide multi-r´esolution
3.1.1 Sph`ere photom´etrique panoramique
Alors que les travaux deKrishnan & Nayar (2009) pr´esentent un vrai capteur sph´erique, l’acquisition d’images panoramiques de bonne qualit´e est encore un probl`eme non r´esolu. En effet, seule la construction de capteurs planaires (CCD ou CMOS) est maitris´ee, et donc de cam´eras `a champ de vue limit´e. Bien que certains objectifs permettent l’acquisition d’images tr`es grand angle (e.g. objectif fisheye, cf. figure3.1), la vision panoramique `a 360˚ est d’une mani`ere g´en´erale simul´ee. Deux techniques sont majoritairement utilis´ees : les cam´eras omnidirectionnelles catadioptriques et les syst`emes multi-cam´eras.
3.1.1.1 Cam´era omnidirectionnelle catadioptrique
Les cam´eras omnidirectionnellesNayar(1997) permettent d’acqu´erir des images avec un champ de vision horizontal de 360˚ et avec un centre de projection unique. Ce capteur est en g´en´eral compos´e d’une cam´era perspective classique ou orthographique, `a laquelle vient se greffer un miroir convexe de forme le plus souvent hyperbolique ou parabolique (voir figure3.2), plac´e dans l’axe optique de la cam´era.
Ce type de cam´era peut ˆetre mod´elis´e par le mod`ele de projection unifi´e propos´e par
Mei & Rives(2007), qui est une extension de Geyer & Daniilidis(2000). Ce mod`ele effectue deux projections successives : une projection sph´erique suivie d’une projection perspective (cf. figure3.3). Un point P ∈ R3 de l’espace Euclidien est projet´e sur la sph`ere unitaire par
une projection sph´erique :
qS =
P
kPk. (3.1)
Le point qS est exprim´e dans le rep`ere FM par :
qM = qS+ e3ξ (3.2)
o`u le param`etre ξ ∈ [0; 1] d´epend de la g´eom´etrie du miroir. Le point qM est alors projet´e
dans le plan normalis´e de la cam´era par :
m = qM
eT 3qM
Fig. 3.1 – Objectif grand angle et image fisheye.
Fig. 3.2 – Cam´era omnidirectionnelle catadioptrique. et dans le plan image normalis´e par :
p = Km = γ1 γ1s u0 0 γ2 v0 0 0 1 m, (3.4)
o`u K est la matrice des param`etres intrins`eques de la cam´era, et (γ1, γ2) sont les distances
focales g´en´eralis´ees et d´ependent de la forme du miroir. Les valeurs th´eoriques de γ et ξ sont d´etaill´ees dans Mei & Rives (2007), et peuvent ˆetre d´etermin´ees lors d’une phase d’´etalonnage.
L’image omnidirectionnelle Io peut ainsi ˆetre re-projet´ee sur une image sph´erique IS
au moyen d’un warping st´er´eographique inverse :
IS(qS) = Io(w(K, ξ, qS)) (3.5)
L’inconv´enient majeur de ce genre de cam´eras est d’une part, une faible r´esolution (360˚ sont projet´es sur un seul capteur perspectif), et d’autre part une r´esolution spatiale non
3.1. Syst`emes existants 45 P qS, qM m = qM/(eT3qM) p = Km m p ξ ~iM ~kM ~jM FM ~iS ~kS ~jS FS Io IS
uniforme : la qualit´e de l’image diminue en direction des bords du capteur (cf. figure 3.3). De plus en fonction de la forme du miroir, la largeur en champ vertical est limit´ee (demi- sph`ere,<90˚), ce qui n’est pas id´eal pour cartographier des environnements urbains : la partie saillante et stable de l’information se trouvant souvent en hauteur (fa¸cade des bˆatiments). 3.1.1.2 Syst`emes multi-cam´era
Il est ´egalement possible de construire une image panoramique, assembl´ee `a partir de plusieurs images, captur´ees simultan´ement par plusieurs cam´eras reli´ees rigidement Baker et al. (2001) ou issues d’une s´equence d’image Lovegrove & Davison (2010). Les images, dont la position doit ˆetre parfaitement connue sont alors recal´ees, projet´ees et fusionn´ees sur une sph`ere virtuelle tangente aux capteurs par une technique de mosaicing Szeliski (2006). Les N images Ii peuvent ˆetre transform´ees et fusionn´ees sur une sph`ere par une fonction
de warping des intensit´es des images perspectives vers l’image sph´erique IS :
IS(qS) = α1I1 w(K1, R1, qS) + . . . + αNIN w(KN, RN, qS) , (3.6)
o`u les cœfficients α sont les cœfficients de fusion des intensit´es, les matrices Ki les para-
m`etres intrins`eques des cam´eras et les matrices Ri repr´esente la rotation des images par
rapport `a la sph`ere. Puisque l’information de profondeur n’est pas connue, les translations ti, entre les images et la sph`ere sont obligatoirement n´eglig´ees. La fonction p = w(K, R, qS)
transf`ere le point de la sph`ere unitaire qS ∈ S2 dans l’image par une projection perspective
(cf. figure 3.4(c)) :
p = KRqS
eT
3KRqS
. (3.7)
Grˆace `a l’utilisation de plusieurs images issues de capteurs perspectifs, ce genre de technique permet de construire des images sph´eriques de tr`es grande r´esolution (>10 millions de pixels). N´eanmoins, le fait de n´egliger les translations, revient `a assumer un centre de projection commun `a toutes les cam´eras afin d’aligner les images en rotation uniquement (la rotation ´etant ind´ependante de la g´eom´etrie de la sc`ene). Dans ce cas les centres optiques doivent ˆetre le plus proche possible les uns des autres, ce qui peut ˆetre probl´ematique en terme de conception m´ecanique car le centre optique d’une cam´era est un point virtuel.
Dans certains cas, notamment lorsque des objets de la sc`ene sont proches des capteurs, la translation entre les centres optiques n’est pas n´egligeable, l’hypoth`ese du centre de projection unique n’est pas valable : des art´efacts li´es aux effets de parallaxe sont visibles dans les images panoramiques reconstruites.
Pour minimiser cet effet de parallaxe,Li(2006a) a propos´e une cam´era sph´erique compo- s´ee de deux objectifs fisheye plac´es dos `a dos. L’image finale est form´ee sur un seul capteur `a l’aide d’un miroir. Ce syst`eme permet de minimiser la translation entre les deux cam´eras virtuelles et ainsi obtenir un centre de projection quasiment unique. Cependant, le fait de n’utiliser qu’un seul capteur ne permet pas d’obtenir des sph`eres de grande r´esolution.