Synthese d'images a partir de points

Nous realisons ici une synthese de nouvelles images a partir des points3dreconstruits a l'etape precedente :

2 dans le cas de

N

 3 images, apres reconstruction robuste aux moindres carres medians;

2 dans le cas binoculaire, apres ajustement epipolaire, puis reconstruction aux moindres carres.

4.6.2.1 Calcul de la couleur des points

Les points obtenus sont aectes d'une couleur, calculee comme la moyenne de la couleur des pixels correspondant aux appariements dans chaque image. Sur la gure 4.26, la couleur du point

P

est la moyenne des couleurs des pixels

p

1,

p

2,

p

4 et

p

6 (

P

ayant ete reconstruit aux moindres carres a partir des positions des ces 4 points).

O

1

O

2

O

3

O

4

O

5

O

6

p

1

p

2

p

4

p

6

P

Fig. 4.26: Principe du mixage de couleurs:

P

prend la couleur moyenne des pixels

p

1,

p

2,

p

4 et

p

6.

Prendre la valeur moyenne de ces intensites revient a eectuer une interpolation, p. ex. sur les ruptures de disparite. En eet, si les 4 pixels apparies sont au centre de masques tels que decrits en gure 4.27 : 3 pixels blancs et 1 gris, alors il est logique que la couleur du point 3d

P

soit la moyenne (gris clair) de ces quatre couleurs, car

P

appara^t tant^ot noir, tant^ot blanc a la camera : on minimise l'erreur moyenne. Comme la theorie le prevoit, c'est en eet le phenomene physiquement observe lors de la prise de vues: chaque element de l'image represente une moyenne des intensites lumineuses observees sur une certaine surface. Pour cette raison, les contours contrastes d'une image ne sont jamais francs, ils sont legerement ous. Cela est d^u a la constitution des systemes optiques (phenomenes de

diraction), et le probleme est encore amplie par l'utilisation d'un capteur ccd, d'une resolution limitee. C'est d'ailleurs une composante importante du processus de perception, puisqu'en synthese d'images, les contours doivent ^etre anti-creneles pour obtenir un eet plus realiste. L'anti-crenelage (anti-aliasing) consiste a moyenner les intensites des pixels proches des contours contrastes de l'image, selon une ponderation adequate.

p

1

p

2

p

4

p

6

P

=

Fig. 4.27: L'intensite du point 3d est calculee comme la moyenne des intensites de ses projections dans les images.

4.6.2.2 Calcul de l'image projetee

Les points3dsont projetes via une matrice de projection 34 sur le plan de la camera virtuelle. Les points se projettent en des pixels non-entiers, et nous avons deux options:

1. arrondir au pixel le plus proche, et lui aecter la couleur du point 3d;

2. deborder sur les 4 pixels les plus proches, et ponderer les contributions selon la surface recouverte.

La seconde methode est illustree sur la gure 4.28 : si un point 3d se projette en

p

, alors les 4 pixels les plus proches sont aectes, selon la surface recouverte par un carre 11 centre en

p

.

A B

C D

p

S

A

S

B

S

C

S

D

Fig. 4.28: Projection d'un point 3d sur un pixel non-entier.

Les pixels

A

,

B

,

C

et

D

prennent donc l'intensite

I

du point3d, avec une ponderation

de l'image a accumule une somme ponderee d'intensites, que l'on normalise ensuite. Par exemple, si les points 3d

P

1 et

P

2, d'intensites

I

1 et

I

2 se projettent pres de

A

, alors le pixel

A

recevra une contribution

S

A;1 de

P

1, et une contribution

S

A;2 de

P

2. L'intensite nale de

A

sera ^SA;1I1+SA;2I2

SA;1+SA;2 .

Cette forme d'anti-crenelage permet de combler une grande partie des zones non ren-seignees, puisque chaque point 3dse projette desormais sur 4 pixels, au lieu de 1.

Synthetiser une image 256256 necessite 0

:

25 seconde cpu avec la methode 1 (pro-jection sur un seul pixel), et 0

:

35 secondecpuavec la methode 2 (projection sur 4 pixels, avec contributions ponderees).

4.6.2.3 Cas etalonne

Dans le cas etalonne, nous disposons des 6 images de reference, et des 6 matrices de projection. Cela nous a permis de calculer un appariement dense multi-oculaire, puis une reconstruction robuste de tous les points 3d visibles au moins dans 2 images. Les points sont obtenus dans le repere3ddes images de reference, ce qui rend les comparaisons faciles: les transformations euclidiennes s'exprimant de la m^eme facon pour les images calculees ou pour les images de reference, nous pourrons leur appliquer les m^emes transformations, an de determiner le domaine de l'espace ou les images calculees restent valides.

Aussi, nous calculons avec pov{Ray 72 nouvelles vues de notre scene, que nous com-parerons avec 72 vues calculees. Ces vues reparties en deux series. Les vues de la serie A sont disposees sur un cercle de centre

O

et de rayon 50 unites, contenu dans le plan

OXZ

, espacees de 10 , et visant le centre

O

de la scene (soient 36 vues). Les 36 vues de la serie B sont disposees sur un cercle de centre

O

contenu dans le plan

OXY

, de la m^eme ma-niere (gure 4.29). Sur ces 72 vues, deux vues sont identiques: les points d'intersection des deux orbites. Cela ne constitue pas un echantillonnage regulier de l'espace, mais permet de mesurer la facon dont les resultats se degradent a mesure qu'on s'eloigne des images de reference.

Y X Z 10 º Série A Série B





Fig.4.29: Disposition des 72 vues pour l'evaluation de la re-synthese. Remarque : le repere de pov{Ray est gauche.

L'erreur absolue moyenneeamsur des images calculees par transfert par rapport aux images calculees parpov{Ray est donnee en gure 4.30 pour la serie A (cercle horizontal), et en gure 4.31 pour la serie B (cercle vertical). Rappelons que le critereeamn'est calcule que sur les pixels renseignes de l'image synthetisee : celle-ci peut comporter de nombreux trous, sans que la valeur deeamen soit aectee.

45 50 55 60 65 70 75 80 85 90 0 50 100 150



200 250 300 350 eam

Fig. 4.30: Critere eampour les 36 images de la serie A.

45 50 55 60 65 70 75 80 85 90 95 0 50 100 150



200 250 300 350 eam

Fig. 4.31: Critere eampour les 36 images de la serie B.

L'eam reste inferieure a 50 pour (

;

) = (,30

::

+ 20

;

0), et pour (

;

) = (0

;

,30

::

+ 30). Rappelons que les 6 images de reference correspondent aux positions



= 0

;

2 f,12

:

5

;

,7

:

5

;

,2

:

5

;

+2

:

5

;

+7

:

5

;

+12

:

5g. Cela montre que ces images peuvent ^etre extrapo-lees dans une zone approximativement egale a 2 fois le debattement maximal des images de reference. De plus, la disposition des images initiales permet de capturer le relief de facon susamment complete pour que des extrapolations en



restent valables dans une gamme assez large. Le plus mauvais transfert a lieu pour l'image situee sur l'orbite A, a (

;

) = (,160

;

0). La gure 4.32 montre l'image theorique calculee par pov{Ray, et l'image obtenue par transfert. Il n'est pas etonnant que ce cas soit la pire conguration, car elle correspond a la position de la camera d'ou l'arriere de la scene est vu de face; or, cette zone n'etait pas presente dans les images de reference, et n'a pas pu ^etre capturee. Il y a donc un trou a cet endroit, et le reste de la scene transpara^t (alors qu'il devrait ^etre occulte).

Image theorique Image obtenue

Fig. 4.32: Pire transfert, obtenu pour (

;

) = (,160

;

0).

Nous reviendrons sur les chires donnes ici lors des tests portant sur des textures reelles; nous constaterons les m^emes dierences de comportement que pour la construction de mosaques.

4.6.2.4 Cas non etalonne

Dans le cas non etalonne, nous disposons des images de reference, mais pas des matrices de projection. Comme explique precedemment, nous ne traiterons que le cas binoculaire, pour des raisons de simplicite. Un appariement dense binoculaire a donc ete calcule entre les images im0 et im1, et la geometrie epipolaire

F

0;1 deduite des images permet, a l'aide des parametres intrinseques, de calculer deux matrices de projection

M

0 et

M

1

dans les deux images permettant une triangulation et une reconstruction euclidienne. Les appariements ont subi un ajustement epipolaire au prealable.

Le repere de la reconstruction3dobtenue est arbitraire, et ne correspond pas au repere utilise par pov{Ray lors de la creation des images de reference. Il est donc impossible de proceder comme dans le cas etalonne, et de comparer des images transferees a des images calculees a partir du modele. Dans ce cas, nous nous contenterons donc de comparer les deux images transferees via

M

0 et

M

1 aux deux images de reference im0 et im1. Les resultats sont en tableau 4.12.

Image Image theorique Image transferee

im0

eam= 11

im1

eam= 19

Tab. 4.12: Cas binoculaire et non etalonne: critere eam mesure sur les deux images de reference.

Nous retrouvons en noir les zones d'occultation, qui ne sont pas transferables, ainsi que quelques parties qui n'avaient pas ete appariees. Le reste de l'image est convenable (eam= 11 sur l'image 0, et eam= 19 sur l'image 1).

Dans le document Synthèse de nouvelles vues d'une scène 3D à partir d'images existantes (Page 188-194)