Institut EURECOM 2229, route des Cr^etes B.P. 193
06904 Sophia Antipolis FRANCE
Research Report N
oRR-96-019
Defocalisation en Spatialisation Video a partir de Trois Vues de Reference
(Expressions Analytiques)
Katia Fintzel Jean-Luc Dugelay 28 fevrier 1996
Telephone: +33 93 00 26 26 E-mail:
Jean-Luc Dugelay: +33 93 00 26 41 dugelay@eurecom.fr Katia Fintzel: +33 93 00 26 74 ntzel@eurecom.fr
Fax: +33 93 00 26 27
Resume
Dans le cadre du projet de TRA itement des I mages VI rtuelles, ce rapport interne met l'accent sur les dierentes expressions analytiques du systeme trilineaire associe a une sequence de trois vues quelconques d'une m^eme scene 3D. Un systeme de correspondance entre les parametres de chacune de ces formes est d'ailleurs mis en evidence.
Enn, nous detaillons la aussi de facon analytique, l'une des extensions de la methode de resynthese de l'une des trois vues de reference en fonction des deux autres et des parametres pre-cites: la defocalisation pour la Spatialisation Video.
Cette extension est d'ailleurs etudiee pour toutes les expressions trilineaires vues precedemment.
i
Contents
Abstract i
1 Introduction 1
2 Les relations trilineaires 1
3 Changement de focale de la camera intermediaire 6 4 Exemples de vues synthetisees par defocalisation 13
5 Conclusion 15
References 16
ii
1 INTRODUCTION
1
1 Introduction
Ce rapport interne complete les travaux publies dans CORESA'96 et IM- AGE'COM 96. Ces travaux en Spatialisation Video sont realises dans le cadre du projet interne en tele-virtualite: TRAIVI, dont le but est de creer et de gerer des espaces virtuels de reunion les plus realistes possibles via des liaisons bas debit.
En eet, par le biais de la Spatialisation Video, nous comptons ^etre en mesure de restituer des images en fonction de la place et de l'orientation \virtuelles" des cen- tres d'inter^et de chaque participant. C'est precisement ce qui nous dierencie des systemes de visio-conference actuels, qui imposent encore a chaque conferencier un point de vue general sur la scene. Enn rappelons que cette etude a ete motivee par le fait qu'aucun modele articiel de la scene 3D n'est cree et qu'au contraire les resyntheses de points de vue de la scene sont realisees a partir d'images reelles de reference, an de garantir le realisme de la scene visualisee.
Les travaux concernant la Spatialisation Video menes a EURECOM s'eche- lonnent en plusieurs etapes. Dans un premier temps, nous avons valide une phase de reconstruction d'une vue de scene 3D a partir de deux de ses vues voisines non calibrees [1]. Cette etude basee entierement sur la theorie de la Trilinearite, nous a permis d'etablir une methode de resynthese d'image composee de deux etapes:
l'estimation de dix-huit parametres a partir d'une sequence de trois vues de la scene,
la reconstruction d'une vue en fonction des parametres pre-cites et des deux autres vues.
Nous avons essayer ensuite d'extrapoler cette methode, an de synthetiser des vues a priori inexistantes de cette m^eme scene 3D, en jouant sur l'ordre des vues de reference pour la resynthese, ou directement sur les valeurs estimees des parametres [2] [3].
C'est l'une des extensions concernant les variations directes des parametres pre- calcules, qui est presentee ici, apres un rappel complet des dierentes expressions analytiques du systeme trilineaire associe a trois vues d'une m^eme scene 3D. En eet, en annexe de l'ensemble des travaux, cette note technique concerne la Defocalisation en Spatialisation Video, c'est a dire la synthese de vues inconnues de la scene 3D, qui correspondent aux vues, que nous aurions obtenues si la focale de la camera correspondant a la vue a reconstruire avait ete autres.
2 Les relations trilineaires
Soit
Pun point de l'espace homogene, il se projette sur les retines de 3 cameras
C
1,
C2 et
C3 respectivement en
p1,
p2et
p3via les trois matrices de projection
M1,
2 LES RELATIONS TRILIN
EAIRES
2
M
2
et
M3. On a donc:
M 1
:P
=
p1=
xy
!
avec:
M
1
=
I3X4=
0
B
@
1 0 0 0 0 1 0 0 0 0 1 0
1
C
A
=
0
B
@ i
1
i
2
i
3 1
C
A
soit:
x
y
!
=
iii132:P:P:Pi
3 :P
!
,!
(
(
i3:x,i1)
:P= 0
(
i3:y,i2)
:P= 0 (1)
De la m^eme facon on obtient en considerant les projections pour les deux autres cameras:
M 2
:P
=
p2=
x0y 0
!
avec:
M
2
=
A3X4=
0
B
@ a
1
a
2
a
3 1
C
A
D'ou:
x 0
y 0
!
=
aaa132:P:P:Pa3:P
!
,!
(
(
a3:x0,a1)
:P= 0
(
a3:y0,a2)
:P= 0 (2)
Et:
M 3
:P
=
p3=
x00y 00
!
avec:
M
3
=
B3X4=
0
B
@ b
1
b
2
b
3 1
C
A
D'ou:
x 00
y 00
!
=
b1:Pbb32:P:Pb
3 :P
!
,!
(
(
b3:x00,b1)
:P= 0
(
b3:y00,b2)
:P= 0 (3)
Les systemes (1), (2) et (3) peuvent ^etre regroupes sous la forme matricielle
suivante:
0B
B
B
B
B
B
B
@ i
3 :x,i
1
i
3 :y,i
2
a
3 :x
0
,a
1
a
3 :y
0
,a
2
b
3 :x
00
,b
1
b :y 00
,b 1
C
C
C
C
C
C
C
A
:P
= 0
6X1(4)
2 LES RELATIONS TRILIN
EAIRES
3
La matrice ci-dessus est de dimension 3, donc tous ses determinants 4
X4 s'annulent et on a [4]:
i
3 :x,i
1
i
3 :y,i
2
a
3 :x
0
,a
1
b
3 :x
00
,b
1
=
i
3 :x,i
1
i
3 :y,i
2
a
3 :x
0
,a
1
b
3 :y
00
,b
2
= 0 (5)
i
3 :x,i
1
i
3 :y,i
2
a
3 :y
0
,a
2
b
3 :x
00
,b
1
=
i
3 :x,i
1
i
3 :y,i
2
a
3 :y
0
,a
2
b
3 :y
00
,b
2
= 0 (6)
i
3 :x,i
1
i
3 :y,i
2
a
3 :x
0
,a
1
b
3 :x
00
,b
1
=
i
3 :x,i
1
i
3 :y,i
2
a
3 :y
0
,a
2
b
3 :x
00
,b
1
= 0 (7)
i
3 :x,i
1
i
3 :y,i
2
a
3 :x
0
,a
1
b
3 :y
00
,b
2
=
i
3 :x,i
1
i
3 :y,i
2
a
3 :y
0
,a
2
b
3 :y
00
,b
2
= 0 (8)
Le developpement des determinants donnes par l'equation (5) nous donne la premiere forme trilineaire suivante:
8
>
>
>
>
>
>
>
>
>
>
>
>
<
>
>
>
>
>
>
>
>
>
>
>
>
: x
00
x
0
((
a31b34,a34b31)
x+ (
a32b34,a34b32)
y+ (
a33b34,a34b33))+
x
00
((
a14b31,a11b34)
x+ (
a14b32,a12b34)
y+ (
a14b33,a13b34))+
x
0
((
a34b11,a31b14)
x+ (
a34b12,a32b14)
y+ (
a34b13,a33b14))+
(
a11b14,a14b11)
x+ (
a12b14,a14b12)
y+ (
a13b14,a14b13) = 0
y 00
x
0
((
a31b34,a34b31)
x+ (
a32b34,a34b32)
y+ (
a33b34,a34b33))+
y
00
((
a14b31,a11b34)
x+ (
a14b32,a12b34)
y+ (
a14b33,a13b34))+
x
0
((
a34b21,a31b24)
x+ (
a34b22,a32b24)
y+ (
a34b23,a33b24))+
(
a11b24,a14b21)
x+ (
a12b24,a14b22)
y+ (
a13b24,a14b23) = 0
(9)
La seconde forme est obtenue a partir de l'equation (6):
8
>
>
>
>
>
>
>
>
>
>
>
>
<
>
>
>
>
>
>
>
>
>
>
>
>
: x
00
y
0
((
a31b34,a34b31)
x+ (
a32b34,a34b32)
y+ (
a33b34,a34b33))+
x
00
((
a24b31,a21b34)
x+ (
a24b32,a22b34)
y+ (
a24b33,a23b34))+
y
0
((
a34b11,a31b14)
x+ (
a34b12,a32b14)
y+ (
a34b13,a33b14))+
(
a21b14,a24b11)
x+ (
a22b14,a24b12)
y+ (
a23b14,a24b13) = 0
y 00
y
0
((
a31b34,a34b31)
x+ (
a32b34,a34b32)
y+ (
a33b34,a34b33))+
y
00
((
a24b31,a21b34)
x+ (
a24b32,a22b34)
y+ (
a24b33,a23b34))+
y
0
((
a34b21,a31b24)
x+ (
a34b22,a32b24)
y+ (
a34b23,a33b24))+
(
a21b24,a24b21)
x+ (
a22b24,a24b22)
y+ (
a23b24,a24b23) = 0
(10)
2 LES RELATIONS TRILIN
EAIRES
4
De m^eme pour la troisieme:
8
>
>
>
>
>
>
>
>
>
>
>
>
<
>
>
>
>
>
>
>
>
>
>
>
>
: x
0
x
00
((
a31b34,a34b31)
x+ (
a32b34,a34b32)
y+ (
a33b34,a34b33))+
x
0
((
a34b11,a31b14)
x+ (
a34b12,a32b14)
y+ (
a34b13,a33b14))+
x
00
((
a14b31,a11b34)
x+ (
a14b32,a12b34)
y+ (
a14b33,a13b34))+
(
a11b14,a14b11)
x+ (
a12b14,a14b12)
y+ (
a13b14,a14b13) = 0
y 0
x
00
((
a31b34,a34b31)
x+ (
a32b34,a34b32)
y+ (
a33b34,a34b33))+
y
0
((
a34b11,a31b14)
x+ (
a34b12,a32b14)
y+ (
a34b13,a33b14))+
x
00
((
a24b31,a21b34)
x+ (
a24b32,a22b34)
y+ (
a24b33,a23b34))+
(
a21b14,a24b11)
x+ (
a22b14,a24b12)
y+ (
a23b14,a24b13) = 0
(11)
Et la quatrieme:
8
>
>
>
>
>
>
>
>
>
>
>
>
<
>
>
>
>
>
>
>
>
>
>
>
>
: x
0
y
00
((
a31b34,a34b31)
x+ (
a32b34,a34b32)
y+ (
a33b34,a34b33))+
x
0
((
a34b21,a31b24)
x+ (
a34b22,a32b24)
y+ (
a34b23,a33b24))+
y
00
((
a14b31,a11b34)
x+ (
a14b32,a12b34)
y+ (
a14b33,a13b34))+
(
a11b24,a14b21)
x+ (
a12b24,a14b22)
y+ (
a13b24,a14b23) = 0
y 0
y
00
((
a31b34,a34b31)
x+ (
a32b34,a34b32)
y+ (
a33b34,a34b33))+
y
0
((
a34b21,a31b24)
x+ (
a34b22,a32b24)
y+ (
a34b23,a33b24))+
y
00
((
a24b31,a21b34)
x+ (
a24b32,a22b34)
y+ (
a24b33,a23b34))+
(
a21b24,a24b21)
x+ (
a22b24,a24b22)
y+ (
a23b24,a24b23) = 0
(12)
Ces formes peuvent ^etre re-ecrites plus simplement de la facon suivante:
1ere forme:
(
x
00
(
1x+
2y+
3) +
x00x0(
4x+
5y+
6) +
x0(
7x+
8y+
9) +
10x+
11y+
12= 0
y
00
(
1x+
2y+
3) +
y00x0(
4x+
5y+
6) +
x0(
13x+
14y+
15) +
16x+
17y+
18= 0 2ieme forme:
(
x
00
(
1x+
2y+
3) +
x00y0(
4x+
5y+
6) +
y0(
7x+
8y+
9) +
10x+
11y+
12= 0
y
00
(
1x+
2y+
3) +
y00y0(
4x+
5y+
6) +
y0(
13x+
14y+
15) +
16x+
17y+
18= 0 3ieme forme:
(
x
0
(
1x+
2y+
3) +
x0x00(
4x+
5y+
6) +
x00(
7x+
8y+
9) +
10x+
11y+
12= 0
y
0
(
1x+
2y+
3) +
y0x00(
4x+
5y+
6) +
x00(
13x+
14y+
15) +
16x+
17y+
18= 0 4ieme forme:
(
x
0
(
1x+
2y+
3) +
x0y00(
4x+
5y+
6) +
y00(
7x+
8y+
9) +
10x+
11y+
12= 0
y
0
(
1x+
2y+
3) +
y0y00(
4x+
5y+
6) +
y00(
13x+
14y+
15) +
16x+
17y+
18= 0 Les 52 parametres ci-dessus ne sont pas independants les uns des autres, il existe
en eet le systeme de correspondance ci-dessous entre ces parametres:
2 LES RELATIONS TRILIN
EAIRES
5
8
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
<
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
: a
14 b
31 ,a
11 b
34
=
1=
7=
7a
14 b
32 ,a
12 b
34
=
2=
8=
8a
14 b
33 ,a
13 b
34
=
3=
9=
9a
31 b
34 ,a
34 b
31
=
4=
4=
4=
4a
32 b
34 ,a
34 b
32
=
5=
5=
5=
5a
33 b
34 ,a
34 b
33
=
6=
6=
6=
6a
34 b
11 ,a
31 b
14
=
7=
7=
1a
34 b
12 ,a
32 b
14
=
8=
8=
2a
34 b
13 ,a
33 b
14
=
9=
9=
3a
11 b
14 ,a
14 b
11
=
10=
10a
12 b
14 ,a
14 b
12
=
11=
11a
13 b
14 ,a
14 b
13
=
12=
12a
34 b
21 ,a
31 b
24
=
13=
13=
1a
34 b
22 ,a
32 b
24
=
14=
14=
2a
34 b
23 ,a
33 b
24
=
15=
15=
3a
11 b
24 ,a
14 b
21
=
16=
10a
12 b
24 ,a
14 b
22
=
17=
11a
13 b
24 ,a
14 b
23
=
18=
12a
24 b
31 ,a
21 b
34
=
1=
13=
13a
24 b
32 ,a
22 b
34
=
2=
14=
14a
24 b
33 ,a
23 b
34
=
3=
15=
15a
21 b
14 ,a
24 b
11
=
10=
16a
22 b
14 ,a
24 b
12
=
11=
17a
23 b
14 ,a
24 b
13
=
12=
18a
21 b
24 ,a
24 b
21
=
16=
16a
22 b
24 ,a
24 b
22
=
17=
17a
23 b
24 ,a
24 b
23
=
18=
18(13)
Or on conna^t l'expression complete des deux matrices de projection
A3X4et
B
3X4
:
A
3X4
=
0
B
@ a
11 a
12 a
13 a
14
a
21 a
22 a
23 a
24
a
31 a
32 a
33 a
34 1
C
A
A
3X4
=
0
B
@ r
2
11 :k
2
u :f
2
+
r312 :u20 r122 :k2u:f2+
r232:u20 r213:ku2:f2+
r233:u20 t21:ku2:f2+
t23:u20r 2
21 :k
2
v :f
2
+
r231:v20 r222:k2v:f2+
r232:v20 r232 :k2v:f2+
r233:v02 t22:k2v:f2+
t23:v20r 2
31
r 2
32
r 2
33
t 2
3
1
C
A
De m^eme: (14)
3 CHANGEMENT DEFOCALE DELA CAM
ERA INTERM
EDIAIRE
6
B
3X4
=
0
B
@ r
3
11 :k
3
u :f
3
+
r331:u30 r312:k3u:f3+
r332:u30 r313:ku3:f3+
r333:u30 t31:k3u:f3+
t33:u30r 3
21 :k
3
v :f
3
+
r331:v30 r322:k3v:f3+
r332:v03 r233 :k3v:f3+
r333:v03 t32:k3v:f3+
t33:v30r 3
31
r 3
32
r 3
33
t 3
3
1
C
A
(15) (
uk0;v0k) etant l'intersection de l'axe optique et du plan image
k, on peut utiliser l'approximation suivante: (
uk0;v0k) = (0
;0), ce qui permet de simplier les matrices de projection et par suite les valeurs des parametres issus des systemes trilineaires.
On obtient ainsi:
8
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
<
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
:
1
=
7=
7=
t21:k2u:f2:r313 ,r112 :k2u:f2:t33
2
=
8=
8=
t21:k2u:f2:r323 ,r122 :k2u:f2:t33
3
=
9=
9=
t21:k2u:f2:r333 ,r132 :k2u:f2:t33
4
=
4=
4=
4=
r312 :t33,t23:r331
5
=
5=
5=
5=
r322 :t33,t23:r332
6
=
6=
6=
6=
r332 :t33,t23:r333
7
=
7=
1=
t23:k3u:f3:r113 ,r312 :k3u:f3:t31
8
=
8=
2=
t23:k3u:f3:r123 ,r322 :k3u:f3:t31
9
=
9=
3=
t23:k3u:f3:r133 ,r332 :k3u:f3:t31
10
=
10=
t31:k2u:f2:ku3:f3:r211,r311:ku2:f2:k3u:f3:t21
11
=
11=
t31:k2u:f2:ku3:f3:r212,r312:ku2:f2:k3u:f3:t21
12
=
12=
t31:k2u:f2:ku3:f3:r213,r313:ku2:f2:k3u:f3:t21
13
=
13=
1=
t23:k3v:f3:r321,r231:kv3:f3:t32
14
=
14=
2=
t23:k3v:f3:r322,r232:kv3:f3:t32
15
=
15=
3=
t23:k3v:f3:r323,r233:kv3:f3:t32
16
=
10=
t32:k2u:f2:kv3:f3:r112 ,r321:k2u:f2:k3v:f3:t21
17
=
11=
t32:k2u:f2:kv3:f3:r122 ,r322:k2u:f2:k3v:f3:t21
18
=
12=
t32:k2u:f2:kv3:f3:r132 ,r323:k2u:f2:k3v:f3:t21
1
=
13=
13=
t22:k2v:f2:r331,r221:kv2:f2:t33
2
=
14=
14=
t22:k2v:f2:r332,r222:kv2:f2:t33
3
=
15=
15=
t22:k2v:f2:r333,r223:kv2:f2:t33
10
=
16=
t31:k2v:f2:k3u:f3:r212 ,r311:k2v:f2:k3u:f3:t22
11
=
17=
t31:k2v:f2:k3u:f3:r222 ,r312:k2v:f2:k3u:f3:t22
12
=
18=
t31:k2v:f2:k3u:f3:r232 ,r313:k2v:f2:k3u:f3:t22
16
=
16=
t32:k2v:f2:k3v:f3:r221,r321:kv2:f2:kv3:f3:t22
17
=
17=
t32:k2v:f2:k3v:f3:r222,r322:kv2:f2:kv3:f3:t22
18
=
18=
t32:k2v:f2:k3v:f3:r223,r323:kv2:f2:kv3:f3:t22(16)
3 Changement de focale de la camera intermediaire
On conna^t, par exemple, l'expression des parametres de la 1ere forme du
systeme trilineaire suivante:
3 CHANGEMENT DEFOCALE DELA CAM
ERA INTERM
EDIAIRE
7
8
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
<
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
:
1
=
,t33:(
r211:k2u:f2+
r231:u20) + (
t21:ku2:f2+
t23:u20)
:r331
2
=
,t33:(
r212:k2u:f2+
r232:u20) + (
t21:ku2:f2+
t23:u20)
:r332
3
=
,t33:(
r213:k2u:f2+
r233:u20) + (
t21:ku2:f2+
t23:u20)
:r333
4
=
t33:r312 ,t23:r331
5
=
t33:r322 ,t23:r332
6
=
t33:r332 ,t23:r333
7
=
,(
t31:ku3:f3+
t33:u30)
:r231+
t23:(
r113 :k3u:f3+
r313 :u30)
8
=
,(
t31:ku3:f3+
t33:u30)
:r232+
t23:(
r123 :k3u:f3+
r323 :u30)
9
=
,(
t31:ku3:f3+
t33:u30)
:r233+
t23:(
r133 :k3u:f3+
r333 :u30)
10
= (
t31:ku3:f3+
t33:u30)
:(
r211:k2u:f2+
r231:u20)
,(
t21:k2u:f2+
t23:u20)
:(
r113 :k3u:f3+
r331:u30)
11
= (
t31:ku3:f3+
t33:u30)
:(
r212:k2u:f2+
r232:u20)
,(
t21:k2u:f2+
t23:u20)
:(
r123 :k3u:f3+
r332:u30)
12
= (
t31:ku3:f3+
t33:u30)
:(
r213:k2u:f2+
r233:u20)
,(
t21:k2u:f2+
t23:u20)
:(
r133 :k3u:f3+
r333:u30)
13
=
,(
t32:k3v:f3+
t33:v03)
:r312+
t23:(
r213 :k3v:f3+
r331:v03)
14
=
,(
t32:k3v:f3+
t33:v03)
:r322+
t23:(
r223 :k3v:f3+
r332:v03)
15
=
,(
t32:k3v:f3+
t33:v03)
:r332+
t23:(
r233 :k3v:f3+
r333:v03)
16
= (
t32:kv3:f3+
t33:v30)
:(
r112 :k2u:f2+
r312 :u20)
,(
t21:k2u:f2+
t23:u20)
:(
r321:kv3:f3+
r331:v30)
17
= (
t32:kv3:f3+
t33:v30)
:(
r122 :k2u:f2+
r322 :u20)
,(
t21:k2u:f2+
t23:u20)
:(
r322:kv3:f3+
r332:v30)
18
= (
t32:kv3:f3+
t33:v30)
:(
r132 :k2u:f2+
r332 :u20)
,(
t21:k2u:f2+
t23:u20)
:(
r323:kv3:f3+
r333:v30) Ces parametrespermettent de reconstruire l'image (
x00;y00) a partir de
f(
x;y);(
x0;y0)
gpar le systeme de resynthese suivant:
8
<
: x
00
=
,x(0(17x+8y +9)+10x+11y +12 x+2 y +
3 )+x
0
(
4 x+
5 y +
6 )
y
00