HAL Id: hal-00881063
http://hal.univ-nantes.fr/hal-00881063
Submitted on 7 Nov 2013
HAL is a multi-disciplinary open access
archive for the deposit and dissemination of
sci-entific research documents, whether they are
pub-lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.
L’archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d’enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.
EFFICIENT DEPTH MAP COMPRESSION
EXPLOITING CORRELATION WITH TEXTURE
DATA IN MULTIRESOLUTION PREDICTIVE
IMAGE CODERS
Khouloud Samrouth, Olivier Deforges, Yi Liu, François Pasteau, Mohamad
Khalil, Wassim Falou
To cite this version:
Khouloud Samrouth, Olivier Deforges, Yi Liu, François Pasteau, Mohamad Khalil, et al..
EFFI-CIENT DEPTH MAP COMPRESSION EXPLOITING CORRELATION WITH TEXTURE DATA
IN MULTIRESOLUTION PREDICTIVE IMAGE CODERS. 2013 IEEE International Conference on
Multimedia and Expo Workshops (ICMEW), Hot topics in 3D coding., Jul 2013, San Jose, United
States. �hal-00881063�
!
" !
!"
#$
%
!$
%
&
" %
&
'
%
!
(
%&
$
%#$
) &
( %
%
) * ' ! '$ * + ,++ - ! " ! & ! ! $ $ - !" % . !$ ! ! ) ' " !$ / !$ ! '$ - % " ' '$ $ & ! 0! !$ ! ! !$ 0 ! ! & !$ ' ! !) !$ !) ! ! $ ' ' & ' ! '$ % !$ ) ! ' '$ !$ ! ! !$ !$ ' 1 ! !$2! 0! ' '$ % $ !$ 0! & !$ 3 ' " ! ! 4 ' ' ! " & 5 % $ ' & ) # ! & & '! !'$ "2 ' ) ' 0 !" ! - !" ' !" - !" ' ! % 0 ! ! !$ " ' '! ' ! ! & !$ ! ! '$ - !$ !) 367 8 67 89 4% 1 '! ! !$ ! ! ) " !$ &! !$ ' $ ) !$ ! !$ proposed method significantly improves the visual quality.
* !$ ! 0! '! 1 ! ' ) $ $ " ' ! " ! '$ * ! 3* +4 & ) ! + && ! ' * ' ) !$ ! & " ! ) !$ ) ' " ! !! !$ ' !$ ! & ) ! " !$ / ! ! ) ! : 5;% '$ * ! ! ' ' " ! " !$ & ! ! ) ) :* ;% $ ! )$" ' ! search [5–7], highlights the influence of depth-image
com-! ' ! !$ - !" & !$ ! ) % $ ! ! & !$ ! '
'$ '$ <%5 2 + ! 0! <%5 2 +
!$ ' ! < + &
ficient solutions for image/video compression. However, th "
! ' " & !$ ' * 0 ! ! % !$ ' ! 0! ) '$ $ ! ! !$ $ ' ! & !$ ' & ' !$ ! ! !$ ' ! ! ! $ ' !$ - !" & " !$ / ) :=> ;% ? ' ! / !$ ! !) @ !$ ! ' ! '$ := A;
texture/depth correlation approaches [10, 11]. The first gr
) !$ !$ !$ ! ' ! ) !$ ! ! # ! & !$ ' ! !) ! 0! !$ ! % $ !$ ! ! ' !$ !$ ' ! 0 ! ! ' ! ) !$ ! 0! )% ?$ " && ! ! $ & !$ ' & !$ ! & ) 0 ! !$ ' ! !) ! 0! !$ &! ! ! # ! ' ' ! !$ - !" & ! ) % '$ ' ! ' ' ! $ !$ ! ! & ! )$ ' ! ) !) & & ! ' ' ! % '$ '$ ! ! &" ! : 5;% !$ ) ! 0! 2 !$ ' ! ' !$ & '! ' % ? " !$ !$ 3 ' " ! ! 4% ' & ) #
! & & '! ! '$ ! " # $$% & # $$# $$ '(" $$ ! - !" ' !" ! 2& ' " ! & ! ! ' ! !
B : *;% !$ ) !$ &
5 ! * ' & ) #% ? ' 1 !
depth/texture coding scheme. It consists firstly in coding !$ ! 0! ! ) ! % $ !$ ) ! ! 0 ! ! $ ' !$ !$ ' % , " !$ ! 0 ture is refined to obtain the high resolution texture. So next ) ) & ' !$ $ ' ! !$ ' ! 0 ! % 0 ! ' 1 '! & ' &
"2 ' ) 1 '! & ' %
$ & !$ / & ) @
!$ 0 % '! C 0 ! ! & !$ ' & ' !$ 1 '! - !" ! ! &
" !$ / ! ! ) % , " ) ' ' !$ '! %
) *
Locally Adaptive Resolution (LAR) [14] is an efficient
' ! ! 5 ' & !$ "
' % ' " &
'! !" !$ ! ! - ! & '#
! ! % $ ' & ! !) '
layers given in Fig. 1. The first layer, the Flat coder, is base
!$ - ! ! ! & !
/ '# ) ! ! )$
' ! % $ ' " !$ ' 0! ' $ cal information details by refining the non decomposed block during the first layer.
. !$ " ! ! ! ' '$ % !
' ! & " ' " ' ! &
!$ % $ !$ ! D7 '$ : C;
was introduced to enable efficient compression in both lossy % $ D7 ! & 3 & D 7
'! 4 !$ & !$ 5 '
! & " 5 " 1 ' ! 0 5E5 '# $ ) , % *% ! 3 ) be the pixels of the first diagonal;
3 4 0 & !$ ' 3 4 ! !$
S-Transform coefficients, where ! !$ !$ ! & & 5E5 '# '! "%
3 4 ?$ !$ ! D7 '$ ) !$ !$ "
' ! coefficients of a given level are auto-! ' " ! & !$ % $ " !$ coefficients $ ! ! ! & '$ %
$ & ! & & ) " !) ! '! !) " : C;% $
'! - ! / !$ ' " ! "
coder. A bi-linear filter is used to smooth block effects as & ! ! ' ! '$ - %
+ % 8 '$ & !) " ' ! ! & ! & !$ ! !$ &
! ! ' ! ! !$ & '# !$
F % ! !$ ! ' ' 0 !"
+ )% , ! ' '$ ! & !$ "
+ ,% ! &
! !$ !$ ' !$ ' % ! ) ! ! !$
F ' & " & ) '# & !
' ' ' % , !$ ) " '
with the first layer of the LAR codec (see Fig. 2). Therefore, ) $ !) ! ! $ @ !$ $ !" !$ $ ! & !$ - ! ' ! !$ -! / -! ! #% ?$ ' " & && ! ! # ! " !$ & '! ! ! !$ - ! / ! & '! & 3 -%54% $ !$ , ! ' && ! - ! " ' ! !) !$ $ ! - ! / ! ! #@ ' ) !$ G H # G 3& ' ! 4I " ' ) !$ !$ ! ' ' ! % G & 354 & ' ! ! !$ ! / ! ! " & ! adopt just one parameter. In order to find the optimal pair
FI $ ' !$ ' '$ '! ! ' & !$ !$ ! && & ! ! 0! : ; ! & 0 ! H $ & % ? &
!$ ! " !$ ! !
& ' !$ % ,
$ ' '$ , % % !$
first step, we apply the quadtree partitioning on the depth im
& % $ ! ' 8 !$% $ ) !$ 8 !$ ! ' !$ ! 0! ! ) ! ! % ? ! ) ! '# ! ! & !$ ! 0! ' ) ! 0! % 0! 1 ! !$2! 0! ' ! ' !$ !$ % $ 1 ! ' ) ! '! % , "
!$ ' ! 8 Depth is refined using the original
+ -% 8 ' '$
$ & !$ 8 Texture is used to refine the texture
im-% - ! " !$ ) ! 0! !$
fined Texture offer scalability in quality for the texture im % !$ ) " & ' !$ !$ ' % !$ 0! '! ) ! ' !$ !$2! 0! 1 ! ' !$ !$ ! !$ !$ ' & ' % -!$ '! ) ! '$ & !$ ' 0 ! !$ ' ! !) !$ ! 0! ! ! % $ '$ ! !$ '! & !$ !$ ' ! !$ ! '! & " ' ' ! & !$ ' ! 0! % '$ ' " 0 ! !$ ! ! & 0 67 8 : J; ! " !) ' ' ! 3 8 .4% ? ! ' !$ & ) ! ! % @ ! & ' ! ! 0 ! 0 ! % ' ! '! " !$ shown in figure 3. @ '! & !$ $ '! :H %%% 7 '! ;% @ ' ! '! & !$ $ '! % @ ' ! % , % C% $ ) !$ ' ' ' '$ % $ !$ ' ! ' ! " & !$ ! 0! ' ! % $ 1 ! ' '$ $ ) , % C% % ! ) & !$ ) # " 7 ! ! : 5;% ? " !$ . ! 7 '! !$ !$ !$ ' ! ! & ' ' ! % &! '! !$ ' ! !$ & ! '! 3 '! 4 && ! '! % $ !$ ! '! ' '! " / !$ ! ' !) ' ' ! !$ % $ & !$ ! '! ' 3 4 ' ' '$ 3 4 7 ' '$ + .% ' ' '$ 1 ! ' '$ $% ' !$ !$ ' ! ! ! ! ! '! % , C% ! !$ ! ! & !$ . ! 7 '! ' !$ ' '$ ' 0 !$ '$ & !$ ! '! % $ !$ . ! 7 '! ' 0 ' ! ! !$ ' ! ! ' ! & ! ' & ! !$ ' ) !$ ! ! !! " ! & ! % ! " &## ! /0 ! ! " ! !$ ! '! '' ! . ? ! ! !$ '$ ! & 7 8 *
& ' - ' 3& & ' ( ) *
% % +4% ! ) !
! ! & !$ ! ' ' ) !$ ' 0 !" )$ '$ 0 ' 67 85HHH@ 67 8 67 89 3 & ' &!)
% 4 & " ' 67 8 3 H% % % 4 & ' % 67 8 & ' & ' ) !$ )
' 0 !" !$ ' '% ! && " ' ! ! $ ! " ' ' !"% 67 8
! / " & ' % ! ! ! ! ! !$ ! !$ . ! 7 '! ! '$ - !$ ' ' framework achieves both lossy and lossless efficient coding%
. 12 / 3 " $ #/$
In a first set of experiments, objective tests were examined.
? !$ . ! 7 '! ! '$ - !$ ' ' & ) #% ." &" !$ - ! / ! ! & ! 5H !! !$ !$ $ ! ! " !$ ) ! !$ 7 ! & !$ $ ) , % , % J% $ ! '$ - ! & !$ ' ' " ! 5 !$ ! ! ) !$ 5HK *HK ! % - ! " !$ ! & ' ) ' ! !$ 67 8 67 89 ' & " ' % $ .7 !$ ! & 67 8% ! ) ! ! 3 ) !$ H% 4 !$ 1 ! !$2! 0! ! '$ - ! & 67 89 ! CHK ! ! " ) ! ! $ ) !$ / % , $ $ ! ! 37 $ $ !$ 4 !$ !$ ) ! & " 67 89 % 3 4 3 4 + 4% ! ! ! ' & !$ & ' & 5CH ) ) !$ 3 4 3 4 3 4 3 4 + 5% ! ! ! ' & !$ & 8 , " & CJ ) ) !$ 3 4 3 4 , $ $ - !" " !$ / , + * + ' ' & % $ & ! & ' ) ' ! !$ ' ! 67 8 % $ . ! 7 '! '$ '$ $ $ ' ) !$ ' ' 3* K & 5CK & ! " !$ / 4 $ ) % - ! " 67 8 $! " ! & !$ ! '$ - % ! ! ! ! ! !$ ! !$ ! ! !" & !$ ' !$ " ' " !$ '$ ' & $ !" !$ $ % , !$ !$ 8 ' ! '# ' ! !
involves a finer quantization.
&1# % ! & !$ '
) !$ ' ' ) !$ ! '$
. ) $ &# " $ #/$ ! (/0 '&+ $ )$ !$ 7 & !$ ' " 67 89 $ $ !$ !$ ' " ) ! ' !$ ! !$ ! '$ - $ ' !$ - !" & !$ ' ) !$ ' ' 67 89 3 , % =4% 3 4 3 4 3'4 3 4 + 6% + - !" ' & 8 , " ) & CJ ! H%H= ' 3 4 ' !$ I 3 4 !$ ' " ' ' 3 * ! ! ! & 5H55J '# 4I 3'4 !$ ' " !$ ! '$ - 3 % C ! ! ! & 5C * '# 4I 3 4 !$ ' " 67 89 3 C%C 4% . , $ &# " $ #/$ ! $% /0 $ 7 3 8$
The final and more important issue in depth map coding is the - !" & !$ ! " !$ / ) % ? !$ + ) " !$ & ' &!) 3+ *%H4 : =; ! ! ! ) % !$ ! & 0 ! ) ' !$ ! 0! !$ ' !$ ) !$ ! ! !$ ' && '! & !$ ! '$ - !$ " !$ / ) 3, % A4% ! ' " ! ' !$ ! !$ - !" & ! ! ) " !$ / & !$ ' " !$ ! '$ - '$ !! !$ !$ " !$ / & !$ ' " 67 89 % $ ' ! !) ! 0! !$ & ! ! !$ '! & !$ !$ ' ! $ $ - !" & " !$ / ) 3, % H 54% + 9% + ) & ) # 3 4 3 4 3'4 3 4 + :% + - !" ' & ) & . # ) A & H** ! H%H 5 3 4 ' !$ I 3 4 !$ ' " ' ' 35 % ! ! ! & * '# 4I 3'4 !$ ' " !$ ! '$ - 35C%J ! ! ! & C '# 4I 3 4 !$ ' 67 89 35 %C 4% 3 4 3 4 3'4 3 4 + % + - !" ' & ) & . ) & ! H%H * 3 4 ' !$ I 3 4 !$ ' " ' ' 35A%C ! ! ! & =A '# 4I 3'4 !$ ' " !$ ! '$ - 35=%JJ ! ! ! & CH '# 4I 3 4 !$ ' " 67 89 355% C 4% 3 4 3 4 3'4 3 4 + )% + - !" ' & ) & ' ) * & 5CH ! H%H 5 3 4 ' !$ I 3 4 !$ ' " ' ' 3* %AA ! ! ! & = J '# 4I 3'4 !$ ' " !$ ! '$ - 3*C%H= ! ! ! & = J '# 4I 3 4 !$ ' " 67 89 3 A%H* 4%
!$ ' '$ & !$ !
% $ 1 ! !$2! 0! !$ ! $ )
built on an efficient and simple LAR coder framework, ini-! " & 5 % $ ! '$ - ! ' !$ !$ ' ! ! & !$ ' ! 0! ! 0 ! !$ ' ! !) ! 0 ! !$ ! ! !$ ' & ' % $ ! '! & !$ ' ! & !$ ! 0! & ! !$ ' !$ ' !% $ '$ ) ! 67 8 67 89 & " ' ! 6 8 & ' % '' ! 1 '! ! !$ '$ ' !$ ' !$ ! ! ' ) !$ !$ ' ' '$ % !$ $ !$ . ! 7 '! !$ ) ! & " 67 8 & ' ! '$ both lossy and lossless coding quite efficiently. Subjectiv
! $ ) !$ ! !$ '$ !$
- !" & " !$ / ! ! ) % '$ '$ ' ! '! ' % & ! ) # ) ) & ' # ! & 1 '! ! !
we will work on finding an automatic algorithm that find the ! & #, %
5 *
!$ !$ # L ' ! & !$ & & !$
'$% $ ) # ! " !$ ! ' 7 1 '! <5.5+ ) ! " & " , , ' ) !/ # "% 6 : ; % ' M% 7% # % , $ 7% M && 7% ! % ? N* & ) ! ! '$ ' ! ! O - % 5 >5 5HH % :5; % , $ % % 7 ! N ! '! * ! ' ' ! # " ! '$ O . / 0 % A % C5 >C*= % 5HH % :*; % ' M% % ! & # 6% B ! % 8 !'$ 8% .% # 8% ! &" % M / N !$ & * ! I " O * 0 - 1 % J % H > 5 % 5HHJ% : ; 7% # % ' M% % ? N ! ) !$ ! ! ' O - % % 5H >5H 5HHJ% :C; 7% # P% % ' % , M% 7% ? !$ % ? N $ && '! & !$ ' ! ) - !" O 2 1 - * / 3 1 * - %0 ! % + / 2 1 % 5 C>5 = 5HH=% - !" !$ $ ' ! ! !$ ' O - % C=> 5H H% :J; % # # % 8 !'$ % ' M% NF !" ! & * ! ' ! 0 ! O - % > 5HH=% :=; % 6% 9 ,% ? N !$ ' $ ' " 2 ! ' O - " % > 5H 5% :A; 7% # % ' M% % ? N &
ficient compression of multi-view depth data based on ' O 2 1 - / % > 5HHJ%
: H; % 7% L !! $ % L % , '$$ mer, “Efficient depth map compression exploiting
seg-! ' ! O - % > 5H % [11] J. Lee, H. Wey, and D.Park, “A fast and efficient
) !$ ' !$ ! ! ) ' ! & ! 0! O * 0 - 1 % 5 % =CA> = = '% 5H % : 5; ,% 7 ! % ! % . B% & % . ! N ! ' ' ! & '! ' ' O - % 5H % : *; M% !$ B% & ,% 7 ! NF !" ' ! ! ! ! ! ! / ! & '! ' O ) $ % 0 4 * - / * 5H *% : ; B% & % . % . ! 6% N ' '@ ' ! ! ' '$ ' ! 1 ! ! & 0! '! ! ! O - 1 % J % AJ >A=J 5HHJ% : C; % . B% & N " '" " ' ! & ' ' ! '$ - O - % * % 5 A>5C5 5HH*% : ; P% % , 7% ? !$ N !$ ' ! / - ! ' ! & !$ ! & ! ) O - % C % HC> H= 5HHJ% : J; % 8% N ! & 1 !$ ) ' ! " ! ' ! & ' & $ $ ! ! ! O 0 ! 0 . % *A % 55A=>5*H B'!% 5HH % : =; % ! % , 1 M% / # % , # $
P% N & ' &!) & !$ ! ! ) " !$ O 5 -6 -75 -895" 77 !%
