Présent et futur dans la normalisation de la compression 3D

(1)

Présent et futur dans la normalisation de la compression 3D

Khaled MAMOU Marius PREDA

(2)

3D Graphics Chain : Authoring and Publishing

Very heterogeneous production chain:

-A 3D Asset is processed by several authoring tools, each one with dedicated functionalities

-Each authoring tool has its own format

-Artists and creators are investing time in learning how the tool works

Authoring

(3)

In BOX solutions

- Games are containing all the data on DVD - Rendering engine friendly data format

Publishing

ONLINE solutions

- ad hoc format, usually zipped version of an authoring format

(4)

Gap between Authoring and Publishing in Online scenarios

FAST TRANSPORT

TROUGHT THE NETWORK

Size doesn’t matter Size is of main importance Authoring

Size doesn’t matter

Transmission Publishing

(5)

3D Graphics Chain : Authoring and Publishing Solving the Gap : encoding layer

FAST TRANSPORT

TROUGHT THE NETWORK

Size doesn’t matter

Size is of main importance Authoring

Size doesn’t matter Transmission

Encoder Decoder

Publishing

(6)

To define a standard format for compressed 3D synthetic content. In other words to be for graphics what MP3 and AAC are for audio,

MPEG-2 and MPEG-4 are for video and JPEG is for still images.

Additionally "MPEG 3D Graphics" aims at providing mechanisms such as APIs to enable easy

integration and development of applications using its standard representation tools.

3D Graphics Content Chain MPEG 3DG vision

(7)

MPEG-4 3D Graphics

A format for 3DG representation and compression

 IFS surfaces

 NURBS surfaces

Shapes Textures

 Implicit volumes

 Texture mapping

 Procedural texture

 DIBR

Animation

MPEG-4: Encoded binary format for each item - highly efficient representation

- transmission through various networks and terminal devices - streaming capabilities

 Interpolators

 Bone-Based Animation

 Morphing

 Wavelet SS  PointTexture

(8)

Today’s topic Static geometry compression

 TFAN, part of the Scalable Complexity 3DMesh Coding Amendment, standardized in 2010

 PTFAN, one candidate for Multi-resolution 3D Mesh Coding Amendment

(9)

Compression mono-résolution

Connectivité = arbre couvrant des sommets + arbre couvrant des facettes

+ Compression raisonnable

- S’applique uniquement à des variétés

- Non adaptée à une implantation hardware

= +

Géométrie = quantification + prédiction par la règle du «parallélogramme»

• Connectivité : 4-7 bps!

• Géométrie : 15-20 bps

Topological Surgery (TS) : Principe [Taubin 98]

(10)

 Codage des attributs

Prise en compte des informations photométriques associées aux sommets d'un maillage 3D : normales, couleurs...

 Généralité

Prise en compte de maillages de topologies et géométries arbitraires

 Faible complexité de codage/décodage

Implantation sur terminaux légers : PDA, téléphone portable…

TFAN : Objectives [Mamou 09]

(11)

v₄ v₅

v₃ v₇

v₆

v₂ v₁

) 5 , 4 , 2 , 6 , 7 , 3 , 1 (

7 index au lieu de 12 pour la représentation par triangles indexés

 Eventail de triangles

Compression mono-résolution TFAN : Principe, [Mamou 09]

(12)

v₁₀ v₈

v₃

v₇

v₆

v₅

v₄

v₁ v₂

v₉

v’₁ v’₂

v’₃ v’₄

v’₅ v’₆ v’₇

v’₈ v’₉

v’₁₀

 Parcours des

sommets de voisin en voisin

(13)

v’₁ v’₂

v’₃ v’₄

v’₅ v’₆ v’₇

v’₈ v’₉

v’₁₀

 Parcours des

sommets de voisin en voisin

 Codage des

éventails selon 10 configurations

 Codage de la géométrie : quantification uniforme et prédiction linéaire

 Décomposition en éventails de triangles

(14)

Conf. 10

Maillage triangulaire arbitraire

Compression mono-résolution TFAN : Les 10 configurations

(15)

Conf. 8 Conf. 9 Conf. 10 Conf. 1

Maillages manifold, non-orientés et sans bord

Conf. 2

(16)

Conf. 6 Conf. 7 Conf. 8 Conf. 9 Conf. 10

Conf. 1 Conf. 2 Conf. 3 Conf. 4 Conf. 5

Maillages manifold avec bords

(17)

TFAN équivalent au codeur de Touma et Gotsman dans le cas de maillages manifolds

Maillage manifold Maillage non-manifold

(18)

 Compression

 30% de gain par rapport MPEG-4/3DMC

 6% de gain par rapport à TG

TFAN : Evaluation

 Complexité de décodage

 50% de gain par rapport à MPEG-4/3DMC

(19)

Maillage = (maillage de base) + (opérations de fission de sommet)

+ Rendu et transmission progressifs + Niveaux de détails de bonne qualité - S’applique uniquement à des variétés - Basses performances de compression

• Indice du sommet à raffiner : 9-14 bps!

• Mises à jour topologiques : 5 bps

Compression multi-résolution

= +

Progressive Mesh: principe [Hoppe 96]

(20)

Opérateur de raffinement plus grossier + contraintes topologiques

 Diminuer le coût de localisation des sommets à raffiner

+ Rendu et transmission progressifs

+ Meilleur compression que PM (i.e. connectivité codée sur 7-10 bps) - Niveau de détails de qualité inférieur à PM

Progressive Forest Split Mesh: principe [Taubin 98]

(21)

• Progressive Forest Split [Taubin’98]

• Patch coloring [Cohen-or’98]

• Décimation guidée par valence [Alliez’01]

• Codage par arbre kd/oc-tree [Devilliers’00][Peng’05]

• Ondelettes irrégulières [Valette’04]

• Codage spectral [Karni’00]

• Codage par B-Splines [Mamou’05]

• Codage par raffinement paramétrique itératif (IPR) [Valette’09]

• Quantification adaptative (BAQ) [Lee’09]

• …

(22)

 Scalabilité spatiale

Adaptation du nombre de sommets aux performances d'affichage du terminal et/ou au débit disponible

 Scalabilité en qualité

Adaptation de la précision au débit disponible

 Codage des attributs

 Codage sans perte de connectivité

 Généralité

Maillages denses de topologies arbitraires

Progressive TFAN: objectifs [Mamou 10]

(23)

Compression multi-résolution Progressive TFAN: principe [Mamou 10]

(24)

(25)

(26)

Résoudre l’équation de la chaleur avec conditions de bord [Chen’05]

Sous la contrainte de positions connues pour un ensemble de points de contrôle

Original Maillage approximé par [Chen’05]

Maillage approximé par avec PTFAN

Progressive TFAN: interpolation

(27)

Simplifier le maillage interpolé en exploitant l’approche QEM [Garland’98]

7K V 4K V 2K V 1K V 0.5K V

Niveaux de détails de bonne qualité Progressive TFAN: simplification

(28)

Prédire les erreurs d’approximation en exploitant la structure de maillage progressif

Maillage original Maillage approximé

Erreur de prédiction

Barycentre

Sommets voisins Sommet à décoder

Progressive TFAN: prédiction

(29)

Progressive TFAN: évaluation

30-50% de gains par rapport à l’état de l’art

0,001 0,01 0,1 1

0 2 4 6 8 10 12 14 16 18 20

RMS error % BB diaginal

bpv

Rabbit

TG

PTFAN (2 layers) WaveMesh OTC

BAQ AD

(30)

Compression multi-résolution Progressive TFAN: évaluation

30-50% de gains par rapport à l’état de l’art

Maillage PTFAN TG WaveMesh AD

Fandisk 100% 13% 29% 48%

Mannequin 100% 37% 43% 59%

Horse 100% 34% 42% 45%

Dino 100% 41% 47% 51%

Dilo 100% 38% 37% 65%

Screwdiver 100% 26% 40% 57%

Bunny 100% 15% 29% 42%

Feline 100% 28% 38% 40%

MaxPlank 100% 46% 55% 65%

Moyenne 100% 31% 40% 52%

(31)

Conclusions et perspectives

 Normalisation MPEG

- Avantages

- Vous êtes invités à participer à l’effort de normalisation

 TFAN

- Nouveau amendement MPEG-4/AFX (2010) - Généralité et basse complexité

- Performances compétitive avec l’état de l’art

 Progressive TFAN

- En cours d’évaluation par le groupe MPEG-4/3DG - Gains 30-40% par rapport à l’état de l’art

- Codage sans pertes de connectivité - Scalabilité spatiale et en qualité