Les approches surfaciques et volumiques

Preuve Par d´efinition de l’enveloppe visuelle, tout point P∈ EV(O)V et pour toute cam´era Ci ∈ V , ∃Q ∈ O, Q ∈ [Ci, P).

Soit P ∈ EV(O)

V, ainsi ∀Ci ∈ V, ∃Q ∈ O, Q ∈ [Ci, P). Si V ⊆ V , alors ∀Ci ∈ V_,Ci ∈ V et P∈ EV(O)

V.

On en d´eduit que ∀P ∈ EV(O)V, P∈ EV(O)V, ainsi EV(O)V ⊆ EV(O)V.  La propri´et´e 3 offre un crit`ere de pr´ecision de l’estimation deO par EV(O). Cette pr´ecision est fonction du nombre de cam´eras utilis´ees.

Comme nous venons de le voir, les silhouettes fournissent un moyen efficace pour estimer la forme des objets d’int´erˆet par leur enveloppe visuelle. La d´efinition de l’enveloppe visuelle est construite sur un mod`ele de cam´era dont le plan de projection est suppos´e infini. Or une cam´era produit une image Ii, partie ferm´ee born´ee du plan de projection. Dans la suite nous distinguerons deux types de silhouettes : les silhouettes ”enti`eres”Si et les silhouettes r´eelles issues des cam´eras ˜Si avec

˜

Si =Si∩ Ii (4.2)

C’est `a dire que ˜Si est la silhouette de O visible par la cam´era Ci. Elle correspond `a la portion de la silhouetteSi born´ee par le champ de vision deCi.

4.4 Les approches surfaciques et volumiques

Les m´ethodes Shape-From-Silhouette calculent l’enveloppe visuelle des objets d’int´erˆet `a par-tir de plusieurs images de silhouettes principalement selon deux axes. Les approches surfaciques estiment explicitement la surface de l’enveloppe visuelle, en calculant la surface de l’intersection des cˆones de silhouettes. Les m´ethodes volumiques estiment le volume de l’EV. Elles sont princi-palement bas´ees sur la propri´et´e 2. L’EV est estim´ee en calculant l’ensemble de volume maximal qui est silhouette-´equivalent avec les objets film´es.

4.4.1 Approches surfaciques

Les approches surfaciques se concentrent sur le calcul d’une repr´esentation explicite de la surface de l’enveloppe visuelle. Des ´el´ements de la surface de l’enveloppe visuelle, tels que des

4.4. Les approches surfaciques et volumiques points ou des facettes, sont estim´es par intersection des surfaces des cˆones de silhouette. La figure 4.2 repr´esente le principe de l’estimation d’un objet par l’approche Shape-From-Silhouette surfacique.

Parmi les travaux relatifs aux approches surfaciques, Baumgart [Bau74] a ´et´e parmi les premiers `a calculer une estimation poly´edrique de la forme d’objets `a partir d’une approximation polygonale du contour des silhouettes. [GW87, CB92, VF92] se sont int´eress´es `a des points isol´es de la surface, reconstruits en utilisant des approximations locales du second ordre de la surface. Pour cela, ils imposent une hypoth`ese suppl´ementaire, consid´erant que les surfaces sont de classe C2.

Les approches surfaciques sont construites sur une approximation polygonale des contours des silhouettes. En plus des difficult´es li´ees `a l’extraction de l’approximation polygonale des contours, la pr´ecision de cette approximation influe sur l’estimation de la surface de l’enveloppe visuelle. Ainsi ce type d’approche se r´ev`ele particuli`erement sensible `a l’extraction des silhouettes et aux impr´ecisions de calibrage des cam´eras. Cette sensibilit´e se traduit g´en´eralement par une estimation de la surface de l’enveloppe visuelle incompl`ete ou corrompue.

Cependant les approches surfaciques fournissent une repr´esentation explicite de la surface particuli`erement adapt´ee aux application du rendu de la forme 3D rapide et plus ”r´ealiste” que celles propos´ees par les approches volumiques (voir figure 4.3). Ainsi les approches surfaciques sont particuli`erement utilis´ees dans les contextes de reconstruction 3D de la g´eom´etrie pour le rendu depuis n’importe quel point de vue (Freeviewpoint Rendering) [MBM01,MBR⁺00,LMS04]. Boyer et Franco [BF03] proposent une technique qui calcule la surface de l’enveloppe visuelle `a partir d’une estimation poly´edrique des contours des silhouettes. Brand et al . [BKC04] d´ecrivent une approche de g´eom´etrie diff´erentielle afin de calculer une estimation pr´ecise de l’enveloppe visuelle `a partir des contours des silhouettes. Li et al . pr´esentent des m´ethodes impl´ement´ees sur carte graphique programmable, pour construire la surface de l’enveloppe visuelle en temps r´eel [LMS04]. Lazebnick et al . ont travaill´e sur une m´ethode qui caract´erise la surface de l’enveloppe visuelle comme ´etant un poly`edre g´en´eralis´ee. Ils utilisent la g´eom´etrie diff´erentielle projective afin d’en calculer la forme [LFP07]. Matusik et al . indroduisent l’enveloppe visuelle bas´ee image, qui reconstruit l’enveloppe visuelle en temps r´eel pour un point de vue sp´ecifique [MBR⁺00]. D’autres travaux proposent aussi des approches de Shape-From-Silhouette surfaciques temps r´eel [LCO06, LMS04].

Ces approches estiment uniquement la surface de l’enveloppe visuelle des objets d’int´erˆet. Dans le contexte de l’acquisition de mouvements de personnes nous nous int´eressons `a l’extrac-tion des points 3D correspondants aux posil’extrac-tions des articulal’extrac-tions. Or ces points n’appartiennent pas en g´en´eral `a la surface des objets, ni `a la surface de l’enveloppe visuelle correspondante. Ainsi la repr´esentation explicite de la surface offerte pas ce type d’approche s’av`ere moins adapt´ee `a notre contexte que les approches volumiques de Shape-From-Silhouette.

Fig. 4.2 – Illustrations d’une coupe de la g´eom´etrie estim´ee d’un objet O par l’approche Shape-From-Silhouette surfacique en rouge et par l’approche volumique `a base de voxels en bleu.

. 4.4.2 Approches Volumiques

A l’oppos´e des approches de Shape-From-Silhouette surfaciques, les approches volumiques estiment le volume de l’enveloppe visuelle par un ensemble de primitive ´el´ementaires : voxels, arbres octaux, etc. Ces approches sont principalement construites sur la propri´et´e 2 selon laquelle l’enveloppe visuelle d´ecrit le volume maximal silhouette-´equivalent aux objets d’int´erˆet.

L’espace 3D d’int´erˆet suppos´e contenir l’enveloppe visuelle des objets d’int´erˆet est partitionn´e en un ensemble de cellules ´el´ementaires. Ensuite chaque cellule est test´ee afin de v´erifier son appartenance `a l’enveloppe visuelle. Afin de valider la propri´et´e de silhouette-´equivalence, toute cellule dont la projection dans au moins une cam´era n’intersecte pas de silhouette, est identifi´ee comme n’appartenant pas `a l’enveloppe visuelle. L’ensemble des cellules valid´ees forment une estimation englobante de l’enveloppe visuelle (voir figure 4.2). Chacune des cellule valid´ee est dite silhouette-consistante.

Parmi les m´ethodes volumiques, certaines estiment l’enveloppe visuelle par un ensemble de voxels, align´es sur une grille r´eguli`ere. Chaque voxel est test´e en v´erifiant s’il est silhouette-consistant. Cette ´etape est critique en terme de temps de calcul. Projeter la g´eom´etrie compl`ete de chaque voxel dans chaque image peut s’av´erer consommateur de temps machine. A l’oppos´e, il est possible de ne tester que la silhouette-consistance du centre de chaque voxel. L’algorithme 1 pr´esente l’une m´ethode usuelle du calcul de Shape-From-Silhouette `a base de voxels. Certaines approches interm´ediaires [CKBH00] proposent de tester un ´echantillonnage des points de chaque voxel.

4.4. Les approches surfaciques et volumiques

Fig. 4.3 – Comparaison des reconstructions d’un objet complexe par l’approche Shape-From-Silhouette surfacique (`a gauche) et par l’approche volumique `a base de voxels (`a droite) `a partir de 42 vues. Cette image est tir´ee des travaux de Boyer et Franco [BF03].

.

Diviser l’espace d’int´erˆet en G× G × G voxels vk avec k ∈ [1, · · · , G3] ;

Pour k de 1 `a G<sup>3</sup> faire v<sub>k</sub> ← Dedans ; Pour i de 1 `a n faire Si (Proj_πi(v_k)∩ ˜Si =∅) Alors vk ← Dehors ; Fin Si Fin Pour Fin Pour

L’EV est approxim´ee par l’union des voxels v_k ´etiquet´es Dedans ;

Algorithme 1: Algorithme standard de Shape-From-Silhouette `a base de voxels

D’autre approches estiment l’EV sur GPU par un ensemble de voxels, en projetant les images de silhouettes dans l’espace des voxels en utilisant la technique de projective-texture-mapping [HLS04]. La grille de voxels peut ˆetre consid´er´ee comme ´etant une pile de plans d’images 2D. Pour chaque plan, si un pixel est intersect´e par la projection de toutes les silhouettes, alors le voxel correspondant est `a l’int´erieur de l’enveloppe visuelle.

Certaines approches volumiques utilisent une structuration hi´erarchique en arbre octal pour diminuer les temps de calculs [Pot87,NFA88,CH04b]. Ces m´ethodes testent la silhouette-consistance d’un pav´e qui repr´esente l’espace d’int´erˆet. Si celui-ci est ind´ecis, c’est `a dire que seul un sous-ensemble de points de ce pav´e est silhouette-consistant alors ce pav´e est partitionn´e en deux sur chaque axe et l’op´eration est r´ep´et´ee sur chacun des 8 sous-pav´e. Le processus est conditionn´e `a plusieurs crit`eres d’arrˆets. Le premier d´efinit la profondeur maximale d’exploration, ou encore la

dimension minimale de chaque cellule. Un autre crit`ere est qu’une d´ecision totale soit prise pour chaque cellule de l’arbre octal. D’autres impl´ementations temps r´eel ont ´egalement ´et´e propos´ees en utilisant soit plusieurs machines [MS03], soit les capacit´es des cartes graphiques [LCO06], ou encore une faible r´esolution de grille volumique [Gra03].

Ces approches se r´ev`elent en g´en´eral plus rapides que les approches surfaciques. Elles ne n´ecessitent pas de polygonalisation des contours de silhouette et s’av`erent ainsi plus robustes aux silhouettes bruit´ees que les approches surfaciques. Un point de silhouette class´e faux-positif sera compens´e par certains points de silhouette vrai-n´egatifs issus des autres cam´eras. L’enveloppe visuelle d´efinissant un volume englobant des objets d’int´erˆet, la reconstruction offerte par les approches volumiques peut ˆetre facilement affin´ee `a l’aide de crit`eres de coh´erence bas´es par exemple sur la couleur dite coh´erence photom´etrique.

Les approches volumiques offrent une estimation de l’enveloppe visuelle g´en´eralement plus grossi`ere que les approches surfaciques, cela d´ependant l’´echantillonnage volumique (voir figure 4.3). Ainsi ces approches sont peu utilis´ees dans le contexte de la mod´elisation pour le rendu. Un ´echantillonnage de faible r´esolution implique que la forme estim´ee ne respecte pas exactement la propri´et´e de silhouette-´equivalence.

Les approches volumiques n´ecessitent la d´efinition d’un espace d’int´erˆet englobant l’enveloppe visuelle des objets d’int´erˆet. Ainsi le choix de cet espace est une ´etape critique et peut amener `

a l’estimation que d’une sous-partie de l’EV.