G´ en´ eralisation ` a EVE m ( O)

La formalisation de EORseq a ´et´e r´ealis´ee pour des reconstructions issues de l’enveloppe visuelle usuelle. Cependant nous avons propos´e pr´ec´edemment la d´efinition des enveloppes vi-suelles ´etendues EVE_m(O) sur lesquelles nous souhaitons g´en´eraliser l’utilisation de EORseq. EVEm(O) est construite sur une diff´erentiation des silhouettes ”th´eoriques” Si et des silhouettes observables ˜Si dont la construction prend en compte le domaine de visibilit´e impos´e par l’utili-sation de cam´eras r´eelles :

˜

Si =Si∩ Ii (6.17)

Nous observons que la proposition 1, liant le nombre de composantes connexes de chaque silhouette au nombre de composantes connexes d’un ensemble de point 3D silhouette-´equivalent, n’est pas valide pour les silhouettes ˜Si. Il est possible que la projection d’un ensemble connexe de points U pr´esentant beaucoup de concavit´es, g´en`ere plusieurs composantes connexes dans ˜Si. En effet l’intersection de deux connexes E et Ii ne d´ecrit pas n´ecessairement un connexe. Afin de contourner ce probl`eme, nous proposons de restreindre la proposition 1 aux composantes connexes de ˜Si qui ne partagent pas de fronti`eres de Ii. En effet, l’image d’une composante connexe cc_j de E fournit plus d’une composante connexe dans ˜Si, seulement lorsque

∃P ∈ Projπi(cc_j), P /∈ Ii.

Avec l’utilisation des silhouettes observ´ees ˜Si, la proposition 1 est valid´ee, si l’on prend en compte uniquement les composantes connexes ˜Si qui ne partagent pas de fronti`eres avecIi. Lors de l’utilisation de l’approche EVEm(O), l’hypoth`ese formul´ee ´equation 6.9 n´ecessite l’existence d’au moins une cam´era pour laquelle ˜Si=Si∩Ii=Si. Avec cette adaptation de la proposition 1, nous venons d’´etendre l’utilisation de EORseq `a des reconstructions 3D provenant de EVEm(O).

6.2.6 R´esultats

EORseq a ´et´e utilis´ee dans plusieurs exp´erimentations particuli`erement difficiles. La recons-truction `a partir de donn´ees r´eelles permet de souligner la robustesse de notre approche mˆeme en pr´esence des contraintes du monde r´eel. Des r´esultats `a partir de donn´ees synth´etiques sont

Fig. 6.8 – Une sc`ene difficile reconstruite `a partir de deux vues. EOR valide uniquement la partie jaune alors que l’union-minimale permet de valider en plus la partie violette. EORseq (en jaune et violet) contient tous les objets d’int´erˆet, sans les objets fantˆomes (en noir).

pr´esent´es afin de d´emontrer la qualit´e de reconstruction offerte par EOR_seq face aux approches pr´ec´edentes de suppression d’objets fantˆomes purement g´eom´etriques.

L’estimation de l’enveloppe visuelle ´etendue EVE₂(O) et l’´etape de suppression d’objets fantˆomes sont calcul´es sur un seul ordinateur (Amd ATHLON X2 5600+) aid´e par une carte graphique NVIDIA 9800GT. Notre impl´ementation utilise principalement le GPU pour calculer l’enveloppe visuelle ´etendue. Les composantes connexes de EVE₂(O) sont extraites en utilisant le CPU. Enfin l’association entre pixels de silhouette et composantes connexes, sont estim´ees en utilisant le GPU. Avec une grille de voxels d’une r´esolution de 128× 128 × 128, le processus complet estime plus de 30 reconstructions par seconde.

L’espace d’acquisition est observ´e par 2 cam´eras capturant jusqu’`a 30 images par seconde d’une r´esolution de 640× 480 pixels. Chaque cam´era est connect´ee `a un ordinateur qui calcule l’extraction de silhouette, et l’envoie au serveur de reconstruction. Les exp´erimentations `a partir de donn´ees r´eelles sont construites uniquement `a partir de 2 vues dans le but de g´en´erer un nombre important d’objets fantˆomes.

Dans notre premi`ere exp´erimentation (voir figure 6.8) nous montrons l’efficacit´e de notre approche pour une sc`ene particuli`erement difficile observ´ee par deux cam´eras. Les approches EVE<sub>2</sub>(O) et Shape-From-Silhouette construisent deux objets fantˆomes d´etect´es par l’approche EORseq (en noir). L’approche pr´ec´edente EOR valide partiellement les parties non objets fan-tˆome (en jaune). L’approche EOR<sub>seq</sub> se distingue par sa capacit´e `a d´etecter exactement les objets fantˆomes (en noir) grˆace au concept d’union-minimale.

La figure 6.9 pr´esente une comparaison des reconstructions offertes par les approches EOR_seq, EVE₂, Safe Hulls [MH07] (SH), et EOR. L’ensemble de ces approches utilise uniquement l’infor-mation de calibrage des cam´eras et des masques de silhouette. L’exp´erimentation 1 est construite sur une sc`ene compos´ee de 3 personnes. Dans l’une des silhouettes, le nombre de composantes connexes est le mˆeme que le nombre d’objets visuellement discernables. Ainsi cette configura-tion suit notre hypoth`ese 6.9. EVE₂(O) construit 6 objets fantˆomes, alors que SH et EOR

6.2. Enveloppe d’objets r´eels silhouette-´equivalente

1

2

3

4

Silhouettes EVE2 SH EOR EOR_seq

Fig. 6.9 – Comparaison visuelle des reconstructions offertes pour diff´erents jeux de donn´ees r´eelles. Les silhouettes sont pr´esent´ees colonne de gauche. Ces exp´erimentations g´en`erent beau-coup d’objets fantˆomes qui sont parfaitement supprim´es par notre approche. L’utilisation de seulement deux vues en entr´ee, permet de souligner l’efficacit´e de EOR_seq. Les cercles verts indiquent les parties manquantes.

g´en`erent des reconstructions incompl`etes. EOR_seq est capable de d´eterminer exactement toutes les composantes non fantˆomes. L’exp´erimentation 2 montre une configuration proche, pour la-quelle EVE₂(O) cr´ee 3 objets fantˆomes. A nouveau, EORseq est la seule approche capable de supprimer exactement les objets fantˆomes. L’exp´erimentation 3 ne valide pas notre hypoth`ese de travail, car les deux silhouettes contiennent seulement deux composantes. Dans ce cas EORseq

et EOR produisent la reconstruction attendue.

Lors de la derni`ere exp´erimentation `a partir de donn´ees r´eelles, EVE₂(O) g´en`ere 6 objets fantˆomes. EOR produit une forme moins corrompue que celle propos´ee par SH, mais cette approche n’est pas capable de reconstruite la troisi`eme personne. Grace au concept d’union minimale, EORseq n’a aucun probl`eme `a d´etecter tous les objets fantˆomes.

permet pas d’´evaluer la qualit´e de la reconstruction offerte par EOR_seq. Dans la suite, nous proposons des exp´erimentations construites `a partir de sc`enes synth´etiques, dont les donn´ees de v´erit´e terrain, permettent une ´evaluation quantitative et qualitative.

L’espace d’acquisition virtuel est compos´e de 8 cam´eras dispos´ees en cercle, capturant des masques binaires de silhouette d’une r´esolution de 720× 480 pixels. Nous avons choisi une ex-p´erimentation `a partir de donn´ees synth´etiques afin de comparer qualitativement les r´esultats apport´es par EOR<sub>seq</sub> aux approches g´eom´etriques pr´ec´edentes qui ne n´ecessitent aucun infor-mation additionnelle en dehors des param`etres de calibrage des cam´eras et des masques binaires de silhouette : EVE₂, Safe Hulls [MH07], les Enveloppes d’Objets R´eels EOR (voir section 6.1) et les Enveloppe d’Objets R´eels Silhouette-´equivalente EOR_seq.

Afin d’´evaluer la qualit´e des diff´erentes reconstructions, nous avons choisi trois crit`eres de qualit´e : α correspondant au ratio de points des objets d’int´erˆet compris dans la reconstruction ; β ´etant le nombre d’objets fantˆomes construits par l’approche ´evalu´ee ; γ repr´esentant la propor-tion de points faux-positifs estim´es par la m´ethode `a ´evaluer, par rapport `a l’ensemble des points des objets d’int´erˆet. Les objets fantˆomes ´etant des composantes connexes de la reconstruction ne contenant aucun point des objets d’int´erˆet, β et γ sont li´es. L’´evaluation de la qualit´e d´epend avant tout du contexte applicatif fix´e. Notre but ´etant l’acquisition du mouvement de personnes, les crit`eres pr´ec´edents peuvent ˆetre ordonn´es de la fa¸con suivante : α est le crit`ere le plus impor-tant car r´ealiser le suivi de parties manquantes se r´ev`ele particuli`erement difficile ; β pr´esente le nombre d’objets reconstruits inutilement ; γ souligne la pr´ecision de la reconstruction. Les jeux de donn´ees utilis´es pour cette exp´erimentation et les reconstructions associ´ees sont repr´esent´es figure 6.10. Les valeurs quantitatives correspondantes sont pr´esent´ees tableau 6.1.

Nous observons que pour les diff´erentes exp´erimentations, EORseq reconstruit un volume englobant les objets d’int´erˆet (α ≈ 1.0), et ne contenant pas ou peu d’objets fantˆomes. Ceux-ci apparaissent lorsqu’il existe plusieurs unions-minimales de EVEm(O). EORseq supprime le nombre maximum d’objets fantˆomes en respectant la propri´et´e de silhouette-´equivalence. Cette approche se r´ev`ele particuli`erement robuste en pr´esence de peu de cam´eras.

EOR supprime toujours tous les objets fantˆomes, mais supprime parfois certains points r´eels. EOR produit des reconstructions incompl`etes, compar´ee `a EOR_seq. Dans toutes ces confi-gurations SH supprime parfois tous les objets fantˆomes et fournit souvent une reconstruction incompl`ete, sp´ecialement en pr´esence d’un faible nombre de cam´eras.

Dans [MH07], SH a ´et´e construit sur une approche Shape-From-Silhouette surfacique et s’av`ere peu robuste `a l’´echantillonnage d’une approche Shape-From-Silhouette volumique : dans le tableau 6.1 avec le jeu D, la reconstruction de SH contient 4 petits objets fantˆomes pour 3 ou 4 vues. Dans la mesure o`u EOR_seqest construite sur la propri´et´e de silhouette-´equivalence, EOR_seq est efficace aussi bien sur les approches Shape-From-Silhouette surfaciques que volumiques.

6.2. Enveloppe d’objets r´eels silhouette-´equivalente

A

B

C

D

Vue 1 Vue 2 Objets d’int´erˆet EVE2 SH EOR EOR_seq

Fig. 6.10 – Reconstructions issues de diff´erents jeux de donn´ees `a partir de deux vues. Ces diff´erentes configurations sont difficiles, ce qui a pour cons´equence la cr´eation d’objets fantˆomes. Les deux colonnes de gauches pr´esentent les masques de silhouette correspondants. Les configu-rations des objets d’int´erˆet observ´ees depuis point de vue virtuel, sont pr´esent´ees `a la troisi`eme colonne. Les colonnes suivantes d´ecrivent successivement les reconstructions propos´ees par : EVE₂ volumique, Safe Hulls [MH07] (SH), EOR puis EORseq. Les cercles verts montrent les parties des objets d’int´erˆet qui ne sont pas reconstruites.

6.2.7 Discussion

Dans cette section nous avons propos´e une approche totalement automatique qui supprime en temps r´eel les objets fantˆomes construits par toute m´ethode reposant sur le concept d’enveloppe visuelle. Cette nouvelle approche ne n´ecessite pas d’information suppl´ementaire en dehors du calibrage des cam´eras et de l’information de silhouette. Celle-ci se r´ev`ele efficace, que ce soit pour des objets statiques ou dynamiques, estim´es par une approche surfacique ou volumique. Nous avons prouv´e qu’en respectant une hypoth`ese peu contraignante, notre approche est capable de supprimer la totalit´e des objets fantˆomes dans la majorit´e des cas. Une comparaison avec les pr´ec´edentes approches d´eterministes, montre que EOR_seq fournit des reconstructions plus pr´ecises mˆeme en pr´esence d’un grand nombre d’objets d’int´erˆet film´es par peu de cam´eras. Dans la mesure o`u EOR_seq ne n´ecessite pas d’information additionnelle, cette approche permet d’am´eliorer les applications actuelles construites sur l’estimation d’enveloppes visuelles.

n ^{EVE2 SH EOR EOR}seq α β γ α β γ α β γ α β γ A 2 0.99 2 3.60 0.38 0 0.52 0.99 0 1.28 0.99 0 1.28 3 0.99 0 0.80 0.99 0 0.80 0.99 0 0.80 0.99 0 0.80 4 0.99 0 0.74 0.99 0 0.74 0.99 0 0.74 0.99 0 0.74 B 2 0.99 7 2.43 0.51 0 0.25 0.80 0 0.35 0.99 0 0.42 3 0.99 1 0.31 0.99 0 0.26 0.99 0 0.26 0.99 0 0.26 4 0.99 0 0.22 0.99 0 0.22 0.99 0 0.22 0.99 0 0.22 C 2 0.99 11 3.80 0.31 0 0.27 0.63 0 0.57 0.99 0 0.71 3 0.99 7 0.56 0.94 0 0.30 0.99 0 0.31 0.99 0 0.31 4 0.99 1 0.27 0.99 0 0.25 0.99 0 0.25 0.99 0 0.25 D 2 0.99 5 8.58 0.57 0 5.07 0.67 0 5.50 0.99 2 7.40 3 0.99 5 4.20 0.69 4 2.90 0.99 0 3.82 0.99 0 3.82 4 0.99 1 2.09 0.98 4 2.20 0.99 0 2.05 0.99 0 2.05

Tab. 6.1 – Comparaison des reconstructions issues des jeux de donn´ees synth´etiques pr´esent´es Fig. 6.10. Les m´ethodes qui offrent les meilleurs r´esultats sont sur-lign´ees en vert alors que celles qui offrent les moins bons r´esultats sont sur-lign´ees en rouge clair. Pour toutes ces exp´ erimen-tations, EOR_seq offre toujours les meilleurs r´esultats, compar´es aux reconstructions offertes par EVE₂, SH, et EOR. n d´ecrit le nombre de vues en entr´ee. Seules les reconstructions issues d’un faible nombre de cam´eras sont repr´esent´ees afin de souligner les capacit´es de EOR_seq.

6.3 Conclusion

Dans ce chapitre nous avons propos´e deux approches, EOR et EOR_seq, qui permettent de caract´eriser et supprimer les objets fantˆomes dans les reconstructions fournies par les approches EVEm ou encore par Shape-From-Silhouette. EOR conserve tout objet d’int´erˆet lorsqu’il parti-cipe `a la cr´eation des silhouettes, c’est `a dire que sans cet objet, les silhouettes ne seraient pas celles observ´ees. Cette supposition n’est pas tr`es forte et suffit en g´en´eral pour supprimer unique-ment les objets fantˆomes. Dans le cas contraire l’approche EOR_seq garantit que la forme recons-truite est silhouette-´equivalente. Lorsqu’il existe une unique union-minimale, EOR_seq contient tous les objets d’int´erˆet et ne contient aucun objet fantˆome.

Les approches EOR et EOR_seq sont efficaces pour toute estimation g´en´er´ee par EVE_m. Ce-pendant EVEm et Shape-From-Silhouette sont bas´ees sur l’exploitation des masques binaires de silhouette. Or les d´efauts de robustesse de l’extraction des masques de silhouettes sont directe-ment responsables d’erreurs dans la reconstruction (g´en´eralement des trous). Dans le chapitre suivant nous proposons une m´ethode temps-r´eel qui r´epond `a ce probl`eme en retardant le plus possible la classification des pixels en tant que silhouette. L’id´ee est de profiter des param`etres de calibrage g´eom´etrique des cam´eras, pour fusionner l’information disponible pour chaque cam´era et ainsi prendre une d´ecision globale `a toutes les cam´eras pour un point 3D donn´e.