Les entit´ es fantˆ omes

contrepartie leurs m´ethodes ajoutent des objets fantˆomes, ensembles connexes de point 3D qui ne correspondent `a aucun objet d’int´erˆet.

4.5.2 Les entit´es fantˆomes

L’enveloppe visuelle d’objets d’int´erˆet est le volume maximal qui est silhouette-consistant avec ces mˆemes objets film´es. Ce volume englobe la forme des objets d’int´erˆet (propri´et´e 1). L’enveloppe visuelle des objets d’int´erˆet peut s’´ecrire de la fa¸con suivante :

EV(O) = O ∪ Ef antˆome (4.4)

avec E_{f antˆome} les entit´es fantˆomes g´en´er´ees par l’enveloppe visuelle (voir figure 4.5). Ces entit´es fantˆomes sont des points 3D de l’espace qui sont silhouette-consistants, mais qui n’ap-partiennent pas aux objets d’int´erˆet.

Rappelons que l’enveloppe visuelle EV(O) d’un objet O est le volume maximal silhouette-´equivalent avec O. Une condition n´ecessaire pour qu’un point 3D P appartienne `a O est que P soit silhouette-consistant avecO. Cette condition est n´ecessaire mais pas suffisante. Le fait que la silhouette-consistance ne soit pas une relation d’´equivalence implique que EV(O) contient `a la fois O et des artefacts Ef antˆome.

Pour r´eduire les entit´es fantˆomes d’une EV, une solution est d’augmenter le nombre de vues (propri´et´e 3). En r´ealit´e cela ne repr´esente pas une solution ultime. En effet A. Laurentini a prouv´e dans [Lau94] qu’avec une infinit´e de points de vue, il n’est pas possible de reconstruire

4.5. Verrous de Shape-From-Silhouette et travaux associ´es

Fig. 4.5 – Dans cette configuration, l’enveloppe visuelle des objets d’int´erˆet est constitu´ee de neuf composantes connexes. Six de ces composantes sont des objets fantˆomesrepr´esent´ee en gris clair. Les parties fantˆomessont repr´esent´ees en gris fonc´e. Ces entit´es fantˆomes de l’enveloppe visuelle ne contiennent pas d’objet r´eel.

.

les parties concaves de l’objet si elles ne d´efinissent pas de contours dans au moins une des sil-houette. Ces parties sont dites surfaces ”silhouette-inactives”. Il n’existe `a priori pas de solution simple pour supprimer directement toutes les entit´es fantˆomes.

Nous proposons de s´eparer les entit´es fantˆomes en deux ensembles distincts :

EV(O) = O ∪ Pf antˆome∪ Of antˆome (4.5) o`u P<sub>f antˆome</sub> repr´esente les parties fantˆomes et O<sub>f antˆome</sub> repr´esente les objets fantˆomes de l’enveloppe visuelle. Nous diff´erencions ces deux types d’artefacts par le fait qu’un objet fantˆome repr´esente une partie connexe de l’enveloppe visuelle qui ne contient aucun objet r´eel, alors que les parties fantˆomes sont connect´ees `a des objets r´eels.

D´efinition 5 Soit CC_j l’une des composantes connexes de EV(O). CCj est unobjet fantˆome

de EV(O) si et seulement si ∀X ∈ CCj : X /∈ O. 

D´efinition 6 Soit CCj l’une des composantes connexes de EV(O). CCj contient une partie fantˆome de EV(O) si et seulement si ∃(X, Y) ∈ CC2

La figure 4.5 repr´esente un cas typique o`u l’enveloppe visuelle contient des objets fantˆomes et des parties fantˆomes. Les entit´es fantˆomes apparaissent lorsqu’il existe des zones de l’espace consistantes avec l’ensemble des silhouettes, mais ne contenant aucun objet r´eel.

Remarque 2 Il n’existe pas n´ecessairement d’objet fantˆome dans une enveloppe visuelle. Cepen-dant il existe toujours des parties fantˆomes dans une enveloppe visuelle, sauf lorsqueO = EV(O). 

Parmi l’ensemble des m´ethodes qui proposent un m´ecanisme de suppression d’entit´es fan-tˆomes, la plupart n´ecessitent de l’information suppl´ementaire. Dans [MH07], Miller et Hilton d´efinissent le concept de Safe Hull (enveloppe sˆure). Cette enveloppe d´efinit les parties de l’en-veloppe visuelle, dont on est sˆur qu’elle contient des objets r´eels. Ils d´eterminent les portions de l’espace dits sˆurs, en calculant l’intersection entre l’enveloppe visuelle et tous les rayons de silhouette¹ issus de toutes les cam´eras. Cette intersection fournit pour chaque rayon le nombre d’intervalles de l’enveloppe visuelle qu’il traverse. L’ensemble des points 3D de l’EV intersect´es par des rayons qui traversent un seul intervalle de l’EV, constituent la Safe Hull. En pr´esence de beaucoup de points de vue, cette approche supprime quelques entit´es fantˆomes. Cependant, leur approche souffre de temps de calculs particuli`erement longs. De plus, rien ne garantit que la g´eom´etrie calcul´ee par la Safe Hull contienne tous les objets de la sc`ene. D’un cˆot´e cette ap-proche supprime une partie des entit´es fantˆomes de l’EV , de l’autre cˆot´e leur approche viole une propri´et´e fondamentale de l’enveloppe visuelle. En effet, en pr´esence d’occultations partielles, des points 3D qui appartiennent aux objets r´eels seront supprim´es.

La plupart des m´ethodes qui suppriment une partie des entit´es fantˆomes n´ecessitent une infor-mation suppl´ementaire comme par exemple les couleurs, les contours, ou encore une connaissance temporelle.

Bogomjakov et Gotsman [BG08] proposent une approche qui permet de supprimer certaines entit´es fantˆomes `a l’aide de cartes de profondeurs, ou encore la mise en correspondance de silhouettes. Les cartes de profondeurs proviennent de cam´eras sp´ecifiques 2.5D et la mise en correspondance peut-ˆetre mise en ´echec lorsque les objets ont une apparence proche. Bien que cette m´ethode offre le temps r´eel `a l’aide d’informations suppl´ementaires, celle-ci ne garantit pas la suppression de tous les objets fantˆomes.

Pour calculer une g´eom´etrie plus fine, en plus de l’information de silhouettes, la consistance-photom´etrique a ´et´e prise en compte pour reconstruire la g´eom´etrie `a partir de plusieurs vues. La plupart des approches qui ont ´et´e propos´ees sont volumiques. Chaque voxel est projet´e dans toutes les images, pour v´erifier si les r´egions dans les images o`u ce voxel se projette ont une couleur similaire. Si les r´egions ont une couleur similaire, alors le voxel correspondant est dit

4.5. Verrous de Shape-From-Silhouette et travaux associ´es photo-consistant, c’est `a dire qu’il semble ˆetre `a la surface de l’objet r´eel. Cela revient `a dire que si un voxel n’est pas photo-consistant, c’est qu’il n’appartient pas `a la surface d’un objet r´eel. Pour diminuer les temps de calcul, les voxels pr´ec´edemment calcul´es par une approche Shape-From-Silhouette sont test´es couche par couche, en commen¸cant par l’ext´erieur. De cette fa¸con le mod`ele volumique est sculpt´e, pour obtenir au final une enveloppe photo-consistante (PhotoHull ) [SD97,CMS99]. L’algorithme qui calcule la PhotoHull est g´en´eralement appel´e Space Carving.

Les m´ethodes construites sur la photo-consistance supposent que les objets `a reconstruire sont parfaitement diffus et textur´es. De plus un voxel peut ˆetre class´e comme photo-consistant si ses projections dans toutes les cam´eras sont des r´egions de couleur similaire. Cela ne garantit pas que ce voxel appartienne `a la surface de l’objet. Tout comme le test de silhouette-consistance, la photo-consistance est une condition n´ecessaire, mais pas suffisante. D’un cˆot´e l’approche Photo-Hull permet de calculer un volume plus pr´ecis que l’EV, mais elle ne garantit pas de reconstruire les parties sp´eculaires de l’objet. De plus, par la d´etermination de la visibilit´e de chaque voxel, il n’existe `a ce jour aucune impl´ementation en temps r´eel, mais seulement quelques une en temps interactif.

D’autres travaux [GFP08, KS00, MM04] proposent des reconstructions, qui sont en g´en´eral, d´epourvues d’objets fantˆomes en utilisant par exemple des m´ecanismes de mise en correspon-dance. Toutefois, l’ensemble de ces m´ethodes demandent des calculs intensifs pour l’´evaluation d’inf´erences ou encore parfois par la mise en correspondance de pixels.

Les m´ethodes pr´ec´edentes estiment la g´eom´etrie d’un objet `a chaque trame, s´epar´ement, c’est a dire ind´ependamment de l’image pr´ec´edente et de l’image suivante. Les propri´et´es physiques fondamentales de l’inertie, imposent que les objets en mouvement ´evoluent de fa¸con continue `a travers le temps. En utilisant le fait que le mouvement est continu, la g´eom´etrie calcul´ee est plus pr´ecise. La prise en compte de la continuit´e temporelle a ´et´e int´egr´ee `a Shape-From-Silhouette de plusieurs fa¸cons. Certains travaux int`egrent `a la fois la coh´erence temporelle avec l’approche de PhotoHull comme par exemple dans les travaux [VBK02,GM04a]. Dans [CBK03b] Cheung et al . ont propos´e une m´ethode qui permet de fortement att´enuer les entit´es fantˆomes en utilisant un recalage temporel bas´e sur des points caract´eristiques dits Colored Surface Points. L’enveloppe visuelle est un englobant des objets r´eels. Donc parmi les points de surface de l’enveloppe visuelle, certains appartiennent aussi aux objets d’int´erˆet. Pour les d´etecter, Cheung et al . calculent la coh´erence photom´etrique de chaque point de surface de l’enveloppe. Les points photo-consistants sont alors d´efinis comme ´etant les Colored-Surface-Points (CSP). Ensuite ils calculent le recalage des points de l’enveloppe courante dans les images de la trame pr´ec´edente et inversement. Le nombre de CSP augmente au cours du temps et ces points sont accept´es comme ´etant des points r´eels des objets film´es. Leur m´ethode permet de supprimer la plupart des entit´es fantˆomes lorsque les objets film´es sont lambertiens et contrast´es.

Dans [SH07] Starck et al . proposent une m´ethode de reconstruction qui utilise l’ensemble des crit`eres de coh´erence cit´es ci-avant. Ils corrigent l’estimation volumique de l’enveloppe visuelle `a l’aide de points caract´eristique photo-consistants, ainsi qu’`a travers un filtrage temporel ce qui produit des donn´ees en 4D. Enfin la forme 3D est d´etermin´ee `a chaque pas de temps en utilisant une approche d’optimisation globale par graphe cut. Les r´esultats obtenus sont de tr`es bonne qualit´e. Ces travaux repr´esentent l’une des approches de r´ef´erence.

L’ensemble de ces m´ethodes offrent des r´esultats int´eressants, mais elles n´ecessitent de grosses capacit´es de calculs et ne peuvent aujourd’hui ˆetre implant´ees en temps r´eel.

Peu de m´ethodes de la litt´erature font la distinction entre parties fantˆomes et objets fan-tˆomes. Cependant il existe plusieurs approches qui ne traitent que des objets fantˆomes. Yang et al . ont propos´e dans [YHHGBG03] une approche qui permet de supprimer la plupart des objets fantˆomes. Leur contexte de surveillance leur permet de supposer que les composantes connexes de l’EV qui contiennent un individu humain, ont un volume minimum. Enfin pour supprimer les objets fantˆomes restants, ils ont propos´e un filtrage temporel. Ils supposent qu’une com-posante connexe de l’EV qui contient un objet r´eel en mouvement, d´ecrit un mouvement lisse et continu. Malgr´e des r´esultats int´eressants, cette approche ne peut ˆetre g´en´eralis´ee dans des sc`enes dynamiques avec des objets r´eels de tailles quelconques. L’approche propos´ee par Bogom-jakov et Gotsman [BG08] offre une solution qui focalise sur la suppression des objets fantˆomes. Il est n´eanmoins n´ecessaire de d´eterminer les correspondances entre silhouettes. Les m´ethodes qui r´ealisent cette appariement sont cependant sensibles `a l’apparence et aux occultations des objets pr´esents dans la sc`ene. Bien que cette approche fournisse le temps r´eel, elle ne garantit pas la suppression de tous les objets fantˆomes.