G´ en´ eralisation ` a plusieurs objets

Le th´eor`eme 9 est construit selon plusieurs hypoth`eses implicites. La premi`ere est de pouvoir calculercc( O). Si il y a plusieurs objets dans la sc`ene, il n’est pas possible, simplement `a partir de crit`eres g´eom´etriques, de calculer directement cc( Oi) pour chaque objetOi ⊂ O. C’est `a dire qu’il faut pour chaque objet Oi d´eterminer dans quelles composantes connexes de silhouette il se projette. Cela revient `a mettre en correspondances les composantes connexes de silhouettes dans toutes les cam´eras. Pour r´ealiser ces appariements, l’information de masques binaires de silhouettes et le calibrage g´eom´etrique des cam´eras ne suffisent pas. Nous avons utilis´e la m´ethode propos´ee dans [Jos04], reconnue pour la qualit´e des appariements r´ealis´es `a partir de l’information de couleur.

Ayant les correspondances entre les composantes connexes de silhouettes, nous connaissons alors pour chaque objet r´eel les cam´eras qui le voient. Alors pour chaque objet nous pouvons nous ramener `a l’hypoth`ese d’objet unique `a reconstruire. C’est `a dire que pour chaque objetsOi ⊂ O, on calcule s´epar´ement pcSF Si, seulement `a partir des composantes connexes des silhouettes qui sont associ´ees `a Oi. Dans la suite de ce document pcSF S d´ecrit l’approche pcSF S g´en´eralis´ee `

a plusieurs objets.

La figure 5.16 pr´esente le r´esultat de la g´en´eralisation du crit`ere de coh´erence-projective `a plusieurs objets. En pr´esence d’objets de couleur similaire cette approche risque de fournir des r´esultats erron´es. Lorsque qu’un objet d’int´erˆet occulte partiellement un autre objet depuis le point de vue d’une cam´era, l’algorithme de mise en correspondance risque d’ˆetre mis en ´echec. Alors les conditions optimales pour le fonctionnement de cette approche sont que tout objet est visible depuis tout point de vue et qu’il n’y a pas d’occultations.

La g´en´eralisation du crit`ere de coh´erence projective est semblable `a l’approche propos´ee par Bogomjakov et Gotsman dans [BG08]. Cependant dans leur approche, ils ne fournissent pas de justification formelle, concernant les propri´et´es de la forme reconstruite.

D’un cˆot´e cette g´en´eralisation permet d’estimer la forme 3D de plusieurs objets d’int´erˆet dans le cadre d’un positionnement libre de toutes les cam´eras, tout en supprimant une bonne partie des objets fantˆomes. De l’autre cˆot´e cette m´ethode n´ecessite le calcul des correspondances entre les composantes connexes de silhouettes. Or il n’existe pas de solution optimale pour r´esoudre ce probl`eme et cela n´ecessite une information compl´ementaire de couleur. Enfin en pr´esence d’objets d’int´erˆet d’apparence semblable, il faut prendre en compte la coh´erence temporelle, de fa¸con `a mener `a bien le processus de mise en correspondance. Enfin si le processus de mise en correspondance ´echoue, la reconstruction propos´ee risque de ne pas contenir les objets d’int´erˆet. Nous pr´esentons dans la suite certains r´esultats exp´erimentaux qui valident l’int´erˆet du crit`ere de coh´erence projective.

5.4. Coh´erence projective

Fig. 5.16 – Illustration du fonctionnement de la g´en´eralisation du crit`ere de coherence-projective en pr´esence de plusieurs objets d’int´erˆet. La reconstruction est d´efinie par l’union des recons-tructions pcSF S_i.

5.4.2 R´esultats

Dans cette section nous pr´esentons les r´esultats exp´erimentaux du crit`ere de coh´erence pro-jective. Une analyse quantitative et qualitative d´etaill´ee de toutes nos contributions est pr´esent´ee dans le chapitre 8.

Les exp´erimentations suivantes ont ´et´e r´ealis´ees sur la plate forme pr´esent´ee dans la section 5.1.1. La figure 5.17 pr´esente les r´esultats du crit`ere de coh´erence projective en pr´esence d’un seul objet d’int´erˆet. Ce crit`ere a ´et´e appliqu´e sur la reconstruction de la sc`ene propos´ee par EVE<sub>1</sub>. Notons que la totalit´e des objets fantˆomes a ´et´e supprim´ee. La reconstruction pr´esent´ee figure 5.17 illustre l’efficacit´e du crit`ere de coh´erence projective.

Il est important de noter la principale limitation de cette approche : le test de coh´ erence-projective est construit sur la supposition qu’il n’y a qu’un objet dans la sc`ene. Ne pas respecter cette hypoth`ese revient `a invalider la Propri´et´e 9. Ce crit`ere est bas´e sur la connaissance de la correspondance entre les composantes connexes de silhouettes (avec un seul objet, la corres-pondance est triviale). Pour plusieurs objets, nous calculons alors une mise en correscorres-pondance bas´ee sur l’information de couleur. Ayant les correspondances, le test de coh´erence projective est calcul´e s´epar´ement pour chaque objet en connaissant les composantes connexes de silhouette associ´ees. Le crit`ere est alors v´erifi´e en prenant en compte l’information issue des cam´eras o`u il n’y a pas d’occultation partielle. La figure 5.19 pr´esente le r´esultat de la g´en´eralisation du crit`ere de coh´erence projective en pr´esence de plusieurs objets. Notons que si le processus de

Fig. 5.17 – Deux trames diff´erentes (haut et bas) captur´ee par notre plate forme. Le sujet `a re-construire est `a la fois totalement visible (silhouettes rouges), partiellement visible (silhouettes blanches) ou encore non visible par chaque cam´era. Les images de gauche pr´esentent la re-construction fournie par EVE₁. Le crit`ere coh´erence-projective supprime la totalit´e des objets fantˆomes (images de droite), qui sont des parties qui ne se projettent pas dans toutes les sil-houettes de l’objet d’int´erˆet. Le code couleur indique le nombre de cam´eras qui voient chaque voxel : rouge = 1, jaune = 2, vert = 3, cyan = 4, bleu = 5, magenta = 6 et noir =7.

mise en correspondance est erron´e, le test de coh´erence projective peut supprimer des parties qui contiennent des objets d’int´erˆet.

Le test de coh´erence projective n´ecessite un temps de calcul n´egligeable face au calcul de EVE_m. Ainsi le calcul de EVE_m et du test de coh´erence-projective dans le cas d’un seul objet d’int´erˆet permet de calculer la forme de l’objet d’int´erˆet plus de 60 fois par secondes, pour une grille de voxel de r´esolution 128³. En pr´esence de plusieurs objets, l’´etape de mise correspondance p´enalise le syst`eme qui est alors capable d’estimer 30 reconstructions par seconde.

5.4.3 Discussion

Nous avons propos´e un crit`ere qui permet, en pr´esence d’un seul objet d’int´erˆet, de conser-ver les parties de l’enveloppe visuelle ´etendue qui sont garanties de contenir cet objet d’int´erˆet. Dans sa premi`ere version, ce crit`ere ne n´ecessite pas d’information suppl´ementaire que les cartes

5.4. Coh´erence projective

Fig. 5.18 – R´esultat color´e de la reconstruction d’une personne se d´epla¸cant dans la sc`ene. Les images binaires de silhouettes sont repr´esent´ees sur les extr´emit´es gauches et droites. Deux cam´eras ne voient pas l’objet `a reconstruire. EVE1 contient l’objet d’int´erˆet, et le crit`ere de coh´erence projective permet de supprimer tous les objets fantˆomes.

Fig. 5.19 – Deux points de vue d’une mˆeme reconstruction de deux objets d’int´erˆet par l’ap-proche EVE₂ = SF S, filtr´ee par le crit`ere de coh´erence projective. Parmi les quatre parties estim´ees, les objets fantˆomes en noir sont identifi´es par le crit`ere de coh´erence projective, alors que les parties jaunes contiennent les objets d’int´erˆet. Les couleurs observ´ees dans les silhouettes indiquent la mise en correspondance des composantes connexes.

binaires de silhouettes, et le calibrage g´eom´etrique. Cependant la supposition qu’il n’y ait qu’un seul objet dans la sc`ene est tr`es restrictive. Nous avons propos´e une g´en´eralisation de ce crit`ere `

a plusieurs objets, lorsque la correspondance entre les composantes connexes de silhouette est disponible. Cette nouvelle approche est int´eressante en th´eorie, mais le calcul pratique des cor-respondances est un probl`eme difficile. Cette solution ne nous semble pas pertinente, dans la mesure ou le raisonnement est construit sur une information suppl´ementaire dont l’extraction n’est pas, `a ce jour, suffisamment robuste.

5.5 Conclusion

A travers ce chapitre nous avons propos´e une g´en´eralisation des enveloppes visuelles appe-l´ees enveloppes visuelles ´etendues (EVE) construites sur l’information de silhouette observable. L’enveloppe visuelle ´etendue d’objet d’int´erˆet `a la propri´et´e de contenir la totalit´e des objets d’int´erˆet, quelle que soit la configuration des cam´eras. Cependant cette formulation cr´ee beau-coup d’entit´es fantˆomes. Nous avons alors propos´e EVE<sub>m</sub> , l’enveloppe visuelle ´etendue des objets d’int´erˆet, observ´es par au moins m cam´eras. Le param`etre m d´efinit ainsi l’espace dans lequel tout objet d’int´erˆet est construit, et limite la construction d’entit´es fantˆomes. Ainsi EVE_m fournit un bon compromis entre une faible contrainte de placement des cam´eras et la g´en´eration de relativement peu d’entit´es fantˆomes.

Relaxer les conditions de fonctionnement de Shape-From-Silhouette par l’approche EVEm a comme cons´equence d’ajouter des entit´es fantˆomes. Nous avons propos´ee plusieurs crit`eres qui limitent leurs apparitions.

Le premier crit`ere dit de visibilit´e partielle n’ajoute pas d’objet fantˆomes par rapport aux enveloppes visuelles, mais suppose qu’une partie de tout objet `a reconstruire est observ´ee par chaque cam´era. Avec cette approche les contraintes de placement de cam´eras ont ´et´e diminu´ees. Cette m´ethode s’applique particuli`erement bien lorsque l’on souhaite ´etendre l’espace d’acquisi-tion d’un configurad’acquisi-tion de cam´eras pr´evue pour Shape-From-Silhouette.

Le dernier crit`ere de coh´erence-projective permet de supprimer sans information suppl´ emen-taire, la plupart des objets fantˆomes issus de EVE, lorsqu’il n’y a qu’un objet d’int´erˆet dans la sc`ene. Nous avons propos´e une g´en´eralisation de ce crit`ere en pr´esence de plusieurs objets. Il est important de noter que la g´en´eralisation de la coh´erence-projective pour plusieurs objets, apporte une solution g´en´erale pour la suppression des objets fantˆomes, que ce soit dans le cadre de EVE<sub>m</sub>, mais aussi de toutes les approches qui estiment l’enveloppe visuelle dont bien sˆur Shape-From-Silhouette. Cependant sa d´ependance `a l’´etape de mise en correspondance entre les composantes connexes de silhouettes, fait que cette approche n’est pas efficace en pr´esence d’occultations entre les objets.

Nous avons propos´e plusieurs m´ethodes pour limiter la construction d’entit´es fantˆomes sp´ e-cifiquement par les approches EVE ou encore EVE_m. Grˆace `a ces approches nous avons ensuite d´evelopp´e de nouvelles m´ethodes qui suppriment les objets fantˆomes g´en´er´es par toute m´ethode d’estimation de forme `a partir de silhouette : que ce soit EVE_mou encore Shape-From-Silhouette. Nous pr´esentons ces nouvelles approches dans le chapitre suivant. Les solutions que nous propo-sons sont uniquement construits sur des crit`eres g´eom´etriques.