a l’instant t. On peut soit chercher une position dans le voisinage de la derni`ere position
connue qui corresponde aux observations que l’on peut faire `a l’instantt, ou bien d´eterminer
le mouvement de l’objet entre les deux instants, et utiliser ce mouvement pour en d´eduire
la nouvelle position de l’objet. Dans le domaine du suivi de la main, c’est la premi`ere
ap-proche qui est g´en´eralement utilis´ee, mˆeme si r´ecemment on a vu apparaˆıtre des m´ethodes qui
prenaient appui sur une estimation du d´eplacement pour guider l’estimation de la nouvelle
position [LMSO03].
Nous pensons ´egalement, et nous nous efforcerons de le montrer dans le pr´esent chapitre,
que ces approches ne sont pas antagonistes, mais que bien au contraire elles peuvent se
compl´eter `a merveille, de fa¸con `a ce que chacune d’entre elles compense les d´efauts de l’autre.
Il nous est en effet apparu que chacune des deux approches, utilis´ees de fa¸con isol´ee, ne
pouvait convenir `a l’usage que nous souhaitions en faire, mais que combin´ees, elles donnent
des r´esultats des plus encourageants.
7.1.2 Organisation du chapitre
Dans un premier temps, nous pr´esenterons bri`evement le dispositif que nous avons mis en
place pour permettre le suivi de mouvements, ainsi que les diff´erents moyens mis en œuvre
pour obtenir les donn´ees qui serviront de base au suivi proprement dit. Nous aborderons les
difficult´es pouvant survenir dans cette phase d’extraction des donn´ees, afin de savoir quels
´ecueils il nous faudra ´eviter dans la suite.
Puis nous allons successivement ´etudier diff´erentes m´ethodes permettant le suivi d’un
ob-169
jet. Nous commencerons par nous int´eresser aux techniques utilisant le mouvement de points
d’int´erˆet extraits des images pour d´eduire le d´eplacement, puis la position de l’objet ´etudi´e.
Nous reviendrons en d´etail sur les m´ethodes les plus couramment utilis´ees pour l’estimation
conjointe de la transformation et des mises en correspondance des points dans les sections
7.3.3, 7.3.4 et 7.3.5.
Puis nous pr´esenterons notre propre m´ethode dans la section 7.3.6, fond´ee sur l’algorithme
EM, qui permet un suivi robuste de l’objet grˆace `a ces points d’int´erˆet, grˆace `a une ´elimination
automatique des points aberrants que nous essaierons de justifier d’un point de vue statistique.
Ensuite, nous verrons comment des m´ethodes d’ajustement `a un mod`ele permettent d’obtenir
de fa¸con diff´erente cette mˆeme position, et comment les id´ees de EM peuvent inspirer une
´elimination similaire des points aberrants.
Nous discuterons des d´efauts respectifs de ces deux approches, qui comme nous le verrons
dans la section 7.5, peuvent ˆetre contourn´es. Il est en effet possible de les combiner afin
d’augmenter tout `a la fois rapidit´e et robustesse du suivi.
Afin de simplifier les descriptions qui vont suivre, en particulier les expressions des diff´erents
crit`eres, nous pr´esenterons, dans ce chapitre, ces diff´erentes m´ethodes dans le cas particulier du
suivi d’objets ind´eformables. Nous verrons dans le chapitre suivant qu’elles peuvent ˆetre
natu-rellement ´etendues au cas d’un solide articul´e et d´eformable, pourvu que le mod`ele le d´ecrivant
nous fournisse un certain nombre d’informations quant `a sa cin´ematique, sa g´eom´etrie et ses
d´eformations ´eventuelles.
7.2 Pr´esentation du dispositif
7.2.1 Un syst`eme multi-cam´eras
Dans notre cas, nous nous int´eresserons `a des donn´ees provenant de sources vid´eo, plus
pr´ecis´ement des s´equences d’images obtenues `a l’aide de cam´eras. La sc`ene, principalement
les mains de l’utilisateur dans le cas qui nous int´eresse, est film´ee par plusieurs cam´eras, sous
diff´erents angles. Nous souhaitons pouvoir utiliser des donn´ees tridimensionnelles obtenues
avec ce dispositif, donc deux cam´eras au moins seront n´ecessaires (encore qu’il soit tout `a fait
possible de n’utiliser qu’une seule cam´era ´equip´ee d’un jeu de miroirs permettant d’obtenir
deux points de vue distincts dans la mˆeme image, ainsi que le proposent les travaux de Quentin
Delamarre et Olivier Faugeras [DF99, Del03]).
Des images de ces deux cam´eras, nous extrairons par exemple des points d’int´erˆet, obtenus
avec une m´ethode telle que le d´etecteur de Harris. Ces points d’int´erˆet, une fois appari´es,
permettent d’obtenir, par reconstruction, un nuage de points 3D. Pour ce faire, il est n´ecessaire
d’avoir au pr´ealable calibr´e la sc`ene, de fa¸con `a pouvoir d´eterminer la g´eom´etrie ´epipolaire
liant les deux cam´eras.
7.2.2 Efficacit´e de la reconstruction 3D sur la main
Ces diff´erents points 3D reconstruits correspondent, en principe, `a des ´el´ements visibles
des objets film´es. Dans notre cas, par exemple, une bonne part de ces points correspondent `a
des d´etails sur la peau des mains de l’utilisateur : plis, taches et autres imperfections. Mˆeme
en l’absence de marqueurs, et malgr´e son apparence assez uniforme, la peau peut fournir
quantit´e de d´etails `a condition d’avoir pris soin d’utiliser un ´eclairage ad´equat et de s’ˆetre
assur´e une nettet´e suffisante de l’image.
La plupart de ces d´etails se trouvent au niveau des plis de la peau, `a l’articulation des
phalanges et au voisinage de la paume. Ce ne sont malheureusement pas les endroits id´eaux
pour le suivi d’un objet articul´e, puisqu’ils se situent dans des zones o`u les d´eformations sont
importantes. En outre, d’une image `a l’autre, ces ´el´ements peuvent apparaˆıtre ou disparaˆıtre
tandis que la peau se tend et se d´etend, et il paraˆıt des plus difficile d’´etablir une sorte de
“carte de texture” qui serait valable pour toutes les positions de la main.
Les extr´emit´es des ongles sont ´egalement potentiellement de tr`es bons candidats `a fournir
des points d’int´erˆet de qualit´e, fiables et pr´ecis, lorsqu’ils apparaissent dans les images des
diff´erentes cam´eras. Ce qui se r´ev`ele une aubaine, dans la mesure o`u un bon positionnement de
l’extr´emit´e des doigts est particuli`erement utile lorsque l’on souhaite retrouver une description
compl`ete de la position de la main et de ses articulations.
Pour parfaire ce positionnement, il faut ´egalement pouvoir situer la paume de fa¸con pr´ecise.
Si l’int´erieur de la paume est en g´en´eral richement pourvu de d´etails, il n’en est pas toujours
de mˆeme pour le dessus de cette derni`ere. Cependant, il est en g´en´eral possible d’y trouver
suffisamment de d´efauts pour disposer d’un nombre satisfaisant de points d’int´erˆet. Dans
de bonnes conditions, donc, on peut disposer a priori de suffisamment de points 3D pour
permettre le suivi de mouvement sans avoir besoin d’ajouter de marqueurs suppl´ementaires.
Les peaux les plus lisses, cependant, sont susceptibles de poser probl`eme.
7.2.3 Points 3D parasites
En pratique, compte tenu des difficult´es inh´erentes `a l’extraction du fond d’une image, et `a
la pr´esence possible d’autres objets dans le champ des cam´eras, on reconstruira in´evitablement
des points 3D qui ne correspondent pas directement `a l’objet de l’´etude. Il est parfois possible
de limiter le nombre de points 3D parasites reconstruits, simplement en utilisant un arri`
ere-plan uniforme, un fond fixe ou bien encore identifiable, et propre `a une extraction. Cependant,
ce genre de traitement n’est pas toujours applicable, et nous verrons comment il est possible
d’´eliminer l’essentiel de ces points de fa¸con automatique lors du suivi.
En outre, la mise en correspondance des diff´erents points, malgr´e les contraintes ´epipolaires,
n’est pas toujours exempte de d´efauts. En particulier, les ´el´ements rep´er´es `a la surface de la
peau sont tr`es souvent redoutablement similaires les uns aux autres, et des appariements
er-ron´es ne sont pas rares. De sorte qu’il apparaˆıt une quantit´e importante de points 3D dont la
position ne correspond `a rien de r´eel, dispers´es dans tout l’espace, et ce mˆeme avec des images
de qualit´e. L`a encore, nous aurons `a ´eliminer ces points et nous assurer qu’ils ne conduisent
pas notre dispositif de suivi vers des solutions incorrectes.
7.2.4 Enrichissement des informations
Comme dit pr´ec´edemment, il n’est besoin que de deux cam´eras pour permettre la
recons-truction du nuage de points 3D que nous utiliserons par la suite. Cependant, plus on disposera
de cam´eras, meilleures seront les informations `a notre disposition. D’une part, avec plus de
deux cam´eras, il est possible d’augmenter la fiabilit´e de la reconstruction 3D des diff´erents
points, et limiter l’apparition de points aberrants. Comme nous disposerons d’une m´ethode
pour rejeter les points par trop erron´es, ce n’est cependant pas le principal avantage que nous
voyons `a l’utilisation d’un nombre plus ´elev´e de cam´eras.
En fait, la principale difficult´e pour le suivi de la main est li´e aux tr`es nombreuses
occlu-sions que l’on ne manquera pas de constater. A moins d’imposer `a l’utilisateur de restreindre
ses mouvements `a ceux parfaitement visibles par la cam´era, une bonne partie de la main
risque d’ˆetre souvent invisible pour une paire st´er´eo de cam´eras. Il apparaˆıt donc des plus
souhaitable (mˆeme si ce n’est pas rigoureusement indispensable), de disposer d’au moins une
seconde paire, que l’on placera avantageusement selon un angle tr`es diff´erent de la premi`ere,
par exemple de l’autre cˆot´e de la sc`ene.
7.3 Suivi point `a point
7.3.1 Introduction
Dans le document
Modélisation, suivi et simulation d'objets articulés et déformables. Application au modelage réel d'une argile virtuelle
(Page 174-177)