Conclusion

§ 4.5

C

Le suivi d’objet dans une vidéo est une tâche complexe à automatiser. Dans ce chapitre, nous avons proposé une méthode de suivi fondée sur l’analyse de trajectoires de points d’intérêts dites caractéristiques. Ces tra- jectoires, représentant le mouvement de l’objet à suivre, sont utilisées pour extraire, sur un groupe d’images (GOP), un ensemble d’informations rela- tives au mouvement de l’objet. L’estimation du mouvement de cet objet est réalisée par la minimisation d’une fonctionnelle pondérée. Le contour ini- tial de l’objet est édité manuellement sur la première image de la vidéo. L’utilisation des points d’intérêt est très classique en vision par ordinateur comme par exemple en stéréovision. La fiabilité des points d’intérêt se re- trouve dans les trajectoires temporelles de points d’intérêt. Ces trajectoires représentent fidèlement le mouvement de la plupart des objets contenus dans la vidéo. Les informations de mouvement extraites de celles-ci per- mettent une estimation précise du mouvement de l’objet d’intérêt.

Nous avons montré que l’utilisation d’un GOP permettait d’augmenter le nombre d’informations relatives au mouvement de l’objet ce qui permet d’améliorer la précision et la robustesse aux données aberrantes de l’esti- mation du mouvement. Cependant, nous avons évoqué le fait que l’esti- mation du mouvement par des GOP consécutifs engendrait une saccade visuelle gênante. De plus, la qualité du suivi est très sensible à la taille de GOP choisie. Nous avons alors proposé d’utiliser des GOP glissant. L’uti- lisation d’une pondération temporelle a pour effet d’adoucir l’hypothèse de constance de mouvement tandis que la pondération spatiale permet de tenir compte des déformations locales de l’objet.

D’après nos expérimentations, la méthode proposée permet de suivre précisément un objet d’intérêt en dépit d’occultations éventuelles. Cepen- dant, la méthode étant fondée sur des trajectoires de points d’intérêt, elle est par conséquent totalement dépendante de la qualité de ces dernières. En effet, si l’objet est homogène ou très peu texturé, il est très possible qu’au- cune ou très peu de trajectoires soient définies dans l’objet d’intérêt. L’es- timation du mouvement est par conséquent non fiable ou tout simplement impossible. Considérons maintenant le cas où les trajectoires ne sont pas en accord avec le mouvement de l’objet. L’estimation du mouvement ne peut être correcte. Ce cas se présente par exemple si le contour de l’ob- jet initialisé manuellement sur la première image de la vidéo est trop ap- proximatif et qu’il contient de nombreux points d’intérêt correspondant au fond ou à un autre objet en mouvement. De même, ce cas se présente si l’objet est occulté dès la première image, les trajectoires alors considé- rées comme caractéristiques peuvent représenter le mouvement de l’objet ou alors un mouvement totalement différent. Enfin, la dernière limitation

68 Chapitre 4. Suivi d’après les trajectoires de points d’intérêt

vient du suivi d’objets articulés. La pondération spatiale permet de prendre en compte de petites déformations. Pour des objets articulés, il faudrait une densité très importante de trajectoires ce qui n’est pas le cas en pratique. Le suivi d’objet articulés est donc très approximatif et la qualité est souvent éloignée de ce que l’on pourrait obtenir avec une méthode de contours ac- tifs mieux adaptée à ce type de problème.

Malgré ces quelques limitations, il apparaît que la grande majorité des applications de suivi d’objet ne nécessite qu’un suivi global. La méthode de suivi proposée permet donc de suivre précisément la plupart des objets.

- C

5

-

S

’

§ 5.1

I

Le chapitre précédant propose une méthode de suivi d’objet fondé sur l’utilisation de trajectoires de points d’intérêt. Nous y avons vu que l’uti- lisation d’un GOP couplé à l’estimation locale, aussi bien en espace qu’en temps, permettait de suivre précisément les objets tout en étant robuste aux occultations partielles. Cette méthode a toutefois deux points faibles. Le premier est inhérent à l’utilisation de trajectoires. Si aucun point d’in- térêt n’est défini dans l’objet, aucune des trajectoires définies dans la vi- déo n’est une trajectoire caractéristique, c’est-à-dire une trajectoire définis- sant le mouvement de l’objet. Il en résulte que le mouvement de l’objet ne peut être calculé. Ce cas peut se rencontrer par exemple avec des objets de couleur homogène. De même, si les trajectoires construites sont totale- ment aberrantes pour quelques raisons que ce soit, bien qu’utilisant des méthodes d’estimation robustes aux donnée aberrantes, le suivi ne peut être garanti. Enfin, si l’objet est occulté dès la première image ou si l’oc- cultation dure trop longtemps, les trajectoires sélectionnées pour être des trajectoires caractéristiques sont certainement aberrantes ce qui compromet de fait le suivi de l’objet.

Le second point faible de la méthode précédente est lié à l’hypothèse se- lon laquelle le mouvement de l’objet peut être estimé à partir des trajec- toires de points d’intérêt. Le suivi global est très performant et nous avons vu que nous pouvions tenir compte de déformations locales de l’objet par l’estimation d’un mouvement par point d’échantillonnage du contour. Ce- pendant, la densité des trajectoires ne permet pas de prendre en compte des déformations trop complexes telles que rencontrées avec les objets arti- culés. Pour des applications classiques (vidéo-surveillance, inpainting, co- lorisation, etc.), la précision du suivi est suffisante. En revanche, pour des

70 Chapitre 5. Suivi de la couronne de l’objet

applications nécessitant une localisation très précise du contour (compo- siting), la méthode fondée sur les trajectoires n’est alors pas suffisamment précise (e.g. Video Cutout [WBC+05]).

Soit V une vidéo de NV images{I1, I2,· · · , INV}. Comme dans le chapitre

précédant, le contour C1est défini manuellement. Nous considérons que les contours C2,· · · , Ct sont d’ores et déjà calculés, le contour Ctétant appelé contour de référence. Le problème de suivi consiste à calculer les contours Ct+1,· · · , CNV_{. Le contour C}j _{à l’image I}j _{est un ensemble de N}

C points

d’échantillonnage Cj = {c₁j, cj₂,· · · , cj_N

C}reliés par une courbe.

Dans ce chapitre, nous proposons une nouvelle approche très différente fondée sur l’estimation du mouvement des points d’échantillonnage du contour par une méthode dite de block-matching1 (appariement de blocs). Cette approche n’est en rien fondée sur l’utilisation de points d’intérêt ni sur leur trajectoire. La nouvelle approche est présentée en deux étapes. Lors de la première, nous présentons une approche utilisant une méthode de block-matching pour laquelle les pixels du fond sont partiellement mas- qués. La seconde étape consiste à améliorer notre approche en utilisant un critère de mise en correspondance non paramétrique et fondé sur l’estima- tion de l’entropie du résiduel. L’ensemble de l’étude sera réalisé sur deux séquences d’images synthétiques présentées sur la figure 5.1.

§ 5.2

A

Étant donné le contour de référence Ct, le problème est de calculer le contour Ct+1. Le mouvement du contour de référence est estimé à partir de l’information contenue dans le voisinage du contour. Pour prendre en compte les déformations complexes du contour, le mouvement de chaque point d’échantillonnage est séparément estimé. Les points d’échantillon- nage, alors déplacés de leur mouvement respectif, forment le contour Ct+1. Le mouvement des points d’échantillonnage est supposé être une transla- tion. Cette hypothèse, couramment utilisée en estimation du mouvement, est une hypothèse raisonnable entre deux images successives d’une vi- déo. Si le contour est discrétisé suffisamment finement, cette dernière ne contraint en rien le mouvement global du contour de l’objet. En particulier, l’objet peut tout à fait être articulé.

Le mouvement de chaque point d’échantillonnage est estimé par une méthode dite de « block-matching » [KLH+81]. Le block-matching est une technique massivement utilisée dans le domaine de la compression vidéo. Le principe général est d’exploiter les redondances temporelles existantes entre des images consécutives. Pour cela, l’image dite de référence est dé-

1. Le block-matching peut être très rapide par corrélation de phase (cross power spec- trum).