Remarquons que l'utilisation de cette deuxième stratégie amène à considérer un modèle qui repose entièrement sur des données extraites de la séquence. Il est alors important de diérencier les données utilisées comme observations de l'état des données utilisées pour la dé nition de la loi d'évolution. Cependant, l'ensemble de ces données sont déduites de la séquence d'images, et sont donc en théorie dépendantes entre elles. Cette dépendance n'est pas prise en compte dans les algorithmes existants [Meyer 94] [Kervrann 95] [Kang 03] [Zhou 04].
Dans cette section, nous avons présenté les méthodes existantes pour dé nir l'état et la loi d'évolution dans le cadre d'une application de suivi dans une séquence d'images. La deuxième étape de la construction du modèle consiste en une dé nition des observations et de leur vraisemblance. Celle-ci est décrite dans la section suivante.
4.2 Caractérisation de l'objet : dé nition de la mesure et de
la vraisemblance
Une fois la représentation de l'entité dé nie, le choix de sa caractérisation est essentiel pour la mise en ÷uvre d'un algorithme de suivi e cace. La caractérisation de l'entité désigne un ensemble de données permettant de l'identi er, voire de la détecter dans la séquence. En général, un modèle de l'objet est dé ni par une ou plusieurs caractéristiques issues des images. Le choix de ces caractéristiques est crucial. En eet, ce modèle doit être à la fois persistant le long de la séquence pour ne pas perdre l'objet et discriminant pour ne pas introduire une confusion entre plusieurs objets. Les caractéristiques les plus utilisées comprennent les modèles de contour, les histogrammes de couleur, des mesures de mouvement ou utilisent des images de référence.
Modèle de contour
L'utilisation des caractéristiques de contour d'un objet a été introduite avec l'algorithme Condensation [Isard 96]. Depuis, cette information a été employée dans de nombreuses méthodes de trajectographie [Isard 98b] [Vermaak 01] [Odobez 03] [Wu 04] [Chen 04].
Le modèle de contour permet de capter la forme d'un objet en utilisant les informations de gradients dans l'image. L'objet initial est représenté par une courbe paramétrée par B-spline (à p points de passage). Les particules prédites avec la loi dynamique correspondent à des courbes hypothèses. À chacune de ces hypothèses est associé un ensemble de mesures de gradient calculées le long de p lignes normales au contour hypothèse. Le poids associé à chacune des particules est calculé par la vraisemblance qui modélise la distance entre le contour hypothèse et les données de gradient de l'image les plus proches de celui-ci. Ce modèle de contour est illustré par la gure 4.4.
Bien qu'une telle caractéristique permette de capter la forme d'un objet, elle est perturbée dès que l'arrière plan de l'image contient trop de contours parasites. De plus, elle n'est pas adaptée quand il n'y a pas de classe d'objet prédé nie à suivre, ou quand l'entité suivie n'a pas une silhouette invariante dans le temps (personne qui marche, mouvement de la main).
Fig. 4.4: Modèle de contour. La ligne blanche épaisse représente un contour hypothèse, les lignes nes sont les lignes sur lesquelles un algorithme de détection de contour est utilisé, l'ensemble des points noirs correspond à la mesure associée au contour hypothèse - gure tirée de [MacCormick 99]
Histogramme de couleur
L'information de couleur de l'objet est largement utilisée dans les algorithmes de suivi par ltrage [Pérez 02] [Comaniciu 03] [Nummiaro 03] [Odobez 03] [Fei 04] [Wu 04] [Kwolek 04] [Pérez 04] [Chen 04]. La couleur associée à une zone de l'image est représen-tée par un histogramme (le système teinte-saturation-luminosité est souvent préféré au système rouge-vert-bleu). Des mesures de distance entre histogrammes peuvent être dé -nies en utilisant le coe cient de similarité de Bhattacharyya [Comaniciu 03], la distance de Kullback-Leibler [Liu 04] ou une mesure d'intersection [Wu 04]. En pratique, un histo-gramme de référence est associé à l'objet initial, généralement représenté par une fenêtre ou une ellipse. Trois approches peuvent être alors mises en place :
La première méthode est utilisée dans [Comaniciu 03]. Elle consiste à utiliser un al-gorithme de détection de la fenêtre (ou ellipse) dont l'histogramme est de distance minimale avec l'histogramme de référence. Cette fenêtre est considérée comme l'ob-servation zk de l'état. Il est alors possible de construire une équation de mesure linéaire.
La deuxième méthode, proposée dans [Pérez 02] est mise en ÷uvre dans le cadre des méthodes séquentielles de Monte Carlo. Il n'y a pas de module de détection d'un meilleur candidat, mais on suppose que les observations correspondent aux zones de l'image associées aux particules prédites. La vraisemblance de chaque particule est évaluée en utilisant une équation de mesure qui traduit la distance entre son propre histogramme et l'histogramme de référence (elle peut aussi éventuellement prendre en compte une modélisation de l'arrière plan de l'image [Pérez 02] [Vermaak 02b]). Cette vraisemblance est reliée aux pixels de l'image et l'équation de mesure associée est donc généralement hautement non linéaire.
Comme la deuxième méthode, la troisième méthode s'applique au cadre des algo-rithmes particulaires. L'information de couleur est utilisée pour construire une loi de proposition permettant d'échantillonner e cacement les particules [Isard 98b].
88 4.2 Caractérisation de l'objet
Ces trois types de stratégies seront repris en détail et dans un cadre plus général dans la section suivante.
L'information de couleur modélisée par un histogramme a l'avantage d'être robuste aux changements de structure spatiale des objets dus aux modi cations d'angle de vue ou aux occlusions partielles. Un histogramme est donc une caractéristique persistante. Face à des applications de suivi dans de longues séquences, l'histogramme de référence doit être mis à jour a n de s'adapter aux changements possibles d'apparence de l'objet (dus à un fort changement d'illumination, un changement de pose, etc.) [Nummiaro 03]. Cela peut être réalisé par un algorithme de type em (Expectation-Maximisation) [Raja 98] [Vermaak 02b]. Néanmoins, les histogrammes de couleur ont le désavantage d'être assez peu spéci ques. Cette caractéristique est donc généralement combinée à d'autres informa-tions.
Mesure de mouvement
Bien qu'intermittente, l'information de mouvement est une caractéristique très inté-ressante. D'une part, grâce à une recherche très active dans le domaine de l'estimation de mouvement, une grande variété d'algorithmes permettant d'extraire cette information existent. D'autre part, elle a l'avantage d'être spéci que. En particulier, il est possible de combiner les caractéristiques de couleur et de mouvement, ce qui permet de lever d'éven-tuelles ambiguïtés [Vermaak 02b] [Pérez 04].
L'information de mouvement peut être décrite de diérentes manières, comme une carte de segmentation au sens du mouvement [Hue 01], un histogramme de mouvement lié à une zone de l'image [Pérez 04], ou une carte de diérences inter-images [Sidenbladh 01] [Vermaak 02b]. Selon le type de mesure choisie, l'utilisation de l'information de mouvement peut se faire selon diérentes stratégies, sur la base de principes similaires aux approches décrites dans le cas de la couleur. Le choix de la stratégie repose sur l'utilisation ou non d'un module de détection, et sur la prise en compte ou non de cette mesure dans la loi de proposition.
Image de référence (template)
Le dernier type de caractérisation très utilisé dans des applications de suivi consiste à choisir une (ou plusieurs) image(s) de référence comme modèle d'apparence de l'objet [Hager 98] [Sullivan 01] [Nguyen 01]. Cette caractérisation s'applique en particulier à la trajectographie dans des images en niveaux de gris.
De nombreuses mesures permettant d'évaluer la similarité entre deux images de petites tailles sont disponibles [Odobez 03][Aschwanden 92], ainsi que des algorithmes permettant de trouver la partie de l'image la plus similaire à l'image de référence [Baker 04b]. Comme dans le cas de l'histogramme de couleur, la mesure désigne soit la meilleure représentation candidate au sens du minimum de distance avec l'image de référence, soit l'ensemble des parties d'images associées aux particules prédites. Les stratégies précédentes peuvent ainsi être mises en ÷uvre.
La caractérisation par un modèle d'image a l'avantage d'être très discriminante en cas d'ambiguïté entre plusieurs objets. Cependant, elle pose le problème important de la mise à jour de l'image de référence. Celle-ci est essentielle pour rendre l'algorithme robuste
aux changements d'apparence de l'entité considérée et éviter les dérives du suivi. Diverses méthodes pour réaliser cette mise à jour sont décrites dans [Nguyen 01], [Jepson 01] et [Matthews 04]. Une solution possible visant à contourner cette di culté consiste à accumuler les diérentes imagettes associées aux estimations. Cet ensemble forme une base d'exemples décrivant les variations d'apparence de l'objet suivi. Cette base peut être construite hors ligne [Rahimi 01] ou en ligne [Morency 03].
Autres types de mesures et fusion de données au travers de la vraisemblance D'autres types de caractérisation de l'entité peuvent être utilisées. Citons par exemple l'utilisation de cartes de profondeur [Kwolek 04], d'images de dérivées [Sidenbladh 01], d'in-formations de texture [Nguyen 04], de bases d'exemples [Toyama 02] [Fei 04], de représen-tions dans l'espace des vecteurs propres [Black 96], ou de modèles d'apparence adaptatifs sous forme d'un mélange de composantes de l'image [Jepson 01] [Zhou 04].
En n, d'autres modalités non extraites de la séquence d'images peuvent être prise en compte en complément, tel que le son pour des applications de visio-conférence [Vermaak 01] [Vermaak 02b] [Pérez 04] [Chen 04].
Le fait de pouvoir fusionner simplement plusieurs modalités d'observations diérentes constitue un avantage important des méthodes de ltrages. En eet, sous l'hypothèse d'in-dépendance des diérentes observations conditionnellement à l'état, la vraisemblance glo-bale s'écrit comme le produit des vraisemblances associées aux Γ modalités diérentes zγ
k : p(zk|xk) = Γ Y γ=1 p(zγk|xk). (4.2)
Un modèle construit avec cette vraisemblance est alors traité à l'aide d'une méthode par-ticulaire.
Cette modélisation a permis la fusion des caractéristiques, respectivement de couleur et mouvement [Pérez 04], couleur et son [Pérez 04] [Chen 04], son et contour [Vermaak 01] [Chen 04], ainsi que contour et image de référence [Odobez 03]. Les algorithmes ainsi construits béné cient des avantages des diérents modèles d'apparence, dont la combi-naison est en général à la fois persistante le long de la séquence et spéci que. Une telle fusion de données augmente la robustesse de la méthode de trajectographie, et permet de compenser une dynamique peu informative.