Représentation par modèle 2D

Les personnes peuvent être représentées par leur forme et leur apparence. Dans cette section nous allons tout d'abord décrire les représentations usuellement employées par les méthodes de suivi de personnes. Yilmaz [Yilmaz 06] fournit une classication de ces représentation que nous reprenons.

• Points : la personne est représentée par son centroïde (gure 3.14a). De manière

générale le centroïde est utilisable pour le suivi d'objet n'occupant pas trop de place dans une image, sinon l'information apportée est sans intérêt. De plus l'objet ne doit pas subir trop de déformation. L'information de position fournie permet de constituer des trajectoires.

• Forme géométrique : la personne est représentée par un rectangle ou une ellipse

(gure 3.14c,d). Le mouvement est alors décrit sous forme de translation et projec- tion ane ou perspective. Bien que ces primitives soient plus utiles pour le suivi d'objets rigides, elles le sont également dans le cas d'objets non-rigides. Ceci grâce aux déformations qu'elles peuvent modéliser.

• Contour : la représentation par contour dénie les limites de la personne (gure

3.14f,g). Elle peut être utilisée pour représenter des objets non-rigides, du fait des dé- formations qu'elle peut subir. La région à l'intérieur du contour dénit la silhouette

(gure 3.14h).

• Forme articulée : la représentation est composée de plusieurs parties liées les unes

aux autres par des articulations. Cet assemblage est dirigé par les paramètres d'ar- ticulations du modèle (voir section 3.2.5).

Cette liste n'est pas hexaustive : la forme du corps humain peut être représentée de plusieurs et diérentes manières. Il est à noter que les représentations de la forme peuvent être utilisées conjointement avec des représentations de l'apparence. La ou les représenta- tions à utiliser lors d'un suivi varient selon le contexte applicatif. De petits objets seront plutôt représentés par leur centroïde. Les objets ayant une forme complexe ou non-rigides, tels les corps de personnes, sont souvent représentés par des silhouettes [Boulay 07] ou leur contour [Haritaoglu 98]. Nous allons exposer des exemples de méthodes de suivi de personne par modèle en deux dimensions. Nous ne désirons pas faire un état de l'art de toutes les manières de réaliser un tel suivi. Nous nous focalisons sur les méthodes permet- tant par la suite d'extraire les paramètres nécessaires à l'interprétation de gestes.

(a) (b) (c) (d)

(e) (f) (g) (h)

Fig. 3.14: Représentations d'une personne pour le suivi tirées de [Yilmaz 06]. (a) Centroïde, (b) nuage de points multiples, (c) boîte englobante, (d) ellipse, (e) ellipses/rectangles multiples, (f) contour de la personne, (g) points de contrôle du contour, (h) silhouette de la personne.

[Baumberg 94b] propose une méthode utilisant le formalisme des modèles de formes actives (Active shape model ASM) pour eectuer un suivi de personne à partir de leur contour. Le contour est représenté par un spline. La déformation de cette courbe paramé- trique s'eectue dans son espace d'état. Le recalage est eectué en recherchant les points de contraste maximum le long de normales à la courbe. Un ltre de Kalman est utilisé pour mettre à jour l'état de la courbe.

3.3. Suivi de personnes et de leurs composants corporels. Ces rectangles sont liés entre eux par des connections en ressort. Le ux optique est calculé pour chaque rectangle et sert de référence pour estimer le mouvement articulaire des rectangles. Les résultats exposés font état du suivi des jambes d'une personne marchant sur un tapis roulant.

Le système d'interaction de [Wren 97] eectue le suivi de la tête et des mains d'une per- sonne en les représentant par des blobs en deux dimensions. Il commence, tout d'abord, par une soustraction du fond pour extraire la silhouette de la personne puis identie les composants corporels. Ces blobs sont utilisés pour apprendre l'apparence des parties du corps suivi. L'apparence apprise sera ensuite prise en compte dans la soustraction du fond de l'image suivante. La position des blobs peut ensuite être utilisée pour eectuer une reconnaissance de geste sommaire.

Le système proposé par Haritaoglu et al. [Haritaoglu 00] eectue un suivi de personnes en utilisant une représentation de la personne par modèle en deux dimensions. Nous avons exposé leur méthode de détection (voir partie 3.2.3), nous allons maintenant étudier leur méthode de suivi. Une fois la personne détectée, son suivi s'eectue sur la représentation en contour. L'algorithme utilise un modèle de mouvement du second ordre pour estimer la position de la personne suivie dans les images suivantes. La prédiction donnée par le modèle est utilisée pour estimer la position d'une boîte englobante. Le mouvement est calculé à partir du centre de l'axe médian, ce qui constitue une mesure plus robuste que le centre de gravité de la silhouette ; cependant cette estimation n'est pas assez précise pour un suivi sur une longue durée.

Les auteurs proposent alors de mettre en ÷uvre une deuxième technique : après avoir déplacé la silhouette précédente sur la nouvelle position (gure (3.3.2c)), ils eectuent une mise en correspondance des contours de la silhouette avec les nouveaux contours à partir d'une corrélation binaire de contours (gure (3.3.2d)).

(a) (b) (c) (d)

Fig. 3.15: Suivi de personnes, méthode de Haritaoglu, Harwood et Davis [Haritaoglu 00]. Es- timation du mouvement d'une personne entre deux images successives (a) et (b), alignement du contour de la silhouette suivant la diérence de positions du centre de l'axe médian (c), alignement nal après corrélation des contours des silhouettes (d).

Yilmaz, Li et Shah [Yilmaz 04] proposent une méthode générique de suivi d'objets appliquée au suivi d'êtres humains. La méthode utilise une représentation de la personne par contour, couleur et texture. Les contours sont dénis par des levels set et dénissent un modèle de personne (le contour moyen et sa variance) selon son activité. La couleur est ici représentée par un modèle a priori dont la densité est estimée par un noyau multivarié. Le

noyau choisi est celui d'Epanechnikov. Il a la propriété de fournir l'erreur minimum entre les données et l'estimation. La texture est modélisée par un mélange de deux gaussiennes des caractéristiques extraites par des ltres orientables (steerable lters). La fusion des informations de couleur et de texture fournit un modèle statistique semi-paramétrique. L'apport de cette méthode est de dénir une énergie d'évolution du contour en fonction de la couleur et de la texture, du fond de scène et de la forme.

3.3.2.1 Bilan

Le challenge de la tâche de suivi en utilisant une représentation par modèle 2D de la personne (Cf gure 3.14) est de développer des algorithmes applicables à des vidéos dont le contenu n'a pas été contraint, par exemple des séquences vidéo tirées des réseaux de diusion télévisuel de masse, ou des enregistrements personnels de vidéo. Ces vidéos com- portent souvent du bruit, elles sont en général compressées et non structurées. Un autre champs de vidéos à traiter sont les vidéos tirées de réunions formelles ou informelles. Ces enregistrements contiennent plusieurs personnes dans un petit champ de vue.

Deux types de méthodes peuvent être identiées :

• les approches utilisant un modèle modié itérativement. Elles déterminent les pos-

tures des personnes en trouvant les diérentes parties du corps de la personne détec- tée. Elles sont en général assez sensibles aux erreurs de segmentation. De plus étant donné que ces approches utilisent une représentation en deux dimensions, elles sont dépendantes du point de vue de la caméra.

• les approches utilisant un modèle statistique. Celles-ci ont été conçues pour ré-

soudre le problème de sensibilité aux erreurs de segmentation. Un modèle en deux dimensions de postures est appris à partir de données annotées. Ces approches sont cependant aussi dépendantes du point de vue de la caméra : elles dépendent du point de vue de l'ensemble d'apprentissage. En revanche elles sont relativement rapides à l'exécution.

Ce sont en général des méthodes simples à mettre en oeuvre. Le suivi s'eectue par mise en correspondance, corrélation, de modèle. Pour les formes articulées, il n'y a pas de minima locaux dûs à la cinématique. C'est une représentation intermédiaire utile.

Cependant, les modèles sont non rigides. Il est plus dicile de faire le lien avec un corps humain. L'apparence du modèle est dépendante du point de vue. Ces méthode peuvent également manquer de stabilité : il manque des contraintes d'ordre structurelle dépen- dantes du modèle de personne.