6.3 Extraction
6.3.1 Estimation du mouvement de caméra
Nous émettons l’hypothèse que la caméra suit l’athlète et cette hypothèse est vérifiée dans la majorité des vidéos d’athlétisme puisque l’athlète est le centre d’intérêt.
6.3 Extraction 137
FIG. 6.4 :Quelques images montrant l’hétérogénité de la base.
Les paramètres du mouvement de caméra donnent donc une information sur le mouvement de l’athlète et on s’intéressera particulièrement aux mouvements suivants :
– translation horizontale :ce paramètre donne une information sur la véracité de l’actioncourir
puisque au cours de cette action, la translation horizontale est généralement significative. De plus, au cours des actionssauter,chuteretse relever, la valeur de ce paramètre est généralement nulle.
– translation verticale :ce paramètre donne une information sur la véracité des actionssauter,
chuteretse relever. Par exemple, une translation verticale positive sur plusieurs images
consé-cutives signifie généralement que l’athlète saute ou se relève. La valeur de ce paramètre est en général nulle pour l’actioncourir.
– zoom :ce paramètre est utilisé comme une information complémentaire de la translation hori-zontale lorsque le mouvement de la caméra n’est pas parallèle au mouvement de l’athlète. De plus, le caméraman a généralement tendance à zoomer sur l’athlète lorsque celui-ci se relève. Le mouvement de la caméra entre deux images sucessives est supposé linéaire et il peut être décrit par le modèle affine paramétrique suivant :
u(pi) v(pi) ! = Fhm Fvm ! + Fdiv 0 0 Fdiv ! xi yi ! (6.1) où[u(pi), v(pi)]T est le vecteur de mouvement entre deux images successives du pixelpi situé aux coordonnées(xi, yi)dans l’image, et{Fhm, Fvm, Fdiv}sont les paramètres de translation horizontale, de translation verticale et de zoom respectivement.
L’estimation de ces paramètres est réalisée par le logicielmotion2Dconçu à l’IRISA et s’appuyant sur la méthode d’Odobez et Bouthémy [OB95]. Cette méthode paramétrique consiste à déterminer les paramètres de mouvement minimisant la différence de déplacement entre deux images consécutives. L’estimation est itérative, multi-résolution et intègre un M-estimateur de Tukey robuste aux pixels aberrants pris en compte dans l’estimation. Cette méthode a été utilisée à de nombreuses reprises, par exemple pour l’indexation et le suivi de véhicules [PBPY02, PBY06, LMB02]. Un exemple de paramètres estimés est donné sur la figure 6.5 pour unsaut en hauteur. Les barres verticales séparent les différentes actions à savoircourir,sauter,chuteretse relever.
138 CHAPITRE 6 –Reconnaissance d’actions et d’activités humaines dans des vidéos d’athlétisme
Translation horizontale de la caméra
Translation verticale de la caméra
Zoom de la caméra
FIG. 6.5 :Evolution des paramètres de translations horizontale et verticale (en pixels par image) et du zoom de la caméra estimés par motion2D pour un saut en hauteur avec 4 actions :courir sur[1,58], sauter sur
[59,72],chutersur[73,90]etse releversur[91,106].
L’estimation permet de générer une image en niveau de gris où l’intensité de chaque pixel dépend de son appartenance au mouvement dominant (Fig. 6.6-6.7 et 6.8, colonnes 4et 5). Le mouvement dominant correspond au mouvement du fond de l’image dans le cas où la taille des objets mobiles est relativement faible par rapport au reste de l’image (empiriquement30%, ce qui est vérifiée sur notre base de vidéos). L’athlète étant en mouvement par rapport au fond, il ne correspond pas au mouvement dominant et sa silhouette apparaît plus foncée.
Robustesse de l’estimation du mouvement de caméra La méthode d’estimation du mouvement de caméra est basée sur l’hypothèse que l’illumination est constante entre deux images [Bou04], cette contrainte étant relativement faible carmotion2Dintègre une compensation à ce niveau. L’autre contrainte concerne la taille des objets mobiles dont la proportion doit être faible par rapport au reste de l’image. Si leur taille est trop importante alors lemouvement dominantn’est plus celui de la caméra et par conséquent l’estimation des paramètres ne sera pas possible. Les images de mouvement dominant sont donc importantes et il faut s’assurer, sur la base de vidéos concernée, de la robustesse de l’estimateur qui les génère.
Les figures 6.6, 6.7 et 6.8 (colonnes 4et 5) illustrent quelques unes des images de mouvement dominant. Plus un pixel est blanc plus il appartient au mouvement dominant.
La robustesse des estimateurs paramétriques dépend principalement de la variation de l’intensité lumineuse entre deux images successives (celles utilisées dans l’estimation) [Bou04]. Afin d’étudier cette variation nous avons réalisé les tests suivants :
6.3 Extraction 139 +19% +16% +13% +10% Images originales Augmentation de l'illumination
FIG. 6.6 :Effet de la variation d’illumination sur l’estimation du mouvement dominant dans une vidéo acquise enextérieuret obtenue à partir d’un site internet (moyenne qualité).
1. Dans le premier test, nous déterminons la variation d’illumination maximale que peut supporter l’algorithme d’estimationmotion2D.
2. Dans le second test, nous évaluons la variation d’illumination sur les séquences d’images de la base et comparons les résultats du second test à ceux du premier pour vérifier si les vidéos utilisées peuvent effectivement être traitées parmotion2D.
Pour réaliser le premier test, nous considérons3vidéos caractéristiques de la base :
– une vidéo desaut en hauteurdequalité moyenne(en termes de flou de bougé et de compression) acquise enconditions extérieuresobtenue à partir d’unsite internet2(Fig. 6.6),
– une vidéo desaut en hauteurdequalité faibleacquise enconditions intérieures, sous lumière artificielle, obtenue à partir d’unenregistrement analogique(Fig. 6.7),
– une vidéo desaut à la perchedequalité élevéeacquise enconditions extérieures, sous lumière artificielle et au cours d’un meeting nocturne, obtenue à partir d’un DVD (Fig. 6.8).
Nous choisissons, dans chacune des trois séquences, trois images consécutives de qualité satisfai-sante. Nous augmentons ensuite l’intensité moyenne sur l’image centraleI(t)(colonne2). Ainsi, une variation positive de l’intensité moyenne apparaît entre les deux premières imagesI(t−1)etI(t) (co-lonnes1et2) et une variation négative entre les deux dernières imagesI(t)etI(t+ 1)(colonnes2et 3). Le taux de variation de l’intensité moyenne est calculé par un pourcentage de l’intensité moyenne
140 CHAPITRE 6 –Reconnaissance d’actions et d’activités humaines dans des vidéos d’athlétisme +19% +16% +13% +10% Augmentation de l'illumination Images originales
FIG. 6.7 :Effet de la variation d’illumination sur l’estimation du mouvement dominant dans une vidéo acquise enintérieuret obtenue à partir d’un enregistrement analogique (basse qualité).
sur l’image centrale et la valeur du pourcentage est indiquée par la flèche à gauche des différentes figures.
Nous appliquons ensuite l’estimateur de mouvement de caméra menant à deux images de mouve-ment dominant : celle entreI(t−1)etI(t) et celle entre I(t)et I(t+ 1), chacune des estimations étantperturbéespar un front montant et un front descendant de l’intensité moyenne.
Les résultats de l’estimateur sont donnés sur les figures 6.6-6.7 et 6.8 (colonnes 4 et 5). Ces résultats montrent que l’estimateur ne donne pas de bons résultats d’estimation lorsque la variation est supérieure à13%environ. On peut voir, qu’au delà de cette valeur, l’image de mouvement dominant est entièrement noire ce qui interdit tout traitement ultérieur.
La figure 6.9 illustre la variation moyenne d’intensité100·(I(t)−I(t−1)/I(t−1))entre deux images successives (aux instants t−1et t) pour un saut en hauteur, unsaut à la perche, un triple sautet unsaut en longueur. Les vidéos sélectionnées font parti des pires cas rencontrés dans la base. Comme le montre ces courbes, la variation reste bien inférieure à13%, par conséquent l’hypothèse de variation relativement faible d’illumination est vérifiée sur la base permettant ainsi l’application de l’estimateurmotion2D. Notons que nous avons développé une interface pour les tests de l’algorithme (Annexe 4).
6.3 Extraction 141 Augmentation de l'illumination +19% Images originales +16% +13% +10%
FIG. 6.8 :Effet de la variation d’illumination sur l’estimation du mouvement dominant dans une vidéo acquise enextérieuret obtenue à partir d’une DVD (haute qualité).