2.3 Description des points sélectionnés
2.3.1 Caractéristiques de mouvement
Avant de pouvoir être intégré dans le vecteur de caractéristiques, le mouvement doit être estimé. L’estimation du mouvement est un problème fondamental pour l’analyse de séquences d’images. Il consiste à mesurer la projection 2D dans le plan image d’un mouvement réel 3D, dû
Approche locale : sélection et description de points 33
à la fois au mouvement des objets dans la scène et aux déplacements de la caméra. Le mouve-ment 2D, appelé flot optique, est une variable cachée qui n’est accessible que par l’analyse des variations temporelles de la séquence d’images. Il peut être estimé globalement (champ dense) ou localement (généralement sur des éléments caractéristiques comme les contours ou les coins). Notre descripteur ne devant être établi que pour quelques points sélectionnés de l’image, il n’est pas nécessaire ici de calculer un champ dense de mouvement. Après un bref état de l’art sur les méthodes d’estimation de mouvement, nous détaillerons la méthode utilisée ici. Les vecteurs de mouvement obtenus n’étant pas toujours de bonne qualité, nous terminons cette sous-section en décrivant un test statistique permettant de valider les mesures de mouvement en chaque point de la grille.
2.3.1.1 Introduction aux mesures de mouvement
Afin d’utiliser les notations usuelles, dans toute cette sous-sectionI dénotera la fonction d’in-tensité etI(x, y, t)la valeur de l’intensité au point de coordonnées(x, y)au tempst. Les méthodes d’estimation de mouvement reposent sur l’hypothèse de conservation de la luminance :
I(x+dx, y+dy, t+ 1)'I(x, y, t) (2.14) oùdxetdy sont les vecteurs de déplacement horizontaux et verticaux entre les instantstett+ 1. Cette hypothèse n’est pas respectée dans le cas d’occultations, de transparences, de réflexions spé-culaires et plus généralement de variations brutales de luminosité. L’invariance temporelle entre deux instants peut être caractérisée par une formulation différentielle linéaire, aussi appelée équa-tion de contrainte du mouvement apparent (ECMA) :
dI
dt(x, y) = ∂I
∂t(x, y) +∇I(x, y).(dx, dy) = 0 (2.15)
Avec cette équation, seule la composante de la vitesse parallèle au gradient spatial d’intensité, appelée vitesse normale, est directement calculable. Ce problème classique et commun aux différentes approches d’estimation du mouvement est désigné sous le nom de "problème de l’ouverture". Par exemple, l’estimation du mouvement n’a pas de solution unique pour une sphère homogène tournant sur elle même. Différentes techniques ont été proposées pour s’affranchir de ce problème et disposer d’une caractérisation plus précise du mouvement. Il faut cependant noter qu’une caractérisation incomplète du mouvement n’est pas forcément une limitation pour certaines applications.
Nous détaillons maintenant brièvement les différents types d’approches existantes pour l’estimation du flot optique. Les techniques d’estimation peuvent être groupées en trois catégo-ries, appelées respectivement méthodes de mise en correspondance, méthodes fréquentielles et méthodes différentielles.
Méthodes de mise en correspondance :
L’approche de mise en correspondance ou block matching consiste à trouver le déplacement
(dx, dy) qui apparie au mieux des régions ou des éléments caractéristiques (contours, coins ...) de la scène entre deux instants consécutifs. L’appariement est en général calculé par une corrélation ou par distance entre les régions de l’image aux instantstet t+ 1. Ces techniques sont simples à mettre en œuvre et permettent de mesurer des déplacements de grande amplitude.
34 2.3 Description des points sélectionnés
Elles se retrouvent dans de nombreux standards de compression vidéo (MPEG1 et 2). Cependant, nécessitant une recherche exhaustive sur une région d’intérêt, elles peuvent être très coûteuses. De plus, les critères de similarité utilisés ne sont généralement pas invariants aux transformations géométriques (changement d’échelle, rotation, distorsion perspective) de l’image. Enfin, ces techniques sont légèrement imprécises du fait de la discrétisation du déplacement estimé.
Méthodes fréquentielles :
Les méthodes fréquentielles [Fleet 90, Heeger 88, Spinei 98] sont basées sur la transformée de Fourier en mouvement. Les fréquences temporelles sont déplacées par le produit de la vitesse et des fréquences spatiales. L’information de mouvement est en général extraite par des filtres orientés en espace et en temps (Gabor 3D ou filtre large-bande). La contrainte imposée pour éviter le problème d’ouverture est spatio-temporelle : le mouvement à déterminer est supposé constant à la fois sur le support spatial et temporel des filtres orientés. Le résultat obtenu est lissé en espace et en temps, ce qui peut poser des problèmes pour des séquences d’images où les changements sont rapides. Ces méthodes nécessitent généralement un coût de calcul assez important.
Méthodes différentielles :
Les méthodes différentielles reposent directement sur la résolution de l’équation de contrainte du mouvement apparent (équation 2.15). Cette dernière s’appuie sur deux hypothèses : la conservation de l’intensité et un déplacement faible entre deux images consécutives. Un approche multirésolution permet de considérer des déplacements de plus fortes amplitudes.
Le principal problème de l’ECMA, problème d’ouverture, est lié au fait que cette seule équa-tion a deux inconnues. Elle ne peut donc être résolue sans ajouter des contraintes supplémentaires garantissant l’unicité de la solution. Les méthodes de régularisation du flot optique les plus utili-sées sont la régularisation de Horn et Schunck [Horn 81] et celle de Lucas et Kanade [Lucas 81]. La régularité de Horn et Schunck, appelée contrainte de lissage de l’image, stipule que le champ de mouvement doit être régulier sur l’ensemble du support (pouvant être toute l’image). Celle de Lu-cas et Kanade suppose que le champ de mouvement est constant sur un support local. L’avantage de la méthode introduite par Lucas et Kanade est qu’elle n’est pas forcément utilisée pour calculer des champs denses. En effet, elle est majoritairement appliquée à l’estimation de mouvement en des points caractéristiques.
Les méthodes différentielles présentent de nombreux avantages face aux méthodes fréquen-tielles et de mise en correspondance. L’équation du flot optique permet une estimation sub-pixellique du mouvement (contrairement aux méthodes de mise en correspondance). De plus, même si l’estimation d’un champ dense par les méthodes de flot optique est coûteuse, elle l’est tout de même moins que les méthodes fréquentielles. Nous avons donc décider d’utiliser une de ces méthodes pour calculer les vecteurs de mouvement en chaque point en mouvement de la grille. Comme nous n’avons pas besoin d’un champ dense, nous utilisons la méthode introduite par Lu-cas et Kanade avec une approche multi-résolution. Le principe de cette méthode est détaillé dans la sous-section suivante.
2.3.1.2 Calcul des vecteurs de mouvement
La régularisation introduite par Lucas et Kanade [Lucas 81] repose sur l’hypothèse d’un mou-vement constant sur le voisinage des points. Soit V(x, y) le voisinage de taille n d’un point
ré-Approche locale : sélection et description de points 35
solu par une minimisation aux moindres carrés : argmin(dx,dy) X (xi,yi)∈V(x,y) h∂I ∂x(xi, yi, t)dx+ ∂I ∂y(xi, yi, t)dy+ ∂I ∂t(xi, yi, t) i2 . (2.16)
Le système (2.16) ne peut malheureusement être résolu que pour des voisinages texturés, c’est-à-dire des voisinages pour lesquels le gradient d’intensité n’est pas nul sur toute la région. Si cette condition n’est pas respectée pour un point, les vecteurs de mouvement ne seront pas calculés et le point sera enlevé de la grille. La grille se redéfinit alors ainsi :
G=ns=k.w NG , l.h NG |Mt(s) = 1 &∃(xi, yi)∈V k.w NG , l.h NG ,|∇I(xi, yi)| 6= 0o . (2.17) Afin de prendre en compte de grands déplacements, nous avons utilisé une version multi-échelle de cette méthode. On considère pour cela une pyramide d’images construite par filtrages gaussiens et sous-échantillonages successifs de l’image originale. Les vecteurs de déplacements sont d’abord estimés aux échelles grossières et servent ensuite d’initialisation aux échelles plus fines (en descendant la pyramide).
Des champs denses peuvent être calculés avec cette méthode mais nous nous contentons d’esti-mer les vecteurs de mouvement pour les points de la grille. Des exemples de cartes de mouvement obtenues sont montrés sur les figures 2.4(f) et 2.5(f).
2.3.1.3 Validation des vecteurs par un test statistique
Le calcul du flot optique par la méthode de Lucas et Kanade se base sur deux hypothèses. La première, qui correspond à l’équation de contrainte du mouvement apparent, est la conservation de la luminance entre deux images consécutives. La deuxième suppose un mouvement quasi constant autour d’un point. Si ces hypothèses ne sont pas respectées, et si les gradients spatiaux et temporels ne sont pas assez significatifs, les vecteurs de déplacement peuvent être erronés. Nous avons donc rajouté une étape de validation des vecteurs de mouvement calculés en chaque point de la grille. Cette étape repose sur la comparaison de l’intensité du voisinage d’un points= (x, y)de l’image au tempst(échantillon de donnéesX) avec le voisinage du point correspondants0 = (x+dx, y+
dy)dans l’image à l’instantt+ 1(échantillon de donnéesY).
La méthode la plus classique pour comparer deux échantillons est le calcul du coefficient de corrélation de Pearson. Si les deux échantillonsX etY ont pour variances respectivesV(X) et
V(Y), et pour covariancecov(X, Y), le coefficient de corrélation s’écrit :
γ = pcov(X, Y)
V(X)V(Y) . (2.18)
Ses valeurs sont comprises entre−1 et1. Une valeur proche de zéro indique que les deux en-sembles ne sont pas corrélés. Cette relation ne prend pas en compte les distributions individuelles des deux ensembles et n’est donc pas la meilleure solution pour décider si les deux échantillons sont réellement corrélés. Des tests statistiques mieux adaptés existent.
Le but d’un test statistique est de décider entre deux hypothèsesH0 etH1 laquelle doit être rejetée. Dans notre cas, l’hypothèse nulleH0 affirme que les deux ensembles ne sont pas corrélés et l’hypothèse alternativeH1 qu’ils sont corrélés. Un risque, dit risque alpha, peut être associé à
36 2.3 Description des points sélectionnés
l’hypothèse nulle. Il définit le risque que l’on prend en rejetant l’hypothèse nulle alors que cette hypothèse était vraie. Il traduit le niveau de confiance d’un test statistique.
Le test statistique relié au coefficient de corrélation que nous utilisons est l’indice de confiance appelé "p-value". Il s’agit de la probabilité d’avoir obtenu les résultats de la corrélation par chance. La p-value est basée sur la statistique de décision :
T =γ
r
n−2
1−γ2 , (2.19)
où nest la taille des deux échantillonsX etY etγ le coefficient de corrélation. Une valeur de
T proche de zéro assure que, sous l’hypothèse nulle, les deux ensembles de données ne sont pas corrélés. Sous l’hypothèse nulle, la loi de T est bien approchée par une distribution de Student définie par : A(x) = √ 1 n−2B(12,n−22) Z x −x 1 + y 2 n−2 3−n 2 dy , (2.20)
oùB est la fonction bêta donnée par :
B(a, b) =B(b, a) = Z 1
0
xa−1(1−x)b−1dx . (2.21)
La probabilité, sousH0, d’obtenir unT supérieur à la valeur observée définit la p-value. Elle est donnée parA(|T|). Si l’on veut limiter à5%(valeur la plus couramment utilisée par les statisti-ciens) le risque d’erreur ou risque alpha, c’est-à-dire le risque de rejeter l’hypothèse nulle alors qu’elle était vraie, on considère que les deux échantillons sont corrélés si la p-value est inférieure à
0.05. Pour plus d’informations sur la p-value et sur sa mise en œuvre, nous renvoyons à [Press 92]. Nous avons fait le choix de placer le risque à 5%. Si la p-value obtenue pour un point sest supérieure à0.05, les vecteurs de déplacement ne seront pas considérés comme valides. Dans ce cas, nous ne garderons pas le point pour les étapes suivantes de l’algorithme. Une nouvelle grille,
G=ns=k.w NG , l.h NG |Mt(s) = 1 &∃(xi, yi)∈ V k.w NG , l.h NG ,|∇I(xi, yi)| 6= 0 &p-value(s, s0)<0.05o , (2.22) est donc définie et un vecteur de déplacement
z(tM)(s) = (dx, dy) (2.23)
est associé à chacun de ses points. Contrairement aux informations de couleur, le vecteur de caractéristiques de mouvement n’est défini que pour les points de la grille. Dans la suite, nous noterons|G|la taille de cette grille définitive.
Sur les figures 2.4 et 2.5 nous montrons l’influence de ce test statistique sur deux séquences différentes. La grille finale ainsi que les vecteurs de mouvement associés sont présentés. Comme on peut le voir, l’ajout d’une phase de validation des vecteurs de flot optique permet de supprimer les vecteurs aberrants. Sur ces figures sont également montrés les résultats obtenus en ne gardant que les points pour lesquels le coefficient de corrélation obtenu est supérieur à0.5. Les grilles ont été obtenues avec les paramètres suivants. Pour la séquence de ski nautique, les images sont de taillew = 320eth = 240, le nombre de pixels en mouvement estm = 7794, et finalement le
Approche locale : sélection et description de points 37
TAB. 2.1: Taille des grilles pour les images 108 de la séquence de ski nautique et 16 de la séquence de conducteur
sans validation correlation > 0.5 p-value < 0.05
ski nautique 302 140 177
conduteur 420 184 277
paramètreNGdéfinissant la taille de la grille vaut 5. Pour la séquence de conducteur on aw= 240,
h = 320, m = 10845 et NG = 5. Les tailles (nombre de points) des grilles sont montrées dans le tableau 2.1. Le test basé sur la p-value conserve plus de points que celui basé sur la corrélation, notamment des points importants sur le visage du skieur ou sur le bras du conducteur. Une comparaison approfondie devrait être menée. Néanmoins, un avantage non négligeable de la p-value est que le seuil à régler (risque alpha) n’influence pas autant les résultats (dès lors qu’il est choisi assez petit) que le seuil de corrélation.