La saillance dynamique est liée au mouvement et particulièrement au mouvement des régions par rapport au fond. La vitesse d'une région en mouvement par rapport à son fond est calculée en utilisant un estimateur de mouvement sur les images compensées à leur sortie de la voie magnocellulaire de la rétine.
(a) (b) (c)
Fig. 2.11 Eet de la normalisation : (a) image articielle, (b) carte de saillance sans l'étape de normalisation et (c) carte de saillance avec l'étape d'interaction et l'étape de normalisation.
2.3.1 Estimation du mouvement
De nombreuses techniques peuvent être envisagées pour estimer le mouvement local. Elles sont regroupées en trois catégories : les méthodes de mise en correspondance (dont le block-matching), les méthodes fréquentielles et les méthodes diérentielles. L'estimation du mouve-ment est ici faite avec une méthode diérentielle en utilisant les sorties des ltres de Gabor. L'estimation de la vitesse est obtenue par la résolution robuste d'un système d'équations du ot optique. Cette estimation est incorporée à un schéma multi-résolution qui permet de diminuer les coûts de calcul. Cette estimation est décrite plus en détail dans [Bruno 2001, Bruno 2002].
L'estimation du mouvement repose sur l'hypothèse de la conservation de la luminance. Cette hypothèse stipule que la luminance d'un pixel de la séquence d'images ne varie pas au cours du temps. Une séquence d'images peut être représentée par sa fonction de luminance I(x, y, t). En admettant que I(x, y, t) soit une fonction continue et dérivable, d'après l'hypothèse de conser-vation de la luminance sa dérivée temporelle totale est nulle. Nous pouvons donc en déduire que le mouvement au pixel (x, y) de l'image t est donnée par le vecteur V(x, y, t) qui satisfait l'équation du ot optique :
∇I(x, y, t).V(x, y, t) +∂I(x, y, t)
∂t = 0 (2.7)
avec ∇I(x, y, t) le gradient spatial de la luminanceI(x, y, t).
Cette équation ne permet de retrouver que la composante de vitesse parallèle au gradient spatial d'intensité. Si le gradient d'intensité∇I = 0le mouvement n'est pas perceptible. Lorsque le gradient d'intensité est orienté dans une seule direction, le mouvement est perçu comme normal au contour. Il faut des informations venant des gradients d'intensité de diérentes orientations pour percevoir le mouvement réel de l'objet. Ceci est connu sous le nom de problème d'ouverture3.
3Le problème d'ouverture peut être mis en évidence en considérant l'exemple du mouvement d'une feuille
blanche que l'on regarde à travers une petite ouverture circulaire. Si l'ouverture se trouve proche du centre de la feuille, on ne percevra pas le mouvement de la feuille. Si l'ouverture se trouve au milieu du bord supérieur et si l'on translate la feuille vers le haut ou si on la translate en diagonale, seul le mouvement vers le haut (mouvement normal au contour) sera perceptible. Si l'ouverture se trouve sur un coin de la feuille, l'ambiguïté est levée, et grâce à l'information de mouvement donnée par les deux contours formant le coin on pourra reconstruire tous les mouvements possibles.
Pour lever l'indétermination, il faut estimer le mouvement sur un voisinage spatial. La solu-tion est alors la moyenne du mouvement sur ce voisinage. Ce voisinage doit donc être susam-ment grand pour lever l'ambiguïté mais sans recouvrir des régions contenant des mouvesusam-ments diérents sous peine de fausser le résultat. Une hypothèse sur la continuité spatiale du ot optique est aussi nécessaire.
Pour chaque fréquence fj, nous allons considérer la projection de l'équation du ot optique (Eq. 2.7) dans un banc de ltres Gi., ce qui nous donne l'équation :
vx ∂I ∂x∗Gi. +vy ∂I ∂y ∗Gi. +∂I ∂t ∗Gi.= 0 (2.8)
La convolution des dérivées spatio-temporelles de la séquence d'images I par un banc de N
ltres Gi., ayant la même fréquence radiale, donne pour chaque pixel de l'image un système à N équations dont les deux inconnues sont les composantes du vecteur vitesse (vx, vy). En permutant la convolution avec la dérivée on peut écrire le système :
Ωx1 Ωy1 ... ... ΩxN θ ΩyN θ . vx vy =− Ωt 1 ... ΩtN θ (2.9) avecΩpi = ∂(I∗Gi.)
∂p ,Gi.le ltre cortical à l'orientationietI la sortie magnocellulaire de la rétine. Pour chaque pixel (x,y), un vecteur mouvement (vx, vy) est calculé en résolvant l'équation (2.9) avec la méthode des moindres carrés (critère de Biweight Tuckey). Plus de détails sur les paramètres des ltres et leur implémentation sont disponibles dans [Bruno 2001]. Cependant nous pouvons noter que la taille des ltres doit être un compromis entre des ltres avec un support spatial assez large pour que le problème d'ouverture puisse être surmonté et assez petit pour que la constance de la vitesse soit respectée. Pour réduire le coût de calcul, ces ltres sont implémentés de manière récursive dans le domaine spatial.
L'équation du ot optique permet d'avoir une estimation précise seulement pour les faibles mouvements. Une représentation robuste, multi-échelle est alors utilisée pour estimer une large gamme de vitesses. La séquence est décomposée en pyramide d'images. Une première approxi-mation du mouvement est faite avec une version sous-échantillonnée de l'image (ce qui revient à un ltre avec un support spatial très large) et induit un ot optique obtenu spatialement très lissé. Cette première estimation permet de compenser les grands mouvements entre les images an que le mouvement résiduel puisse être mesuré à une résolution plus ne. Ce procédé est itéré jusqu'à atteindre le niveau de résolution original. Cette approche multi-résolution avec une pyramide d'images est équivalente à une approche multi-échelle utilisant un banc de ltres composé de plusieurs couronnes de ltres de Gabor.
Il est intéressant aussi de noter l'utilité de la voie magnocellulaire en prétraitement. En eet la fonction de transfert des ltres de Gabor n'est pas nulle en 0. L'ensemble des ltres contient donc la même information située dans les basses fréquences, ce qui rend le système mal conditionné. De plus la décroissance du spectre d'amplitude des images naturelles en1/f renforce ce problème. Finalement les variations globales de la luminance sont de type basses fréquences, il faut les supprimer pour rester dans l'hypothèse de conservation de la luminance. Un pré-ltrage passe-haut s'avère donc nécessaire. De plus la variation de la luminance est supposée
linéaire sur son voisinage, un ltrage passe-bas est donc nécessaire pour que cette condition soit vériée. Le ltrage passe-bande eectué par la voie magnocellulaire de la rétine répond bien à ces contraintes.
Pour la suite il est important de connaître les limites de cet estimateur an de prévoir et comprendre les résultats de la voie dynamique de la saillance. Lorsque la texture des régions en mouvement n'est pas assez riche (à cause du problème d'ouverture), que l'hypothèse de conservation de la luminance n'est pas respectée ou que le ot optique n'est pas constant sur le support du ltre, la solution du système (Eq. 2.9) va être erronée.
A la sortie de cet estimateur un vecteur mouvement est obtenu pour chaque pixel avec son module correspondant à la vitesse et son angle correspondant à l'orientation. Comme nous avons fait l'hypothèse que la saillance dynamique est liée à la vitesse par rapport au fond, nous utilisons seulement le module du vecteur mouvement pour dénir la saillance des régions.
2.3.2 Carte de saillance dynamique
Un ltre médian temporel est appliqué pour enlever le bruit éventuel. Ainsi, si un pixel a un mouvement dans une image mais pas dans les précédentes, c'est probablement du bruit venant de l'estimation. Ce ltre temporel est appliqué sur 5 cartes successives, la carte correspondant à l'image courante et les 4 précédentes. Et le ltre est remis à zéro après chaque changement de plan pour enlever les artefacts. Nous reviendrons sur le choix de ces paramètres dans le chapitre 5. Une carte de saillance dynamiqueMd(x, y, k) est alors obtenue pour chaque imagek
(Fig. 2.12). Les cartes dynamiques mettent en évidence ce qui bouge. Plus une région a un fort mouvement par rapport au fond et plus elle a une forte valeur (couleur claire) sur la carte de saillance dynamique.