Des données oculométriques à la saillance

En sortie de l’oculomètre, nous avons, pour chaque observateur, les positions successives dans le référentiel de l’image du point d’intersection entre la direction du regard de l’observateur et le plan dans lequel est affichée l’image. L’oculomètre utilisé a une fréquence d’échantillonnage de 50 Hz, soit un point enregistré toutes les 20 ms. Pour une vidéo de 100 images affichées à la fréquence de 25 images par seconde (ips) par exemple, nous obtenons au plus deux points par image par observateur.

Les données brutes enregistrées ne sont pas significatives en elles-mêmes. Il faut en effet identifier les points correspondant aux fixations et aux poursuites et ceux correspondant aux saccades. Ces dernières ne sont pas utiles à la création d’une séquence de saillance puisqu’elles ne permettent pas l’acquisition d’informations visuelles pendant la durée du mouvement. La principale difficulté de cette procédure d’identification réside dans la distinction entre les mou- vements de poursuite et de saccade, les premiers pouvant avoir des vitesses assez élevées. Il faut noter que ce problème n’est pas rencontré pour les images fixes car l’absence de la dimension temporelle implique l’absence de mouvements de poursuite.

L’algorithme de séparation des saccades et des fixations/poursuites que nous utilisons est inspiré du travail de Salvucci et Goldberg [Sal00]. Cet algorithme se base sur la mesure de la vitesse point-à-point pour décider si un point appartient à une fixation (ou poursuite) ou une saccade. Ce critère semble assez pertinent puisque les vitesses des mouvements de poursuite et de saccade se situent pratiquement dans des intervalles séparés (respectivement < 100 °/s et > 300 °/s selon Salvucci et Goldberg). Cependant, le seuil de vitesse utilisé pour la distinction entre les saccades et les poursuites doit être choisi avec précaution. Le choix d’un seuil discriminant est discuté à la section 6.3.6.2.

6.3.6.1 L’algorithme de création des séquences de saillance

Comme première étape, la vitesse de chaque point est calculée sur la base des données oculométriques : les coordonnées (x, y) des points et leurs instants d’échantillonnage. Après comparaison de la vitesse de chaque point au seuil fixé, les points correspondant à des saccades sont éliminés et les points de fixation consécutifs sont regroupés. La durée de chacun des groupes de fixations est alors comparée à un seuil pour valider ou non ce groupe comme fixation (ou

poursuite). Si la durée de la fixation est supérieure au seuil alors les points la constituant n’appartiennent pas à une saccade entre deux fixations mais bien à une fixation.

En résumé, les étapes de l’algorithme de séparation des saccades et des fixations sont les suivantes :

1. calculer la vitesse point à point de chaque échantillon ;

2. étiqueter chaque échantillon dont la vitesse point à point est inférieures au seuil comme fixation (ou poursuite) ; sinon, le considérer comme saccade ;

3. regrouper les échantillons consécutifs étiquetés comme fixation (ou poursuite) en groupe de fixations (ou poursuites) et supprimer les échantillons étiquetés comme saccade ; 4. supprimer les groupes de fixations (ou poursuites) dont la durée est inférieure au seuil

pré-déterminé.

Nous pouvons maintenant construire la carte de fixations à partir des coordonnées des points obtenus. La carte de fixations (et de poursuites) CS(k)_{d’un observateur k dépend du nombre de}

fixations identifiées et de leurs durées. Elle est calculée selon la formule de l’équation suivante :

CS(k)(x, y, t) =

NF

X

j=1

δ(x − xj, y − yj, t − tj).d(xj, yj) (6.1)

où NFest le nombre de fixations identifiées, δ est le symbole de Kronecker, (x, y, t) représente

les coordonnées de la fixation et son instant temporel et d(xj, yj) est la durée de la fixation au

point (xj, yj).

La carte de fixations moyennes des observateurs est calculée comme suit :

CS(x, y, t) = 1 Nobs Nobs X k=1 CS(k)(x, y, t) (6.2)

où Nobs est le nombre total d’observateurs.

La carte de fixations ainsi obtenue nécessite la prise en compte de deux facteurs supplémen- taires pour qu’elle représente fidèlement la saillance de la vidéo. Premièrement, l’œil humain ne fixe pas un point précis de l’espace comme s’il était séparé de son voisinage. Plus préci- sément, notre vision n’est pas un processus discret qui concerne un point (le point fixé) sans affecter les points voisins. Il faut donc émuler la zone fovéale dans la construction de la carte de saillance. Deuxièmement, l’oculomètre est un appareil à précision limitée (comprise entre 0, 25 ° et 0, 5 ° selon le tableau 6.1). Pour ces deux raisons, la densité de saillance DS est calculée par convolution de la cartes de fixations moyenne avec une fonction Gaussienne bi-dimensionnelle :

où gσ(x, y) est la Gaussienne bi-dimensionnelle donnée par la formule suivante : gσx,σy(x, y) = 1 2πσxσy e −((x − µx) 2 2σ2 x +(y − µy) 2 2σ2 y ) (6.4) avec σx= σyles écarts-types dont la valeur est fixée à 0, 5 °. Cette valeur est du même ordre

de grandeur que la précision de l’oculomètre d’une part et de la précision des fixations de l’œil humain d’autre part [Jor09].

Dans le reste du mémoire, nous confondons les termes “carte” et “densité” de saillance. Un exemple de carte de saillance obtenue avec l’algorithme décrit dans cette section est donné figure 6.8.

Fig. 6.8 – Un exemple d’une image de la séquence Duck fly (gauche) et sa carte de saillance (droite). Cette dernière est assombrie pour permettre une visualisation plus claire des régions saillantes de l’image.

6.3.6.2 Choix des valeurs des paramètres de l’algorithme

La spécification des valeurs seuils de la vitesse des mouvements des yeux et de la durée des fixations est expliquée ci-dessous.

– Seuil de la vitesse point-à-point : pour la séparation des fixations et des saccades, nous utilisons comme vitesse seuil la valeur 25 °/s. En effet, même si l’œil a une capacité de poursuite au-delà de cette valeur, Ninassi [Nin09] a montré que les objets les plus rapides d’une scène ont généralement une vitesse inférieure à 25 °/s. Cette étude, réalisée sur des séquences usuelles de test, est basée sur une observation des valeurs des vecteurs de mouvement des objets de l’image. Nous considérons que les résultats de Ninassi peuvent

être adoptés dans le cadre de cette thèse puisque la majorité des séquences utilisées dans les tests font partie des séquence étudiées dans [Nin09].

– Durée seuil des fixations : toute fixation n’est pas considérée comme telle si elle ne dure pas un certain temps. Cette durée dépend du contexte d’observation et de la tâche à effectuer. Ainsi, la lecture (de mots) nécessite une durée de fixation de 50 à 60 ms tandis que la compréhension d’une scène visuelle nécessite environ 150 ms [Ray09]. Manor et Gordon [Man03] estiment qu’une valeur de seuil égale à 100 ms discrimine efficacement les fixations des autres mouvements oculaires en observation libre (task-free). Ce seuil est aussi utilisé par Ninassi [Nin09]. Comme nos expérimentations sont conduites dans un contexte task-free, nous fixons ce seuil également à 100 ms.