L’impact d’une perte sur le déploiement de l’attention visuelle

L’impact d’une perte de paquets sur la qualité visuelle, étudié dans le chapitre précédent, dépend de facteurs comme la position spatiale dans l’image ou le contenu de la séquence vidéo. Quand la perte n’est pas dans la région d’intérêt, elle peut attirer l’attention de l’observateur et dévier son regard de la région fixée.

Quantification de l’attractivité d’une perte

Pour mesurer l’attractivité d’une perte dans une image, nous comparons, image par image, les cartes de saillance de la séquence n’ayant pas subi de pertes de paquets avec les cartes de saillance de la séquence affectée par le motif de pertes. Si la perte a attiré l’attention des observateurs, nous devons observer une différence entre les cartes de saillance des images ultérieures à l’image où la perte a lieu.

Nous choisissons d’utiliser la divergence de Kullback-Leibler [Kul51] qui est une mesure de dissimilarité entre deux ensembles. La divergence de Kullback-Leibler entre deux lois de probabilités p et q est donnée par l’équation suivante :

DKL(p|q) =

X

x

p(x)log(p(x)

Dans cette section, p et q représentent respectivement la loi de probabilité de saillance pro- venant de la séquence sans perte de paquets et celle provenant de la séquence affectée par le motif de pertes. Une faible divergence reflète des cartes de saillance proches et par suite une faible attractivité de la perte (dans les images contenant des dégradations).

Les résultats du test effectué permettent de tirer les conclusions suivantes :

Le contenu de la séquence

Comme le nombre de slices perdues est le même pour toutes les séquences, l’amplitude des pertes est donc égale. Cependant, les conséquences de telles pertes au niveau du contenu de la séquence ne sont pas les mêmes. En effet, les slices étant d’une même taille approximativement (1450 octets), la surface de l’image qu’elles couvrent dépend de leur contenu. Une région uniforme est ainsi contenue dans un nombre de slices inférieur à celui utilisé par une région texturée. Par exemple, pour la séquence Harp, la perte de trois slices dans la partie supérieure de l’image impliquent la perte de 21, 1% du nombre total de macroblocs dans l’image. L’étendue spatiale de la perte peut évidemment influencer son attractivité.

Pour étudier l’impact d’une perte dans une région uniforme sur l’attention visuelle, nous prenons deux exemples de contenus : Harp et Ulriksdals. La figure 6.9 illustre la variation des valeurs de la divergence de Kullback–Leibler entre la carte de saillance de l’image i de la séquence n’ayant pas subi de pertes de paquets et la carte de saillance de la même image de la séquence affectée par des pertes de paquets.

Les courbes de variation de la divergence de KL présentent des pics qui font suite à la perte de paquets. Ces pics de divergence correspondent à la fixation de deux régions différentes dans les deux séquences : la région dégradée dans la séquence dégradée et la région d’intérêt dans la séquence originale. Les pertes de paquets, qui ont lieu à la 121ème image de la séquence, ne sont pas fixées instantanément par l’observateur. Ainsi, la divergence de KL augmente graduellement à partir de la 126ème image pour la séquence Harp et la 125ème pour Ulriksdals. Ce délai de quelque centaines de millisecondes entre l’apparition des dégradations et la fixation de la région dégradée par les observateurs est dû à deux facteurs. Premièrement, le SVH nécessite un temps de réponse pour réagir à l’apparition d’un stimulus dans la périphérie de sa vision fovéale. Deuxièmement, un mouvement de saccade est entrepris pour déplacer les yeux de la région d’intérêt à la région de la dégradation. Comme nous comparons des cartes de saillance reflétant les fixations des observateurs, la durée de la saccade n’est pas considérée ce qui justifie le fait que les fixations aient lieu quelques images après l’apparition des dégradations.

0 20 40 60 80 100 120 140 160 180 200 220 0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2 Indice de l’image Divergence de KL Perte

(a) La séquence Harp.

0 20 40 60 80 100 120 140 160 180 200 220 0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2 Indice de l’image Divergence de KL Perte (b) La séquence Ulriksdals.

Fig. 6.9 – La variation de la divergence de KL pour les séquences Harp et Ulriksdals ayant subies la perte de cinq slices dans la 121ème image.

La longueur du GOP utilisé étant de 24 images, les dégradations peuvent durer jusqu’à l’image 144. Une diminution de la valeur de la divergence de KL est notée sur les figures 6.9.a et 6.9.b à mesure que les dégradations s’atténuent. L’atténuation des dégradations est due à la distance entre l’image dégradée et l’image I où la perte a lieu.

Sur l’exemple de la séquence Harp, la divergence de KL varie faiblement pour l’ensemble des images non dégradées par les pertes de paquets alors que cette variation est plus élevée dans le cas de la séquence Ulriksdals. Cette différence, due au contenu de la séquence, est expliquée dans le paragraphe suivant.

L’absence d’une région d’intérêt intrinsèque au contenu

Dans les séquences utilisées, certaines ont une région d’intérêt qui attire naturellement le regard de l’observateur (ballon de rugby, visage d’une personne, etc.). Par contre, dans d’autres séquences, les observateurs ne sont pas unanimes quant à la région fixée pendant la durée de la vidéo. Cette situation a lieu surtout dans les séquences comprenant un grand nombre d’objets, fixes ou en mouvement, identiques ou distincts. Du fait de l’absence d’un point d’accroche dans la séquence, les observateurs sont facilement attirés par l’apparition d’une dégradation dans l’image. Ceci est mis en évidence pour les contenus de la figure 6.10 donnés avec leurs séquences de saillance. Sur cette figure, nous remarquons que les séquences de saillance changent en présence de pertes. Ainsi, sur la figure 6.10.c, une région saillante qui n’existait pas dans 6.10.a apparaît au niveau de l’arbre. De même pour la séquence Barcelona pour laquelle l’observateur moyen dévie son attention dans 6.10.d vers la région où la perte a lieu.

(a) La carte de saillance de Above marathon sans au- cune perte.

(b) La carte de saillance de Barcelona sans aucune perte.

(c) La carte de saillance de Above marathon affectée par la perte de cinq de ses slices.

(d) La carte de saillance de Barcelona affectée par la perte de cinq de ses slices.

(e) La séquence Above marathon affectée par la perte de cinq de ses slices.

(f) La séquence Barcelona affectée par la perte de cinq de ses slices.

Fig. 6.10 – Les cartes de saillance de (a) l’image 135 de Above marathon sans aucune perte ; (b) l’image 142 de Barcelona sans aucune perte ; (c) l’image 135 de Above marathon avec pertes et (d) l’image 142 de Barcelona avec pertes. Les images 135 de Above marathon et 142 de Barcelona avec pertes sont respectivement données dans (e) et (f).

0 20 40 60 80 100 120 140 160 180 200 220 0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2 Indice de l’image Divergence de KL Perte

(a) La séquence Above marathon.

0 20 40 60 80 100 120 140 160 180 200 220 0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2 Indice de l’image Divergence de KL Perte (b) La séquence Barcelona.

Fig. 6.11 – La variation de la divergence de KL pour les séquences Above marathon et Barcelona ayant subies la perte de cinq slices dans la 121ème image.

Nous illustrons sur la figure 6.11 la variation de la divergence de KL pour les deux séquences

Above marathon et Barcelona. Un trait commun à ces deux figures est la forte variation de la

divergence sur toute la durée de la séquence vidéo. En effet, l’observateur ne fixant pas un détail ou objet particulier dans la région d’intérêt, les point de fixation sont différents d’un observateur à l’autre.

L’augmentation de la divergence due à la perte dans le cas de la séquence Barcelona (figure 6.11.b) commence à partir de l’image 121 et le pic se situe à l’image 123 ce qui représente une fixation rapide de la région dégradée. Ceci peut être expliqué par l’absence d’une région d’intérêt intrinsèque au contenu. La séquence Above marathon (figure 6.11.a), dont le pic est situé à l’image 145, ne permet néanmoins pas de généraliser cette allure sur toutes les séquences ayant ce type de contenu.

Nous pouvons donc dire que l’apparition d’une dégradation due à une perte de paquets attire facilement l’attention visuelle en l’absence d’une région d’intérêt intrinsèque au contenu.

Le mouvement de la région d’intérêt

L’étude du contenu des séquences et du comportement correspondant de l’observateur moyen nous livre un constat intéressant : si la région d’intérêt intrinsèque au contenu est en mouvement, alors il est plus probable que la perte (ayant lieu à l’extérieur de cette région) n’attire pas l’attention de l’observateur. En effet, l’observateur qui suit une action voudrait la suivre jusqu’au bout, surtout s’il assimile le contexte et le but de l’action (par exemple l’athlète pendant une course ou le ballon dans un match de football).

0 20 40 60 80 100 120 140 160 180 200 220 0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2 Indice de l’image Divergence de KL Perte

(a) La séquence Group disorder.

0 20 40 60 80 100 120 140 160 180 200 220 0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2 Indice de l’image Divergence de KL Perte (b) La séquence Rugby.

Fig. 6.12 – La variation de la divergence de KL pour les séquences Group disorder et Rugby ayant subies la perte de cinq slices dans la 121ème image.

Les séquences Group disorder et Rugby sont des exemples de séquences pour lesquelles l’ob- servateur moyen n’a pas relativement dévié son attention de l’action d’intérêt de la scène en présence de dégradations. Ces séquences comprennent respectivement des mouvements rapides d’acteurs et de joueurs tenant un ballon. La figure 6.12 présente la variation de la divergence de KL en fonction du temps pour ces deux séquences.

Sur la figure 6.12.a, nous remarquons que la divergence varie irrégulièrement avec le temps. Cette irrégularité est due à l’entrée en scène d’acteurs en train de courir qui attirent l’attention de l’observateur. Quand la perte a lieu, nous remarquons une augmentation faible de la divergence qui reste inférieure aux autres pics de la courbe. Cette faible augmentation montre que les observateurs n’étaient pas tous attirés par les dégradations.

Sur la figure 6.12.b, une forte variation de la divergence est notée sur toute la durée de la séquence à cause de la rapidité de l’action. Le pic lié à la perte de paquets (à partir de l’image 120) ne se distingue presque pas des autres pics. Cependant, un pic surprenant est situé à l’image 97 qui ne contient aucune perte de paquets dans la séquence affectée par les pertes.

Ce pic est dû à un phénomène d’anticipation déjà identifié dans les travaux de Le Meur [Meu05]. En effet, lorsque le joueur lance le ballon, les observateurs anticipent la trajectoire du ballon et fixent la zone qu’ils estiment être le point d’arrivée du ballon. Comme cette estimation est très subjective, une forte divergence est notée entre les différents observateurs.

Discussion sur la diminution de la divergence au début des séquences

Nous notons pour les six séquences présentées une diminution de la valeur de la divergence de KL au début de leur affichage. Cette diminution a généralement duré pendant les 20 premières images de la séquence. Nous rappelons que la séquence débute après quatre secondes d’images grises durant lesquelles les observateurs promènent leur regard autour de la région centrale de l’image. À l’apparition du contenu de la séquence vidéo, les mécanismes bottom-up se déclenchent attirant ainsi l’attention des observateurs et par suite causant une diminution de la valeur de la divergence de KL. Environ 800 ms après l’activation des mécanismes bottom-up, la valeur de la divergence reprend une allure normale impliquant probablement l’activation des mécanismes

top-down de l’attention visuelle.