3.3 Analyses expérimentales des points d’intérêt spatio-temporels
3.3.5 Étude de la saillance visuelle des SIP/STIP
3.3.5.4 Normalized Scanpath Saliency (NSS)
1 si x
=
xi et y=
yi0 sinon (3.14)
avec N le nombre de sujets,
(
xi,yi)
la position oculaire médiane pour le sujeti, etd le symbole de Kronecker.3.3.5.4 Normalized Scanpath Saliency (NSS)
Le critère ’Normalized Scanpath Saliency’ (NSS) a été défini par Peters et Itti [Peterset al., 2005],[Peters et Itti, 2008] pour comparer une carte de saillance aux positions oculaires des sujets. Il a été utilisé par Marat [Maratet al., 2009] pour évaluer la pertinence de son modèle de saillance visuelle.
LeNSSest calculé à l’aide de l’équation suivante :
NSS
(
t) =
Mh(
x,y,t)⇥
Mm(
x,y,t)
Mm(
x,y,t)
sMm(x,y,t) (3.15) avec Mh
(
x,y,t)
la carte de densité de positions oculaires normalisée (de manière à avoir une moyenne égale à 1) etMm(
x,y,t)
la carte de saillance donnée par le modèle envisagé.La notationX désigne la moyenne etsMm(x,y,t) l’écart-type de Mm
(
x,y,t)
. Le modèle peut être la carte statique ou dynamique de Marat ou la carte fournie par les SIP ou les STIP. LeNSSpeut être interprété comme la divergence des résultats expérimentaux (positions ocu-laires) par rapport à la moyenne du modèle, exprimée en nombre d’écarts-types du modèle. Si leNSS est nul, il n’y a pas de lien entre les positions regardées et la saillance. Ceci se retrouve immédiatement dans l’expression du NSS (éq. 3.15) : si les cartes sont indépen-dantes, la moyenne du produit est égale au produit des moyennes, et la normalisation à 1 de la moyenne de la carteMm
(
x,y,t)
permet d’avoir alors un numérateur nul dans l’expres-sion du NSS. Si leNSSest négatif, les positions oculaires se trouvent sur des régions non saillantes. Si leNSSest positif, les positions regardées se trouvent sur des régions saillantes. Plus leNSSa une valeur positive grande et plus les points fixés sont saillants, au sens du modèle utilisé.3.3.5.5 Comparaison
La comparaison est effectuée en utilisant la base de vidéos présentées dans le paragraphe 3.3.5.2. Le critère de comparaison utilisé est leNSS(éq. 3.15) en utilisant pour carte modèle
Mmla carte d’intérêt SIPMSIPou la carte d’intérêt STIPMSTIP. Pour introduire une certaine tolérance, ces cartes sont lissées par un filtrage gaussien. Les différentes cartes obtenues sont illustrées à la figure 3.19.
Figure 3.19 —Exemple de cartes d’intérêt et de cartes de saillance sur une image choisie de la base test de vidéos : (a) image originale, (b) carte d’intérêt SIPMSIP, (c) carte d’intérêt STIPMSTIP, (d) carte de densité de positions oculairesMh, (e) carte de saillance statique
MS, (f) carte de saillance fusionnéeMRsd.
Les cartes données par les points d’intérêt, qui représentent plutôt des concentrations de points d’intérêt, n’ont pas tout à fait la même allure que les cartes de saillance qui elles mettent en valeur des contours ou des régions. Néanmoins, ce sont sensiblement les mêmes régions qui sont mises en évidence dans les deux cas. Nous avons calculé la moyenne du
cette moyenne vaut0.50 et pour les cartes MSTIP elle est de 0.49, valeurs proches. Néan-moins, les cartesMSIPsont légèrement meilleures que les cartesMSTIP. Ceci peut venir du fait que les cartes MSTIPsont une restriction des cartesMSIP aux points d’intérêt spatiaux qui ont une variation temporelle irrégulière.
Critères NSS
Carte MS MRsd MSIP MSTIP
Moyenne 0.68 1.07 0.50 0.49 Test - 53 séquences télévisées STIPk
=
0, 04,ss=
st=
1.5 etS=
150Tableau 3.11 —NSSmoyen des cartes de saillance statiqueMS, fusion renforcée des voies statique et dynamiqueMRsdet des cartes d’intérêt spatialesMSIPet spatio-temporelles
MSTIPsur toute la base de vidéos courtes.
Si on souhaite comparer les résultats obtenus avec les points d’intérêt à ceux obtenus avec le modèle de saillance, il convient de comparer des cartes de même nature. Ainsi, on compare la carteMSIP avec la carteMS puisqu’elles donnent toutes deux une information spatiale alors que l’on compare la carte MSTIP avec la carte MRsd car elles donnent une informations spatio-temporelles. Le NSS moyen obtenu sur les différentes cartes citées est donnée dans le tableau 3.11. Le modèle de saillance donne de meilleurs résultats tant en spa-tial qu’en spatio-temporel. Cependant, pour obtenir un bon NSS, il est nécessaire d’obtenir une corrélation entre les positions oculaires et le modèle. Le modèle de saillance retournant des contours, un bon NSS indique que les positions oculaires de la carte de positions ocu-laires Mhsont situées sur les contours. Le modèle d’intérêt retournant des points, un bon NSS indique alors que les positions oculaires sont réparties sur les points. Le critère est donc peut-être un peu plus ’dur’ pour les points d’intérêt.
Cependant, il est important de noter que les deux modèles ne travaillent pas avec le même type de données : le modèle de saillance renvoie des contours alors que le modèle d’intérêt des points, lissés par une fonction gaussienne.
Pour préciser cette analyse, nous avons tracé l’évolution duNSSau cours du temps pour les cartesMs ,MRsd ,MSIPetMSTIPen figure 3.20.
On constate que les courbes MSIP et MS ainsi que les courbes MSTIP et MRsd ont des allures proches. Elles ont de faibles valeurs au début puis augmentent rapidement (rebond) avant de se stabiliser et d’osciller autour d’une valeur constante. La carte MSIP met en évidence les coins spatiaux et MSTIP retient ceux qui sont aussi temporels ainsi ces deux cartes obtiennent des résultats très proches. Les courbes obtenues par le modèle de saillance donnent de meilleurs résultats que celles du modèle d’intérêt comme on s’y attendait au vu de la valeur moyenne.
A noter qu’à partir de la cinquantième image, il ne reste que le tiers des snippets concernés par le calcul de la moyenne (snippets plus long que 50 images).
Figure 3.20 —Évolution duNSSen fonction de la position des images dans les snippets pour les cartes d’intérêtMSIPetMSTIPet pour les cartes de saillanceMSetMRsd.