2.4 Descripteur de temporalité d’image
2.4.3 Similarité temporelle entre deux images
Nous définissons la similarité temporelle entre deux images par la fonction
Modélisation des descripteurs de thématique, de spatialisation et de temporalité
condes entre deux images iqet iren se basant sur la différence entre la représentation tem- porelle de l’image iq (U xTiq) et la représentation temporelle de l’image ir(U xTir) comme suite :
disttemps(iq, ir) = |UxTiq − U xTir| (2.18)
ܷݔܶೝ ܷݔܶ ܷݔܶೝ Axe du temps
temps
Figure II.2.8 – Représentation des valeurs temporelles de deux images sur l’axe de temps.
Par la suite, nous détaillons deux approches temporelles employées pour attribuer des scores aux images. Ces approches calculent une similarité temporelle entre une image- requête iq et une image ir trouvée pertinente pour iq. Elles sont basées sur la distance temporelle (équation 2.18) et sur les fonctions présentées dans la section II.2.1.
1) Approche 1 : similarité classique
La distance temporelle est convertie en similarité temporelle conformément à l’équa- tion suivante :
tempsclassique(iq, ir) = 1 + dist 1
temps(iq, ir)
(2.19) Nous avons ajouté 1 seconde à la distance temporelle pour éviter la division par zéro lorsque le moment de capture d’une image-requête coïncide avec le moment de cap- ture d’une image déjà annotée.
2) Approche 2 : fonctions Kernel
Une deuxième approche consiste à exprimer la distance temporelle entre deux images par une fonction de proximité. En se basant sur des travaux en RI, nous proposons d’utiliser comme fonctions de proximité les fonctions Kernel introduites dans la sec- tion II.2.1 (c.-à-d. Gauss et Laplace). Dans ce cas, la valeur de tempsKernel(iq, ir) dimi- nue à mesure que la distance temporelle séparant une image-requête iqet une image trouvée pertinente pour iqaugmente.
tempsKernelGauss(iq, ir) = K 0
Gauss(disttemps(iq, ir)) = √1
2πσ · exp " −disttemps(iq, ir)2 2σ2 # (2.20)
tempsKernelLaplace(iq, ir) = K 0
Laplace(disttemps(iq, ir)) = exp
−|dist
temps(iq, ir)|
σ
2.5. Bilan
2.5
Bilan
Nous avons présenté au cours de cette section les notions et les concepts de base qui font l’objet du processus de modélisation des différents descripteurs d’images. Dans le cadre de cette thèse, nous avons considéré trois descripteurs d’images, à savoir : le descripteur de thématique, le descripteur de spatialisation et le descripteur de temporalité. De plus, nous avons défini l’activité d’annotation, les métadonnées caracté- ristiques d’une image-requête et, en particulier, les informations textuelles associées aux images. Quelques fonctions de classement des tags et images ont également été détaillées. Une contribution portant sur la définition et la modélisation des descripteurs de thé- matique, de spatialisation et de temporalité est également exposée. Les approches de mo- délisation des descripteurs proposées présentent les avantages suivants :
– l’avantage du descripteur thématique est lié à sa capacité à diminuer le coût trop élevé de l’annotation manuelle d’images ainsi que l’effort intellectuel et la subjecti- vité des individus qui annotent les images ;
– l’exploitation des descripteurs de spatialisation et temporel a un double avantage : d’une part ils regroupent les images similaires à une image-requête du point de vue géographique et temporel. D’autre part, ils offrent des mécanismes de classement des tags et des images ;
– finalement, les approches originales de chaque descripteur visent à ré-ordonner les résultats initiaux obtenus pour une image-requête. À l’heure actuelle et à notre connaissance, de telles approches n’ont pas été proposées dans la littérature.
Sur la base des notions et concepts présentés dans cette section, la section suivante présente un processus d’annotation sémantique d’images. Ce processus vise à identifier les étiquettes pertinentes par rapport à une image-requête, pour ensuite les classer par pertinence décroissante.
3
Modèle uni é pour l'annotation
sémantique d'images
À
LA BASE DE NOTRE CONTRIBUTION repose le processus d’annotation automatiqued’images que nous représentons dans la Figure II.3.1. Ce processus est basé sur les trois descripteurs (c.-à-d. de thématique, de spatialisation et de temporalité) présen- tés dans la section précédente. Il est constitué de deux étapes : À obtention de tags candi- dats et Á affinage des annotations. Dans la première étape, les aspects temporel et spatial d’une image-requête iq sont utilisés afin d’obtenir l’ensemble des images similaires à iq, ainsi que les tags associés à chacune d’entre-elles. D’autre part, dans la deuxième étape, nous affectons des scores aux tags issus de À en employant les approches de modélisa- tion de chaque descripteur. Les tags aux scores les plus élevés sont utilisés pour annoter l’image-requête iq.
Nous détaillons dans les sections suivantes le processus d’obtention de tags candidats ainsi que les techniques que nous proposons pour renforcer les scores des tags candidats.
3.1
Obtention de tags candidats
Cette section décrit trois approches que nous avons proposées pour générer les tags candidats pour annoter une image-requête. Ces approches sont basées sur trois filtrages : spatial, temporelet spatio-temporel. Nous définissons ces filtrages en utilisant les élé- ments suivants :
– C représente une collection d’images : C= {i1, . . . , in} ; – iqreprésente une image-requête ;
– irreprésente une image qui est similaire à une image-requête et IRl’ensemble des
images considérées similaires à iq: IR = {ir1, . . . , irn} ;
– pour modéliser les caractéristiques de localisation et de temporalité d’une image nous utilisons les fonctions : geo(i) de signature geo : C → R2et temps(i) de signature
Modèle uni é pour l'annotation sémantique d'images
– T gIR l’ensemble des tags associés aux images considérées similaires à une image- requête iq: T gIR=
n
{tg1
ir1, . . . , tgnir1}, . . . , {tg1irn, . . . , tgnirn} o
. Geolocation
Metadata Matching
Online community database Query image Input : lat/long First step Première étape Seconde étape Image requête Input : lat/long : date/heure Appariement fonction de localisation ou de temporalité Collection d’images
Liste des tags candidats Pondération de chaque caractéristiques d’image Image requête Exemple de pondération
Retrived Image + Metadata
…….
• Tags • Location • Capture time…
…
.
Candidate Tag SetWeighting each tag temporal, geospatial
textual factors
Query image
Online community database
Second step weighting e.g.: ݏ௧ ݏ௦௧ Appariement en fonction de localisation temporalité
Collection d’images en ligne
Images + metadonnées
…
•Tags •Localisation •Point du temps…
Pondération de chaque tag à l’aide des caractéristiques d’image Annotations finales ݏ௦௧ ݏ௧ Image trouvée Image requête Appariement coordonnées géolocalisationeach tag using temporal, geospatial and
textual factors Retrived image Final Tag Suggestions ௧ ௦௧ Appariement des coordonnées de géolocalisation
Figure II.3.1 – Vue d’ensemble du processus d’annotation. Dans une première étape, les informations de localisation et de temporalité sont utilisées pour trouver des images similaires à une image-requête. Ensuite, les descripteurs de temporalité de spatialisation et de thématiquesont calculés pour ordonner les tags.