Annotation sémantique collaborative et émergence des sémantiques

L’annotation sémantique collaborative est la deuxième contribution. Rappelons que dans la section précédente, nous avons proposé une représentation sémantique des images grâce à une ontologie d’application instanciée par association de mots-clés. L’annotation sémantique collaborative est un processus qui consiste à faire décrire les images par une communauté d’annotateurs. Il permet de recueillir des opinions diverses sur la sémantique d’une image et de les faire converger vers une seule sémantique. Mais pourquoi une annotation collaborative ? La

Figure 3.5 – Ontologie d’application proposée aux annotateurs

sémantique obtenue par un seul annotateur ne pourrait-elle pas être la bonne ? C’est à cette question que nous allons répondre.

Bien que les ontologies soient utiles pour réaliser une description sémantique, structurée et significative des images, les annotateurs n’ont pas souvent la même perception des images et par conséquent, les sémantiques associées aux images peuvent être différentes d’un annotateur à un autre. Comme nous venons de le rappeler un peu plus haut, la pertinence de ces séman-tiques reste fort subjective parce qu’elles peuvent ne pas être en adéquation avec le contenu des images. Une image reçoit plusieurs interprétations et les annotations, même si elles sont sémantiques pourraient être remise en cause parce que l’interprétation peut être erronée ou imprécise ou encore insuffisante. Prenons l’exemple l’image de la figure 3.6 décrite par cinq utilisateurs avec une ontologie. Le but de la description est que chaque annotateur fournisse la sémantique de l’image en instanciant les concepts concrets d’une ontologie d’application avec des mots-clés d’un dictionnaire lexical. Une ontologie d’application a été mise à la disposition des annotateurs. Dans cette ontologie d’application, un concept abstrait de base ”Acteur” décrivant les acteurs d’une image. Acteur est composé d’un concept abstrait ”Etre” et de quatre concepts concrets ”Animal”, ”M euble”, ”Objet” et ”Outil” comme le montre la fi-gure 3.5.

Et l’image de la figure 3.6 est l’image proposée aux annotateurs.

Les mots-clés proposés sont présentés dans la table 3.1. Nous remarquons deux problèmes majeurs : la divergence des points de vue sur les mêmes objets et l’insuffisance des descriptions faites par certains annotateurs comme le montre la colonne 5 du tableau pour l’annotateur 4 et les colonnes 4 et 5 de tableau pour l’annotateur 5 qui sont restées vides. La raison pourrait être que les objets ne sont pas perçus par ces annotateurs ou bien qu’ils ne savent pas à quoi ils correspondent.

Dans cette section nous proposons l’émergence des sémantiques associées à une image vers une sémantique résultante par une annotation sémantique collaborative basée sur une com-munauté d’annotateurs. L’annotation collaborative consiste en la proposition de la description d’une image par plusieurs annotateurs. Des approches se sont penchées sur la collaboration comme nous l’avons évoqué et décrit dans l’état de l’art. Ces approches se basent sur des

mots-clés. Généralement, plusieurs annotateurs procèdent à l’annotation de la même image et le système se charge d’en déduire la description la plus pertinente de l’image. Nous pouvons citer en guise d’exemple, les sites d’annotation collaboratifs comme Wikipédia et des frame-works de description collaborative des images qui sollicite un public plus ou moins large.

L’annotation collaborative que nous proposons est basée sur une communauté d’annota-teurs. Chaque annotateur de la communauté propose une représentation sémantique de la même image. Différents points de vue seront ainsi exprimés dans les annotations. Pour que les annotateurs puissent exprimer leurs points de vue, un dictionnaire lexical est proposé. Word-Net est le dictionnaire lexical proposé. L’ontologie est instanciée par chaque annotateur avec des mots-clés provenant du dictionnaire lexical. Une fois que les différents points de vue sont exprimés par chaque annotateur à travers les sémantiques proposées, nous procédons ensuite à l’émergence de toutes les sémantiques. L’émergence consiste en effet à faire converger toutes les sémantiques proposées vers la sémantique la plus représentative comme le montre la figure 3.7.

Le principe est le suivant. Chaque annotateur propose une sémantique de la même image Annotateurs Concepts concrets

N ^o Animal Meuble Outil Objet

1 Chien Table Ordinateur Souris

2 Chien Bureau Téléphone Bouteille 3 Kangourou Bureau Ordinateur Souris

4 Chien Bureau Ordinateur

-5 Loup Table - - -

-Table 3.1 – Liste des instances proposées

en instanciant les concepts concrets de l’ontologie d’application grâce aux mots-clés provenant de WordNet. Ces mots-clés sont proposés via une interface d’annotation reliée aux concepts concrets de l’ontologie d’application. Une fois les mots-clés proposés (les sémantiques géné-rées), nous précédons ensuite à la détermination de la sémantique la plus représentative à partir de toutes les sémantiques proposées, c’est-à-dire, la détermination de l’instance la plus pertinente parmi les instances de chaque concept concret des sémantiques. Ces instances (per-tinentes) seront ensuite mappées dans l’ontologie d’application pour donner la sémantique émergente. Pour déterminer la sémantique émergente, nous avons introduit dans le système une fonction appelée f_emerg. La fonction f_emerg permet d’évaluer les instances proposées dans

Figure 3.7 – Émergence de la sémantique

chaque concept concret des sémantiques. La fonction f_emerg combine deux techniques d’éva-luation : la fréquence et le poids. La fréquence permet de déterminer les instances les plus fréquentes pendant le processus de description des images et le poids permet de détermi-ner la position des instances par rapport à la position des autres instances proposées par un annotateur (le rang qu’elles occupent pendant l’annotation).

3.3.3/ Recherche d’images basée sur le clustering et la