La Recherche d'Images

Les images ont constitue la premiere forme de document non-textuel qui a ete incluse dans un processus de recherche d'informations. An de caracteriser les particularites de ce media, plusieurs modeles de recherche d'images ont ete proposes. Ces derniers precisent en quoi consiste une bonne representation de l'image en vue d'une recherche ecace de ce type de media. Un bon resume des modeles d'images proposes dans la litterature se trouve dans [LKT+95].

Ainsi, le modele EMIR2 [Mec95c] est presente par Mechkour comme un modele general de representation des images xes permettant une description complete de ces dernieres. Ce modele se veut independant de tout formalisme de representation de donnees ou de connaissances. Il fournit un cadre dans lequel les caracteristiques de l'image xe peuvent ^etre representees. L'extraction automatique du contenu semantique de ces images n'est pas traitee dans ce modele. L'indexation se faisant a travers un outil semi-automatique, se contentant d'assister l'indexeur [CM97]. L'auteur semble ainsi suivre la remarque de Narasimhalu [Nar95] ou les outils de comprehension automatique du contenu des images doivent ^etre remplaces par des outils interactifs.

Dans ce modele, l'index d'une image devra inclure cinq vues. La premiere vue a trait au niveau physique de l'image, correspondant a une matrice de points, et au format de l'image. Les quatre autres vues correspondent au niveau de description logique de l'image et re etent ainsi son contenu semantique:

La vue structurelle:

l'image est vue comme un ensemble d'objets. Les objets de l'image pouvant eux m^eme ^etre composes d'autres objets. La vue structurelle de l'image a la forme d'un graphe oriente ayant pour noeuds les objets de l'images, et pour arcs des relations de composition structurelle. Cette vue permet de decomposer l'image en conservant la structure des elements presents dans l'image. Par exemple, une image peut contenir un arbre et une maison. La maison peut ^etre composee de murs et de toits. Dans ce cas, la vue structurelle comportera un objet image

o

image compose d'un objet

o

1 (l'arbre) et d'un objet

o

2 (la maison), qui sera lui-m^eme compose d'un objet

o

3 (le mur) et d'un objet

o

4 (le toit).

La vue spatiale:

cette vue est tres importante dans le cas de la recherche d'images. Elle permet de decrire la forme des objets et les relations spatiales qui les lient ensemble. Il s'agit de positionner les objets les uns par rapport aux autres. La vue spatiale d'une image est un graphe dans lequel les noeuds sont les objets spatiaux, et les arcs sont des relations spatiales. Les objets spatiaux sont caracterises par la forme de l'element dans le plan de l'image: point, segment, polygone, etc. Mechkour distingue 12 relations spatiales elementaires (Nord, Sud, Couvre, etc.).

La vue perceptive:

elle regroupe un certain nombre d'attributs attaches a la perception visuelle des images. Trois attributs sont pris en compte dans EMIR2: la couleur, la texture et la brillance.

La vue symbolique:

la vue symbolique associe une description semantique a l'image et aux objets de l'image. La description regroupe un ensemble de termes pouvant ^etre relies ensemble par des relations semantiques. Par exemple, une image dans laquelle appara^t un homme ^age tenant une canne peut ^etre decrite par une description comme: tenant(Homme-Age, Canne). Cette description est completee par des attributs formates associes aux termes.

L'importance des relations dans le modele d'EMIR2 est ainsi primordiale. Certaines relations presentent des proprietes dont il faudra tenir compte dans le processus de correspondance. Par exemple, certaines relations spatiales ou structurelles presentent des proprietes mathematiques interessantes (symetrie, transitivite, inversion, etc..). De plus, plusieurs relations symboliques ou spatiales peuvent ^etre regroupees en classes et sous-classes (comme pour les concepts). Ainsi, la relation Touche est un specique de proche, c'est-a-dire qu'a chaque fois qu'un objet

o

1 touche un autre objet

o

2, on en deduit que

o

1 est proche de

o

2. Une requ^ete adressant deux objets qui soient proches devra avoir comme reponse un document dans lequel ces deux objets se touchent. Il est egalement utile d'avoir une relation de specialisation entre des relations d'arites dierentes. Par exemple, la relation entre mentionnant qu'un objet

o

1 est \entre" deux autres objets

o

2 et

o

3

dans le plan de l'image, implique necessairement l'existence d'une relation a-droite entre

o

1 et

o

2

et a-gauche entre

o

1 et

o

3. On en deduit que la relation spatiale d'arite 3 entre est un specique des relations binaires a-droite et a-gauche. Enn, des relations symboliques peuvent ^etre agencees (composees) pour donner d'autres relations implicitement vehiculees par l'index du document.

Le modele operationnel developpe par Mechkour est base sur le formalisme des graphes concep-tuels. Les graphes conceptuels presentent l'avantage de pouvoir unier assez aisement les vues du modele propose. La representation globale de l'image correspond ainsi a un unique graphe concep-tuel

g

(voir gure 2.9). En eet, chaque objet de EMIR2, qu'il soit structurel, symbolique, perceptif, ou spatial, est represente par un concept particulier dans le graphe conceptuel

g

. De la m^eme ma-niere les relations du modele, a savoir les relations de composition, les relations spatiales et les relations symboliques, sont representees par des relations entre les concepts du graphe conceptuel

g

. Les attributs formates sont quant a eux representes par des concepts et associes a leurs objets respectifs par une relation predenie.

Malheureusement, les graphes conceptuels manquent de capacites d'inference et de deduction. Il n'est pas possible, entre autres, d'elaborer des raisonnements sur les proprietes des diverses relations utilisee. Mechkour a ainsi adopte une approche ad-hoc de type de celle presentee dans la section precedente, ou toutes les relations implicites obtenues par application des proprietes des relations sont ajoutees au graphe (voir gure 2.9). L'approche suivie s'est toutefois contentee de traiter les proprietes mathematiques des relations, ignorant ainsi les possibles liens de hierarchies entre les diverses relations symboliques utilisees. De m^eme les agencements possibles des relations ne sont pas pris en compte.

Dans [Meg95], un modele general d'images est egalement introduit. Tout comme Mechkour, les methodes d'extraction automatique des connaissances ne sont pas abordees et seul l'aspect modelisation du contenu de l'image est decrit. Une image est alors vue comme un objet a trois niveaux:

Forme

: l'image est vue comme une combinaison de regions colorees et sa representation se denit par le triplet (

A;;F

).

A

est une region de l'image,



est une partition de

A

c'est-a-dire un ensemble de points,



=f

S

1

;::: ;S

ng et enn la fonction

F

associe a chaque point de

A

une couleur.

Contenu

: ce niveau comprend un ensemble d'elements pour la modelisation semantique du contenu des images et son organisation. Cette modelisation se compose donc d'entites inter-reliees et elle repose sur trois mecanismes d'abstraction: la classication des entites (classes decrivant des collections d'objets similaires), leur agregation (denition des proprietes des classes) et leur specialisation (taxinomie des classes avec une relation \IsA").

IMAGE: # IMAGE: # Compose Compose Compose ^Compose Compose Compose Couvre Couvre Couvre Couvre OBJET-1 OBJET-2 OBJET-3 OBJET-4 OBJET-1 OBJET-3 ^OBJET-4 q (d)

Figure 2.9.

Les relations \compose" et \couvre" sont transitives

Liaison

: ce niveau etablit la jonction entre les deux niveaux precedents. Il s'agit d'une fonction qui associe a des ensembles disjoints de spots des entites du \content level". Il s'agit donc de la construction de la representation de l'image puisque cette fonction lie les regions physiques de l'image a des entites conceptuelles.

Comme dans le cas d'EMIR2, un ensemble de relations spatiales est necessaire a modeliser en vue d'une recherche par le contenu (meets, overlap, etc.). Cependant, contrairement au modele de Mechkour, ou les relations entre les objets de l'image sont traitees au niveau des index, Meghini a choisi de traiter ces relations lors de la correspondance. Ces relations sont toutefois indispensables puisqu'elles peuvent frequemment intervenir dans la recherche de donnees spatiales.

De plus, ces relations presentent des proprietes dont il faut tenir compte lors du processus de correspondance. Implante gr^ace a la logique terminologiqueMirlog[MS96], le systeme sous-jacent soure aussi d'un manque de raisonnement sur les relations imputable a la logique terminologique utilisee. En eet, les logiques terminologiques tout comme les graphes conceptuels ne supportent pas de mecanisme d'inference sur les relations.

Dans le document Un modèle d'indexation relationnel pour les graphes conceptuels fondé sur une interprétation logique (Page 65-68)