Nous utilisons dans nos travaux les relations spatiales comme outil permettant de d´esambigu¨ıser les fonds (ciel, eau, etc.) que nous reconnaissons dans les images. Pour cette raison, nous faisons ici un bref ´etat de l’art de l’utilisation des relations spatiales en traitement d’image.
Les relations spatiales relatives ont ´et´e ´etudi´ees principalement dans le domaine de l’intelligence artificielle. Dans le domaine du traitement d’images, elles sont tr`es peu appliqu´ees. Les principales applications que l’on peut trouver sont pour la reconnaissance de structures `a partir de mod`eles, notamment dans des images m´edicales, ou alors pour faire de la description linguistique d’images.
D`es 1975, J. Freeman avait d´enombr´e treize relations spatiales permettant de d´ecrire la position relative d’une r´egion par rapport `a une autre, en deux dimensions. Ces re- lations peuvent se classer en trois groupes : les relations topologiques : `a l’int´erieur de, `
a l’ext´erieur de, touche, entre ; les relations li´ees `a la distance : loin de, pr`es de ; et les relations directionnelles : au-dessus de, en-dessous de, `a gauche de et `a droite de.
Nous nous int´eressons particuli`erement aux relations topologiques et directionnelles pour lesquelles nous souhaitons avoir un pourcentage de confiance pour chaque relation : dans quelle mesure un objet est-il `a l’int´erieur ou `a gauche d’un autre ?
2.2.1 Calcul des relations spatiales
Beaucoup de techniques ont ´et´e propos´ees afin de calculer des relations spatiales entre r´egions, dont les histogrammes d’angles, les histogrammes de force, et des m´ethodes utilisant la morphologie math´ematique.
La m´ethode construisant un histogramme des angles a ´et´e pr´esent´ee par Miyajima et al. [100]. Elle permet de calculer les relations du type au-dessus de, en-dessous de, `
a gauche de et `a droite de. Un histogramme d’angle est calcul´e entre deux r´egions en consid´erant toutes les paires de points possibles. Pour chaque paire, l’angle entre le segment et l’axe horizontal (figure 2.2) est report´e dans l’histogramme.
Fig. 2.2 – Relation spatiale entre deux points de deux r´egions.
Cet histogramme est ensuite normalis´e et multipli´e par une fonction floue qui est une fonction cosinus carr´e centr´ee en 0 radian (respectivement π/2, π, et 3π/2) pour obtenir le taux (entre 0 et 1) avec lequel la relation `a droite de (respectivement au-dessus de, `a gauche de, et en-dessous de) est v´erifi´ee. La somme de ces taux pour les quatre relations spatiales vaut 1. Cette fonction est repr´esent´ee sur la figure 2.3.
Fig. 2.3 – Fonctions floues utilis´ees pour obtenir le taux de v´erification des relations spatiales pour les quatre directions spatiales.
Par exemple, soit h l’histogramme des angles, la relation « R2 est `a droite de R1 »
<droite= π/2
X
θ=−π/2
h(θ) ∗ cos2(θ)
La relation obtenue est alors celle de R2 par rapport `a R1 : <droite= 1 signifie que
R2 est `a droite de R1, et que R1 est `a gauche de R2.
Les histogrammes de forces ont ´et´e d´efinis par Matsakis dans sa th`ese de doctorat [93]. Ils sont illustr´e sur la figure 2.4.
Fig. 2.4 – Sch´ema illustrant les histogrammes de force, issu de [94].
Soient A et B deux objets dont on cherche `a ´evaluer les relations spatiales relatives directionnelles. L’histogramme calcule, pour chaque angle, une valeur FAB(θ) qui addi-
tionne des contributions ´el´ementaires provenant de chaque couple constitu´e d’un point de A et un point de B faisant un angle θ avec l’axe horizontal. La contribution de ce couple d´ecroˆıt avec la distance d entre les deux points consid´er´es et est proportionnelle `a
1
dr o`u r est un entier qui varie, permettant de construire un histogramme de force pour
chaque valeur de r. Les histogrammes correspondant `a r = 0 et `a r = 2 sont repr´esent´es sur la figure 2.4. r = 0 revient `a consid´erer que tous les points ont la mˆeme importance, quelle que soit leur distance et correspond `a la m´ethode d´evelopp´ee par Miyajima et al. [100] d´ecrite ci-dessus. r = 2 correspond au mod`ele d’attraction gravitationnelle et donne plus d’importance aux couples qui sont les plus rapproch´es.
Il est possible de calculer d’autres relations plus complexes telles que « est `a l’int´erieur de », « est `a l’ext´erieur de » et « est entre » [94], mais nous n’utiliserons pas ces relations. Bloch et al. [13] offrent une bonne comparaison des diff´erentes techniques de calcul de relations spatiales directionnelles floues utilis´ees dans la litt´erature. Les m´ethodes compar´ees ici sont l’histogramme des angles, la m´ethode des centro¨ıdes, les histogrammes de force, une m´ethode fond´ee sur la projection, et une approche utilisant la morphologie math´ematique.
2.2.2 Relations spatiales pour l’indexation et la classification
Les m´ethodes d´ecrites ci-dessus permettent de calculer des relations spatiales rela- tives entre deux ou plusieurs r´egions. Il n’est cependant pas trivial d’int´egrer ces relations spatiales dans l’indexation d’images afin de permettre de faire de l’apprentissage auto- matique.
Omhover et al. [109] int`egrent les relations spatiales dans la recherche d’images par similarit´e. L’utilisateur s´electionne plusieurs r´egions d’une image requˆete et l’algorithme recherche dans une base d’images d´etermin´ee une image contenant des r´egions similaires qui ont ´egalement un agencement spatial proche de celui de l’image requˆete. Trois axes de relations spatiales ont ´et´e utilis´es : la connexit´e, la relation « gauche / droite » et la relation « au-dessus / en-dessous ». Cela donne un histogramme qu’ils peuvent compa- rer entre deux couples de r´egions pour calculer leur similarit´e au niveau des relations spatiales. Leur mesure finale de distance entre deux images consid`ere tous les couples possibles de l’image question et des images de la base pour prendre en compte en mˆeme temps la similarit´e spatiale et la similarit´e visuelle.
Datta et al. [27] proposent un mod`ele d´enomm´e Structure-Composition fonctionnant de la mani`ere suivante :
– l’image est d’abord quantifi´ee en un nombre fix´e Nc de couleurs en appliquant
l’algorithme des K-moyennes sur l’histogramme des couleurs dans l’espace LUV sur toutes les images d’apprentissages. La mˆeme quantification est appliqu´ee `a toute les images, et le nombre de r´egions alors obtenues dans l’image est variable ; – ensuite, pour chaque couple de couleurs (Ci, Cj), une fonction ∆(Ci, Cj) repr´esente
la longueur de bords communs entre une r´egion de couleur Ci et une r´egion de
couleur Cj;
– ∆(Ci, Cj) est normalis´e par la somme des p´erim`etres Θ(Ci) des r´egions de couleur
Ci. Le rapport f (i, j) = ∆(Ci, Cj)/Θ(Ci), compris entre 0 et 1, n’est donc pas
sym´etrique. Ce rapport vaut 1 si les r´egions de couleur Ci sont entour´ees par des
r´egions de couleur Cj. Il vaut 0 si les r´egions ne se touchent pas.
Cela fournit un descripteur de taille fixe (Nc2 − Nc) qui peut ˆetre utilis´e pour l’ap-
prentissage. Datta et al. choisissent de l’apprendre en le mod´elisant par une loi bˆeta d´efinie avec les param`etres (α, β) :
f (x; α, β) = Γ(α + β) Γ(α)Γ(β)x
α−1(1 − x)β−1
o`u la fonction gamma est d´efinie par Γ(z) =
Z +∞ 0
tz−1e−tdt
Bosch et al. [14] se servent des relations spatiales pour am´eliorer la reconnaissance de r´egions (par exemple : ciel, herbe, route, v´eg´etation, terre) dans des sc`enes d’ext´erieurs. Ces relations spatiales sont l’adjacence entre r´egions et la position absolue d’un pixel dans l’image. `A partir de l’apparence en texture et en couleur (les d´etails ne sont pas donn´es
sur les descripteurs qu’ils utilisent) ainsi que la position absolue des pixels, une densit´e de probabilit´e de forme gaussienne est estim´ee afin de pouvoir ensuite classer s´epar´ement chaque pixel de mani`ere probabiliste en l’une de ces cinq classes. La position absolue d’un objet est exprim´ee selon la surface des parties de cette objet qui sont pr´esentes en haut, au milieu ou en bas de l’image. Ensuite, les classes assign´ees `a chaque pixel sont affin´ees en prenant en compte l’adjacence entre les r´egions ainsi obtenues : si une r´egion inconnue est adjacente `a une r´egion identifi´ee, alors ces deux r´egions sont compar´ees en termes de couleur et de texture. Si elles sont suffisamment similaires, elles sont fusionn´ees et annot´ees comme la r´egion reconnue. L’approche de Bosch et al., sch´ematis´ee sur la figure 2.5, leur permet de traiter en mˆeme temps les probl`emes de la segmentation de l’image, et de la classification de chaque r´egion comme un objet connu ou inconnu. La classification n’utilisant que l’apparence du pixel donne 54,21% de bonnes classifications, alors qu’avec l’inclusion des relations spatiales, ils atteignent 89,87%.
Fig. 2.5 – Approche propos´ee par Bosch et al. [14] pour am´eliorer la classification de r´egions en incluant des relations spatiales absolues et relatives.