Autres descripteurs

Dans cette partie, nous allons d´ecrire les descripteurs extraits `a partir des r´egions dans l’image. Pour cela, une ´etape de segmentation sera n´ecessaire.

2.1.4.1 Segmentation

La segmentation d’image a pour but de regrouper des pixels entre eux suivant des crit`eres pr´e-d´efinis, constituant une partition de l’image. Ce probl`eme particuli`erement difficile qui n’a actuellement pas de solution g´en´erique est largement trait´e dans la litt´erature. L’´etude et l’analyse de nouveaux algorithmes de segmentation spatiale n’entre pas dans le cadre de nos travaux de th`ese. Nous allons donc simplement pr´esenter la m´ethode pour laquelle nous avons opt´e afin de r´ealiser cette tˆache.

Les images-cl´es des plans vid´eos sont segment´ees en r´egions homog`enes en utilisant deux m´ethodes de segmentation : (1) en bloc, (2) segmentation de graphe [FH98]. Cette derni`ere a ´et´e s´electionn´ee pour sa capacit´e `a pr´eserver les d´etails dans les images avec peu de variations et de les ignorer dans les images avec de grandes variations. De plus, l’algorithme est assez rapide, permettant une segmentation enO(nlogn) pour un graphe `anarˆetes. Une illustration des r´esultats des deux m´ethodes est pr´esent´ee par la Fig. 2.13.

Segmentation en blocs

La premi`ere m´ethode de segmentation utilis´ee dans nos travaux, en particulier sur les donn´ees du projet CRE-Fusion, est celle d’une division de l’image (576x720 pixels) en un certain nombre de (6x6) sous-images sans chevauchement, comme le montre la Fig.2.10. On obtient 36 blocs repr´esentatifs de 96x120 pixels chacun. La couleur, la texture et les contours sont ensuite extraits, plus de d´etails sur l’extraction des caract´eristiques sont donn´es dans le partie2.1.4.2. Notons que le nombre de blocs est choisi en prenant en compte deux points : (1) l’obtention de blocs de taille repr´esentatif (i.e. poss´edant assez de pixels pour une bonne repr´esentation de la couleur, les contours, etc) et (2) se pr´evenir d’une grande dimension qui risque d’ˆetre produite dans l’´etape d’extraction des descripteurs.

2.1. Description bas-niveau 35

Fig. 2.10 – Segmentation en blocs d’une image.

Segmentation en r´egions `a base de graphe

Ici, nous allons bri`evement d´ecrire l’algorithme de segmentation de graphe d´ecrit dans Felzenszwalb et al. [FH98] et qui sera utilis´e dans nos travaux. L’algorithme cherche `a prou-ver l’existence de limites (fronti`eres) entre chaque paire des r´egions voisines. Initialement, les noeuds du graphe non orient´es G = {V, E} sont identifi´es aux pixels de l’image (les

´

el´ements deV) et les arcs sont construits entre un pixel et ses quatre voisins (en haut, en bas, `a gauche et `a droite). Chaque arce est pond´er´e par un poids w(e) mesurant la diff´ e-rence entre les deux pixels connect´es par cet arc (e.g. la diff´erence d’intensit´e, de couleur, de texture, etc).

Dans cette repr´esentation, la segmentationS revient `a faire un partitionnement deV en r´egion, o`u chaque r´egionCi={1···k} est un arbre recouvrant le poids minimum (ouMinimum Spanning Tree (MST)) et d´efinit ainsi un ensemble de pixels connexes sur l’image. Ainsi, une suppression de tous les bords entre les diff´erents pixelsx tel quew(x_i, x_j)> τ. Chaque r´egion est donc repr´esent´ee par sa variation interneInt(Ci) (i.e. par le plus grand poidsw(e) de Ci). Deux r´egions se comparent par leur variation externe Ext(Ci, Cj), correspondant au poids minimum des arcs reliantC_i etC_j comme le montre l’´equation (Eq. 2.5).

Int(Ci) = maxe∈MST(C,E)w(e)

Ext(C₁, C₂) = min_{vi∈C1,vj∈C2,(vi,vj)∈E}w((v_i, v_j)) (2.5) La partition voulue est obtenue sur la base de l’algorithme de Kruskal ³ [Pri57]. Au d´epartS ={C₁, C2, . . . , C|V|}, aucun sommet n’est connect´e. On ajoute ensuite les arcs par ordre croissant de leur poids, en ´evitant les cycles comme le montre la Fig.2.11. Un crit`ere d’arrˆetD(C_i, C_j) permet de limiter la croissance des r´egions :

D(Ci, Cj) =

1 si Ext(Ci, Cj)min(Int(Ci) +τi, Int(Cj) +τj)

0 ailleurs (2.6)

3Il est possible d’utiliser aussi l’algorithme de Prim [Kru56].

36 Chapitre 2. Description et Classification des Caract´eristiques Visuelles

Le coût de l’arbre = 1+1+3 =5

Fig.2.11 – Exemple de fonctionnement de l’algorithme de Kruskal sur un graphe `a 4 noeuds.

Fig. 2.12 – R´esultats de la segmentation obtenue avec trois valeurs du param`etre K (100, 200 et 300) qui module la finesse de la segmentation.

Le seuilτ sert `a p´enaliser le regroupement des grandes r´egions, il diminue avec la taille de la r´egion. Selon [FH98], nous d´efinissonsτ<sub>i</sub>=K/|C<sub>i</sub>|, o`uK >0 est une constante et|C_i| est le nombre de pixels dans la r´egion Ci. Plus K augmente, il favorise un regroupement de r´egions comme le montre la Fig. 2.12. La propri´et´e principale de l’algorithme est de respecter un crit`ere de bonne segmentation `a partir de D. La segmentation est dite :

– trop finesi D= 0 entre deux r´egions adjacentes (i.e. elles doivent ˆetre regroup´ees) ; – trop grossi`ere siD= 1, il est possible de partitionner une des r´egions.

2.1. Description bas-niveau 37

(a) r´ef´erence (b) Segmentation

Fig. 2.13 – Exemples de r´esultats de la segmentation sur des images couleurs et mono-chrome. Source : collection de TRECVid.

2.1.4.2 Description des r´egions

La segmentation ´etant r´ealis´ee, la prochaine ´etape est la description des r´egions. Nous avons retenu deux types de caract´eristiques :

– La couleur : nous avons opt´e pour l’utilisation de deux espaces de couleur RGB et HSV. Ce dernier est une transformation non-lin´eaire de l’espace RGB, et est percep-tiblement plus appropri´e.

– La Texture : Deux formes de texture sont repr´esent´ees :

1. Par les filtres de Gabor :la texture est mod´elis´ee par les ´energies des r´eponses de 24 ou 48 filtres de Gabor d´ecrites dans la partie deHomogeneousTexture. Nous avons choisi les param`etres habituels, c’est `a dire une fr´equence maximale de 0.5, six orientations et quatre ´echelles [BH06].

2. Par les contours :les contours d’une image sont consid´er´es comme des caract´ e-ristiques importantes pour repr´esenter le contenu vu la sensibilit´e de la perception

38 Chapitre 2. Description et Classification des Caract´eristiques Visuelles

humaine. Pour localiser la distribution des contours, on utilise la m´ethode de seg-mentation de l’image en blocs d´ecrite dans la partie2.1.2.2. Ainsi, pour chaque bloc, on g´en`ere un histogramme de contours. Cinq directions (0^◦, 45^◦, 90^◦, 135^◦, Non-direction) seront d´etect´ees [PJW00].