CARACTERISATION DE TEXTURES ET SEGMENTATION POUR LA RECHERCHE D'IMAGES PAR LE CONTENU

HAL Id: tel-00097977

https://tel.archives-ouvertes.fr/tel-00097977

Submitted on 22 Sep 2006

HAL is a multi-disciplinary open access

archive for the deposit and dissemination of

sci-entific research documents, whether they are

pub-lished or not. The documents may come from

teaching and research institutions in France or

abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est

destinée au dépôt et à la diffusion de documents

scientifiques de niveau recherche, publiés ou non,

émanant des établissements d’enseignement et de

recherche français ou étrangers, des laboratoires

publics ou privés.

SEGMENTATION POUR LA RECHERCHE

D’IMAGES PAR LE CONTENU

Adel Hafiane

To cite this version:

Adel Hafiane.

CARACTERISATION DE TEXTURES ET SEGMENTATION POUR LA

RECHERCHE D’IMAGES PAR LE CONTENU. Interface homme-machine [cs.HC]. Université Paris

Sud - Paris XI, 2005. Français. �tel-00097977�

UNIVERSITE DE PARIS-SUD XI Fa ulté des S ien es d'Orsay

THESE DE DOCTORAT

E ole Do torale S ien es et Te hnologies de l'Information des Télé ommuni ations et des Systèmes

Présentée par :

Adel Haane

Sujet :

CARACTERISATION DE TEXTURES ET SEGMENTATION

POUR LA RECHERCHE D'IMAGES PAR LE CONTENU

Soutenue le12 Dé embre 2005 devant les membres du jury :

M. Subhasis CHAUDHURI Professeur

M. Jean DEVARS Professeur

M. Ni olas LOMENIE Maître de onféren es

M. Roger MOHR Professeur

M. Georges QUENOT Chargé de re her he

Remer iements

Mespremiersremer iementss'adressent àBertrandZavidoviquequim'aen adré tout aulongdemathèse.Ilasumefairepartagersesréexions,toutenlaissantuneimportante pla e à l'initiative personnelle. Je lui suis très re onnaissant d'avoir été disponible et attentif au déroulement de e travail.

Je remer ie Roger Reynaud de m'avoir a ueilliau sein dans son équipe et pour tous lesmoyensmisàmadispositionpour meneràbien e travaildethèse. Jesalueégalement tous les membres du département AXIS.

Je remer ie Subhasis Chaudhuride m'avoirreçu dans son laboratoirependant 3mois et pour l'aide quima apporté sur e travail.

Je tiensà remer ierRoger Mohr d'avoira epté de parti iperetprésider monjury de thèse. Jesuis égalementre onnaissantàJean DevarsetGeorgesQuénotd'avoir apporter leur point de vu sur mon travail à travers leurs rapports sur la thèse. Je remer ie aussi Ni olas Loménie d'avoir a epté d'examiner e travail. J'ai appré ié parti ulièrement les remarques etles dis ussions des membres du jury qui mon permis d'améliorer la version nale de e manus rit.

Mer i àtout les personnes qui m'ontaidé et entouré durant mathèse.

Résumé

Dans ettethèsenousavonsélaborépuisautomatiséune haîne omplètedere her he d'image par le ontenu. Ce i nous a permis de dénir une sémantique limitée relative à la satisfa tion de l'utilisateur quant à la réponse du système. Notre appro he est lo ale 'est-à-direbasée sur lesrégions de l'image.Ladé ompositionen entitésvisuelles permet d'exhiber des intera tions entres elles- i et du oup fa iliter l'a ès à un niveau d'abs-tra tionplus élevé.Nous avons onsidéré plus parti ulièrementtroispointsde la haîne: l'extra tionderégionsables,leur ara térisationpuislamesuredesimilarité.Nousavons mis au point une méthode de type C-moyennes oues ave double ontrainte spatiale et pyramidale.La lassi ationd'un pixeldonnéest ontrainteàsuivre le omportementde ses voisins dans le plan de l'image et de ses an êtres dans la pyramide. Pour la ara -térisationdes régions deux méthodes ont été proposées basées sur les ourbes de Peano. La première repose sur un prin ipe grammati al et la deuxième manipulele spe tre par l'utilisationdes ltresde Gabor.La signature de l'imagerequête ou ible onsiste en une liste d'entités visuelles. La mesure de similarité entre entités guide l'appariement. Nous avons élaboré une méthode basée sur la mise en orrespondan e dans les deux sens, re-quête vers ible et vi e versa, an de donner indépendamment une grande priorité aux élémentsqui sepréfèrent mutuellement.Chaque partiedu système aété testéeetévaluée séparément puis ramenée à l'appli ation CBIR. Notre te hnique a été évaluée sur des images aériennes (et ou satellitaires). Les résultats en terme de "rappel

×

pré ision" sont satisfaisants omparénotammentaux méthodes lassiquestypematri ede o-o urren e des niveaux de gris etGabor standard. Pour ouvrir sur de futures extensions etmontrer la généralité de notre méthode, la on lusion explique sa transposition à la re her he de situationsen onduite automobile,au prixd'une adaptation limitéedes paramètres.

Abstra t

This thesis des ribes the design and realization of a omplete pro essing hain for ontentbased imageretrieval(CBIR). Thestudy allows todenesome limited semanti s with respe t tothe user's satisfa tion fromthe system response. The image is de ompo-sed onvisualentitiestoobtainintera tionsbetween them,allowingtorea hhigherlevels of abstra tion. We have addressed three points in the hain : reliable region-dete tion, region hara terization and then similaritymeasure. We have modied aFuzzy C-means by in orporatingthe spatial and multiresolution informationintothe obje tive fun tion. Therefore, the lassi ation of a given point is for ed to follow both neighbors and an- estors in a pyramidal representation. Two methods are proposed whi h exploit Peano s ans to odingregionfeatures. Therst one isbasedonagrammati alrepresentationof the pixels neighbourhood alledmotif. The se ond method modiesthe spe trumbefore toapply Gaborlters. The image signature onsistsof a listof visual entities ontaining features. The similarity measure between two images turns into a graph mat hing pro-blem.Wehaveelaboratedate hniquethat allowsa bidire tionalmat hing fromquery to targetandvi eversa.Ahigh priorityisassignedtothose elementswhi hprefer mutually. Ea hpartof thesystem isevaluatedandtestedindependentlythen in orporatedintothe CBIR appli ation.The evaluationof CBIRin termsof "re all

×

pre ision"shows that the proposed methods perform better than lassi al ones, su h as grey level o-o urren e matrix andGaborlters.Toopen onfurther extensions andsuggestthe generality ofour method,the on lusiondeals withextendingittothe situationassessment in ardriving, with limited tuningof parameters.

Table des matières Introdu tion 1 1 Etat de l'art 5 1.1 Introdu tion . . . 5 1.2 L'informationvisuelle . . . 5 1.3 LeRIC standard . . . 6

1.4 Lesparadigmes de la re her he d'information visuelle . . . 7

1.5 Extra tiondes ara téristiques . . . 8

1.5.1 La ouleur . . . 8

1.5.2 Latexture . . . 10

1.5.3 Laforme . . . 14

1.5.4 Raisonnement spatial . . . 15

1.5.5 Cara térisation de haut niveau . . . 16

1.6 Mesure de similaritéentre attributs . . . 17

1.7 Te hniques de mise en orrespondan e . . . 21

1.8 Intera tion homme ma hine . . . 24

1.9 LesSystèmes RIC . . . 24

1.10 Te hniques de segmentation d'image . . . 27

1.10.1 Lesméthodes de regroupement . . . 28

1.10.2 Te hniques hiérar hiques . . . 29

1.10.3 Te hniques de partitionnement . . . 31

1.10.4 Te hniques de mélangede distributions . . . 33

1.10.5 Te hniques oues . . . 34

1.10.6 D'autres méthodes, d'autres modèles . . . 37

1.10.7 Mesure de validité . . . 37

1.11 Bilan . . . 40

2 Cara térisation lo ale de la texture par des par ours ré ursifs 43 2.1 Introdu tion . . . 43

2.2 Analyse de latexture . . . 43

2.3 S hémagénéral . . . 44

2.4 Des riptionde latexture . . . 45

2.4.1 L'appro he par mesures statistiques . . . 45

2.6 Lespar ours lo aux . . . 49

2.7 Lepar ours optimal. . . 51

2.8 Des riptionpar les motifs . . . 52

2.8.1 Matri e de o-o urren e des motifs(MCM) . . . 52

2.8.2 Problèmede translation . . . 53

2.8.3 Propriétés de MCM. . . 53

2.9 Des riptionpar valeur des par ours optimaux . . . 56

2.9.1 Matri e de o-o urren e des VPO . . . 57

2.9.2 Filtresde Gabordes VPO . . . 58

2.10 Evaluationdes performan es . . . 58

2.10.1 Labase Outex. . . 59

2.10.2 Le lassieur des "Kplus pro hes voisins" . . . 60

2.10.3 Paramétrage . . . 62

2.11 Résultatset dis ussion . . . 62

2.11.1 Classes de texture générale . . . 62

2.11.2 L'eet des transformationsgéométriques . . . 63

2.11.3 L'eet de larésolution . . . 65

2.11.4 L'eet de l'é lairage. . . 65

2.11.5 MCM sans re ouvrement . . . 65

2.11.6 L'eet du nombre de KPP . . . 66

2.12 Con lusion . . . 66

3 Extra tion d'entités visuelles par dé omposition en régions 69 3.1 Introdu tion . . . 69

3.2 Des riptionpar régions . . . 70

3.3 Lasegmentation d'image . . . 71

3.4 Parti ularité de la segmentation pour CBIR . . . 72

3.4.1 Algorithmede C-Moyennes. . . 72

3.4.2 Classi ationoue . . . 73

3.4.3 Algorithmede C-Moyennes Floues . . . 73

3.4.4 CorrélationSpatiale . . . 75

3.5 Le hoix des ara téristiques . . . 76

3.5.1 Contributiondu voisinage . . . 76

3.6 FCMave ontrainte spatiale . . . 77

3.7 La ontraintespatio-pyramidale . . . 79

3.7.1 Lamultirésolution . . . 79

3.7.2 FCMave ontrainte spatio-pyramidale . . . 80

3.8 Déterminationautomatique du nombre de lasses . . . 83

3.9 Résultatset dis ussion . . . 85

3.9.1 Critères d'évaluation . . . 85

3.9.2 Evaluationet omparaison . . . 87

4 Re her he d'image par omposantes visuelles 99

4.1 Introdu tion . . . 99

4.2 Des riptiondu ontenu . . . 99

4.3 Extra tionde des ripteursvisuels lo aux . . . 100

4.4 Con ept de la sémantique . . . 101

4.4.1 Niveaux sémantiques . . . 102

4.5 Lesrelations spatiales. . . 102

4.6 Extra tionde des ripteursspatiaux . . . 104

4.7 Te hniques de re her he . . . 107

4.7.1 Requête par région . . . 107

4.7.2 Requête par multiples régions . . . 108

4.7.3 Re her he par multiples régionsave relationsspatiales . . . 113

4.8 Appli ation . . . 114 4.8.1 Implantation . . . 114 4.8.2 Signature visuelle . . . 114 4.8.3 Signature spatiale . . . 115 4.8.4 Traitement hors-ligne . . . 115 4.8.5 Traitement en ligne . . . 115 4.8.6 Interfa e utilisateur . . . 116

4.9 Evaluationdes performan es . . . 116

4.10 Appli ationauSIG . . . 119

4.10.1 Base d'image . . . 120

4.10.2 Re her he partielle . . . 120

4.10.3 Re her he par multiples régions . . . 122

4.10.4 Comparaisonentre segmentation humaineet automatique . . . 130

4.10.5 Re her he ave ontraintes spatiales . . . 132

Con lusion et perspe tives 135 Annex : Interfa e homme ma hine 143 A.1 Notion . . . 143

A.2 S hémade prin ipe . . . 143

A.2.1 Barrede menu . . . 144

A.2.2 Paramétrage etre her he . . . 147

Table des gures

1.1 Images d'une base généraliste . . . 8

1.2 Espa esde ouleurRGB etHSI . . . 9

1.3 Des textures diérentes . . . 11

1.4 Exemple d'un arrangement spatialave 2D string . . . 15

1.5 Orientation spatiale entres objets : a gau he l'image requête et à droite imagede labase. . . 17

1.6 Problèmede la mise en orrespondan e . . . 21

1.7 Exemple d'appariementIRM . . . 23

1.8 Exemple d'un nuage de point dans un espa e 3D . . . 29

1.9 Exemple d'un lustering hiérar hique . . . 30

2.1 Système de lassi ation . . . 44

2.2 Matri e de o-o uren e des niveauw de gris pour deux textures diérentes 47 2.3 Degau heàdroiteun ban des ltresde Gabororientés respe tivementen 0,45, 90, 135. . . 48

2.4 (a)Balayage de Peano en motif"Z" (b) Balayage horizontal lassique . . . 49

2.5 Tous les motifspossibles pour 4 points . . . 50

2.6 Motifsreprésentant tous les as possibles . . . 51

2.7 a) l'imagemotif originaleb) l'image motif après un dé alage horizontal à gau he de l'image originale . . . 53

2.8 a) Exemple de texture "Brodatz" b) A gau he l'analyse en omposantes prin ipales; les numéros sur la gure orrespondent aux lasses i-dessus. A droiteles valeurs propresde lamatri e de ovarian e . . . 55

2.9 a) Diérentes lasses d'images aériennes b) Les points des lasses repré-sentés suivant lesdeux axesprin ipaux . . . 56

2.10 Lesvaleurs de MCM (6 motifs)en fon tion des olonnes et des lignes or-respondantaux images i-dessus . . . 56

2.11 a)image originaleb) image motifs ) imageVPO . . . 57

2.12 a) b) image originale/imagevpo ave egalisationde l'histogramme . . . . 57

2.13 a) b)FFT d'imageoriginalet image VPO . . . 58

2.14 Système d'a quisiton Outex . . . 60

2.15 E hantillonsde lasses de texture Outex . . . 61

3.3 Representation pyramidale . . . 80

3.4 A gau he un Z arbre,à droite l'arbrebinaire asso ié . . . 80

3.5 Contrainteen multirésolutionpar fon tionsd'appartenan e . . . 81

3.6 Mesure de la qualité de segmentation pour 4 valeur de bruit gaussien(a) ontrainte spatiale(b) ontrainte pyramidale( ) lesdeux ontraintes ave lesmême valeurs . . . 88

3.7 Mesuredequalitédesegmentationpourun bruitdegrenaille(a) ontrainte spatiale (b) ontrainte pyramidale ( ) les deux ontraintes ave les même valeurs . . . 89

3.8 Qualitéde segmentationpour un bruituniforme(a) ontraintespatiale(b) ontrainte pyramidale( ) lesdeux ontraintes ave lesmême valeurs . . . . 90

3.9 Comparaisonentre3 ontraintes:spatiale,pyramidaleetspatio-pyramidale pour des images sattelitales . . . 91

3.10 Comparaisonentre3 ontraintes:spatiale,pyramidaleetspatio-pyramidale pour des images de labase Berkley . . . 92

3.11 Résultatde segmentationd'images synthétiques . . . 95

3.12 Segmentationd'images satellitalesetde télédete tion . . . 96

3.13 Résultatde segmentationpour des images naturelles . . . 97

3.14 Mesure de validité pour imagessynthétiques . . . 97

3.15 Mesure de validité pour imagesnaturelles . . . 98

4.1 De omposition d'une image en entités visuelles . . . 101

4.2 Lesniveaux d'abstra tionde lasémantiquedu ontenu . . . 103

4.3 Relationstopologiques . . . 103

4.4 Orientation entre deux objets dans leplan . . . 104

4.5 Représentation des quatres situationsbasiques . . . 106

4.6 Unexemple d'une situationréelle . . . 106

4.7 Comparaisonex lusive des regions . . . 109

4.8 Deux exemples d'extra tiondes minimumslignes et olonnes . . . 111

4.9 L'ar hite ture du système de re her he . . . 114

4.10 Interfa e utilisateur . . . 117

4.11 A ensemble d'éléments trouvéet B ensemble d'élémentspertinents . . . 118

4.12 Exemple de requête par région (segmentmarqué) . . . 121

4.13 Comparaisondes performan es pour une re her he de région . . . 122

4.14 Unexemple de requête ave ABIP . . . 123

4.15 Comparaison des résolutions. Légendes U : une seule résolution, D : deux résolutions.(a) MCM(b) GLCM ( ) FGVPO (d) GABOR . . . 125

4.16 Comparaisondesméthodesd'appariement:(a)MCM(b)GLCM( )FGVPO (d) GABOR . . . 127

4.17 Exemple de rotation.(a) image originale(b) rotationd'un angle de 90 . . 128

4.18 Comparaison des performan es pour la rotation. La ourbe NR : requête sansrotation,la ourbeR:requêteave rotation.(a)MCM(b)GLCM ( ) FGVPO(d) GABOR . . . 129

4.21 Unexemple de requête ave relationsspatiales . . . 133

4.22 Entrée dans un esp e los . . . 138

4.23 Sortied'un espa e los . . . 139

4.24 Galleried'images ontenantdespassages piétonave unesegmentationpar SPFCM . . . 139

4.25 Unexempled'unerequête ontenantun passagepiétonen utilisantla te h-nique ABIP. Les résultats sont rangés du droite à gau he et du haut en bas. . . 140

4.26 Deuxième exemple de requête hoisie des résultatspré edents. . . 141

A.1 S hemade prin ipe de l'interfa e graphique . . . 144

A.2 Menude l'interfa e . . . 144

A.3 Sele teur de répertoire . . . 145

A.4 Sele teur de  hier . . . 146

A.5 Dénitiondu nombre d'imagesàa her en lignes/ olonnes . . . 146

A.6 Choix des images pertinentes . . . 147

A.7 La ourberappel/pre ision . . . 148

Liste des tableaux

1.1 Unexemple de listede préféren e . . . 22

2.1 Comparaison des ara téristiques pour haque lasse de la atégorie Ou-tex_TC_00000 . . . 64

2.2 Comparaisondes ara téristiques pour haque atégorie de problème . . . 65

2.3 Comparaisondesdeux méthodesde al uledes MCM,ave re ouverement etsans re ouverement . . . 66

2.4 Variation du nombre de KPP . . . 66

4.1 Unexemple de relationsspatiales . . . 107

4.2 Mesure des performan es pour requêtes en région . . . 122

4.3 Résultatave une seule résolution pour les images pertinentes . . . 124

4.4 Résultatave deux résolutions pour lesimages pertinentes . . . 124

4.5 Mesures des performan es ave diérentes méthodes de mat hing . . . 126

4.6 Evaluationde l'e a itédu système sous l'inuen e de rotation . . . 128

Introdu tion

Ave ladémo ratisation et ledéveloppement te hnologique des moyens d'a quisition, de al ul etde sto kage l'utilisationde l'imagea onnu un essor onsidérabledurant es deux dernièresdé ennies.Aujourd'huilesto kage del'imagesous uneformede do ument numérique on erne aussi bien les professionnels que le grand publi . Il a de multiples appli ations : les systèmes géographiques, l'imagerie médi ale, la video surveillan e, la robotique, l'ar hivage personnel. Généralement les images sont ompressées puis ar hi-vées dans des bases de données, généralistes ou spé ialisées. Ainsi les bases de données ontiennentdes quantitésd'imagesdeplusenplusgrandes.Laproblématiquenouvelleest don apparued'extraireuneinformationpertinente, selonunbesoinquivarie dynamique-mentetqui peut êtrespé iéde manièrepeu pré ise,horsd'une telle quantité roissante de do uments.

Lare her he d'information dansde tellesbasesné essite uneorganisationadéquateet des outils e a es. L'appro he lassique onsisteen l'annotationpar le texte :les images sont étiquetées par des mots lefs dé rivant leurs ontenu. L'extra tion d'une image est don ramenée àla manipulationde haînes de ara tères. Lesméthodes textuelles dispo-nibles sont jugées susamment abouties pour orir des réponses satisfaisantes dans de nombreuses situations, 'est e que réalisent les moteurs de re her he bien onnus sur le web. Cependant rien ne permet d'armer que deux personnes dé rivent une image ave les mêmesmots lefs.Il est di ile d'extrairedes règles d'annotationtextuelle d'image: la di ulté est en réalité équivalenteà elle de dénirdes arégories d'images, lesquelles dépendent de l'utilisation envisagée pour les images extraites. Le passage d'une repré-sentation visuelle à une représentation textuelleengendre don des pertes d'information. De plus, latâ he d'étiquetage est pénible en pratique quant il s'agit d'annoter un grand nombre d'images.

La re her he d'images par le ontenu (Content Based Image Retrieval CBIR ou en- ore RIC en Français)est une alternative intéressante. LeCBIR her he àreprésenter le ontenud'unemanièreautomatique,souventàl'aide d'attributsvisuelstels la ouleur, la texture,oulaforme. Des ara téristiques odant es attributssont al ulées àbas niveau pour endénirunesignature.Lebutestd'identierles lassesd'images iblessimilairesà elle de la requête ausens du pro édé de odage.La mesure de ressemblan e est souvent

image est omplexe et di ile à dénir (une image vaut mille mots). Les des ripteurs visuels devraient en extraire des propriétés à la fois ommunes à des images similaires et dis riminantes pour elles qui sont visuellement diérentes. A l'usage le pro édé est apparu susamment e a e pour retrouver des do uments pertinents dans de nombeux as. Il n'en reste pas moins que la sémantique adressée est faible, rendant par exemple es as aussi imprédi tiblesquenombreux.Dans lebut d'améliorerlare her he ertaines te hniquesmobilisentdesdes ripteursdeniveaud'abstra tionplusélevédontlespossibles relationsa priori entre objets projetés dans l'image. Cette tendan e favorise un degré de dis riminationsupplémentairemaissans en orerésoudreleproblème.Laquestiondevient don :"pouratteindreunesémantiqueplusélevée, omme elledubutpoursuivipar l'uti-lisateur,fautiluntraitementdehautniveau( ompréhension,apprentissage)?"Nousnous sommes ins rits dans ette problèmatique en essayant de dénir une sémantique limitée sus eptible de satisfaire l'utilisateur par une réponse statisiquement pro he de la sienne dans une appli ation bien ir ons rite. Pour preuve de sa validité,nous nous atta hons à automatiser une haîne omplète de traitements dont la réponse reste satisfaisante hors intervention humaine.

L'analyse automatique à plusieurs niveaux d'abstra tion né essite par exemple une dé ompositiondel'imageenentitésvisuelles,la ara térisationde es entités,l'extra tion d'unepropriété relationnelleentre entité,la dénitiond'unemesurede ressemblan epuis le test du pro essus omplet dans des as variés et représentatifs. La première di ulté est dans la détermination d'un algorithme apable d'extraire les omposantes image en respe tant un ritère de ohéren e visuelle susante. La deuxième réside dans le hoix d'attributs puis dans la dénition de ara téristiques pour oder les omposantes pré é-dentes.Onpeutensuitedoterlesystèmed'une ara téristiqueplusabstraite,parexemple aptant l'intera tion spatiale entre entités. Le dernierpointavant expérimentation porte sur lamiseen oeuvre d'unemesurede ressemblan eentre requête et iblequiexploite les éléments pré édents. L'automatisation de la haîne implique don de traiter su essive-mentplusieurs problèmes de natures diérentes.

L'image est d'abord onsidérée omme un ensemble d'objets dénis par des régions distin tes. Les régions orrespondent généralement à des zones visuellement homogènes. Ellesont isoléespar lesfrontières qui lesséparent.Le but de lasegmentation d'imageest d'identier esfrontièresen mêmetempsqu'attribuer haque pixelàune lasse.La lasse se résume à e stade en l'étiquette d'un groupe de pixels vériant un ritère de ressem-blan e. Ce ritère est maximisé intragroupe etmaximisé inter groupes. Dans les images du monde réel les régions que seraient les objets projetés ne sont pas assez ontrastées pour être isolées sans erreur. En même temps on dispose rarement d'information pré- ise sur les bords. Le résultat est don un ensemble de régions impré ises et peu sûres à ause des plausibles é he s de la lassi ation. On ren ontre deux type d'erreurs : sous (regroupements intempestifsde régions)ou sur (é latement de région)segmentation. On her hera don à minimiserl'in ertitudede sous/sur segmentation.

Il faut ensuitedéterminer un attributpertinent a entuanten ore laséparation entre lasses mais robuste d'une image à l'autre du même objet. Une telle séparation dépend

du type d'imageoud'appli ationvisé,deux régionspeuvent avoirpar exempleune distri-bution de ouleurpro he mais une texture diérente. La texture est omni présente dans lesimages naturelles ousatellitaires dont lessurfa e présentent une ertaine rugosité. La texture a des propriétés dis riminatoiresélevées mais elleest di ile à ara tériser. Elle peut être onsidéré ommedistribution sto hastique, arrangement ou répétition d'un ou plusieurs motifs onduisant à des modèles stru turels ou fréquentiels. La résolution de l'analyseest don importantepour l'appré iationde latexture dans lamesure oùelle in-uesurle hoixdel'éventuelleprimitiveautantquesurl'arrangementspatial.Parexemple à une é helle grossière lesfenêtres d'un buildingen onstituent une texture répétitive en damier marquant la façade, et à une é helle plus ne les veines du bois ou les pores du iment ara térisent la porte et lemur onduisant à retrouver de mêmel'immeuble mais selonunmodèlediérent.Ceproblèmeestégalementren ontrédansl'imageriesatellitaire où de sur roît l'image peut avoir été a quise à diérents niveaux de résolution. Prendre en omptel'appli ation dans la ara térisationde latexture onduitdon à des des rip-teurs dis riminantsà diérentes é helles des diérentes lasses, e qui pourait également diminuer la omplexité al ulatoire tout en ontraignant lapré ision de re onnaissan e.

Aprèsladé ompositionenrégionsetleur ara térisationilfautmesurerunesimilarité. Lorsque les deux entités sont représentées par des ve teurs la solution est le al uld'une distan e dans l'espa e ara téristique. Cependant un objet au sens humain du terme re- ouvre généralement plusieurs régions diérentes. Pour omparer deux objets il est don primordial de prendre en onsidération les liens entre leurs régions. Et le al ul de res-semblan e devra impliquer toutes lesrégions de l'objet. On a don un ensemble de om-posantes d'unepart otérequête etd'autrepartdu oté ible unensemblede mêmetype. Si à nouveau un immeuble se dé ompose en fenêtres et murs, pour trouver un building similairelesentités de mêmenature doiventse orrespondre.On her hera les ouplesde régions(requête, ible)quiontdes ara téristiquessembables.Un oûttotalde ettemise en orrespondan e est al ulé pour évaluer laressemblan e. Ce i rélève de l'appariement de graphes. Il existe plusieursméthodes onnues pour produire des résultatssatisfaisants sur entités biendéterminéesetpré ises. Dansle as présent lasegmentationautomatique est omme déjà dit sour e d'erreurs et d'impré ision. La mise en orrespondan e las-siquede graphes, notammentbiparties, supporte malune telleapproximationquirésulte en une piètre estimation du oût de l'appariement global. Ce dernier devra prendre en onsidération es mauvaises onditions.

Notre appro he asuivi lestrois étapes pré édentes, d'où leplan du mémoire

Le premier hapitre est onsa ré à la présentation de diérentes notions et méthodes existantes liées au ontexte de notre étude. Il est dé omposé en deux parties : la pre-mière on erne les prin ipes fondamentaux de la re her he d'image par le ontenu et la deuxième étudie les méthodes de segmentation. Nous présentons les attributsusuels dé- rivantle ontenu.Nousexposonsalorslesdiérentste hniques utiliséespour ara tériser es attributs. Puis nous présentons leraisonnement spatial ommesupportant une repré-sentation du ontenu d'un niveau plus élevé. La mesure de similarité est analysée selon deux points de vue : les possibles distan es dans l'espa e ara téristique puis trois

mé-thodes lefs de la mise en orrespondan e. La n de lapremière partie présente quelques systèmes CBIR populaires. La deuxième partie tra e un état de l'art sur les méthodes de segmentation et plus pré isément lesméthodes de lassi ation par regroupementqui nous ont intéressés. Nous dé rivons les prin ipales méthodes et leur prin ipe fondateur dans le but de mieux expli iter lesdiéren es entre es méthodes.

Le deuxième hapitre est dédié à l'étudeet laprésentation de méthodes de ara téri-sation de la texture. Nous nous intéressons aux te hniques statistiques et fréquentielles. En premier lieu nous rappelons quelques fondements théoriques et nous expli itons les diérents hoix adoptés. La deuxième partie de e hapitre est onsa rée à l'étude ex-périmentale des te hniques que nous prenons pour les évaluer et les omparer ave des méthodes plus lassiques dans diérentes onditions. Nous sommes atta hés à travailler sur des imagesde bases onnuespourlatexture etave un Ben hmarkpourla omparai-son ave d'autre ara téristiques.

Dansletroisième hapitre,nousprésentonsdeuxméthodesdedéte tionderégions.Ces méthodes doivent permettre une déte tion pré ise en minimisantle plus possible sous et sur segmentation. Nousjustionsd'abord lané essité selon nous d'unedé omposition en régions. Puis nous exloitons quelque algorithmes lassique de regroupement, notamment lesC-moyennesoues,quenousaméliorons.Nousleurrajoutonsdeuxtypesde ontraintes pour adapterl'algorithme à notreappli ation CBIR tout en améliorant lasegmentation. Ce type d'algorithme né essite un nombre de lasses prédéterminé, nous proposons une mesure pour déterminer e nombre d'une manière entièrement automatique. La n du hâpitre est onsa rée également auxexpérimentationssur diérents types d'images.

Le quatrième hapitre on erne la te hnique de re her he d'image. Les images sont supposées avoir été segmentées par les te hniques présentées dans le hapitre 3. Nous dénissons deux types de des ripteurs, visuel et spatial. Les ara téristiques visuelles retenues sont ellesproposéesaudeuxième hapitre.Lades riptionspatialeestànouveau du type relations oues basées sur des variables linguistiques. Un résumé de l'image est don obtenu. Dans e hapitre nous proposons une méthode de mise en orrespondan e entres régions sus eptible de ompenser des erreurs de segmentation. Deux appli ations sont visées, images satellitaires et images de route. L'évaluation et la omparaison sont ee tuées selon laméthode "Tre Eval".

En on lusion, nous dressons un bilan de e travail et amorçons un nouveau déve-loppement autour de l'utilisation du CBIR dans un véhi ule intelligent an d'aider à la dé isiondans des situationsparti ulièrementambigües.

Chapitre 1

Etat de l'art

1.1 Introdu tion

L'obje tif de e hapitre est de dresserun état de l'art sur les méthodes de re her he d'imageparle ontenu(RIC)etlasegmentationquienestsouventuneétapepréliminaire. Etantdonné lari he littératurede es deux domaines la listedes référen es n'est pas ex-haustive.Nousavons itélesméthodesquinoussemblaientpertinentesetquipermettent d'étayer letravailde ette thèse.

Le hapitre est don expli itement divisé en deux parties. La première est onsa rée aux prin ipalesappro hes utilisées dans lessystèmes RIC. Nousétudions su essivement les ara térisationvisuelle etspatiale,la mesurede similarité,lamise en orrespondan e de régions etterminons par quelque systèmes populaires.

La deuxièmepartie s'intéresse àla segmentation de l'imageen régions.Après un bref rappel des prin ipales appro hes nous détaillonsles méthodes de regroupement utilisées en segmentation.

1.2 L'information visuelle

Aujourd'huiave ledéveloppementdes systèmes multimédiaoul'e ul de l'é rit, nous utilisons de plus en plus le ontenu visuel omme support de ommuni ation dans dif-férents domaines. En eet l'image et la vidéo numérique sont partie intégrante de tels systèmes par la densité et la ri hesse de leur ontenu. La même image peut évoquer plusieurs signi ations en passant d'un humain à l'autre. Elle peut également

présen-interprétation[Sha86℄.Lare her he d'information(RI) ouvreletraitementdedo uments numériques impliquant la stru ture, l'analyse, le sto kage et l'organisation des données [Sal68℄. Dans le passé le terme "re her he d'information" était lié au on ept de l'infor-mation textuelle [JW77℄. A tuellement RI pourra être de type textuel, visuel ou autre. Cependant dû aux limitations des méthodes textuelles, le développement des méthodes basées sur le ontenu visuel est devenu primordial; e i explique l'a tivité de Re her he intense onsa rée auxsystèmes de RIC (Re her he d'imagepar le ontenu) es dernières années. Contrairementauxméthodesde re her he basées sur letexte, laRICest souvent onfrontée au problème de la sémantique ar l'image est plus ompliquée à interpréter que letexte. Certains systèmes de RIC asso ient letexte à l'imagepour mieux réduire le fossé sémantique.

1.3 Le RIC standard

L'obje tif de n'importe quel système RIC est de satisfaire la requête d'un utilisa-teur par la pertinen e des résultats. Comme l'a ès dire t à un do ument via sa pure sémantique est impossible, les systèmes RIC traditionnels s'appuient sur un paradigme de représentation de bas niveau du ontenu de l'image, par la ouleur, la texture, la forme,...et . La re her he d'image se fait ainsi par omparaison de ara téristiques. Les prin ipales fon tions d'un RICselon Smeulders et al[SWS

+

00℄ sont les suivantes :

- L'analyseetlareprésentationdu ontenudesdonnéessour emisessousformedeve teur ara téristique. L'information obtenue dans ette étape est une sorte de résumé des imagesde la base (segmentationen régions, ouleur, texture, relationsspatiales,...). La transformation est généralement gourmande en temps de al ul par e que les images sont traitéesd'une manièreséquentielle dans labase de données. Maiselleest exé utée en temps mort (o-line)

- L'indexationetlesto kagedes ara téristiques.Elledevraêtre"s alable"pourrépondre à la variation en taille des bases et rapide pour les né essités de type temps réel. Ces ontraintes requièrent une stratégie de re her he pour naviguer e a ement en bases dedonnées. Leste hniques modernesde gestionde basemultimédiain orporentde tels on epts.

- L'analyse et représentation de la requête utilisateur sous une forme ompatible ave elledelabase.Cetteopérationestanalogueà elledelapremièreétapemaisappliquée seulement à l'imagerequête.

- La mesure de similarité entre les image requête et sour e, mesure généralement basée sur une distan e.

- L'interfa eutilisateur. C'estlavitrine dusystème permettantlaprésentationdes résul-tats ainsi que l'intera tion ave l'humain. Elle doit être intuitive et simple pour orir à l'usager le onfort né essaire à une utilisation souple et e a e. Cette partie sert également lors du réglage des paramètres système ou de l'évaluation par retour de la

1.4 Les paradigmes de la re her he d'information

vi-suelle

Le traitement d'unerequête dansun système de re her he dépendde lamanièredont on luiprésente l'information.Un modèle de re her he spé ie le mode de représentation de la requête. Nouslistons i-dessous les types les plus utilisés:

Requête par exemple

Dans e as le système abesoin de omparer un exemplede même type (image) ave labase pour produire lesdo umentssimilaires.Cette méthode est simple, naturelleetne né essitepas de onnaissan es approfondiespour manipulerlesystème.Elleestdon bien adaptée à un utilisateur non spé ialiste.

Requête par rayonnage (Sket h)

L'usagerspé ieun exemple par un dessinpourlequel il her he des do uments simi-laires. Outre la forme des  ontours ledessin peut in lure la ouleur et latexture.Cette modalité entraîneplus d'intera tion ave l'utilisateur.

Requête par ara téristique

L'utilisateurindiquelaoules ara téristiquesqu'ilveututiliserpourtrouverlesimages similaires,parexempletrouvertouteslesimages ontenant25%derougeet30%dejaune. Ces ara téristiquesontrépertoriées dansun vo abulaire ompiléen outilsde traitement.

Requête exemple et texte

Cette méthode onsisteàrenfor erl'imagerequête enluiasso iantdu texte an d'a - éder à un niveau d'abstra tion supérieur. Les images sont organisées et indexées en groupesde pertinen e.Chaque groupedénituntypeouun domainedontl'imagerelève, par exemple végétation ou animal,...et . Cette appro he permet une sémantique a rue maiselleestplus biaiséevoire moinsgénéralequelespré édentes en e queladésignation

1.5 Extra tion des ara téristiques

L'extra tion des attributs est l'opération la plus élémentaire dans un système de re- her he d'information [RHC99℄.Les ara téristiquespeuventêtre de haut oubas niveau; lesattributsintuitifstels quela ouleur, latextureetlaformesontlesplusemployésdans le RIC à ause de leur fort pouvoir dis riminant. En fait, il n'existe pas une ara téris-tique meilleurequ'une autre, l'optimalitédépend de la nature de l'image et du domaine d'appli ation.Les ara téristiquesd'une image peuvnt être dé rites omme [GR95℄ :

- Cara téristiques physiques ou primitives : sont des primitives de nature tangible qui peuvent être expriméesd'une manière quantitative.Ellesont obtenues souvent par des opérationsdebas niveau.La ouleur, latexture,laformeetlessurfa es derégions sont autant d'exemples de ara téristiques physiques.

- Cara téristiqueslogiques : es ara téristiquesimpliquentune opérationdehaut niveau àsémantiqueplusélevée.Parexemplel'asso iationde l'étiquetteCiel àune régionde l'imageest onsidéré ommeune ara térisationlogique,même siellene résulteque de l'asso iation d'une ouleuret d'uneposition relative.

1.5.1 La ouleur

La" ouleur"estdevenue unattributlargementutilisédanslessystèmesopérationnels de re her he d'imagepar le ontenu.Ellefa ilitel'extra tionetl'identi ationd'un objet dans une s ène[SCZ01℄. Typiquement les images sont odées sur trois anaux ontre un seulpourlesmono hrome.Ilsemblequeson e a itéà estadesoitliéeaufaitquel'être humain peut distinguer des milliersde ouleurs et seulement 24niveaux de gris[GW02℄.

Fig. 1.1 Images d'unebase généraliste

Plusieurs études ont été réalisées sur l'identi ation d'espa es olorimétriques plus dis riminants [SO95, WG01℄. Par exemple la proje tion de l'image dans l'espa e HSV permet de séparerlesinformationsrelativesà lateinte, lasaturation etl'intensité [SC96,

CLOP01℄.Ilaétédémontré quelateinteestmieuxinvarianteau onditionsd'é lairageet

de prisede vue[GMD

+

97,GS99,GvdBSG01℄.D'autresespa es égalementfréquentsdans

ledomainerevendiquentd'êtreper eptuellementuniformesetindépendantsde l'intensité

repré-espa es de ouleurainsi que leurs ara téristiques etune analyse avantages/in onvénient dans [KSGA96℄

Rouge(1,0,0)

Vert(0,1,0)

Bleu(0,0,1)

Magenta(1,0,1)

cyan(0,1,1)

jaune(1,1,0)

Noir(0,0,0)

Blanc(1,1,1)

G

R

B

Saturation

Teinte

Valeur

Fig. 1.2 Espa esde ouleurRGB etHSI

L'espa e RGB

Les omposantesrouge,vertetbleusontlestrois ouleursprimairesdontlesautres dé-rivent.Correspondantàlaper eptionphysiologiqueinitiale,leformatRGBest également leplusadaptéte hniquementautraitementetsurtoutàlavisualisationd'imagepar eque lesdispositifsCRT(a hagenumérique)utilisent es troismêmes omposantes. L'espa e RGB, onsidéré ommeve toriel,est souvent représenté sous forme d'un ube gure 1.2. Une image en format RGB est omposée de trois plans images de ouleurs rouge, vert, bleu. Si haque ouleur est odée sur huit bits, la profondeur est de 24 bits soit

(2

8

₎

3

ouleurs possible. Lessystèmes RIC n'utilisentpas toute ette plage,l'espa e ouleur est quantié pour un nombre beau oup plus limité de valeurs mais impliquanttous lesaxes (eg. 216 (

6

3

) pour 6 valeurs par axe).

L'espa e HSI

Cet espa e a été introduit pour une représentation intuitive de la ouleur et pour se rappro her de la per eption humaine.Trois ara téristiquesde ouleurs sont dénies : la teinte, la saturation et l'intensité. Le ne de la gure 1.2 illustre un modèle de l'espa e HSI.Lateintereprésentela ouleurpure(i.e.lalongueurd'onde),surle neelle onstitue l'angle entre une ligne de référen e et la ouleur onsidérée. La saturation indique la quantité de blan dans la ouleur pure. L'intensité est l'axe joignantle point d'intensité la plus faible (noir) au point d'intensité la plus forte (blan ), et représente la quantité de lumière ontenue dans une ouleur. L'espa e HSI est fa ilement quantiable,la teinte est l'informationlaplussigniantepourla ouleur, saquanti ationsera don en général plus ne que elle des autres omposantes. Typiquement 162 ouleurs sont retenues ave 18 ases pour la teinte et3 pour saturation et intensité(

18 × 3 × 3

).

Les espa es XYZ et LUV de la CIE

La CIE (Commission Internationale de l'E lairage) a déni un espa e de ouleur nommé XYZ. Y ontient la luminan e, X et Z l'information de hrominan e. Cet es-pa e n'est pas uniforme pour la per eption humaine. Chaque axe est quantié ave la même pré ision. Un autre espa e dérivé de e dernier par transformation proje tive est nomméLUV.La omposanteLreprésentel'informationd'intensitéetUetVreprésentent la hrominan e.

Les espa es YUV, YIQ et UCbCr

Lesespa esYUV,YIQetYCbCrsonttroisespa es semblables.YUVestutilisépourle odagedes ouleursdans lesystème detélévisionPAL, YIQpourlesystèmeNTSC. Dans es espa es Y indique l'intensité, UV et IQ sont les deux omposantes de hrominan e. Cb et Cr orrespondent aux omplémentairesdu rougeet du bleu.

Histogramme de ouleur

L'histogrammedes ouleursexprimeladistributionstatistiquede elles idansl'image. Ce type d'histogramme est al ulé typiquement sur un espa e ara téristique quantié. Chaquevaleurde ara tèredansl'histogrammereprésentedon unrangde ouleurdansla palette.L'histogrammeaétéintroduitpour lapremièrefois enRIC par [SB91℄,depuisil esttrès utiliséà ausede sasimpli itéde al ul,soninvarian eaux hangementsd'é helle et aux transformations géométriques. Les in onvénients majeurs de l'histogramme sont laperte de toute informationspatialedont latexture oula forme. Parexemple un histo-grammed'untapisrougepeutêtretrèspro he de eluid'uneporterougeoud'unevoiture rouge. Des méthodes alternatives ont été proposées pour augmenter l'e a ité de l'his-togramme. Pour en iter quelques unes : lesmomentsde la ouleur[SS94, RPGB99℄, les onstantes de ouleur[FSN

+

95, WG01℄,la signature ouleur[KY98℄,lesblobs [CCM

+

97℄ et leve teur ohérent de ouleur[PZM97℄.

1.5.2 La texture

La textureest une ara téristiqueintuitivefa ileà re onnaîtremais di ileà dénir. Des modèles de la per eption humaine ont été proposés tels que elui de Tamura et al

[TMY78℄. On s'a orde sur six propriétés basiques : oarseness, ontrast, dire tionality,

linelikeliness, regularity et roughness. D'un point de vue sémantique la dénition de Ta-murasembleplusablequed'autremesuresplus lassiquesissuesdu Traitementdesignal

texture ou l'entropie..., e i se vérie notamment dans les systèmes RIC. Pour d'en ore meilleurs résultats ependant les systèmes RIC asso iientdiérentes méthodes d'analyse texturelle.On les lasse en quatre prin ipales atégories[TJ93℄: statistique, baséesur un modèle, fréquentielle etgéométrique.

Fig. 1.3 Des textures diérentes

Méthodes statistiques

Ce sontlesméthodesbasées surdes évaluationsquantitativesde ladistributionde ni-veaux de grisoud'autres primitives, ommelesmi ro- ontoursoulesmaxima lo aux. La matri e de o-o urren e des niveaux de gris GLCM (Grey Level Co-o urren e Matrix)

[HSD73℄ est une distribution de e genre. Souvent on en extrait des paramètres

statis-tiques tels que la moyenne, la varian e, la orrélation, l'entropie, des moments d'ordre supérieur

. . .

(voir hapitre 2).

Dans la littérature on trouve beau oup de travaux qui traitent des matri es de o-o urren e. Davis et al [DJA79, DCA81℄ proposent une version généralisée impliquant des prototypes stru turels omme les ontours et les lignes. Sun et al [SW83℄ al ulent une GLCM sur un voisinagenormalisé. Gotliebet Kreyszig[GK90℄ ont réaliséune étude statistiquesur laGLCM en on luant que le ontraste,l'entropie etl'inverse du moment des diéren es ont un grand pouvoir dis riminatoire.D'autres travaux exploitent des re-lationsentre GLCM etles hamps de Gibbs, par exempledémontrantque l'histogramme duspe treestéquivalentaux hampsdeMarkovmaisave moinsdeparamètresà al uler [PE92, EP94, ZLW00℄.Kovalevet Petrou [KP96℄ présentent une méthode de mesure des relationsentres stru tures élémentaires de l'imagepour obtenirdes ara téristiques inva-riantesauxrotationsetsymétries.Unenouvelleappro he parAl-Janobi[AJ01℄asso ieles propriétésdeGLCMetlespe tredetexture,l'avantageen estl'indépendan eparrapport à ladynamique des niveaux de gris. Lastatistique d'ordresupérieur a été également uti-lisée dansla ara térisationdelatexture pour diverses appli ations.ParexempleMurino

etal.[MOP98℄l'emploientpour obtenirune invarian eaubruit Gaussien. Johnson etal.

Méthodes Géométriques

Elles sont dédiées à l'analyse stru turelle basée sur l'identi ationd'un ou plusieurs motifsetde leurrépartitionspatiale.Lerésultatdépenddon despropriétésgéométriques des primitives et des ontraintes spatiales sur elles. Le modèle de texture s'exprime vo-lontiers alors sous forme de règles de pla ement appliquées à es primitives. Parmi les méthodes les plus onnues dans e ontexte on trouve le maillage de Voronoi. Chaque ellule de e maillage produit une primitive et le regroupement des ellules semblables permet de dénir une texture. Zuker [Zu 76℄ suppose que la texture est une version dis-tordued'uneformeoud'unarrangementidéal.Pour elalastru tureidéaleest onsidérée ommemaillagereprésentéparungrapheisomorphedontonmesurela ompatibilitéave latextureobservée.VoorheesetPoggio[VP87℄ onsidèrentlesrégionsélémentaires omme primitivesliéesàlaper eptionhumaine. Ilsutilisentle Lapla iend'une Gaussienneà dif-férentes é helles pour extraire es primitives. Ave le même prin ipe Blostein et Ahuja [BA89℄ lesintègrent dans l'estimation de surfa e des formes. Uneméthode plus an ienne onsidèrait latexture ommeun arrangement régulierd'élémentssuivant une loispatiale donnée [Fu82℄.Cetteloiest déterminéepar desrèglesgrammati alesoùlatextureest vue omme une haîne dans un langage dont les symboles sont lesprimitives.

Méthodes basées sur un modèle

Le but de es méthodes est d'obtenir un modèle générateur de la texture [CJ83℄. Les paramètres de e modèle permettent de ara tériser ousynthétiser une texture. On peut iter trois types de méthodes : les hamps de Markov (MRF), les fra tales et le modèle autorégressif éventuellement en multirésolution.

Les modèlesMRF traitentl'image omme une réalisationd'un hampsaléatoiredans un ontexte de voisinage. Ils onsidèrent que l'intensité en haque pixel de l'image dé-pend seulement des intensités des pixels voisins. Le modèle le plus souvent utilisé est le hamp de markov gaussien (Gaussian Markov Random Field (GMRF)) [CC85, CJ93℄. Krishnama hari et Chellappa [KC97℄ utilisent GMRF pour modèliser l'image à haque résolution ave l'hypothèse que lesvariablesaléatoires sont indépendantes par rapport à larésolution.Comeretal.[CD99℄utilisentun modèlegaussienautorégressifave lemême prin ipe,mais ils prennent en onsidérationla orrélationentres deux niveaux adja ents. Lesauteursdénissentdeuxmodèlesmarkoviensgaussien, l'estimationdes paramètresde es modèlesest basée sur des matri es de probabilités onditionnelles.

LemodèleAR(Autoregressivemodels)ou(Simultaneousautorégressivemodels(SAR)) est l'appro he le plus utilisée dans la modèlisation et la re onnaissan e de la texture [CK85, MJ92℄. L'un des avantage des modèlesAR est leur faible omplexitéen terme de paramétragepar rapport auMRF.

[Man82℄aintroduitlespropriétésfra talesensebasantsur etaspe t.Pentland amontré que la plupart des surfa es naturelles peut être modélisée omme des fra tales spatiales isotropes. La dimension fra tale mesure la rugosité de la surfa e e qui la rend pratique pour la modélisationet l'analyse de la texture [TJ93℄. Parmi les travaux dont le but est de ara tériser les texturespar ladimension fra tale itons [PNHA84, Pen84, KBT01℄

Méthodes fréquentielles

Elles sont plus spé iques du traitement de signal et onsistent à analyser la tex-ture dans le spe tre où la répétition des motifs se traduit par des fréquen es spé i-ques. Nous distinguerons trois types de ltrage : spatial, Gabor et ondelettes. Ces deux derniers ont montré de bonnes performan es en analyse et des ription de la

tex-ture [DHW94, DH95, Uns95℄. Les ltres de Gabor sont parti ulièrement e a es pour

la lassi ation [Tur86, CB87℄. Chen et Chen [CC96℄ en proposent une version modiée en vue de l'analyse multirésolution.Les travaux de Haley et Manjunath [HM99℄ portent également sur les ltres de Gaborasso iés à des ondelettes. L'avantage de leur méthode est l'invarian een rotation.SmithetChang[SC94℄utilisentlamoyenneetlavarian edes sousbandesd'ondelettes. Latransforméeenondellettesaété ombinéeaussiave d'autres ara téristiques pour obtenirde meilleuresperforman es. Thyagarajan et al. [TNP94℄ et Kundu et al. [KC92℄ lui asso ient la matri e de o-o urren e pour extraire à la fois les propriétésstatistiquesetfréquentielles.Pour e quiestde ltrageplus lassique,Jernigan etD'Astous [JD84℄proposentune mesurede l'entropiedu spe tre depuissan e normalisé omme ara téristique d'une régiontexturée. Bovik etal.[BCG90℄ odent lesimages sur des anaux selon la fréquen e spatiale etl'orientation.Malik etPerona [MP90℄ préfèrent leltragespatial,l'imageétant onvoluéeave unban deltressymétriquesd'inspiration physiologique.Aprèséliminationdes réponses lo alesnonpertinentesonpeutdéte ter les frontière entre les diérentes textures. Une autre méthode développée par He et Wang [HW92℄ onsidère latexture ommeun ensembled'unités. Les ara téristiquessont obte-nues àpartir du spe tre de puissan e de la distribution fréquentielle de es unités.

Comparaison et évaluation

L'abondante littérature sur la texture né essite des méthodes de omparaison pour hoisir parmi toutes es te hniques. Weszka et al [WDR76℄ s'intéressent aux images aé-riennes et omparent les performan es sur les surfa es des terrains. Les ara téristiques utilisées sont de type : statistique en niveaux de gris et puissan e spe trale dans le do-maine de Fourier. Selon les expérien es ee tuées par es auteurs ette dernière est la moinsable,lesautresméthodes sont omparables.FaugerasetPratt[FP80℄dé rivent la plupartdeste hniques en vuedelasynthèse aussi bienquede la lassi ationetdonnent des gures de méritedans les deux as. Conners etHarlow[CH80℄ présentent une étude omparativedequatrediérentesméthodesSGLDM(SpatialGreyLevelDependen e

Me-etPSM(Power Spe tral Method).Les auteurstrouvent SGLDM laplus performante.

Du-Bufet al[BKS90℄évaluentdes te hniques de typesGLCM, extrema des niveaux de gris,

dimension fra tale et dé omposition spe trale. Les trois premières a hent les meilleurs résultats. Ohanian etDubes[OD92℄ omparent et évaluent quatre types de méthode ba-sées sur les matri es de o-o urren e, les hamps de Markov, les ltres de Gabor et la représentation fra tale. Dans leurs tests, menés sur un groupe d'images synthétiques et naturelles, lesmatri ede o-o urren eexhibentlesmeilleuresperforman es. Ojalaetal.

[OPH96℄ étudient les performan es des te hniques de GLDM, CSCM ( enter-symmetri

ovarian e measures),LTM(Laws texture method)etLBP(lo albinary patterns).Testés sur des images de Brodatz

1

LBP a obtenu le meilleur s ore en terme de lassi ation de texture.D'autres évaluationsont été onsa rées aux méthodes fréquentielles. Chen et Chen[CC99℄ omparentles ara téristiquesfondéessurdes appro hes partransformée de Fourier,ltresspatiaux,ltresdeGaboretondelettes.Lesrésultatsobtenusmontrentque lesltresde Gaboretlesondelettes sontmeilleurs.Reste que es études omparatives in-dépendantesnedégagentpasunpro essusd'évaluationetde lassi ationstandard.Leurs modes d'analyse des résultats, souvent diérents, ont un impa t dire t sur les résultats. Uneétude intéressante réaliséepar Smithet Burns[SB97℄évalue et ompare lapré ision des méthodes de lassi ation de la texture. Les auteurs proposent un Ben hmark libre d'utilisation omportantles te hniques de texture les plus ourantes ave diérentes mé-thodes de lassi ation. Dans le présent travail,les te hniques que nous proposons pour la ara térisation de textures sont évaluéessur ette plate forme.

1.5.3 La forme

Si l'être humain est parti ulièrement sensible à l'attribut de ouleur pour distinguer les objets, pour ertain types d'ambiguïté ela n'est pas susant et l'on a besoin de l'attribut de forme. L'obje tif de la des ription par la forme est d'extraire une ara -téristique géométrique pour oder un prol, estimer la ressemblan e et re onnaître un objet [GW02℄. Pour la re her he d'image par le ontenu la forme d'un objet devra être invarianteaux transformations anes lassiques translation, rotationet fa teurd'é helle

[MKL97℄. Généralement les des riptions du prol d'un objet se divisent en deux

atégo-ries : les ontours et les régions. Les méthodes basées sur les ontours omprennent les des ripteursde Fourier[ZR72, PF77℄,etles haînes de Freeman[FD77℄.Lesdes ripteurs de Fouriertraditionnelssontobtenuspar l'appli ationde latransforméde Fourier(DFT) à un odage du ontour résultant en une signature 1D de la forme. La DFT transforme lesvariationsspatialeslelong des ontoursd'un objet enreprésentationfréquentielle. Les ara téristiquessont don obtenues àpartirde laréponsefréquentielle, lesdétails orres-pondantauxhautes fréquen eset lestraits grossiersauxbasses fréquen es. Le odage de Freemantransformeégalementle ontour en une haîne1D. Chaquepointdans la haîne est odé en fon tion de son orientation par rapport aupoint pré édent. Le ode est don basé sur quatre ou huit dire tions selon que l'angle de l'élément est odé modulo

π/4

ou

π/8

. Il existe d'autres expressions des ontours telles que odes de Freeman dérivés,

signature polaire [Ott91, Dav97℄, modèles autorégressifs [KC81, DG86℄. Pour la ara té-risation des régions, divers moments invariants [Hu62, TC88, JB91, Tau92℄ sont souvent utilisés omme des ripteurs. Les moments invariants orent une des ription robusteaux transformations anes,propriété appré iable pour les systèmes RIC.

1.5.4 Raisonnement spatial

Lestravauxsur lades riptiond'imageprésentés jusquelàsefo alisentsur les ara té-ristiques de bas niveaux. Il en existe qui tentent une des ription de plus haut niveau an de réduirelefossésémantiqueentre l'humainetlama hine.Parexemplelesystème IRIS

[HKKZ95℄ asso ie les relationsspatiales aux ara téristiques de bas niveau en vued'une

interprétation plus évoluée de la s ène. Le plus souvent on introduit l'arrangement spa-tial dans la mesurede similarité.La re her he d'image par similaritéspatiale (RISS) est appliquée sur des images plus symboliques ou logiques onstituant une version abstraite de la représentation physique.

b

d

c

a

b

d

a

c

2D string: ( <d=a<b, =d<b<a)

Fig.1.4  Exempled'un arrangementspatial ave 2Dstring

2D string et ses variantes

Changetal.[CSY87℄proposentles2Dstring,pourunedes riptionspatialedu ontenu par des haînes de symboles. Les objets dans l'image sont englobés par des re tangles dénommés minimum bounding re tangle (MBR). Les2D string résultentde la proje tion des objetsde l'imagesur les axes

x

et

y

pour former deux haînes relatantleurs position relatives. Les relationsspatialessont expriméespar des opérateurs logiques tels que(

:, <

, =

).Lagure1.4illustreun exemplede etypederelations.Etpar onséquentlamesure de ressemblan eentredeux relationsestreportéesur lasimilaritéde haînes de ara tère.

spa-G-stringoreplus d'informationspatiale e qui fa ilitele ltragedes situations onfuses.

Dans lemême ontexte Lee etHsu[LH90℄ontproposé2D C-stringbasé sur un mé a-nismede tron aturedesobjetspar MBR.Cettete hniqueminimiselenombredes parties impliquéesdans le al uldes relationsspatiales.Ce i réduitsigni ativementla tailledes haînes sans ae ter les relationsspatiales.

2D B-string [LYC92℄n'utilisepas lemé anisme de tron ature,mais représentel'objet pardeux symboles. L'unindique ledébutdu bordd'un objetetl'autrelan. 2DB-string réduit égalementle nombre de relations.

Lesméthodes de type2D-stringsonttrès sensiblesauxrotations. Les haînesgénérées pour une image qui a subi une rotationsont omplètement diérentes de elles al ulées pour l'originale. Dans la se tion suivante nous présentons quelques méthodes re onnues invariantes aux transformations géométriques.

θR

-string et ses variantes

Gudivada [Gud98℄ propose une des ription fondée sur les orientations relatives des objets dans l'image.

θR

-stringordonne les objets dansune haîne selon l'angleformépar la ligne qui relie les deux entres de gravité et l'axehorizontal.La distan e au entre de gravité de l'image est onsidérée en as d'égalité (ordre spiral en polaire). La gure 1.5

représentedeux images requêteet ible ontenant 4objets.Dans lapremière l'ordreest :

(

d, c, a, b

) en onsidérant l'ordinateur omme un élément d'an rage. La deuxième image

a subi une rotation en gardant le même point d'an rage l'ordre des objet dans la haîne reste lemême (

d, c, a, b

). Lasimilaritéest évaluée parmise en orrespondan e de graphes de typeSOG(spatialoriented graph)dontlesnoeuds orrespondentauxobjetsetlesar s retra ent lesrelationsspatiales.

Une extension de ette méthode est proposée par El-Kwae et Kabuka [EKK99℄ pour in lure les ontraintes spatiales topologiques en sus des dire tionnelles. L'extension to-pologique ore des relations qui ne peuvent pas être traduites par les orientations. La te hnique proposée est invarianteauxmultiplesrotations. Lamesurede ressemblan e est basée sur trois fa teurs : nombres d'objets ommuns, distan e entre relations dire tion-nelles etdistan e entre relationstopologiques.

1.5.5 Cara térisation de haut niveau

Les te hniquesd'apprentissage, supervisé ounon, peuvent servir à piloterun système RIC. Elles ont pour tâ he de favoriser des regroupements de valeurs de ara téristiques pour faireémerger de nouvelles variablesplus abstraites etplus stables.On trouveparmi

θ

θ

1

2

c

d

b

a

a

b

d

c

Ib

Iq

Fig. 1.5 Orientationspatiale entres objets :a gau he l'imagerequête età droiteimage de la base

PM95, MP96℄ Ces algorithmes fournissent une appro he plus évoluée sauf qu'il n'est pas toujours possible den interpréter les résultats, a fortiori de manière automatique, au delà du fait par exemple qu'ils sont onformes à eux de tels ou tels humains sur un ensemble d'exemples donnés. La diéren e entre la re her he d'image par le ontenu et la vision par ordinateur 'est que dans la première l'humain fait partie intégrante du système. Une tendan e a tuelle insiste don sur l'intera tion ave l'utilisateur pour l'élaboration d'une stratégie de re her he adaptée au omportement humain qui bou le sur les résultats a hés par le système. Jain et al. [Jai93, JPP95℄ indiquent qu'il y a un besoin d'explorerl'énergiehumaine ave elle de l'ordinateur.La per eption humaine est entrale dans les études de plusieurs équipes [MP96, CMOY96, PCC

+

98, RHOM98℄

ave l'idéed'intégreràterme unmodèle humaindans leRIC.Ces équipesre ommandent don lesméthodesderetourde pertinen e(feedba k)pour ompenserlefossésémantique. Elles onsistentàasso ierl'usagerdansunebou lederetroa tionoùilprivilégielesimages qui orrespondes à ses préféren es. Ces quatre dernières années le on ept du retour de pertinen e s'est trouvé parti ulièrement renfor é [CS01, MBKB02, KJ03, KC03, GR04℄. De plus en plus de systèmes intègrent des attributs de raisonnement haut niveau pour atteindre une sémantiquesatisfaisante.

1.6 Mesure de similarité entre attributs

Lamesure de similaritéquantie laproximitédesimages dansl'espa edes ara téris-tiques. Elleest souvent métrique,lesimages sont onsidérées ressemblantes sila distan e est faible. La omplexité de al ul d'une distan e doit être raisonnable par e que dans un système RIC ette tâ he s'exé ute en temps réel. D'autres paramètres entrent en jeu tels la dimension de l'espa e ara téristique, la taille de la base... La méthode naïve de re her he al ule la distan e entre la requête et toutes les images de la base puis les

or-nombre d'images(

O(N)

). Lesméthodes d'indexationdu ontenu permettent par ailleurs de réduire ette omplexité omparé àla re her he séquentielle. Pour résumer, la mesure de similarité vérie généralement lespropriétés :

- Laper eption :Unefaibledistan edans l'espa ede ara téristiqueindiquedeux images semblables.

- Le al ul : La mesurede distan e se al ulerapidementpour une faiblelaten e.

- La s alabilité : Le al ul de distan e ne doit pas être ae té par une modi ation de taillede la base.

- La robustesse : La mesuredevra être robuste aux hangements des onditions d'a qui-sitiond'image

Nouslistons i dessous lesdistan es les plus utilisées pour omparer des images onsi-dérées omme ve teurs ou ommedistributions statistiques.

Distan es de Minkowski

La distan e de Minkowski est une famille de distan es ve torielles. Soit

f

1

, f

2

deux ve teurs de ara téristiques, elles'exprime par :

d

p

(f

1

, f

2

) =

n

X

i=1

|f

1

(i) − f

2

(i)|

p

!

1/p

(1.1)

p

est le fa teur de Minkowski et

n

la dimension de l'espa e ara téristique. La distan e Eu lidienne est un as parti ulier de ette distan e où

p = 2

, de même que la distan e dite de Manhattan (

p = 1

).

Distan e quadratique

La distan e de Minkowski traite leséléments du ve teurde ara téristiqued'une ma-nièreéquitable.Ladistan e quadratiqueenrevan hefavoriselesélémentslesplus ressem-blant,sa formegénérale est donnépar

D

Q

=

p

(f

1

− f

2

)

T

A(f

1

− f

2

)

(1.2)

Où

A = [a

ij

]

est la matri e de similarité,

a

ij

représente la distan e entre deux éléments

des ve teurs

f

1

et

f

2

. Hafner et al. [HSE95℄ propose la formule suivante pour onstruire lamatri e

A

a

ij

= 1 −

d

ij

max(d

ij

)

(1.3)

Les propriétés de ette distan e la rendraient pro he de la per eption humaine de la

Distan e de Mahalanobis

Cette distan e prend en omptela orrélation entre lesdistributions des lasses. Elle est ainsi dénie par :

D

M

=

p

(f

1

− f

2

)

T

C

−1

(f

1

− f

2

)

(1.4) Où

C

estlamatri ede ovarian e.Dansles asoùlesdimensionsdes ara téristiquessont indépendantes

C

ne omportequelesvarian esetladistan e deMahalanobis sesimplie sous la forme:

D

M

=

P

(f

1

(i) − f

2

(i))

2

c

i

(1.5)

Si

C

est lamatri e identité

D

M

est ladistan e eu lidienne

Interse tion d'histogrammes

Cette mesureest l'une des premières distan es utilisée dans la re her he d'image par le ontenu. Ellea été proposée par Swain etBallard[SB91℄ mesurantla partie ommune entre deux histogrammes.Etant donnédeux histogrammes

h

1

et

h

2

D

Intersec

=

P

i

min (h

1

(i), h

2

(i))

P

i

h

2

(i)

(1.6)

deux images présentant une interse tion normalisée d'histogrammes pro he de 1 sont onsidérées omme similaires.Cette mesure n'est pas une métrique par e que non symé-trique.Cependantilen existedes versionssymétriquestellesque elleproposéeparSmith [Smi97℄.

Earth Mover Distan e (EMD)

EMD onsiste à minimiser le oût de transformation d'une distribution en une autre sous ertaines ontraintes de dépla ement des lasses d'attributs. Elle est exploitée no-tamment par Rubneret al.[RTG98℄.EMD requiertune optimisationlinéaire.

D

EM D

=

P

ij

g

ij

d

ij

P

ij

g

ij

(1.7)

Où

d

ij

représente la dissimilarité entre deux indi es (

i, j

) et

g

ij

est le ot optimal entre deux distributions dont le oût total est :

D

EM D

=

X

ij

Le oût est minimisésous les ontraintes suivantes :

g

ij

≥ 0, ∀i, j

X

i

g

ij

≤ f

2

(j), ∀j

X

j

g

ij

≤ f

1

(i), ∀i

X

i

X

j

g

ij

= min(f

1

(i), f

2

(j))

EMD prétend également mimer lavision humaine.

Divergen e de Kullba k-Leiber (KL)

La divergen e de Kullba k-Leiber exprimel'entropie relativede deux distributions :

D

KL

=

X

i

f

1

(i) log

f

1

(i)

f

2

(i)

(1.9) Divergen e de Jerey (JD)

La divergen e de Jerey est dénie par :

D

JD

=

X

i

(f

1

(i) log

f

1

(i)

ˆ

f

i

+ f

2

(i) log

f

2

(i)

ˆ

f

i

)

(1.10)

Où

f

ˆ

i

= (f

1

(i) + f

2

(i))/2

. A la diéren e de la mesure KL, JD est symétrique et plus

stable.

Distan e de Kolmogorov-Smirnov

Cette distan e est appliquéeaux distributions umulées

f

c

_(i)

:

D

KS

= max

i

|f

c

1

(i) − f

2

c

(i)|

(1.11)

Distan e de Cramer-Von Mises

Ladistan edeCramer-VonMisess'appliqueégalementsurdesdistributions umulées, elleest déniepar :

D

CV M

=

X

i

Distan e de Bhatta haryya

La distan e de Bhata harya exploite la séparabilité entre deux distributions gaus-siennes représentées par leur ovarian e

Σ

:

D

B

=

1

8

(µ

1

− µ

2

)

T

_Σ

−1

_(µ

1

− µ

2

) +

1

2

ln

det(Σ)

p

det(Σ

1

)det(Σ

2

)

(1.13)

Où

Σ = 0, 5 × (Σ

1

+ Σ

2

)

La séparabilité entre lasses est estimée par la distan e des

moyennes etdes matri es de ovarian e de haque lasse.

1.7 Te hniques de mise en orrespondan e

Il s'agit d'apparier deux ensembles de régions appartenant à deux images diérentes an d'élaborer une mesurede similarité globale entre images. Soit

X

et

Y

deux groupes de régions respe tivement de l'image requête et ible gure 1.6. L'ensemble de régions des deux otés peut être onsidéré omme un graphe bipartite dont les noeuds orres-pondent aux régions et lesar s attribués (pondérés par des distan es) relient es noeuds en ouples.Lasolutionoptimale onsisteenlegraphequiminimisele oûtglobaldemise en orrespondan e. Généralement ondistingue deux possibilitésd'appariement :

1. Attribuerunélémentde larequêteàun seulélémentdela ible(

1 : 1

).(Assignment Problem)

2. Attribuerplusieurséléments de larequête àplusieurs éléments de la ible(

N : N

)

..

.

..

.

?

Y

X

Fig. 1.6 Problèmede la mise en orrespondan e

Nous présentons maintenant quelques méthodes utilisées dans la re her he d'image par régions ave appariement

1 : 1

et

N : N

.

L'algorithme Hongrois

Proposée par Kuhn [Kuh55℄ ette méthode est la plus ommunément utilisée pour résoudre l'AP Assignement Problem. Les poids

w(x

i

, y

j

)

sont réunis dans la matri e

D

appelée matri e de distan e. Soit

G(X, Y, X × Y )

un graphe pondéré par les

w(x

i

, y

j

)

. Supposant que

|X| ≤ |Y |

. Trouver pour haque noeud

x

i

∈ X

un noeud

y

i

∈ Y

qui ontribue àminimiserla distan e :

D

H

=

|X|

X

i=1

w(x

i

, y

j

)

(1.14)

L'appariement est omplet ou in omplet selon que

|X| = |Y |

ou

|X| 6= |Y |

. L'algo-rithmeHongroisautorised'ajouterune onstanteaux olonnesouauxlignessans que ela ae te le oût de la mise en orrespondan e.

Mariages stables

L'appariement entre plusieurs entités image peut se ramener à un problème de ma-riages stables (MS). La méthode également de type

1 : 1

est fondée sur les préféren es entre régionsrequète (hommes) etrégions ible (femmes).Chaque entité rangepar ordre de préféren e touslesmembres del'autreimage (sexe opposé). Lamise en orrespondane est dite instable si

x

i

est marié ave

y

j

et

x

k

ave

y

p

, alors que

x

i

préfère

y

p

à

y

j

et

y

p

préfère

x

i

à

x

k

, Ce i génère des paires bloquantes. Gale et Shapley [GS62℄ ont proposé un algorithme linéaire en le nombre de ouples. Ils ont montré qu'il existe toujours une mise en orrespondan e stabledans n'importe quelle instan e. Dansde nombreux as les listes de préféren e peuvent être in omplètes soit à ause d'i ompatibilités ou par eque les populations sont de taillediérente. Une autre extension dite SMTI (stable marriage with ties and in ompletelists)a eptedes indiéren es ouen oredes pairesexaequo. Ces typesde MS peuvent être résolus de la mêmemanière queMS standard.

Liste homme Liste femme

x

1

:

y

3

, y

2

, y

6

, ...

y

1

:

x

4

, x

1

, x

3

, ...

x

2

:

y

2

, y

4

, y

1

, ...

y

2

:

x

2

, x

9

, x

7

, ...

x

3

:

y

3

, y

7

, y

5

, ...

y

3

:

x

2

, x

8

, x

4

, ...

x

4

:

y

9

, y

1

, y

6

, ...

y

4

:

x

8

, x

1

, x

5

, ...

Tab. 1.1 Un exemple de listede préféren e

MSaeudenombreuxdéveloppementsthéoriques ets'emploiedansde nombreuses ap-pli ationsdel'élaborationd'emploidu tempsàlagestiongénéraledesto kenpassantpar leproblème du voyageur de ommer e.La ontraintede stabilitéajoutée aux préféren es