Apport de l'information mutuelle pour la sélection d'attributs et la classification des images hyperspectrales

(1)

UNIVERSITÉ MOHAMMED V

FACULTÉ DES SCIENCES

Rabat

N° d’ordre: 2730

THÈSE DE DOCTORAT

Présentée par :

Elkebir SARHROUNI

Discipline : Sciences de l’ingénieur

Spécialité : Informatique et Télécommunications

Apport de l'information mutuelle pour la sélection

d'attributs et la classification des images

hyperspectrales

Soutenue le 27/09/2014

Devant le jury

Président :

Driss ABOUTAJDINE, PES, FS, UM5, Rabat.

Examinateurs :

Rochdi MESSOUSSI...PES, FS, UIT, Kenitra.

Mohamed EL MARRAKI...PES, FS, UM5, Rabat.

Omar BOUATTANE...PES, ENSET, UH2, Casablanca.

Mohammed EL HASSOUNI...PH, FLSH, UM5, Rabat.

Ahmed HAMMOUCH...PES, ENSET, UM5, Rabat.

Faculté des Sciences, 4 Avenue Ibn Battouta B.P. 1014 RP, Rabat – Maroc Tel +212 (0) 5 37 77 18 34/35/38, Fax : +212 (0) 5 37 77 42 61, http://www.fsr.ac.ma

(2)

(3)

R´

esum´

e

La télédétection par imagerie hyperspectrale (HSI) permet de classifier les régions cibles et reproduire les cartes thématiques. Une HSI contient plus d’une centaine de mesures bidirectionnelles appelées bandes (ou simplement des images), de la même région appelée la Vérité de terrain (Ground Truth :GT). Les bandes sont prises dans des fréquences juxtaposés. Malheureusement, certaines bandes sont re-dondantes, d’autres sont bruyamment mesurées, et leur haute dimensionnalité font décroitre le taux de classification. La problématique est de trouver le groupe d’attri-buts (images) de dimension réduite pour classifier les points de la région. Certaines méthodes utilisent l’information mutuelle (IM) et un seuillage pour sélectionner des images pertinentes, sans traitement de redondance ; d’autres méthodes contrôlent et éliminent la redondance. Cependant, la réduction de dimensionalité est traitée par fois en tant que sélection d’attributs, d’autre fois en tant que extraction d’at-tributs, sans aucun lien entre les schémas utilisés. Ici, dans un premier temps, nous présentons l’état de l’art de la réduction de dimensionalité, et nous synthétisons un tableau de bord, qui résume toute opération de réduction de dimensionalité. Ce schéma général permet d’analyser les algorithmes existants, et de synthétiser d’autres. Dans un deuxième temps, nous introduisons un schéma acceptant la re-dondance utile. Une bande contient de l’information redondante utile si elle contri-but à la production d’une vérité de terrain estimée dont la valeur de l’IM avec la GT est importante. Pour contrôler la redondance, nous introduisons un seuil complémentaire, par quoi la vérité de terrain estimée doit augmenter la dernière valeur de l’IM avec la GT, pour que la bande testée soit retenue. Ce processus est une ”stratégie filtre”, qui donne de bonne performence avec un faible coût de cal-cul. Dans la troisième étape , nous notons que d’autres études utilisent des formes normalisées de l’IM, comme l’incertitude symétrique, dans des applications d’ima-gerie médicale. Donc, nous introduisons un algorithme basé également sur l’IM pour sélectionner les bandes, mais il applique le coefficient d’incertitude symétrique pour le contrôle de la redondance et d’augmenter la précision de la classification. Cet algorithme est un outil de sélection d’attributs et une ”stratégie wrapper”. Ensuite, nous utilisons deux autres formes de IM , ils donnent , pratiquement les même per-formences. Nous concluons sur l’efficacité de cette méthode pour sélectionner les bandes pertinentes et éliminer les bandes redondantes. Dans la quatrième étape, nous concevons un algorithme basé sur l’IM en combinaison avec l’algorithme Du dradient descendantr (”SA : steepest ascent”), afin d’automatiser la sélection les bandes. Cet algorithme est un outil de sélection d’attributs et une stratégie de wrapper. Ce shéma met en relief le cas où la décision humaine peut-être différente de celle d’un algorithme intelligent. Enfin, nous introduisons un nouveau schéma utilisant aussi l’IM, mais il ne retient que les bandes minimisant la probabilité d’er-reur de classification. Nous contrôlons la redondance par un seuil complémentaire. Ainsi, la bonne bande candidate doit contribuer à diminuer la dernière probabilité d’erreur augmentée par le seuil. Ce processus est une ”stratégie wrapper”, on obtient de hautes performances de précision de la classification mais il est plus coûteux que la stratégie filtre. L’étude est conduite sur l’IHS AVIRIS 92AV3C, et le classifieur

(4)

ii

utilis´e est le SVM .

Mots-clefs :Images Hyperspectrales , Classification, Selection d’attributs, Infor-mation Mutuelle, InforInfor-mation mutuelle normalisée, Pertinence d’attributs, Redon-dance d’attributs, Probabilité d’erreur, Télédétection.

(5)

Abstract

Hyperspectral images (HSI) classification is a high method for remote sensing to reproduce different thematic maps . The HSI contains more than a hundred bidirec-tional measures called bands (or simply images), of the same region called Ground Truth (GT). They are taken at juxtaposed frequencies. Unfortunately, some bands are redundant, others are noisily measured, and the high dimensionality of features madkes the classification accuracy poor. The problematic is how to find the good bands to classify the region points. Some methods use Mutual Information (MI) and thresholding, to select only relevant images. Others control and avoid redundancy. But they process the dimensionality reduction, some times as selection, other times as extraction methods without any relationship. Here , we introduce a survey on all schemes used, and we synthesize a dashboard, that helps user to study selection and extraction features. Fristly, We establish this study on HSI AVIRIS 92AV3C, and the classifier used is SVM (Support Voctor Machine). There are some methods to control and eliminate redundancy by selecting the band top ranking the MI, and if its neighbors have sensibly the same MI with the GT, they will be considered redundant and so discarded. This is the most inconvenient of this method, so some precious information can be discarded. In the second method that we introduce, we accept the useful redundancy : a band contains useful redundancy if it contributes to produce an estimated reference map that has a higher MI value with the GT. To control redundancy, we introduce a complementary threshold added to last value of MI. This process is a Filter strategy ; it gets a better performance of classification accuracy and not expensive, but less preferment than wrapper strategy. In the third step, we note that others studies use the MI’s normalized forms, like Symmetric Un-certainty, in medical imagery applications. So we introduce an algorithm based also on MI to select relevant bands and it apply the symmetric uncertainty coefficient to control redundancy and increase the accuracy of classification. This algorithm is a feature selection tool and a wrapper strategy. This is an effectiveness scheme to control redundancy. Then we use two other forms of MI, they give, pratically the same performence. We conclude the effectiveness of this method and algorithm to select the relevant and no redundant bands. In the forth step, we design an algorithm based also on MI combined with steepest ascent algorithm, to improve a symmetric uncertainty coefficient-based strategy, and select relevant bands for classification of HSI. This algorithm is a feature selection tool and a wrapper stra-tegy. In this schema we had to clear the difference of the result’s algorithm and the human decision, and this can be viewed as a case study which human decision is different to an intelligent algorithm. Finally, we introduce a new scheme using also mutual information, but it retains only the bands minimizing the error proba-bility of classification. To control redundancy, also we introduce a complementary threshold. So the good band candidate must contribute to decrease the last error probability augmented by the threshold. This process is a wrapper strategy ; it gets high performance of classification accuracy but it is expensive than filter strategy.

Keyword : Hyperspectral images, Classification, Feature selection, Mutual Infor-mation, Normalized Mutual inforInfor-mation, Relevence, Redundancy, Error Probability, Remote Sensing.

(6)

Avant-propos

Les travaux de recherche effectués dans le cadre de cette thèse ont été initiés au sein du Laboratoire de Recherche en Informatique et Télécommunications `

a la Faculté des Sciences de Rabat, dirigé par Monsieur le professeur Driss ABOUTAJDINE, qui me fait l’honneur de présider le Jury de cette thèse.

Je tiens `a exprimer mes sinc`eres remerciements :

Au professeur Driss ABOUTAJDINE, pour son dynamisme, ses compétences scientifiques qu’il a mis à notre servise pendant la préparation de cette thèse. Qu’il trouve ici le témoignage de mon estime et ma profonde reconnaissance pour ses conseils pertinents, ses recommandations précieuses et son suivi rigoureux, qui m’ont permis de mener à bien les travaux de cette thèse.

Au professeur Ahmed HAMMOUCH, mon directeur de thèse, pour son encadre-ment, son suivi rigoureux, ses recommandations précieuses, sa patience et ses grandes qualités humaines et également pour sa disponibilité tout au long de la réalisation de ce travail. Qu’il trouve ici le témoignage de mon estime et ma profonde gratitude.

Au professeur Mohammed EL MARRAKI de la Faculté des Sciences de Rabat-Université Moahammed V qui a sacrifié de son temps pertinent pour juger ce travail et d’en être rapporteur et qui m’a fait l’honneur d’être parmi les membres du Jury. Qu’il trouve ici le témoignage de mon estime et ma profonde reconnaissance. Au professeur Rochdi MESSOUSSI de la Faculté des Sciences de Kénitra-Université Ibn Tofail qui a consacré de son temps précieux pour évaluer ce travail et d’en ˆ

etre rapporteur et qui m’a fait l’honneur d’ˆetre parmi les membres du Jury. Qu’il trouve ici le t´emoignage de mon estime et ma profonde gratitude.

Aau professeur Mohammed EL HASSOUNI de la Faculté des Lettres de Rabat-Université Moahammed V, pour son examinations fructueuses et ses remarques précieuses et qui a bien accepté de faire partie de ce Jury. Qu’il trouve ici le témoignage de mon estime et ma profonde reconnaissance.

Au professeur Omar BOUATTANE de l’Ecole Normale Supérieur de l’Enseigne-ment Technique de l’Université HassnII, pour son examination frofonde et ses remarques pertinente et qui a bien accepté d’être parmi les membres du Jury. Qu’ils trouvent ici le témoignage de mon respect et ma sincère gratitude.

Enfin merci `a ceux que je n’ai pas pu citer mais qui ont toutes mes amiti´es et ma reconnaissance.

(7)

(8)

Table des mati`

eres

Resume i

Abstract iii

Avant-propos v

Introduction G´en´erale ix

Chapitre 1 : Généralités sur les images hyperspectrales 1

1.1 Introduction à la télédétection. . . 1

1.1.1 D´efinition de l’imagerie hyperspectrale . . . 2

1.1.2 Proc´ed`es d’acquisition des images hyperspectrales . . . 4

1.2 Pr´etraitement des images hyperspectrales . . . 7

1.2.1 Les principales ´etapes de pr´etraitement . . . 7

1.2.2 Exemple d’image hyperspectrale : AVIRIS 92AV3C . . . 8

1.3 Probl´ematiques relatives aux IHS . . . 9

1.4 Conclusion . . . 11

Chapitre 2 : Plateforme générique de réduction de dimensionnalité des images hyperspectrales 13 2.1 Généralité sur la classification des images hyperspectrales . . . 13

2.1.1 Notion de pertinence des attributs . . . 14

2.2 Méthodes de réduction de dimensionnalité . . . 15

2.2.1 Catégorisation des méthodes de réduction de dimensionnalité selon le processus de génération des attributs . . . 15

2.2.2 Catégorisation des méthodes de réduction de dimensionnalité selon leur dépendance de l’étape de classification . . . 22

2.3 Sch´ema de synth`ese . . . 25

Chapitre 3 : Réduction de dimensionnalité des IHS : stratégie filtre basée sur l’information mutuelle 29 3.1 Mesure de l’information : rappel théorique . . . 29

3.1.1 Propri´et´es de l’iInformation mutuelle . . . 31

3.1.2 Utilisation de l’IM pour la s´election d’attributs . . . 32

3.2 Algorithme propos´e. . . 34

(9)

viii Table des mati`eres

3.2.2 Algorithme . . . 35

3.3 R´esultats . . . 36

3.3.1 Commentaires . . . 36

3.3.2 Sch´ematisation de l’algorithme propos´e . . . 37

Chapitre 4 : Sélection d’attributs utilisant l’information mutuelle nor-maliée 41 4.1 Rappel sur la forme normalsée de l’IM . . . 41

4.2 Principales formes de l’IM normalis´ee (IMN) . . . 42

4.2.1 Premi`ere forme de l’IM normalis´ee . . . 42

4.2.2 Deuxi`eme forme de l’IM normalis´ee. . . 42

4.2.3 Troisi`eme forme de l’IM normalis´ee . . . 43

4.3 Principe de la m´ethode propos´ee . . . 43

4.3.1 S´election des bandes pertinentes . . . 44

4.3.2 D´etection des bandes redondantes . . . 45

4.3.3 Algorithme propos´e . . . 47

4.4 R´esultats . . . 49

4.4.1 Application sur l’IHS AVIRIS 92AV3C . . . 49

4.4.2 Discussions . . . 50

Chapitre 5 : Sélection d’attributs basée sur l’IM et le gradient ascen-dant 55 5.1 Principe des méthodes du gradient . . . 55

5.2 Algorithme ”steepest ascent” propos´e . . . 57

5.2.1 R`egles de d´eplacement . . . 57

5.2.2 Les maxima locaux . . . 58

5.2.3 Algorithme propos´e . . . 58

5.3 R´esultats . . . 58

5.3.1 Discussions . . . 64

Chapitre 6 : Stratégie wrapper basée sur l’IM en minimisant l’erreur de probabilié 67 6.1 Contexte de l’utilisation du théorème de Fano . . . 67

(10)

Table des mati`eres ix

6.1.2 Expression de l’intervalle de Fano. . . 69

6.2 Principe de l’algorithme basé sur l’inégalité de Fano . . . 71

6.2.1 Description de la m´ethode propos´ee . . . 72

6.2.2 Algorithme minimisant l’intevalle de Fano . . . 72

6.3 R´esultats et analyse . . . 73

6.3.1 R´esultats . . . 73

6.3.2 Analyses. . . 73

Chapitre 7 : Conclusion g´en´erale 81

Liste des Abr´eviations 85

Annexe : Contributions de l’Auteur 87

(11)

(12)

Liste des tableaux

1.1 Comparaison num´erique des domaines Multispectral, Hyperspectral

et Ultra spectral. . . 3

3.1 IM de la VT avec les bandes synth´etiques, et leurs taux de classification 34

3.2 Résultas illustrant l’élimination de la redondance avec l’algorithme 1 ; pour différents seuils (T h) . . . 37

4.1 Le coefficient d’incertitude sym´etrique des bandes synth´etiques

pertinentes- premi`ere forme. . . 46

4.2 IM normaliée symétrique des bandes synthétiques

pertinentes-deuxi`eme forme. . . 46

4.3 IM normaliée asymétrique des bandes synthétiques

pertinentes-trois`eme forme. . . 47

4.4 Taux de calssification en fonction des couples de seuils (TH,IM), et

les nombres des bandes retenues correspondant- premi`ere forme. . . 49

les nombres des bandes retenues correspondant-deuxi`eme forme. . . 50

les nombres des bandes retenues correspondant-trois`eme forme. . . . 51

5.1 Evolution des trajectoire sur l’espace des couples du coefficent d’in-certitude sym´etrique, [Sarhrouni 2013b]. . . 60

5.2 Les transitions de la premi`ere trajectoire avec les op´erateurs mis en oeuvre, [Sarhrouni 2013b]. . . 61

5.3 les transitions de la deuxi`eme trajectoire avec les op´erateurs mis en oeuvre, [Sarhrouni 2013b]. . . 62

5.4 Les transitions de la trois`eme trajectoire avec les op´erateurs mis en oeuvre, [Sarhrouni 2013b]. . . 63

6.1 Résultats illustrant l’élimination de la redondance en utilisant l’al-gorithme basé sur l’inégalité de Fano, pour des seuils (T h) . . . 74

(13)

(14)

Table des figures

1.1 Spectre ´electromagn´etique [Itten 2008] . . . 2

1.2 Concept de l’imagerie spectroscopique [Itten 2008] . . . 3

1.3 Sch´ematisation des diff´erences entre les IHS, les IMS et les images monochrome. . . 4

1.4 Exemple de l’IMS et de l’IHS [Geomatics 2004]. . . 4

1.5 Une vue d’ensemble conceptuelle d’un système d’information basé sur la télédétection [Landgrebe 2000] . . . 5

1.6 Schéma de principe du modèle de système de télédétection [Kerekes 2003]. . . 5

1.7 La génération d’un cube d’image en utilisant un capteur hyperspec-tral aéroporté [Report 2008] . . . 6

1.8 Processus d’acquisition de l’image hyperspecrale AVIRIS 92AV3C [Gomez 2009] . . . 7

1.9 Les Niveaux d’´etude des IHS [Report 2008] . . . 7

1.10 Le cube 3D des donn´ees de Indian Pine : AVIRIS 92AV3C . . . 8

1.11 Exemple de bandes d’IHS AVIRIS 92AV3C [Pakorn 2005] . . . 9

1.12 La distribution non uniforme de l’informations dans les IHS.. . . 10

2.1 Processus de s´election d’attributs avec validation [Dash 1997] . . . . 16

2.2 Processus d’extraction d’attributs , le feedback correspond `a la re-cherche it´erative [Raymer 2000] . . . 17

2.3 Schéma de la génération des attributs, [Sarhrouni 2013a] . . . 18

2.4 Réduction de dimensionnalité en quatre étapes, [Sarhrouni 2013a]. . 19

2.5 Les Cat´egories de fonctions d’´evaluation selon Ben-Bassat, [Ben-Bassat 1982]) . . . 21

2.6 Les Cat´egories de fonctions d’´evaluation, Doak [Doak 1992]) . . . 21

2.7 Le modèel filtre dans lequel les attributs sont filtrés indépendement de l’algorithme d’induction selon George [George 1994] . . . 23

2.8 Dans le modèle wrapper, l’algorithme d’induction est utilisé comme boˆıte noire par l’algorithme de sélection [George 1994]. . . 23

2.9 Principe du sch´ema mixte filtre-wrapper, [Sarhrouni 2013a] . . . 25

2.10 Interaction du modèle mixte proposé avec les mesures d’évaluation, [Sarhrouni 2013a] . . . 26

2.11 Tableau de bord proposé pour l’analyse et la synthèse des algorithmes de réduction de dimensionnalité, [Sarhrouni 2013a] . . . 27

(15)

xiv Table des figures

3.1 Diagramme de Venn . . . 30

3.2 L’analyse de la méthode présentée par Guo. [Guo 2006] . . . 32

3.3 L’algorirhme MIFS [Kwak 1999] . . . 33

3.4 Trois bandes synth´etis´ees pour illustrer le principe de l’algorithme .1 34

3.5 Schéma de réduction de dimensionnalité correspondant a l’algorithme 1.. . . 39

4.1 Illustration de L’Incertitude Sym´etrique . . . 43

4.2 Les bandes synthétiques utilisées pour l’étude.. . . 44

4.3 Information Mutuelle de la VT et des bandes synth´etiques,

[Sarhrouni 2012a,Sarhrouni 2014,Sarhrouni 2012b]. . . 45

4.4 La classification de la r´egion Indiana Pine [Landgrebe 1998] ave l’al-gorithme .2, [Sarhrouni 2012a,Sarhrouni 2014,Sarhrouni 2012b] . . 52

5.1 Demi-espace (translat´e) des directions de mont´ee d de f en x. . . 56

5.2 Schéma de réduction de dimensionnalité correspondant a l’algorithme 4 [Sarhrouni 2013b]. . . 65

6.1 La notion du Pixel-Vecteur . . . 68

6.2 Information Mutuelle de AVIRIS 92AV3C avec la VT (trait continu)

et avec la vérité de terrain approximé par la moyenne des bandes 170 `

a 210 (trait interrompu), [Sarhrouni 2012e,Sarhrouni 2012c]. . . 68

6.3 Taux de classification en utilisant l’algorithme basé sur l’inégalité de Fano, pour plusieurs seuils . . . 75

6.4 Reconstruction de la v´erit´e de terrain (VT). . . 75

(16)

Introduction g´

en´

erale

Contexte g´

en´

eral

Aujourd’hui, nous assistons à des progrès considérables dans le domaine de la télédétection, notamment dans la technologie des capteurs hyperspectraux pour l’acquisition des données et au niveau des techniques d’analyse et de traitement de ces données. La gamme des disciplines qui peuvent utiliser cette technologie ne cesse d’augmenter [Pontius 2008].

La télédétection par imagerie hyperspectrale consiste à acquérir des images dans plusieurs centaines de bandes spectrales contigües et identiquement géoréférencées. Elle est liée à la fois à l’étude de, l’intensité du pixel, l’interdépendance des pixels [Clark 1995] et la réflectance d’un pixel selon la longueur d’onde interceptée par les capteurs [Schatzman 1963,Kruse 2000].

L’analyse d’une image hyperspectrale (IHS) a toujours comme but une in-terprétation, et est donc sous-jacente à la résolution d’un problème de classifica-tion et/ou de reconnaissance de formes. Le processus de classificaclassifica-tion est une étape importante. Il consiste, dans le cas d’une image classique, à grouper les objets en classes de même type et éventuellement de définir ces classes d’appartenance. Dans le cas des images hyperspectrales la classification doit fournir une carte indiquant par exemple les étendues d’eau, les forêts, les zones cultivées, les zones urbaines, le réseau routier, etc. En d’autres termes, elle permet d’établir des cartes thématiques de l’occupation terrestre.

Probl´

ematique

La classification des images hyperspectrales est une procédure complexe et dif-ficile à cause de leurs dimensionnalités importantes. On assiste ainsi, au problème de ”la malédiction de dimensionnalité” [Huges 1968]. D’autre part, les bandes adjacentes sont fortement corrélées et de ce fait, elles sont redondantes. La réduction de dimensionnalité est donc une nécessité. Il existe plusieurs méthodes de réduction de dimensionnalité et de classification des images hyperspectrales basées sur des approches statistiques [Hyvärinen 2000,Mura 2011], les algorithmes génétiques [Jamshidpour 2010,Hand 2001,Raymer 2000,Kudo 2000], les méthodes de gradient [Serpico 2001, Ughade 2011, Miró , Demir 2008], la discrimination par le maximum d’entropie [Jebara 2000, Novovicova 2004] etc. En 2006, Guo a initié l’utilisation de l’information mutuelle (IM) pour la classification des IHS [Guo 2006, Guo 2008, Sotoca 2006]. Il a utilisé une approche filtre basée sur l’IM

(17)

2 Introduction g´en´erale

pour sélectionner les bandes pertinentes et éliminer celles redondantes. Les résultats obtenus étaient prometteurs comparativement aux méthodes classiques. Cepen-dant, les performances restent encore limitées et le nombre de bandes sélectionnées est relativement élevé. Ceci est dû aux inconvénients liés aux approches filtre [George 1994]. Dans le cadre de cette thèse, nous nous sommes intéressés à la stratégie wrapper basée sur l’information mutuelle conjuguée à des mesures des probabilités d’erreurs de classification pour la sélection des bandes les plus perti-nentes.

Objectif

L’objectif général de cette thèse est d’évaluer l’apport de l’information mutuelle, selon diverses stratégies, pour la réduction de dimensionnalité et la classification des images hyperspectrales, afin de reproduire les cartes thématiques. Il s’agit de propo-ser des méthodes originales de réduction de dimensionnalité par sélection de bandes, en utilisant l’information mutuelle suivie d’une classification proprement dite. Le classifieur utilisé est le SVM. L’application est faite sur l’IHS AVIRIS 92AV3C [Landgrebe 1998]. L’objectif visé étant d’évaluer l’efficacité de ces approches pour une exploitation cartographique automatisée.

Principales contributions

Cinq principales contributions ont été apportées dans ce travail dont les résultats ont été publiés dans des conférences et des journaux internationaux.

La première contribution consistait en une synthèse d’un nouveau schéma comme tableau de bord pour analyser et synthétiser les algorithmes de réduction de dimensionnalité [Sarhrouni 2013a]. Celui-ci comprend plusieurs étapes à savoir ; la génération d’attribut, l’évaluation, le test d’arrêt et la validation. Dans notre contribution, l’étape génération désigne la sélection ou l’extraction ou une combi-naison des deux. Notre schéma nous a permis de relever l’existence d’un spectre de méthodes entre la stratégie filtre proprement dite (que nous désignons par filtre pur) et celle wrapper proprement dite (que nous désignons par wrapper pur) et ceci grâce à l’étude de la dépendance de l’étape d’évaluation vis-à-vis de l’étape de validation,

La deuxième contribution concerne l’évaluation des performances d’un schéma type filtre [Sarhrouni 2012d]. Dans cette contribution, nous avons utilisé le regroupement des bandes des IHS par moyenage comme approximation de la vérité de terrain. Ainsi les bandes sont ordonnées selon leur information mutuelle

(18)

Introduction g´en´erale 3

avec la vérité de terrain. Une bande est retenue si elle permet d’augmenter d’un seuil l’information mutuelle de la vérité de terrain estimé avec la vérité de terrain originale. L’ensemble des bandes retenues sont envoyés au classifieur SVM pour produire la carte thématique. Cette étude nous a permis de vérifier le faible coût de calcul de ce type de stratégie et ses performances limitées.

La troisième contribution concerne un algorithme qui traite séparément la pertinence et la redondance [Sarhrouni 2012a,Sarhrouni 2012b]. La pertinence est mesurée par seuillage de l’information mutuelle des bandes. La redondance est mesurée en utilisant l’information mutuelle normalisée (le coefficient d’incertitude symétrique) inter-bandes. Ainsi, pour un couple de seuils (seuil de pertinence, seuil de redondance) cet algorithme génère un nombre de bandes associées à un taux de classification. C’est un schéma wrapper qui produit des résultats très intéressants pour la classification des données d’AVIRIS 92AV3C. Cependant, le choix de la solution est subjectif. Cette contribution a été complétée par une étude comparative portant sur les différentes formes de l’information mutuelle normalisée. Nous avons traité principalement deux formes du coefficient d’incertitude symétrique et la normalisation par l’entropie. Ceci nous a permis de conclure l’intérêt des formes symétriques en termes de coût de calcul [Sarhrouni 2014].

La quatrième contribution repose sur les résultats de la troisième contribution, et permet de pallier au problème de subjectivité du choix de la solution. Ce qui nous amène a automatisé cette tâche avec une stratégie ”Steepest Ascent” et une base de règles de déplacement d’une solution à l’autre [Sarhrouni 2013b]. Partant d’un couple de seuil pertinence-redondance pris aléatoirement, l’algo-rithme calcul le gain du taux de classification par rapport au nombre de bandes nécessaires, et applique l’opérateur correspondant issu de la base de règle. L’al-gorithme doit être appelé plusieurs fois pour pallier au problème de maxima locaux.

La cinquième contribution est un schéma wrapper utilsant l’information mutuelle et contrôlant l’intervalle de probabilité d’erreur mesuré par l’inégalité de Fano [Sarhrouni 2012e, Sarhrouni 2012c]. Les bandes sont ordonnées selon leur information mutuelle avec la vérité de terrain. Une bande intègre l’ensemble de solutions si elle permet de diminuer l’intervalle de Fano (probabilité d’erreur) calculé entre la vérité de terrain et la carte thématique reproduite avec le classi-fieur de validation (SVM). C’est un schéma wrapper coûteux en temps de calcul, mais il est important pour les applications qui demandent des performances élevées.

(19)

4 Introduction g´en´erale

Organisation de la th`

ese

La suite de ce mémoire est structurée en six chapitres plus une conclusion générale. Dans le premier chapitre, nous donnons un aper¸cu sur l’acquisition des images hyperspectrales et nous présentons un état de l’art des méthodes disponibles pour leurs traitements. Nous nous intéressons plus particulièrement aux méthodes de classification des IHS et aux problématiques liées principalement à leur dimension-nalité élevée.

Dans le deuxième chapitre, nous abordons la problématique de réduction de dimensionnalité d’une manière générale, les différentes approches, les mesures et les schémas utilisés. Nous étudierons les principales approches existantes dans ce contexte, puis nous synthétisons un nouveau schéma comme tableau de bord pour analyser et synthétiser les algorithmes de réduction de dimensionnalité.

Le troisième chapitre, s’intéresse à la mesure de l’information pour développer des algorithmes de réduction de dimensionnalité appliqués aux images hyperspec-trales. Dans ce sens, il présente une approche filtre utilisant l’information mutuelle puis discute les limitations de ce type de méthodes.

Dans le quatrième chapitre, nous introduisons des méthodes heuristiques utilisant des formes particulières de l’information mutuelle : l’information mutuelle normalisée. Nous implémentons un algorithme qui traite séparément la redondance et la pertinence des bandes des images hyperspectrales. Cette approche, de type wrapper, a été testée à travers des exemples synthétiques et réels. C’est une méthode performante, mais le choix des solutions reste subjectif.

Pour pallier à ce problème, nous avons proposé, dans le cinquième chapitre, un algorithme basé sur le gradient ascendant, qui permet la sélection des attributs de fa¸con automatique en nous basant sur la pertinence d’un déplacement d’une solution à l’autre.

Le sixième chapitre est dédié à la présentation d’un algorithme de type wrapper, qui réalise la sélection en minimisant la probabilité d’erreur. Cette méthode utilise l’inégalité de Fano pour produire un intervalle d’erreur à minimiser. Un attribut sera retenu s’il contribue à minimiser cet intervalle.

(20)

Introduction g´en´erale 5

des approches développées et propose également des perspectives et des pistes de recherche pour continuer les travaux entrepris.

(21)

(22)

Chapitre 1

G´

en´

eralit´

es sur les images

hyperspectrales

Sommaire

1.1 Introduction à la télédétection . . . 1 1.1.1 Définition de l’imagerie hyperspectrale . . . 2 1.1.2 Procédès d’acquisition des images hyperspectrales . . . 4

1.2 Pr´etraitement des images hyperspectrales . . . 7

1.2.1 Les principales étapes de prétraitement . . . 7 1.2.2 Exemple d’image hyperspectrale : AVIRIS 92AV3C. . . 8 1.3 Problématiques relatives aux IHS . . . 9 1.4 Conclusion . . . 11

Aujourd’hui nous assistons à des progrès importants dans le domaine de la télédétection, notamment dans la technologie des capteurs hyperspectraux pour l’acquisition des données. Des progrès on tété réalisés, également, au niveau des techniques d’analyse de ces données. La gamme de disciplines utilisant cette tech-nologie ne cesse d’augmenter [Pontius 2008].

Dans ce chapitre nous nous intéressons, successivement, aux atouts de cette technologie, à la définition des images hyperspectrales, leurs procédés d’acquisition ainsi que leurs prétraitements. Nous verrons également les problématiques, liées à son utilisation, dues principalement à la dimensionnalité importante de ces images acquises.

1.1 Introduction `

a la t´

el´

ed´

etection

La télédétection est réalisée par l’examen des caractéristiques d’une cible, observées dans plusieurs régions du spectre électromagnétique. La transmission atmosphérique du rayonnement électromagnétique est particulièrement élevée dans les domaines du visible (400 nm à 700 nm ), proche infrarouge (700 nm à 1300 nm ) et les ondes courtes infrarouges (1300 nm à 3000 nm). Le soleil est, biensûr la source principale de ces radiations. Le maximum de rayonnement solaire se trouve entre 400 nm et 500 nm. D’autres domaines sont fréquemment utilisés en

(23)

2 Chapitre 1. Généralités sur les images hyperspectrales

télédétection, mais pour la plupart des applications en imagerie spectroscopique seulement ces trois domaines sont intéressants, figure1.1.

Le principe de la télédétection repose sur le constat que la surface terrestre, et

Figure 1.1 – Spectre ´electromagn´etique [Itten 2008]

les objets y se trouvant, réagissent différement à la radiation du soleil, selon le type des matériaux et leurs conditions physiques (humidité etc.). Les plantes par exemple présentent différentes caractéristiques spectrales dans le visible et le proche infrarouge. Les minéraux se distinguent principalement dans la gamme des ondes courtes infrarouges .

1.1.1 D´efinition de l’imagerie hyperspectrale

Une définition générique de l’IHS a été formulée par Kruse [Kruse 2000] : ”L’ima-gerie hyperspectrale consiste à acquérir des spectres pour tous les pixels d’une image, où un spectre est une mesure contigue d’une distribution de longueur d’onde, avec une résolution suffisante pour résoudre la variabilité naturelle du système d’intérêt”. Le schéma de la figure1.2indique le principe de l’imagerie spectroscopique.

Chang [Chang 2007] distingue trois principales caract´eristiques pour s´eparer les IHS des images multispectrales (l’image couleur (RVB) est un cas particulier d’image multispectrale (IMS)) :

(24)

1.1. Introduction à la télédétection 3

Figure 1.2 – Concept de l’imagerie spectroscopique [Itten 2008]

1. Le nombre des bandes des IHS est de l’orde des centaines, tandis que celui des images multispectrales est de trois (image RVB) `a une dizaine ;

2. La résolution spectrale (longueur d’onde centrale divisée par la largeur de la bande spectrale) est de l’orde de 100 contre une dizaine pour les images multispectrales (la résolution des IHS est de 5 à10 nm, par exemple celle de AVIRIS 92AV3C [Landgrebe 1998] est 8 nm et la bande 100 a une largeur [1.3075-1.3172 µm] [Pakorn 2005] ) ;

3. Les bandes sont régulièrement espacées et quasi-continues , mais les bandes des images multispectrales sont irrégulièrement espacées et de largeurs variées. La figure 1.3et le tableau 1.1résument ces différences.

Table 1.1 – Comparaison num´erique des domaines Multispectral, Hyperspectral et Ultra spectral.

Nous soulignons ici la richesse des IHS en terme de détails d’information relative à chaque pixel, et la possibilité de discrimination des substances de la scène. La figure

(25)

Figure 1.3 – Sch´ematisation des diff´erences entre les IHS, les IMS et les images monochrome.

Figure 1.4 – Exemple de l’IMS et de l’IHS [Geomatics 2004].

Dans cette figure, l’image multispectrale Landsat ETM, dispose de 3 bandes dans la région visible du spectre tandis que HSI (AVRIS) dispose de 28 bandes contiguës à peu près dans la même région du spectre .

les données hyperspectrales permettent la construction de modèles statistiques plus robustes, que la représentation des couleurs tri-chromatique : on peut identifier un sous-ensemble de bandes originales pour une tâche donnée. Ainssi elles permettent l’étude spectrale des substances non minérales, d’une fa¸con qui ne peut pas être faite par des procédures d’imagerie RVB classiques en raison de leurs similitudes de couleur, de poids et de forme [Picón 2009,Ahmad 2011,Goetz 1985].

Enfin, on peut conclure que selon le besoin et l’application, on peut consid´erer une image hyperspectrale comme un ensemble d’images ou un ensemble de spectres.

1.1.2 Proc´ed`es d’acquisition des images hyperspectrales

Habituellement, le plus utilisé comme source d’illumination est le soleil : ce qui correspond au systèmes de télédetection passifs. Les capteurs mesurent la lumière réfléchie (ou l’énergie émise) à partir des zones d’intérêt. Les données sont enfin

(26)

1.1. Introduction à la télédétection 5

transmises vers la terre pour l’analyse manuelle (par des expert) ou automatique. Il est parfois intéressant de fusionner des données auxiliaires et de l’expertise humaine avec le flux de données [Kerekes 2003, Landgrebe 2000], dans une vue d’ensemble du système de télédétection complet, voir figure1.6et figure 1.5.

Figure 1.5 – Une vue d’ensemble conceptuelle d’un système d’information basé sur la télédétection [Landgrebe 2000]

Figure 1.6 – Schéma de principe du modèle de système de télédétection [Kerekes 2003].

Dans cette figure, Les classes, tels que des arbres ou des routes, peuvent être représentées par des statistiques spectrales de premier et de second ordre.

De point de vue technique, deux approches sont utilisées pour l’aquisition des images hyperspectrales [Polder 2001]. La première consiste à acquérir une séquence d’images à différentes longueurs d’onde (staring system), en utilisant des filtres variables positionnés devant une caméra matricielle, comme l’indique la figure 1.7.

(27)

La deuxième approche consiste à acquérir une séquence d’images, lignes par linges, tel que pour chaque pixel d’une ligne, un spectre complet est mesuré (approche push-broom). Une dimension permet d’enregistrer l’information spatiale et l’autre la dimension spectrale. La dimension spatiale est acquise par déplacement relatif du capteur par rapport à l’objet, voir figures1.8.

Figure 1.7 – La génération d’un cube d’image en utilisant un capteur hyperspectral aéroporté [Report 2008]

Notons que dans la litérature, on peut citer la distinction de deux zones d’apprôches des IHS : coté fournisseur, et coté utilisateur [Report 2008] , comme l’indique le pro-jet européen ”Hyperspectral Remote Sensing in Europe Specific Support Action”, figure 1.9.

1. Le premier côté, relatif aux fournisseurs de données, permet de livrer une information de qualité avec toutes les corrections nécessaires : correction ra-diométrique, correction géométrique, correction atmosphérique et évaluation objective de la qualité des données.

2. Le second espace, relatif aux utilisateurs, permet d’extraire les informations pertinentes. Il s’agit particulièrement des méthodes de transformation de données, de sélection d’attributs, de développement des librairies spectrales ainsi que des algorithmes de classification et de détection de formes.

(28)

1.2. Pr´etraitement des images hyperspectrales 7

Figure 1.8 – Processus d’acquisition de l’image hyperspecrale AVIRIS 92AV3C [Gomez 2009]

Figure 1.9 – Les Niveaux d’´etude des IHS [Report 2008]

1.2 Pr´

etraitement des images hyperspectrales

1.2.1 Les principales ´etapes de pr´etraitement

Le pr´etraitement de l’image hyperspectrale comprend quatre ´etapes :

1. L’étalonnage de l’image en ce qui concerne le bruit du capteur : celui-ci varie avec les conditions météorologiques [Green 1998].

2. La correction de la distorsion géométrique causée par le mouvement de la plate-forme en vertu de différentes perturbations atmosphériques.

3. La geo-registration de l’image en utilisant une méthode de triangulation avec ré-échantillonnage bilinéaire [Bajwa 2004].

Aussi faut-il tenir compte de la réalité du terrain qui n’est pas seulement complexe mais aussi dynamique : la reflectance d’un point de la vérité de terrain n’est pas très

(29)

stable. Elle évolue dans le temps selon les saisons, d’où la nécéssité d’une correction adéquate des données.

1.2.2 Exemple d’image hyperspectrale : AVIRIS 92AV3C

La NASA utilise maintenant l’instrument ”Airborne Visual and Infra-Red Ima-ging Spectrometer” (AVIRIS). AVIRIS acquiert des données dans le domaine spectral de 0,4 à 2,45 microns (exemple : la bande 100 a une largeur [1.3075-1.3172 µm]) de 224 canaux spectraux, dont 4 bandes ne contiennent que des zéros. L’appareil est porté dans un avion ER-2 (un U-2 avion espion modifié) `

a 19.800 mètres (65.000 pieds). La résolution au sol est de 20 mètres, avec un meilleur facteur signal-sur-bruit. Les données-cube de l’image hyperspectrale uti-lisées dans les expériences dans cette thèse sont acquises à partir du capteur AVI-RIS (AVIAVI-RIS 92AV3C), et elles ont été recueillies sur un site d’essai appelé Indiana Pine dans le nord-ouest d’Indiana [Landgrebe 1998]. Elles sont disponibles dans (ftp ://ftp.ecn.purdue.edu/biehl/MultiSpec/92AV3C).

Figure 1.10 – Le cube 3D des données de Indian Pine : AVIRIS 92AV3C L’une des bandes de cette image est représentée sur la figure 1.11. Chaque image est de taille 145x145 pixels. Les deux tiers de la scène sont couverts de terres agricoles et un tiers est couvert de forêts et d’autres. Deux voies principales (autoroute double), une petite route, une voie ferrée, le logement à faible densité, et d’autres structures de construction peuvent aussi être vus dans la scène. La base de données est accompagnée d’une carte de référence, de sorte que 49% des pixels sont étiquetés comme appartenant à l’une des 16 classes de végétation, nous disposons,donc, d’une vérité de terrain partiellelle, voir figure 1.10, [Pakorn 2005], [Pakorn 2005], [Hwang 2009].

(30)

1.3. Probl´ematiques relatives aux IHS 9

Figure 1.11 – Exemple de bandes d’IHS AVIRIS 92AV3C [Pakorn 2005]

que nous avons extraites de l’IHS AVIRIS 92AV3C. L’axe des abssices indique le nombre de bandes spectrales (1-220), et l’axe des ordonnées représente la valeur du pixel selon les différentes longueurs d’ondes (bandes). Un chevauchement impor-tant entre deux classes se produit dans certaines bandes en raison de la similitude naturelle et la variabilité de la réflectance spectrale : la classe ’9’ par exemple est prèsque ”noyée” dans les deux autres. Pour les séparer, nous devons tenir compte de leurs caractéristiques statistiques, telles que les moyennes figure 1.12 (b) et les ´

ecarts types figure1.12(c) pour chaque bande spectrale. Si nous ignorons les statis-tiques de deuxième ordre ou d’ordre supérieur (c’est à dire en utilisant uniquement la différence entre les moyennes des deux classes), les trois classes semblent être plus séparables dans les bandes 20-25, 70-75, et 120-140. En considérant les autres bandes, tel que la gamme 60-65, ces classes se chevauchent largement.

1.3 Probl´

ematiques relatives aux IHS

L’augmentation du nombre de bandes spectrales, dans l’imagerie hyperspectral, permet a priori d’augmenter la séparabilité entre les classes. Cependant trop de bandes et une grande quantité de données entraˆınent, non seulement, des difficultés de stockage de données et de transmission, mais aussi de nouveaux défis en matière de technologie de traitement d’image hyperspectrale ; en particulier la reconnais-sance de formes et la classification thématique [Simin 2009]. Nous notons aussi que la précision de l’estimation statistique, diminue avec la dimension de l’espace conduisant de ce fait à des résultats de classification médiocres (la malédiction de la dimensionnalité) [Huges 1968]. Un autre phénomène très connu en imagerie

(31)

hyper-10 Chapitre 1. Généralités sur les images hyperspectrales

Figure 1.12 – La distribution non uniforme de l’informations dans les IHS. Dans cette figure (a) Les réponses spectrales pour trois classes ”16”, ”14” et ”9” de végétation dans AVIRIS 92AV3C. Les caractéristiques statistiques de la réflectance spectrale des valeurs dans chaque bande spectrale : (b) les moyennes, (c) les ´ ecarts-types.

spectral est la distribution non uniforme des informations discriminatoires dans des bandes spectrales différentes. Ainsi une large redondance d’informations est repérée

(32)

1.4. Conclusion 11

entre bandes spectrales adjacentes et un manque f’information existe dans d’autre r´egions spectrales. Ceci soul`eve la question de pertinence-redondance des attributs (bandes).

La réduction de la dimensionnalité des IHS devient alors un prétraitement inévitable pour la classification des images hyperspectrales [Huang 2009]. Ce prétraitement englobe aussi bien les techniques d’extraction de données que la sélection d’attributs proprement dite. Réduire efficacement la quantité de données ou sélectionner les bandes pertinentes associées à une application particulière est une tâche prioritaire pour l’analyse d’images hyperspectrales [Hwang 2009]. Cepen-dant, les approches d’identification des attributs des images hyperspectrales ne sont pas satisfaisantes dans la majorité des cas.

1.4 Conclusion

Dans ce chapitre, nous avons présenté les images hyperspectrales et leurs propriétés dans le cadre de classification de scènes complexes. C’est une tech-nologie riche en terme d’applications pluridisciplinaires. Mais elle présente des problématiques liées à l’acquisition et au traitement des images.

Dans le cadre de cette thèse, nous nous intéressons plus particulièrement à l’as-pect traitement de données. Deux problématiques sont traitées : comment éliminer la redondance des bandes (attributs) et comment sélectionner ou extraire les bandes pertinentes. Notre objectif de la thèse est de proposer des approches permettant en particulier, de traiter la réduction de dimensionnalité des images hyperspectrales par sélection d’attributs utilisant l’information mutuelle, et en tenant compte du compromis redondance-pertinence.

(33)

(34)

Chapitre 2

Plateforme g´

en´

erique de

r´

eduction de dimensionnalit´

e

des images hyperspectrales

Sommaire

2.1 Généralité sur la classification des images hyperspectrales. 13 2.1.1 Notion de pertinence des attributs . . . 14 2.2 Méthodes de réduction de dimensionnalité . . . 15

2.2.1 Catégorisation des méthodes de réduction de dimensionnalité selon le processus de génération des attributs . . . 15 2.2.2 Catégorisation des méthodes de réduction de dimensionnalité

selon leur dépendance de l’étape de classification . . . 22 2.3 Schéma de synthèse . . . 25 2.4 Conclusion . . . 28

En traitement des images hyperspectrales, nous sommes confrontés aux grandes quantités d’informations. La problématique est de réduire la dimensionnalité de ces images hyperspectrales. Dans la littérature plusieurs schémas ont été développés comme les stratégies Filtre, Wrapper, hybrides etc. Dans ce chapitre, nous discutons ces shémas afin d’en extraire une plateforme générique d’analyse et de synhtèse des applications de réduction de dimensionnalité des images hyperspectrales.

2.1 G´

en´

eralit´

e sur la classification des images

hyper-spectrales

Dans la littérature, pour résoudre le problème de classification, deux approches principales ont été proposées : la classification supervisée et celle non supervisées [Tyagi 2008]. Les techniques de classification supervisées sont des méthodes qui nécessitent la disponibilité d’un sous ensemble de données déjà classifiées (ici une partie de la carte vérité terrain) qui sert pour l’apprentissage du classifieur. Elles exploitent l’information incluse dans l’ensemble d’apprentissage.

(35)

14

Chapitre 2. Plateforme générique de réduction de dimensionnalité des images hyperspectrales effectuent une classification en considérant seulement l’information qui est conte-nue dans les données à classifier, sans apprentissage. En général, les méthodes supervisées offrent une plus grande précision par rapport à celles non supervisées. Cependant, dans de nombreuses applications, l’information d’apprentissage n’est pas disponible, ou la collecte d’information de vérité de terrain est un processus complexe et coûteux. Dans ces cas, il est obligatoire d’adopter des algorithmes non supervisés.

2.1.1 Notion de pertinence des attributs

John, Kohavi et Pfleger [George 1994] ont abordé le problème d’attributs non pertinents et le problème de sélection des sous-ensembles en présentant les définitions de deux types de pertinence : faible et forte.

Kohavi [Kohavi 1997] a largement étudié la relation de la pertinence en utilisant des algorithmes wrapper et Filtre. Gennari [Gennari 1989] stipule qu’un attribut est pertinent si la connaissance de sa valeur peut changer l’estimation de la classe. Gearge [George 1994] ajoute que l’attribut est pertient si la probabilité de la classe, ´

etant donn´e tous les attributs, peut changer lorsqu’on ´ellimine l’information qu’il apporte.

La pertinence est dite faible dans le sens où la supression de l’attribut concerné ne se fait pas sans dégradation de la précision de prédiction : donc il contribut à la prédiction de la classe.

La majorité des problèmes de classification des objets réels exigent un appren-tissage supervisé où les probabilités des classes et la probabilité conditionnelle des classes ne sont pas connues, et chaque instance est associée à une étiquette de classe. Dans ces situations réelles, les attributs pertinents sont souvent inconnues `

a priori. Par conséquent, de nombreux attributs candidats sont introduits afin de mieux représenter le domaine. Malheureusement, beaucoup d’entre eux sont partiellement ou complètement non pertinents ou redondants. Un attribut non pertinent n’affecte pas positivement la précision de classification, et un attribut redondant n’ajoute rien de nouveau au résultat de classification précédant. Dans de nombreuses applications, tel que la télédéction par image hyperspectrale, la taille des données est si grande que l’apprentissage peut ne pas fonctionner aussi bien avant de retirer ces attributs indésirables. Réduire le nombre d’at-tributs inutiles ou redondants réduit considérablement le temps d’exécution

(36)

2.2. Méthodes de réduction de dimensionnalité 15

d’un algorithme d’apprentissage. L’objectif des m´ethodes de s´election d’attributs est de choisir un sous-ensemble d’attributs qui sont pertinents pour la classification.

Nous pouvons noter ici que [Wang 1997] utilise deux axiomes pour caractériser la sélection des attributs. L’axiome suffisant : le sous-ensemble d’attributs choisis doit être capable de reproduire les exemples d’apprentissage sans perte d’informa-tion. L’axiome nécessaire est : ”la plus simple parmi les différentes alternatives est préférable pour la prédiction”.

2.2 M´

ethodes de r´

eduction de dimensionnalit´

e

La réduction de dimensionnalité consiste à utiliser des méthodes dites data-adaptives utilisant l’information à priori disponible, pour nous informer quelles variables sont manifestement pertinentes ou non pour la classification [Hand 2001,Huges 1968].

2.2.1 Catégorisation des méthodes de réduction de dimensionna-lité selon le processus de génération des attributs

Vu du côté génération d’attributs [Sarhrouni 2013a], les méthodes de réduction de dimensionnalité peuvent être réparties en trois grandes classes :

1. Celle qui réalisent la réduction par transformation des vecteurs des donnés, ce qui donne l’extraction d’attributs,

2. Ou sans transformation de vecteur de donn´ees, ce qui est une s´election d’at-tributs,

3. Ou bien une s´election suivie d’extraction d’attributs.

2.2.1.1 Réduction de dimensionnalité par sélection d’attributs

La sélection d’attributs est définie par de nombreux auteurs sous des angles différents. Mais, ces définitions sont similaires dans l’intuition et / ou le contenu. La liste suivante énumère celles qui sont conceptuellement différentes et couvrent un éventail de définitions, voir [Dash 1997].

1. Idéalisée : trouver le sous-ensemble d’attributs de taille minimale qui est nécessaire et suffisant à la classification des classes [éra 1992].

(37)

16

Chapitre 2. Plateforme générique de réduction de dimensionnalité des images hyperspectrales

2. Classique : sélectionner un sous-ensemble de M attributs à partir d’un ensemble de taille N , tel que M < N , de telle sorte que la valeur d’une fonction de critère est optimisée sur l’ensemble des sous-ensembles de taille M [Narendra 1977].

3. Amélioration de la précision de prédiction : le but de la sélection est de choi-sir un sous-ensemble d’attributs pour améliorer la précision de prédiction, ou en diminuer la taille de la structure sans diminution significative de la précision calculée par classifieur construit en utilisant uniquement les attri-buts sélectionnées [éra 1992].

4. Approximation de distribution originale des classes : l’objectif de la sélection des attributs est de trouver le sous-ensemble minimal de telle sorte que la distribution (des classes) qui en résulte (et qui tient compte uniquement du sous ensemble concerné) soit aussi prôche que possible de la distributions originale des classes (qui tient compte de tous les attributs [éra 1992].

Les algorithmes de réduction de dimensionnalité comportent en générale quatre ´

etapes de base [Dash 1997] [Chen 2006] (figure 2.1) : 1. Une procédure de génération du candidat suivant,

2. Une fonction d’évaluation pour évaluer le sous ensemble présent, 3. Un critère d’arrêt pour décider quand arrêter la recherche,

4. Une proc´edure de validation, pour d´ecider de retenir le sous ensemble ou l’abondonner.

Figure 2.1 – Processus de sélection d’attributs avec validation [Dash 1997] La recherche du meilleur sous ensemble peut être améliorée en utilisant cer-taines hypothèses sur la fonction d’évaluation. L’hypothèse la plus utilisé est ”mo-notonicité”. Idéalement, si N est le nombre de bandes, les méthodes de sélection

(38)

d’attributs cherchent parmi les 2N − 1 sous-ensembles d’attributs (bandes), celui qui optimise une certaine fonction d’évaluation. D’autres méthodes basées sur des recherches heuristiques ou aléatoires tentent de réduire la complexité de calcul en compromettant les performances. Ces méthodes ont besoin d’un critère d’arrêt pour ´

eviter une recherche exhaustive de sous-ensembles.

2.2.1.2 R´eduction de dimensionnalit´e par extraction d’attributs

Celle approche consiste à réduire la dimensionalité d’attributs par la T ransf ormation des données en projettant l’espace original sur un sous-espace de dimension inférieur qui préserve l’essentiel de l’information. L’idée ici, est de trans-former les mesures, par des fonctions linéaires ou non liéaires, dans une étape de prétraitement, ce qui entraine en générale un ensemble réduit, de variables dérivées utilisées comme entrées d’un classifieur [Raymer 2000].

Figure 2.2 – Processus d’extraction d’attributs , le feedback correspond `a la re-cherche it´erative [Raymer 2000]

Ces méthodes présentent l’inconvénient de ne pas être forcément bien adaptées `

a l’objectif global d’am´eliorer les performances de classification, bien que leurs ap-plications sont int´eressantes [Hand 2001].

Parmi les exemples de cette approche on peut citer l’analyse en composantes principales (dans lequel nous essayons de trouver les directions dans l’espace d’entrée qui ont le plus de variance, la poursuite de projection dans lequel un algorithme recherche des projections linéaires intéressantes, les techniques connexes telles que l’analyse factorielle et les l’analyse les composants indépendantes.

2.2.1.3 Critique des cat´egorisation par s´election et par extraction d’at-tributs

D’après les définitions de la sélection citées, les processus décrits sont des algorithmes complets de réduction de dimensionnalités : on définit la sélection et

(39)

18

le processus de sélection tout en présentant un processus de réduction. En ce qui nous concerne, nous décrirons les termes ”sélection” et ”extraction” en tant que réalisation particulière de la fonction ”génération” des sous ensembles. Donc nous décrirons, dans les paragraphes suivant, les quatres étapes du schéma de Dash [Dash 1997] pour la réduction de dimensionnalité [Sarhrouni 2013a].

Comme l’indique la figure 2.3, le schéma de la sélection suivi de d’extraction se réduit à une sélection si la transformation est unitaire, et on aura une extrac-tion d’attributs si la sélection reproduit tous les vecteurs d’entrée. Notons aussi que le noyau de la sélection peut être ”un algorithme qui est une procédure bien définie qui prend des données en entrée et produit en sortie des modèles (”pat-terns”)” [Hand 2001]. Une procédure bien définie veut dire qu’elle peut être codée précisément sous forme de suite finie de règles, et elle doit se terminer après un nombre fini d’étapes. Un algorithme bien formé occupe tout le rectangle. Comme il peut être une méthode nécessitant d’être insérée dans un algorithme et qu’elle n’occupera pas tout l’aire du réctangle, car une méthode de calcul ne possède pas de garantie qu’elle se termine en nombre finie d’itérations (par exemple la technique de recherche ”steepest descent” est une méthode de calcul qui n’est pas, en elle même, un algorithme). De même pour la transformation linéaire ou non qui permet de réaliser l’extraction [Sarhrouni 2013a].

Figure 2.3 – Schéma de la génération des attributs, [Sarhrouni 2013a]

2.2.1.4 Synthèse des étapes de réduction de dimensionnalité

Nous réservons le terme ”sélection” pour la fonction ”génération” de sous en-semble, au même ordre que le terme ”extraction”. En reprenant l’idée des quatre ´

etapes de Dash [Dash 1997], nous avons le schéma globale de la réduction de di-mensionnalité figure, 2.4, [Sarhrouni 2013a].

(40)

extrac-2.2. Méthodes de réduction de dimensionnalité 19

tion ou s´election suivie d’extraction.

2. Une fonction d’évaluation pour évaluer le sous ensemble présent 3. Un critère d’arrêt pour décider quand arrêter la recherche

4. Une proc´edure de validation, pour d´ecider de retenir le sous ensemble ou l’abandonner.

Figure 2.4 – Réduction de dimensionnalité en quatre étapes, [Sarhrouni 2013a]. Notons ici que le noyau du bloc de génération peut être réalisé de deux fa¸cons : un algorithme indépendant qui occupe tout le bloc, ou une méthode qui a besoin d’être insérée dans un algorithme. D’autre part, relativement à l’extraction d’attributs, la sélection de variables est plus simple et directe, et l’ensemble résultant de la réduction d’attributs est plus facile à interpréter.

1. Procédures de génération

Dans la littérature, plusieurs approches sous-optimales pour la sélection des attributs ont été proposées. Nous allons présenter un brèf inventaire des procédures de génération des sous ensembles d’attributs, indépendament de leurs appartenance en sélection ou en extraction.

– Les Méthodes Séquentilles : sélection séquentielle ”Forward” (SFS), sélection séquentielle ”Backward” (SBS), SFFS et SBFS [Jain 1997,

Pudil 1993,Hand 2001,Somol 1999,Pudil 1994a,Pudil 1994b,Ferri 1994] ; – La Rechechre Génétique : Jamshidpour [Jamshidpour 2010] utilise un algorithme génétique en complément d’un filtre pour la sélection des bandes hyperspectrales ; [Hand 2001, Inza 2001, Kim 2000, Raymer 2000,

Kudo 2000] ;

– La m´ethode Steepest Ascent :[Serpico 2001, Ughade 2011, Mir´o ,

(41)

20

– L’Analyse en Composantes Ind´ependantes (ACI) : [Hyv¨arinen 2000,

Mura 2011,Bayliss 1997, Hyvarinen 1999, Comon 1994, Hyvarinen 2001b,

Cardoso 1999,Cardoso 1997,Pearlmutte 1996,Linsker 1992,Barlow 1961,

Lee 2000,Jouteau 2003,Hyvarinen 2001a,Jimenez 95,Jones 1987] ; – La méthode SVM : elle appartient à la famille des méthode à noyau qui

sont moins sensibles à la dimensionnalité des données et ont déjà montré de forte performance dans plusieurs application [Guo 2008], voir aussi : [Chang 2011,Hand 2001,A.Sung 1998] ;

– L’Analyse en Composantes Principales : Hwang [Hwang 2009] adopté la distance Bhattacharya et analyse en composantes principales (basé sur l’image transformée) pour la sélection des attributs en IHS. voir aussi :[Oja 95b, Hyvarinen 2001b, Hyvarinen 1999, Oja 95a, Jolliffe 1986,

Kendall 1975,Homayouni 2005] ;

– Les r´eseaux de neurones :[Novakovic 2011, Giacinto 2000, Teodoro 2010,

Bruzzone 1999,Huang 2009] ; 2. Fonctions d’´evaluation

L’une des plus importantes propriétés des modéles de prédiction est la précision de classification. Ainssi diverses mesures de précision ont été con¸cues. Ces mesures peuvent également être utilisées pour choisir entre les modèles ainssi que les valeurs des paramètres dans les modèles. Elles sont appellées des fonctions de score et sont des mesures de l’utilité informationnelle d’un sous ensemble [Hand 2001], et qui est atteignable sous la contrainte de mono-tonie de la fonction de score [Demir 2008].

Ben-Bassat [Ben-Bassat 1982] en présente trois catégories : La mesure d’infor-mation ou d’incertitude, mesures de distance, et les mesures de dépendance ; il suggère que les mesures de dépendance peuvent être répartis entre les deux premières catégories, ce que nous pouvons schématiser comme l’indique la Figure 2.5.

Doak [Doak 1992] divise les fonctions d’évaluation en trois catégories : les mesures des données intrinsèques, le taux d’erreur de classification, et le taux d’erreur estimé ou incrémental , où la troisième catégorie est une variante de la seconde catégorie. Les mesures des données intrinsèques comprennent la distance, l’entropie, et les mesures de la dépendance. Nous représentons cette catégorisation dans la Figure2.6.

Dash [Dash 1997] divise les fonctions d’évaluation en cinq catégories : la dis-tance, l’information (ou l’incertitude), la dépendance, la cohérence ou consis-tance, et le taux d’erreur du classifieur ; il définis ainsi :

(42)

Figure 2.5 – Les Cat´egories de fonctions d’´evaluation selon Ben-Bassat, [Ben-Bassat 1982])

Figure 2.6 – Les Cat´egories de fonctions d’´evaluation, Doak [Doak 1992])

divergence ou de discrimination. Par exemple la distance euclidienne, la distance Bhattacharya et Jeffries-Matusita (JM) [Hwang 2009].

(b) - Les mesures de l’information ou de gain d’information d’un attribut A est défini comme la différence entre l’incertitude à priori, et l’incertitude `

a post´eriori attendue en utilisant l’attribut A. Par exemple la mesure de l’entropie).

(43)

coef-22

ficient de corrélation et le Gain d’informations (GI) [Frank 2005]. Dash [Dash 1997] indique aussi que, toutes les méthodes basées sur les mesures de dépendances peuvent être divisées entre la mesure de l’information et la mesure de distance ; mais elles sont conceptuellement différentes [Ben-Bassat 1982].

(d) Les mesures de consistance : elles sont fortement li´ees aux donn´ees d’en-trainement.

(e) les mesures du taux d’erreur de classifieur ou wrapper, Leur niveau de précision est très élevé, bien que très coûteux en calcul.

3. Crit`eres d’arrˆet

Sans un critère d’arrêt approprié le processus de sélection peut diverger.Les critères d’arrêt basé sur la procédure de génération comprennent : (i) si un nombre prédéfini d’attributs est atteint, et (ii) si un nombre prédéfini d’itérations est atteint. Les critère d’arrêt basés sur la fonction d’évaluation peut être : (i) si l’addition (ou la suppression) d’un attribut ne produit pas un meilleur sous-ensemble, et (ii) si un sous-ensemble optimal selon une fonction d’évaluation est obtenu [Sarhrouni 2013a].

4. Proc´edures de validation

C’est généralement un classifieur tel que les réseaux de neurones, les kNN et le SVM, selon si la classification est supervisée ou non.

2.2.2 Catégorisation des méthodes de réduction de dimensionna-lité selon leur dépendance de l’étape de classification

Langley [Langley 1994] distingue les approche ”Filtre” et les approches ”Warp-per”. Les méthodes ”Filtre” sont indépendantes de l’algorithme d’induction, tandis que les méthodes ”Wrapper” utilisent l’algorithme d’induction comme la fonction d’évaluation.

Dans ce contexte on peut distinguer les méthodes de réduction de dimensionnalité selon [Sarhrouni 2013a] :

1. Qu’elles font appel aux classfieurs dans le processus d’évaluation des sous ensembles, c’est à dire stratégie wrapper ;

2. ou elles font appel à une production d’estimation de la classe (vérité de terrain) par une autre fa¸con que le classfieur utilisé dans l’étape de Validation ; 3. ou bien elles ne font appel à aucun classifieur dans l’évaluation des sous

(44)

2.2.2.1 Strat´egie filtre

L’inconvénient majeur de cet approche est qu’elle ne tient pas compte totalement de l’effet des attributs sélectionnés sur les performances de l’algorithme d’induction. La figure 2.7 décrit le modèle de sélection des attributs qualifié de Filtre (Filter approach) qui caractérise ces algorithmes.

Figure 2.7 – Le modèel filtre dans lequel les attributs sont filtrés indépendement de l’algorithme d’induction selon George [George 1994]

2.2.2.2 Strat´egie wrapper

Dans le modèel dit ”wrapper”, l’algorithme d’induction lui même est utilisé pour décider sur la pertinence d’un attribut. Cet approche consiste à utiliser le classificateur comme une ”boˆıte noire” et d’avoir une boucle externe (ou wrapper) qui ajoute et soustrait systématiquement les attributs à l’ensemble actuel. Chaque sous-ensemble étant évalué sur la base des performances du modèle de classification produit. George [George 1994] indique ce processus selon le schéma de la figure2.8.

Figure 2.8 – Dans le modèle wrapper, l’algorithme d’induction est utilisé comme boˆıte noire par l’algorithme de sélection [George 1994].

(45)

24

2.2.2.3 Strat´egie hybride

Nous précisons ici que Chen [Chen 2006] propose une combinaison Hybride Filtre-Wrapper pour la sélection d’attributs. Jamshidpour [Jamshidpour 2010] réalise une combinaison des deux stratégies pour la sélection des bandes hyperspec-trales, le segment Wrapper de son modèle est constitué d’un algorithme génétique. 2.2.2.4 Stratégie embarquée

C’est une approche qui intègre la sélection des attributs dans le classifieur de vali-dation. Elle s’appèlle aussi l’approche intégrée. Ainssi Guo [Guo 2005], par exemple, module le noyau du classifieur SVM par l’information mutuelle des bandes dans un schéma de classification des IHS.

2.2.2.5 Critique des deux strat´egies filtre et wrapper

Nous remarquons, d’après leurs schémas, que la stratégie wrapper diffère de stratégie filtre par la présence d’une boucle qui utilise le ”même” algorithme d’induction (de classification) pour renseigner la génération d’attributs sur la pertinence d’un sous ensemble d’attributs candidats. Cependant, il existe dans la litérature des modèles utilisant des approximations de la classe (la vérité de terrain) sans utiliser l’algorithme d’induction. Sarhrouni et al. [Sarhrouni 2012d] utilisent un moyennage approximation de la vérité de terrain pour la réduction de dimensionnalité et la classification des images hyperspectrales. Demir [Demir 2008] utilise une troisième stratégie dite”groupement d’attributs” ; elle consiste à rem-placer un sous ensemble d’attributs qui sont fortement corrélés par leur moyenne. Nous considérons que c’est une forme d’extracion de données, [Ahmad 2011]. Aussi Aymen [Ayman 2012] utilise le calcul de cross-correlation entre bandes spectrales pour regrouper les bandes ayant une redondance spectral. Guo [Guo 2006] utilise aussi la moyenne (qui est un regroupement d’attributs) de certaines bandes comme approximation de la vérité de terrain [Sarhrouni 2013a], [George 1994]. Nous proposons, par la suite, une généralisation dite ”Stratégie Mixte Filtre-Wrapper”, [Sarhrouni 2013a].

2.2.2.6 Strat´egie mixte filtre-wrapper

Nous proposons ici de tenir compte du fait que l’algorithme d’induction lui même n’est pas utilisé pour décider quant à la pertinence d’un attribut. Nous ajoutons qu’il faut considérer le degrès d’appartenance d’une méthode quelconque à chacunes des deux stratégies Filtre et Wrapper. Par exemple si le ”feedfack”, est réalisé par la