Analyses quantitative et qualitative

Parmi les règles de fusion de type logique floue, les opérateurs "Minimum" et "Compromis" ont donné les meilleures performances, tandis que l’opérateur "Maximum" est souvent affecté par des erreurs de classifi- cation, dues à sa dépendance de la probabilité d’appartenance la plus élevée (i.e. la confiance est attribuée systématiquement à la probabilité d’appartenance la plus élevée). Les règles basées sur la priorité (i.e., donner une priorité à l’une des sources), permettent de favoriser une source par rapport à une autre, mais tendent à donner des résultats biaisés si cette priorité est donnée à une source peu fiable. Des règles intégrant la précision de la classification, permettent d’introduire la précision statistique des classifieurs dans le processus de fusion mais dépendent de la disponibilité d’une vérité de terrain de qualité, ce qui reste souvent probléma- tique pour ces problèmes où l’on souhaite des nomenclatures plus fines que l’existant. Ces règles ont donné des résultats encourageants sur Pavie, les résultats sur Toulouse étant en retrait. Les règles d’inspiration bayésiennes utilisant les opérateurs de Somme et de Produit ont fourni des résultats acceptables pour les trois jeux de données utilisés. Ces règles seront plutôt conseillées lorsque les sources sont peu conflictuelles. Des règles basées sur la Marge statistique des classifieurs ont été proposées : leurs performances sont correctes pour Pavie Centre et Toulouse, mais moins bonnes sur Pavie Université. Enfin, les règles fondées sur le formalisme de Dempster-Shafer ont présenté des performances homogènes et correctes sur les trois jeux de données. Pour ces dernières, différentes manières de calculer les masses associées aux classes composées ont été proposées et testées.

Des exemples de résultats obtenus sur Toulouse sont présentés ci-dessous. Le classifieur utilisé ici pour classer les images multispectrales et hyperspectrales est un SVM à noyau gaussien. Plusieurs méthodes de fusion donnent de bons résultats ; de bons résultats (présentés sur la figure 7.c) ont été obtenus ici par la règle floue du "Compromis", avec une précision globale de 73,5%, tandis que les précisions globales des classifications des images HS et MS avant fusion étaient respectivement de 71,2% et 69,2% (Fig 7.a-b). La régularisation améliore ensuite le résultat (précision globale = 74,6%) notamment dans les zones les plus incertaines en lissant davantage la classification finale (Fig 7.d). Qualitativement, la fusion corrige certaines erreurs de classification de l’image MS et rend visibles certaines petites structures qui n’apparaissaient pas dans la classification de l’image HS. Plus généralement, la forme des objets est mieux restituée et rend le résultat plus facile à interpréter.

Il n’a pas été facile de départager les règles de fusion utilisées, la performance étant dépendante de plusieurs facteurs relatifs aux données et à la construction même de ces règles. Nous retenons tout de même que les

ANR HYEP Systèmes urbains durables (DS0601) – 2014

(a) (b) (c) (d)

Figure 7: Exemples de résultats pour le jeu de données Toulouse ; a) classification SVM d’une image hyperspectrale de résolution spatiale dégradée, b) classification SVM d’une image multispectrale à très haute résolution spatiale, c) classification issue de la fusion par la règle "Compromis", d) classification finale à l’issue de la régularisation globale.

2.5.5 Perspectives

Il serait intéressant d’intégrer directement dans le modèle de régularisation une gestion explicite du conflit entre source. Il s’agirait alors de donner dans le terme de régularisation (terme d’a priori) plus d’influence aux pixels sur lesquels le conflit est faible. Le premier modèle de régularisation [Hervieu et al. 2016] proposait une solution dans ce sens, mais c’était la probabilité d’appartenance aux classes selon une source et non le conflit entre sources qui était alors pris en compte.

L’approche proposée est une approche de fusion tardive. Ce type d’approche a été retenu car permet- tant d’exploiter des résultats de traitements spécifiques à chaque source de données (classifieurs différents, démélange). Pour le moment, elle n’a toutefois été ici mise en œuvre que sur des probabilités d’appartenance aux classes issues de classification supervisée (SVM à noyau gaussien). Il serait donc intéressant, pour le traitement de la donnée HS avant fusion, de se tourner vers les méthodes de démélange au lieu de la classifica- tion, les cartes d’abondance générées par le démélange étant utilisées par la suite dans le processus de fusion. On notera également que la méthode proposée a été mise en œuvre pour une problématique différente sur d’autres données, à savoir des séries temporelles issue du satellite Sentinel-2 (richesse temporelle et spectrale) et des images mono-date SPOT-6 (MS THR).

Enfin, une meilleure gestion des ombres serait également à envisager. En effet, les ombres sont une cause importante d’erreurs, en particulier lorsque les deux images n’ont pas été acquises simultanément. Leur détection précise voire leur correction dans les données originale permettrait de régler ce problème. Des travaux dans ce sens étant réalisés dans le cadre du WP1, cette question n’a pas été abordée ici.

ANR HYEP Systèmes urbains durables (DS0601) – 2014

2.3 Références

2.3.1 Papiers majeurs avant HYEP

1. J.A. Benediktsson, and I. Kanellopoulos, "Decision fusion methods in classification of multisource and hyperdimensional data", IEEE Transactions on Geoscience and Remote Sensing, vol. 37(3), pp.1367- 1377, 1999.

2. X. Ceamanos, B. Waske, J.A. Benediktsson, J. Chanussot, M. Fauvel, and J.R. Sveinsson, "A classifier ensemble based on fusion of Support Vector Machines for classifying hyperspectral data", International Journal of Image and Data Fusion, vol. 1(4), pp.293-307, 2010.

3. M. Fauvel, J. Chanussot, and J.A. Benediktsson, "Decision fusion for the classification of urban remote sensing images", IEEE Transactions on Geoscience and Remote Sensing, vol. 44(10), pp. 2828-2838, 2006.

4. A. Mohammad-Djafari, "A Bayesian approach for data and image fusion", in Proc. American Institute of Physics Conference, 659:386-408, 2003.

5. B. Waske, and J.A. Benediktsson, "Fusion of support vector machines for classification of multisensor data", IEEE Transactions in Geoscience and Remote Sensing, vol. 45(12), pp.3858-3866, 2007.

2.3.2 Papiers publiés hors HYEP par la communauté pendant la période 2014-2018

1. B. Abbasi, H. Arefi, B. Bigdeli, M. Motagh, and S. Roessner, "Fusion of Hyperspectral and LiDAR Data Based on Dimension Reduction and Maximum Likelihood", The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume XL-7/W3, 2015.

2. Z. Ye, L. Bai, and Y. Nian, "Decision fusion for hyperspectral image classification based on multiple features and locality-preserving analysis", European Journal of Remote Sensing, vol. 50(1), pp.166-178, 2017.

3. G.D. Stavrakoudis, E. Dragozi, Z.I. Gitas, and G.C. Karydas, "Decision Fusion Based on Hyperspectral and Multispectral Satellite Imagery for Accurate Forest Species Mapping", Remote Sensing, vol. 6(8), 2014.

4. S. Paisitkriangkrai, J. Sherrah, P. Janney, and A. Van-Den Hengel, "Effective semantic pixel labelling with convolutional networks and Conditional Random Fields", in Proc. IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2015.

2.3.3 Papiers publiés par HYEP

1. L. Loncan, L. B. Almeida, J. M. Bioucas-Dias, X. Briottet, J. Chanussot, N. Dobigeon, S. Fabre, W. Liao, G. Licciardi, M. Simoes, J-Y. Tourneret, M. Veganzones, G. Vivone, Q. Wei and N. Yokoya, "Hyperspectral pansharpening: a review," IEEE Geoscience and Remote Sensing Magazine vol. 3(3), 2015.

2. A. Hervieu, A. Le Bris, and C. Mallet, "Fusion of hyperspectral and VHR multispectral image classi- fications in urban areas", ISPRS Annals of Photogrammetry, Remote Sensing and Spatial Information Sciences, vol.III(3):457-464, 2016.

W. Ouerghemmi, A. Le Bris, N. Chehata, and C. Mallet, "A two-step decision fusion strategy: ap- plication to hyperspectral and multispectral images for urban classification", International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, XLII(1/W1):167-174, 2017.

ANR HYEP Systèmes urbains durables (DS0601) – 2014

3 Méthode de fusion d’images panchromatique et

hyperspectrale

Laëtitia Loncan, Sophie Fabre, Jocelyn Chanussot, Xavier Briottet

GIPSA-Lab ONERA

3.1 Résumé

Ce poste visait à fusionner une image hyperspectrale (haute résolution spectrale, mais faible résolution spatiale, de art les caractéristiques de l’instrument) avec une image panchromatique (très haute résolution spatiale, mais aucune diversité spectrale) afin de générer une image hyperspectrale possédant une très haute résolution spatiale. Ce problème, classique dans le cadre de la fusion d’une image multispectrale et d’une image panchromatique (appelé pansharpening) été étendu aux images hyperspectrales dans le cadre de la thèse de Laetitia Loncan financée par l’ONERA et la DGA et co- encadrée par X. Briottet, S. Fabre (ONERA) et J. Chanussot (GIPSA-Lab). Un état de l’art a été effectué et un article de synthèse publié dans le IEEE Geoscience and Remote Sensing Magazine. Cet article est accompagné d’une toolbox développée en langage Matlab mise à disposition de la communauté : http://openremotesensing.net/knowledgebase/hyperspectral- pansharpening-a-review/ Une méthode originale de fusion basée sur le démélange spectral de chaque pixel hyperspectral, puis générant une image de synthèse à très haute résolution en guidant la répartition spa- tiale sub-pixellique des abondances obtenues avec l’image panchromatique a été proposée et publiée (IEEE WHISPERS 2015).

3.2 Synthèse technique

3.2.1 Verrou technique

La majorité des méthodes de fusion de type « pansharpening » ont été appliquées sur des images panchro- matique et multispectrales. Leur extension à de l’imagerie hyperspectrale doit être évaluée en levant les verrous suivants : Quel est le comportement de ces méthodes en imagerie hyperspectrale ayant un domaine spectral étendu (0,4-2,5 µm) au lieu du domaine classiquement utilisé (0,4-0,8 µm)? Quelles performances attendre en fonction du type de paysage ? Quelles performances sont atteintes en fonction du rapport des résolutions spatiales des images en entrée de la fusion ?

3.2.2 Méthode proposée

Le travail s’est déroulé en deux étapes : une étape ayant pour but de comparer les performances de méthodes de fusion de l’état de l’art, d’identifier leurs limitations en les appliquant sur des images synthétiques et réelles. La deuxième étape avait pour but de proposer une nouvelle méthode. La comparaison des méthodes de l’état de l’art a fait l’objet d’une publication. A partir d’une synthèse bibliographique, les méthodes suivantes ont été sélectionnées pour être évaluées :

Classe des méthodes par substitution (CS) qui ont pour principe de préserver l’information spatiale mais introduisent des distorsions spectrales : GSA (Gram Schmidt Adaptative),

Classe des méthodes d’analyse multirésolution (MRA) : MTF GLP HPM (Modulation Transfert Func- tion Generalized Laplacian Pyramid with High Pass Filter),

•

•

ANR HYEP Systèmes urbains durables (DS0601) – 2014 Cette comparaison conduit à une identification des limitations de chaque méthode et a permis de mettre en place une nouvelle méthode basée sur le schéma général suivant :

• Une première étape vise à identifier les pixels mixtes et les pixels purs dans l’image hyperspectrale, • Un algorithme de démélange spectral est appliqué sur les pixels mixtes,

Pour les pixels purs, l’image finale est synthétisée en dupliquant les valeurs hyperspectrales pour chaque sub-pixel (partage des pixels originaux en 3x3, ou 5x5 petits pixels, à la même résolution que l’image panchromatique) après application d’un gain permettant d’adapter chaque pixel à l’intensité lumineuse correspondante telle que mesurée sur l’image panchromatique,

Pour les pixels mixtes, les abondances observées sont quantifiées afin de pouvoir être distribuées sur l’ensemble des sub-pixels. L’affectation se fait selon un critère de minimisation de l’écart entre l’intensité correspondante et celle mesurée sur l’image panchromatique. A nouveau une correction de gain est appliquée en dernière étape.