Contexte

4.3.3 Expérimentations . . . 108

CHAPITRE 4. LA FUSION D’IMAGES OPTIQUES

4.1 Pourquoi fusionner ?

La fusion a pour but d’exploiter le maximum de potentiel de plusieurs capteurs ou plusieurs

bandes imageant la même zone. Cet objectif, très large, peut être résumé de la façon suivante :

obtenir la meilleure résolution spatiale avec la meilleure résolution spectrale. Nous avons pu voir

précédemment que ces deux propriétés sont intrinsèquement liées aux caractéristiques

d’acqui-sition du capteur. Au-delà du compromis de la résolution spatiale versus le temps de retour, nous

trouvons également un compromis sur la résolution spatiale versus la réponse spectrale du

cap-teur.

Cette problématique liée à la résolution spectrale est parfaitement identifiable sur des

cap-teurs tels que MODIS ou Sentinel-2. Une partie des bandes disponibles ont une résolution spatiale

plus importante que l’autre, limitant les traitements utilisant l’ensemble des bandes disponibles à

la plus faible résolution spatiale. La fusion de ce type de données a brièvement été évoquée dans

le chapitre 3 pour le cas de MODImLAB. Cependant nous n’avons que rapidement parcouru les

avantages réels d’une telle approche.

Afin d’avoir un aperçu des avantages de la fusion, nous allons développer dans une première

partie un cas concret de résultat de fusion afin d’observer l’intérêt majeur de ce type d’approche.

Nous ne nous intéresserons ici qu’aux résultats de la fusion en passant rapidement sur les

mé-thodes. Ces dernières seront présentées en seconde partie de ce chapitre qui proposera également

une contribution importante dans ce domaine.

4.2 Un exemple d’application : l’observation de la neige via Sentinel-2

Nous avons vu dans les chapitres 2 et 3 que la résolution spatiale de l’observation satellite

uti-lisée pour la neige est primordiale pour appréhender au mieux les caractéristiques de celle-ci face

à sa variabilité spatiale en particulier en zone de montagne. Pour ce faire, les satellites Sentinel-2

A et B permettent une imagerie tous les 5 jours (en utilisant les deux satellites) avec une résolution

de 10 ou 20 m selon la bande spectrale.

Des produits neige de type binaire existent déjà pour ces satellites. Basées sur le seuillage du

NDSI, les méthodes telles que celles proposées par le CESBIO au travers des produits Théia

uti-lisent les bandes 3, 8 et 11 . La bande 3 correspondant aux longueurs d’ondes du vert, elle est

naturellement plus énergétique et permet d’être acquise avec une résolution spatiale de 10 m. La

bande 8 correspondant au rouge est acquise dans des conditions comparables. Ce n’est cependant

pas le cas de la bande 11, correspondant au SWIR, qui est acquise à une résolution spatiale de 20

m. Le produit neige est par conséquent distribué à une résolution de 20 m.

L’ensemble des bandes étant acquis en quasi simultané, elles imagent exactement les mêmes

zones. Similairement à ce qui a pu être fait pour MODIS, il est envisageable de fusionner ensemble

la totalité de ces bandes afin d’obtenir un produit final à 10 bandes avec une résolution spatiale

de 10 m. Si dans le cadre de cette application l’ensemble des bandes ne nous intéresse pas

forcé-ment, cela permettra au moins d’améliorer la résolution spatiale de la bande 11 et de permettre la

production d’un produit neige à 10 m.

CHAPITRE 4. LA FUSION D’IMAGES OPTIQUES

4.2.1 Méthode

L’estimation des surfaces couvertes de neige est basée pour l’ensemble des cartes Sentinel-2

sur l’algorithme Let-it-Snow. Introduit dans le chapitre 3, nous rappelons ici les principaux points.

Basé sur le seuillage du NDSI, il utilise en plus un seuillage sur les valeurs de la bande rouge (bande

8). Ce critère sur les réflectances dans le rouge est utilisé pour éviter la détection comme enneigé

de pixel correspondant à de l’eau (rivières, lacs). Un premier passage est fait sur l’ensemble des

pixels avec un premier seuillage qui évite toute fausse détection de neige afin de déterminer

l’alti-tude de la ligne de neige à partir d’un MNT. Un second passage avec des seuils plus fins, permettant

une meilleure détection des pixels mixés, est ensuite effectué sur l’ensemble des pixels ayant une

altitude supérieure à la ligne de neige. Le résultat de ces cartes est ainsi binaire, c’est-à-dire qu’un

pixel est considéré soit comme intégralement couvert de neige, soit comme complétement libre

de neige.

Considérant des cartes de neige à une résolution spatiale pouvant aller jusqu’à 10 m, nous

devons utiliser en référence des cartes avec une résolution au sol de l’ordre du mètre. Pour cela

nous utiliserons les données Pléiades Ortho-SAT disponibles à une résolution spatiale de 50cm.

Ces données sont obtenues à partir d’une image panchromatique à une résolution de 71 cm,

ré-échantillonnée par l’organisme fournissant les données à 50cm pour la praticité de cette grandeur.

Une acquisition multispectrale à 4 bandes dans le visible avec une résolution spatiale de 2.85 m

étant disponible en parallèle, ces données ont été fusionnées afin d’obtenir une image

multispec-trale à 50 cm. Ces bandes multispecmultispec-trales permettent un rendu couleur de l’image mais pas de

distinguer numériquement la neige via le NDSI en l’absence d’une bande SWIR. Nous utiliserons

par conséquent un seuillage simple des réflectances dans la bande bleu, suffisant pour distinguer

la neige des matériaux l’entourant après vérification visuelle (dans les zones sélectionnées, cette

méthode ne peut pas être généralisée).

Nous considérerons par la suite deux images Pléiade situées dans les Alpes pour la

vérifica-tion (Figure4.1). La première se situe dans le massif des Aiguilles rouges à proximité de la station

de l’Alpes D’Huez (nommée par la suite image Huez). Acquise le 22 septembre 2016 elle permet

d’observer une zone mixte où la neige et la roche se partagent l’espace. La seconde image est

acquise dans le Massif du Mont Blanc le 11 novembre 2016 sur une large zone permettant un

grand nombre de configurations d’enneigement. Ces images sont choisies pour leur acquisition

synchrone avec celle de Sentinel-2 (2 min d’écart pour la zone du Mont blanc par exemple). Ces

zones étant particulièrement grandes à la résolution de Pléiade, il a été choisi de se limiter à de

plus petites zones dans lesquelles nous pourrons valider visuellement l’ensemble des extractions

de neige. Nous avons ainsi sélectionné sur l’image Huez deux zones de 2km² avec des

caracté-ristiques de répartition de neige différente. Sur l’image Mont-Blanc nous avons sélectionné une

unique zone de 4km². Ces zones sont sélectionnées pour avoir une large majorité de pixels au

soleil et ainsi limiter les changements d’illumination. Nous ne nous intéressons dans cette partie

qu’aux avantages apportés par la fusion, les zones d’ombres étant limitantes pour détecter la neige

comme nous le verrons par la suite, les inclure n’ajouterait que des incertitudes à nos résultats.

La première zone (Figure4.2) présente majoritairement de grandes étendues de neige

cou-vrant des petits glaciers. Nous nous concentrerons particulièrement par la suite sur la zone

cen-trale de cette image qui présente à la fois des petits ilots de roches au milieu de la neige de tailles

différent (îlot de 20 m par 40 m et gros rochers isolés de taille inférieure à 10 m) et des patches

de neige isolés dans la zone rocheuse de taille inférieur à 15 m. La seconde zone (Figure4.3)

pré-sente un enneigement plus hétérogène, avec un grand nombre de rubans de neige type névé dont

la longueur est importante (plusieurs dizaines de mètres) mais avec une largeur beaucoup plus

faible, régulièrement inférieure à 10 m. Cette zone présente également un lac partiellement gelé.

La dernière zone (figure4.4) située sur l’image Mont-Blanc est un mix de ces deux premières zones

avec des reliefs prononcés et une répartition hétérogène de la neige. Cette zone a été préférée au

reste de l’image pour sa variabilité d’enneigement face au bassin du glacier du géant, bien illuminé

mais quasiment intégralement recouvert de neige.

CHAPITRE 4. LA FUSION D’IMAGES OPTIQUES

CHAPITRE 4. LA FUSION D’IMAGES OPTIQUES

CHAPITRE 4. LA FUSION D’IMAGES OPTIQUES

haute résolution spatiale disponible, soit 0.5 m. Le produit d’origine (appelé Source par la suite),

le produit issu de la fusion ATPRK (nommé ATPRK) et les trois produits binaires sont interpolés

en utilisant la méthode des plus proches voisins pour obtenir des cartes à 0.5 m comparables avec

les données pléiades. Le RMSE n’ayant pas de sens avec ces données binaires, nous utilisons les

métriques binaires mais surtout la métrique de contour ASSD définie dans le chapitre 2. Cette

métrique est la plus susceptible de montrer une forte évolution vue que la précision du contour

dépend directement de la résolution spatiale.

4.2.2 Résultats

T

ABLEAU

4.1 – Résultat des métriques dans les différentes zones pour les différentes approches testées. Aux

métriques précédemment évoqués est rajouté la surestimation de la surface de neige (Surf. sur.)

Metric ASSD Surf. sur. Precision Recall Accuracy F

score

Huez Zone 1

Source 40.96 13.25% 0.847 0.960 0.866 0.900

S2

near est

32.06 10.53% 0.858 0.949 0.870 0.901

S2

bi l i near

32.18 10.80% 0.857 0.949 0.869 0.901

S2

bi cubi c

32.13 10.72% 0.857 0.949 0.869 0.901

ATPRK 29.02 10.56% 0.869 0.960 0.884 0.912

Huez Zone 2

Source 31.88 6.46% 0.773 0.823 0.881 0.797

S2

near est

18.83 1.52% 0.754 0.765 0.863 0.759

S2

bi l i near

18.85 1.74% 0.752 0.765 0.862 0.759

S2

bi cubi c

18.90 1.69% 0.753 0.766 0.862 0.759

ATPRK 15.04 8.93% 0.755 0.822 0.874 0.787

MtBlanc

Source 50.53 20.40% 0.783 0.943 0.791 0.855

S2

near est

28.36 16.85% 0.790 0.923 0.788 0.851

S2

_{bi l i near}

28.27 16.97% 0.789 0.923 0.788 0.851

S2

bi cubi c

28.33 16.91% 0.753 0.923 0.788 0.851

ATPRK 29.00 16.99% 0.790 0.924 0.790 0.852

L’ensemble des résultats étant difficilement visualisables, nous focaliserons l’interprétation de

ceux-ci sur des petites surfaces des zones 1 et 2 présentées en Figure4.5. On observe sur le centre

de la zone 1 que l’image sentinel-2 à 20 m ne permet pas de séparer les ilots rocheux de la neige

les entourant.

Nous pouvons observer sur la surface sélectionnée de la zone 1 (Figure 3 a) que l’îlot rocheux

est totalement interprété comme étant enneigé par le produit originel Théia à 20 m. Dans le cas du

produit interpolé et du produit fusionné, ce massif rocheux (27m par 33m au plus large) est

distin-gué des zones qui l’entourent. De même la ligne de neige dans la partie supérieure paraît mieux

définie par les produits à 10 m que par les produits à 20 m. Ce constat est conforté par la métrique

ASSD (Tableau4.1) qui montre un net avantage pour les approches à 10 m et plus

particulière-ment pour le produit fusionné avec une amélioration de 30% du score. Cet écart entre le produit

CHAPITRE 4. LA FUSION D’IMAGES OPTIQUES

F

IGURE

4.5 – Résultats visuels pour de petites surfaces d’intérêt des zones 1 et 2. En vert les pixels de neige

isolées par le produit Théia à 20 m, en rouge l’interpolation au plus proche voisin et en bleu la fusion ATPRK.

limitation à ce produit ATPRK, la zone du lac est partiellement isolée comme de la neige, ce qui

semble montrer une légère variation des valeurs de réflectance lors de la fusion sur cette zone à la

limite des seuils de neige.

Cette seconde zone montre également les limites de la haute résolution. Celles-ci se perçoivent

dans les résultats des métriques binaires. En effet les zones de neige en ruban sont partiellement

isolées par les cartes de présence de neige à 10 m. Cependant ces bandes étant de faible dimension

les pixels détectés comme neige peuvent « déborder » de la zone réellement enneigée et produire

des faux positifs. On peut également observer que ceux-ci ne sont pas tout à fait orientés

Est-Ouest ce qui ne les rend pas perpendiculaires à l’acquisition. Les pixels Sentinel-2 correspondant

ne peuvent alors résoudre la continuité en diagonale ni en horizontale, induisant de légers écarts

et par conséquent une diminution des métriques binaires. Pour contrer ces limitations il faudrait

alors travailler en fractionnel pour rendre au mieux les proportions tout en introduisant une forme

de flou dans la répartition spatiale. Ces métriques binaires étaient à l’avantage des cartes à 10 m

pour la première zone car celle-ci était plus homogène, ce qui était raccord avec la surestimation

des surfaces enneigées. Dans le cas de la zone 2 elle est difficile à estimer (certains effets se

com-pensant pour les approches basées sur l’interpolation) alors que pour la première zone l’avantage

est net pour les produits à 10 m en général.

La dernière zone (non représentée visuellement ici mais dans l’annexe correspondante) montre

des résultats intermédiaires. La zones étant constituée d’un mix entre les deux précédentes au

ni-veau de la répartition de la neige, on retrouve une métrique ASSD avantagée à 10 m (en léger

retrait cependant pour le produit fusionné par rapport aux produits interpolés) et des métriques

binaires à l’avantage du produit à 20 m. L’amélioration de l’estimation de la surface totale de neige

est cependant marquée .

4.2.3 Conclusion

A partir de ces résultats succincts, nous pouvons établir que la fusion a un intérêt notable

pour nos applications. Il est alors possible de développer deux grandes pistes de réflexion pour le

CHAPITRE 4. LA FUSION D’IMAGES OPTIQUES

développement de travaux.

La première est de travailler sur les produits neige de Sentinel-2. A partir des résultats

précé-demment cités, nous pouvons observer que la résolution à 10 m semble exploitable et légèrement

meilleure dans le cas du produit issu de la fusion par rapport à des produits simplistes.

Cepen-dant les seuils pourraient être modifiés (détection du lac dans la zone 2). De plus si nous

obser-vons la Figure4.5, nous pouvons observer qu’aucune des approches ne détecte la neige présente

à l’ombre, ce qui dénote une limitation majeure des algorithmes utilisés. A partir de ces constats,

nous pouvons envisager d’établir de nouvelles approches pour exploiter ces cartes, et notamment

l’ensemble de l’expertise apportée par le Chapitre 3sur le démélange pour produire des cartes

d’enneigement fractionnel à la résolution de 10 m. Celles-ci exploiteraient l’intégralité des

don-nées disponibles après fusion à 10 m. Elles nécessiteraient cependant une vérification et une

éva-luation multi-zones et multi-temporelles actuellement incompatibles avec les cartes de référence

disponibles.

Nous pouvons noter en second l’intérêt apporté par la fusion de ces données. Plus

générale-ment la fusion de données optiques est un large domaine de recherche, où les applications sont

nombreuses tout comme les limitations des modèles existants. Dans le but de pouvoir exploiter

l’ensemble des données disponibles, nous proposons de focaliser la suite de la recherche sur ces

méthodes de fusion afin de proposer un modèle permettant de fusionner l’ensemble des données

nous intéressant, sans limitations liées au type de capteur optique. Ce point sera développé dans

la seconde partie de ce chapitre.

4.3 Un nouveau modèle de fusion de données optiques

4.3.1 Contexte

La fusion de données optiques cherche à rassembler dans une image finale le meilleur des

caractéristiques des images sources. Naturellement trois grands types de fusion ont été explorés :

la fusion panchromatique-multispectral (PAN-MS), panchromatique hyperspectrale (PAN-HS) et

multispectral-hyperspectrale (MS-HS).

Dans les deux premiers cas, les images panchromatiques apportent une très haute résolution

spatiale mais ne permettent pas d’identifier précisément les composants de l’image. La fusion

avec des images multi ou hyper spectrales de plus faible résolution spatiale mais plus diversifiées

spectralement permet d’amener une coloration à l’image voire la possibilité d’identifier les

maté-riaux présents dans chaque pixel. Cette fusion s’appuie principalement sur le fait que l’acquisition

panchromatique intègre une large partie du spectre réflectif. Elle recouvre par conséquent les

ré-ponses spectrales des capteurs MS et HS permettant de considérer qu’une partie de l’information

est partagée, et donc exploitable pour améliorer la résolution spatiale.

Plus généralement cette hypothèse de recouvrement spectrale se généralise aux capteurs

MS-HS au travers d’un modèle d’observation qui permet d’exprimer l’image fusionnée en fonction

des deux images sources. Considérons une imageX∈R

λh×Lh

basse résolution spatiale (L

_h

pixels)

et haute résolution spectrale (λ

h

bandes spectrales) et une imageY∈R

λm×Lm

à plus haute

résolu-tion spatiale (L

m

>L

h

) et plus basse résolution spectrale (λ

m

<λ

h

). L’image fusionnéZest alors

CHAPITRE 4. LA FUSION D’IMAGES OPTIQUES

De nombreux algorithmes ont été développés pour résoudre ce modèle d’observation dans les

cas PAN-MS [Vivone et al.,2015], PAN-HS [Loncan et al.,2015] et HS-MS [Yokoya et al.,2017]. Ces

trois papiers permettent de présenter la large bibliographie et les différentes approches associées

à chacune de ces problématiques. Ils permettent également de pointer la principale limitation de

ces approches que sont les cas où le recouvrement spectral est partiel ou inexistant. Ces cas

cor-respondent particulièrement aux capteurs multispectraux (tels que les deux capteurs embarqués

sur Sentinel-2) mais peuvent être généralisés afin d’envisager la fusion entre des capteurs ayant

des caractéristiques différentes.

Nous allons dans la suite de ce chapitre proposer un nouveau modèle d’observation des

don-nées permettant de généraliser les cas précédemment cités. Associée à ce nouveau modèle nous

proposerons une approche de résolution permettant d’effectuer cette fusion. Nous présenterons

enfin un ensemble d’expérimentations sur des données synthétiques et réelles permettant de

dé-montrer la pertinence de cette formulation.

Dans le document Fusion de données de télédétection haute résolution pour le suivi de la neige (Page 112-122)