Présentation du concept

ARSIS est l’acronyme de « Amélioration de la Résolution Spatiale par Injection de Structures ». Le concept ARSIS a été développé de manière très générale, en ne faisant référence à aucun outil mathématique utilisé pour ses déclinaisons informatiques (Ranchin et Wald 2000). Le concept ARSIS suppose que l’information manquante de l’image multispectrale de basse résolution Bk1 est composée uniquement des informations de hautes fréquences spatiales. Il considère que ces informations peuvent être synthétisées à partir de l’ensemble des données disponibles à toutes les échelles et dans toutes les modalités. Il s’appuie sur les techniques multiéchelles (ou modèles multiéchelles, soit en anglais Multi-Scale Models ou MSM), pour modéliser puis injecter les hautes fréquences manquantes. Ces techniques font appel à des outils mathématiques tels que les espaces vectoriels et le filtrage numérique, qui permettent d’obtenir une description hiérarchique des structures spatiales d’une image (Ranchin et Wald 1992).

En traitement d’image, les décompositions hiérarchiques ont de manière générale une représentation pyramidale (figure 5.2). Les différents étages de la pyramide correspondent à des versions de plus en plus grossières de l’image originale, c’est-à-dire qu’à chaque étage, les hautes fréquences spatiales de l’étage sous-jacent ont été filtrées. Ce sont les images de contexte ou d’approximation qui, d’après les notations proposées en introduction, s’écriront A0, A1, A2… An pour la pyramide A, et Bk0, Bk1, Bk2… Bkn pour la pyramide Bk. La différence d’information entre deux plans d’approximation successifs correspond aux détails manquants dans l’approximation la plus grossière.

A₀= originale

Pyramide A (Pan) Pyramide B_k(MS)

A₁ A₂ A₃ Coefficients manquants Haute résolution Basse résolution B_k1= originale B₂ B₃ B_k0 * = image fusionnée MS M Plans de détails Plans d’approximations

Figure 5.2 : décomposition hiérarchique de l’information.

L’enjeu du concept ARSIS est d’injecter de l’information pour compléter le plan en pointillés correspondant aux détails manquants dans la pyramide MS de la figure 5.2. Sauf cas particuliers, les détails ne peuvent directement être égaux à ceux de l’image A car l’image synthétisée Bk0* ne serait pas équivalente à « ce que verrait le capteur Bk s’il possédait la résolution spatiale du capteur A ». Une transformation doit être appliquée pour convertir les informations fournies par la représentation multiéchelle de l’image A en celles adaptées à la synthèse de Bk0*. Il faut donc établir une relation qui lie le contenu spatial de ces deux ensembles aux échelles spatiales où l’information est présente dans les deux représentations pour pouvoir adapter et transformer l’information à injecter.

Par souci de simplicité, nous nous plaçons dans le cas où le MSM permet directement de passer de res0 à res1 puis à res2 etc… Cette situation n’est pas celle créée par l’utilisation d’un algorithme dyadique pour le ratio 4 car dans ce cas, le MSM passe de la résolution res0 à 2res0, de 2res0 à res1 puis de res1 à 2res1… ; les résolutions 2res0, 2res1 etc… correspondent alors à des résolutions spatiales intermédiaires qui ne figurent pas dans les notations.

La figure 5.3 présente une vision globale du concept ARSIS. Les quatre opérations y sont représentées par application successive de trois classes de modèles : classe 1 : MSM, classe 2 : IMM, classe 3 : HRIMM, et enfin une ultime étape de reconstruction utilisant l’inverse du modèle MSM : MSM-1 _:

les MSM produisent une description hiérarchique de l’information des structures spatiales de l’image. Par exemple, dans la littérature, les auteurs font appel aux modèles multiéchelles basés sur la transformée en ondelettes, la pyramide Laplacienne généralisée (GLP pour Generalized Laplacian Pyramid, Aiazzi et al. 1997), ou la dérivée seconde de la fenêtre d’apodisation. Appliqué à une image, le MSM fournit une (ou plusieurs) image de détails qui représente les hautes fréquences spatiales, et une image d’approximation qui regroupe les basses fréquences de l’image. La première itération du MSM sur la modalité A donne donc une ou plusieurs images de structures comprises entre res0 et res1 et une image de structures supérieures ou égales à res1 (approximation 2). La variabilité spatiale d’une image peut alors être modélisée. Le MSM doit être inversible (MSM-1_{) afin de réaliser la synthèse des} informations de hautes fréquences,

♦

♦

♦

la classe de modèles inter-modalités (en anglais Inter-Modality Model, soit IMM) s’intéresse à la transformation des structures spatiales avec le changement de modalités. L’IMM modélise les relations entre les détails et/ou les approximations observés dans l’image A et ceux observés dans l’image Bk. Cette relation peut suivre un modèle linéaire, affine, ou être d’une forme mathématique plus complexe,

et enfin, la classe des modèles inter-modalités à haute résolution spatiale (en anglais High Resolution IMM, soit HRIMM) qui doit synthétiser le plan de détails manquants. Le HRIMM

résulte de l’ensemble des informations à notre disposition : des approximations et détails à basse résolution, des paramètres de l’IMM et du plan de détails haute fréquence existant dans la pyramide A.

MSM IMM _MSM

Synthèse = HRIMM

MSM-1

Figure 5.3 : les trois classes de modèles du concept ARSIS.

La figure 5.4 détaille les classes de modèles et leurs interactions avec les différents plans disponibles. Les entrées du procédé de fusion sont la modalité A à res0, et la modalité Bk à basse résolution res1. Les opérations sont effectuées comme suit :

1. tout d’abord, le MSM est utilisé pour décomposer les images A et Bk originales et en calculer les détails et approximations successives,

2. les approximations et les détails connus des deux pyramides pour chaque résolution sont utilisés pour ajuster les paramètres de l’IMM,

3. à partir de l’IMM, on définit le HRIMM qui convertit les détails connus de A pour en déduire ceux de l’image Bk1 qui étaient inconnus à res1,

res0 res1 res2 (…) resn Modalité A Modalité Bk n A

Détails

IMM HRIMM MSM : Multi-Scale Model 0 originale A originale Bk1 A 2 MSM DA,0-1 DBk,1-2 DBk,n-(1-n) DA,1-2 DA,n-(1-n) Bk2 Bkn

synthétisés

IMM : Inter-Modality Model HRIMM : High Resolution Inter-Modality Model MSM MSM MSM

MSM

-1 _MSM MSM MSM (…) (…) Rappel: A et Bk : Approximation D : Détails A1

Image

Synthétisée

B

k0*

Nous allons décrire les fonctions mathématiques des IMM et HRIMM. Nous ne développons pas ici celles qui définissent les MSM car elles sont largement décrites dans la littérature.

Soient DA et DBk les plans de détails respectivement pour les pyramides de A et de Bk. Le plan de détails DA,0-1 représente les informations présentes entre les deux plans d’approximation successifs res0 et res1 pour la pyramide A. Pour simplifier l’écriture, nous nous plaçons dans le cas où l’analyse multiéchelle délivre un unique plan de détails par résolution. Tel est le cas par exemple de la transformée ATWT (A Trou Wavelet Transform) qui est non directionnelle et non décimée (Dutilleux 1989) ou de la pyramide Laplacienne généralisée GLP (Generalized Laplacian Pyramid) (Aiazzi et al. 2002). L’écriture générale des plans de détails successifs pour les deux pyramides :

DA = {DA,0-1, DA,1-2, DA,2-3 ...} et DBk = {DBk,0-1, DBk,1-2, DBk,2-3 ...} Eq. 5.17 Dans d’autres cas, comme pour les ondelettes directionnelles de l’analyse multirésolution de

Mallat (1989), le plan d’ondelettes n’est plus unique, et doit à son tour être indicé par D, V et H pour diagonal, vertical et horizontal. Nous recommandons l’utilisation de filtres symétriques

Si on se réfère à la figure 5.4 qui décrit le concept ARSIS, l’IMM doit estimer des paramètres pour modéliser les relations entre les images de A et Bk aux échelles où les informations sont présentes simultanément dans les deux pyramides. Soit f1 la fonction mathématique de l’IMM, alors f1 peut s’écrire :

DBk,1-2 = f1(DA,1-2, DA,2-3,... DBk,1-2, DBk,2-3,... A1, A2, A3, ... Bk1, Bk2, Bk3, …) Eq. 5.18 Une autre possibilité est une fonction basée sur l’établissement d’une relation liant l’image

d’approximation Bk2 et les autres plans présents simultanément dans les deux pyramides de données :

Bk2 = f1(DA,1-2, DA,2-3,... DBk,1-2, DBk,2-3,... A1, A2, A3, ... Bk1, Bk2, Bk3, …) Eq. 5.19 Soit f2 la fonction mathématique qui décrit le HRIMM. Cette fonction s’écrit à son tour comme

une fonction des plans de détails et approximations des deux pyramides, ainsi que le plan de détails à haute résolution spatiale exclusivement présente dans la pyramide Pan DA,0-1 ; alors :

DBk,0-1 = f2(DA,0-1, DA,1-2, DA,2-3 ... DBk,1-2, DBk,2-3,... A1, A2, A3, ... Bk1, Bk2, Bk3, …) Eq. 5.20 A notre connaissance, peu d’auteurs ont apporté une attention particulière au HRIMM. La

plupart du temps, f2 est définie identique à f1.On assiste rarement dans la littérature à un ajustement des paramètres issus de l’IMM vers le HRIMM.

Notons que les auteurs du concept ARSIS préconisent l’usage de luminances en entrée du processus de fusion afin de mieux prendre en compte la physique de l’observation. Cela n’est pas toujours nécessaire.

Dans le document Fusion d'images de résolutions spatiales différentes (Page 92-96)