Mesures de similarité

Différences de niveau de gris. La façon la plus simple de recaler deux images est de comparer directement leurs niveaux de gris pixel par pixel. SoitIR(x)l’image de référence etID(x)l’image à recaler surI_R, avec x= (x, y)^T. Pour effectuer le recalage, nous pouvons calculer le minimum de laSomme des Différences au Carré, (SDC), entre les images,

SDC=X

x

[ID(T(x))−IR(x)]², (2.29) où T est la transformation appliquée aux coordonnées de l’image source I_D(x). Ce genre de mesure est bien adaptée à des applications où les images sont issues d’un même capteur (mono-modalité) avec des conditions d’éclairage très proches entre les images à recaler.

Corrélation croisée. Une alternative à la différence d’intensité entre les images est l’utilisation d’unecorrélation croisée qui permettra de maximiser pixel à pixel le produit de deux images,

CC =X

x

IR(x)ID(T(x)), (2.30)

Un problème lié à la corrélation est que si une région dans l’imageID a des valeurs d’inten-sité très supérieurs au reste de l’image, il est très probable que le maximum de la fonction de corrélation sera faussé par cette partie de l’image. C’est pour cela, qu’en général la corrélation croisée normalisée est préférée :

sont les moyennes des images et N est le nombre de pixels dans les images. Le résultat de la corrélation croisée normalisée est toujours compris entre -1 et 1. Cependant, cette mesure est non définie si l’une des images a une variance égale à zéro (rare en pratique). Cette mesure de similarité est souvent utilisée pour aligner des images dont le lien est décrit par des translations 2D, mais peut également être utilisée s’il existe des variations légères de rotation et de changement d’échelle. Cette mesure de similarité est utilisée lors du recalage d’images monomodalité. LaCCN est moins sensible aux changements d’illumination que la SDC.

Recalage basé sur la transformée de Fourier. Lorsque entre deux images, les composantes dominantes de la transformation sont des translations, une approche basée sur la transformée de Fourier peut être suffisante. Le principe de cette technique repose sur la propriété de translation de la transformée de Fourier. En effet, la transformée de FourierF d’une image I_D(x+t)ayant subie une translationt= (tx, ty), aura la même image des modules que celle de l’image originale ID(x), mais l’image des phases variera proportionnellement avec le déplacement,

F {I_D(x+t)}=F {I_D(x)}e^−2πjtf =ID(f)e^−2πjtf (2.32) où f = (u, v)^T est le vecteur des fréquences spatiales de l’image et I^D(f) dénote la transformée de Fourier de l’image ID(x).

Une autre propriété utile de la transformée de Fourier est qu’une convolution dans le domaine spatial correspond à une multiplication dans le domaine fréquentiel (théorème de Plancherel).

Donc, la transformée de Fourier de la corrélation croisée des images peut être exprimée comme suit : pour évaluer de façon efficace la corrélation croisée entre les images sur toute la gamme de valeurs possibles det, la transformée de Fourier des imagesIR(x)etID(x+t)est calculée, pour ensuite, effectuer le produit de la transformée de la première image par le conjugué de la deuxième image.

Finalement, la transformée de Fourier inverse est calculée. L’algorithme de la transformée rapide de Fourier (FFT,Fast Fourier Tansform) permet de calculer la transformée d’une image de taille N ×M en O(N MlogN M) opérations (N et M étant puissances de 2). Ceci est sensiblement plus rapide que les O(N²M²) opérations requises par une recherche exhaustive dans les parties communes des images à recaler.

2.2. Le mosaïquage d’images Corrélation des phases. Une variante de la corrélation croisée dans le domaine de Fourier, aussi utilisée pour l’estimation du déplacement entre images, est lacorrélation des phases(CCCP) [Kuglin and Hines, 1975]. Dans cette méthode, le spectre des deux images est « nettoyé » en divisant le produit des transformées (équation 2.33) par les modules des transformées avant d’appliquer la transformée inverse de Fourier,

CCCP(t) =F⁻¹

IR(f)ID^∗(f) kI^R(f)k kI^D(f)k

. (2.34)

Dans l’idéal, le résultat est une impulsion unique localisée à la valeur correcte de t. Cette caractéristique simplifierait l’estimation du déplacement.

Transformée de Fourier-Mellin. Même si le recalage basé sur la transformée de Fourier est utilisé pour estimer des déplacements entre les images, il peut être utilisé aussi, sous certaines conditions, pour calculer des rotations et des changements d’échelle isotropes sans aucun dépla-cement. D’abord, il faut estimer uniquement la rotation entre les images. Si le lien géométrique entre deux images est une rotationR(ˆθ)où θˆest le déplacement angulaire, tel que

I_D(Rx) =I_R(x), (2.35)

alors ces images peuvent être ré-échantillonnées en coordonnées polaires en prenant comme ori-gine le centre des images (figure 2.11),

I¯R(ρ, θ) =IR(ρcosθ, ρsinθ) et I¯D(ρ, θ) =ID(ρcosθ, ρsinθ), (2.36) où

ρ=p

(x−xc)²+ (y−yc)² et θ= tan⁻¹

y−yc

x−xc

, (2.37)

avecxc etyc les coordonnées du centre des images. De ces équations il peut être déduit que : I¯D(ρ, θ+ ˆθ) = ¯IR(ρ, θ), (2.38) où le symbole ¯ représente les images ré-échantillonnées.

Il est alors possible de calculer ce décalage angulaire en utilisant la corrélation basée sur la transformée de Fourier (equation 2.33) ou sur la corrélation des phases (equation 2.34).

Si entre les deux images, il existe aussi un facteur d’échelle s, ce changement peut êtreˆ représenté en utilisant des coordonnées logarithmiques sur l’axeρ des coordonnées polaires :

ID(e^ˆsRx) =IR(x), (2.39) avec sˆ= log ˆρ le déplacement sur l’axe logρ qui représente le changement d’échelle. En faisant le ré-échantillonage des images en coordonnées logarithmiques-polaires (figure 2.12), nous avons I¯R(s, θ) =IR(e^scosθ, e^ssinθ) et I¯D(s, θ) =ID(e^scosθ, e^ssinθ), (2.40) avecs= logρ,I¯_R(s, θ) etI¯_D(s, θ) les images ré-échantillonnées en coordonnées logarithmiques-polaires, telles que

I¯D(s+ ˆs, θ+ ˆθ) = ¯IR(s, θ). (2.41) Il est maintenant possible d’appliquer la corrélation basée sur la transformée de Fourier pour trouver les déplacements angulaire et en échelle entre les images.

(a) (b)

(c) (d)

Fig. 2.11 – Ré-échantillonage d’images en coordonnées polaires. (a) Image originale. (b) Image après une rotation de -45°. (c) Ré-échantillonage de l’image originale en coordonnées polaires.

(d) Image avec rotation en coordonnées polaires. Le décalage sur l’axeθ entre les images (c) et (d) est visible. Ce déplacement peut être obtenu par corrélation croisée en utilisant la FFT.

Pour le cas où une translation existe aussi entre les images (pour former un modèle de transformation de similitude),

I_D(e^ˆsRx+t) =I_R(x), (2.42)

il est aussi possible de récupérer cette translation mais il faut appliquer une procédure spécia-lement adapté à ce cas. Sur la base d’un travail de [De Castro and Morandi, 1987], [Reddy and Chatterji, 1996] ont développé un algorithme pour estimer les paramètres d’une similitude.

D’abord, il faut obtenir la transformée de Fourier des images, pour ne retenir que les amplitudes des spectres. Cette amplitude est censée être invariante aux déplacements dans le domaine spatial (si les spectres sont cycliques). Lorsque l’échelle et la rotation sont connues, une image peut être obtenue avec l’inverse de ces paramètres appliquée à l’image à transformer pour ensuite estimer le déplacement par la corrélation basée sur la transformée de Fourier.

Pour que cet algorithme fonctionne, il est nécessaire que le déplacement entre les images soit petit (quelques pixels seulement) et que le contenu informatif dans les images soit important.

Critère de Woods. Le recalage d’images multimodales (images issues de capteurs basés sur des principes physiques différents) est très souvent nécessaire, spécialement dans le domaine médical, mais compliqué du fait des différences de nature, de taille ou de résolution de ces images.

Par exemple, la comparaison entre des images anatomiques et fonctionnelles d’un patient permet d’améliorer et/ou de préciser le diagnostic. Dans ce cas, une approche basée sur une mesure statistique de la distribution des pixels dans l’image est préférée. Le critère de Woods [Woods et al., 1993] est une mesure de similarité initialement créée pour le recalage IRM-TEP. Ce critère

2.2. Le mosaïquage d’images

(a) (b) (c) (d)

(e) (f) (g) (h)

Fig.2.12 – Ré-échantillonage d’images en coordonnéeslog-polaires. Les zones en noir représentent les couples (ρ, θ) non contenus dans les images (a) et (b).(a) Image originale. (b) Image après une rotation de -45°. (c) Un grossissement de l’image (a) avec un facteur d’échelle de 1,5. (d) Image (a) après rotation de -45° et changement d’échelle de facteur 1,5. (e) Image originale ré-échantillonnée en coordonnées log-polaires. (f) Image en coordonnées log-polaires de l’image (b).

Il existe un déplacement sur l’axeθ. (g) Un déplacement sur l’axelogρ(variation de l’amplitude) est visible lors du ré-échantillonage de l’image (c) en coordonnées log-polaires. (h) Déplacements sur l’axeθetlogρ pour l’image avec rotation et changement d’échelle. Ces déplacement peuvent être obtenus par corrélation croisée en utilisant la FFT.

suppose que les pixels ayant une intensité d dans l’image ID correspondent tous à des pixels d’intensité r dans l’image IR si les deux images sont recalées. De façon simplifiée, le critère de Woods indique que l’histogramme conjoint des images sera moins étalé lorsque les images seront recalées. Ce comportement est illustré dans la figure 2.13. Ce critère peut être calculé de la façon suivante

CW(IR|ID) =X

r

σ_ID|r

m_ID|r

prd (2.43)

avec

m_ID|r = 1 pr

X

d

dprd et

(2.44) σ_ID|r =

s 1 pr

X

d

(d−m_ID|r),

oùr etdsont respectivement, les niveaux de gris des images IR etID,m_ID|r etσ_ID|r sont res-pectivement, une moyenne et une variance conditionnelles, c’est-à-dire, la moyenne et la variance des niveaux de grisdde l’imageID correspondants tous à un même niveau de grisrdans l’image IR. pr est la probabilité d’un niveau d’intensité r dans l’image IR. prd est la probabilité jointe des niveaux d’intensitéretd.CW(I_R|I_D)est minimal lorsque les images sont recalées.

(a) (b) (c) (d)

Fig. 2.13 – Histogramme joint de deux images IRM. (a) Deux images IRM décalées l’une par rapport à l’autre (translation sur l’axe horizontal). (b) Histogramme joint pour un déplacement de 4 pixels. (c) Histogramme joint pour un déplacement de 2 pixels. (d) Histogramme lorsque les images sont recalées.

Information mutuelle. L’information mutuelle prend son origine dans la théorie de l’informa-tion. C’est une mesure de la dépendance statistique entre deux groupes de données. L’information mutuelle entre deux variables aléatoires IR etID (les images à recaler) est donnée par

IM(IR, ID) =H(IR)−H(IR|ID) =H(IR) +H(ID)−H(IR, ID), (2.45) avec

H(IR) = −X

r

prln(pr) H(I_D) = −X

d

pdln(pd) (2.46)

H(IR, ID) = −X

r

X

d

prdln(prd)

où H(IR) et H(ID) sont les entropies des niveaux de gris des images IR etID respectivement etH(I_R|I_D)est l’entropie conditionnelle. Les entropies H(I_R)etH(I_D)prises de façon séparée, mesurent la complexité des images, tandis que l’entropie jointe H(IR, ID) mesure la quantité d’information que les images IRetID apportent en même temps. pr etpdsont des fonctions de densité de probabilité des niveaux de grisretd.prd est une fonction de probabilité jointe. Si les images sont proches, une image fournit la même information que l’autre et l’entropie jointe est minimale. Pour des applications pour lesquelles l’information mutuelle est effectivement adaptée, l’information mutuelle est maximale si les images sont recalées. Dans ce cas, la maximisation de l’information mutuelle conduit à la superposition des images. L’un des premiers travaux concernant l’utilisation de l’information mutuelle est celui développé par [Viola and Wells III, 1997]. Ils décrivent l’utilisation de cette technique pour recaler des images IRM et pour recaler des objets 3D à une scène réelle. Les auteurs utilisent la fenêtre de Parzen pour calculer les fonctions de densité de probabilité. En utilisant une méthode similaire, [Miranda-Luna et al., 2004b] construisent des images panoramiques à partir d’images endoscopiques. Cette dernière méthode est expliquée avec plus de détails dans la section 3.1.

Actuellement, le recalage basé sur l’information mutuelle est une technique très utilisée pour le recalage d’images multimodales. L’inconvénient de cette mesure est le coût en terme de calcul,

2.2. Le mosaïquage d’images car la détermination de l’information mutuelle est longue par rapport aux mesures de similarité présentées précédemment.