Recalage multimodal

Nous avons d´ecrit jusqu’`a maintenant des m´ethodes permettant d’estimer le mouvement entre deux images d’une mˆeme s´equence. Il peut ´egalement ˆetre utile de connaˆıtre la d´eformation entre deux images, possiblement de nature diff´erente, dans le but de les mettre en phase.

2.1.3.1 Principe du recalage multimodal

Recaler deux images est particul`erement int´eressant dans le cadre multimodal o`u les images peuvent comporter des informations compl´ementaires. Ces images sont acquises `a des moments diff´erents, et ´eventuellement dans des angles de vue diff´erents. Entre chaque acquisition, les tissus observ´es pourront s’ˆetre d´eform´es et l’angle de vue pourra varier. Le but du recalage est donc d’estimer la d´eformation apparente entre les deux images pour pouvoir les fusionner.

De nombreuses applications n´ecessitent un tel recalage. [Zhang et al., 2006,Zhang et al., 2007], par exemple, ont eu besoin de recaler des images par r´esonance magn´etique cardiaques avec des ´echocardiographies pour assister le chirurgien lors d’une intervention. [Mitra et al., 2010] utilisent le recalage multimodal dans le but de guider la biopsie de la prostate. Le recalage entre images US 3D et Tomodensitom´etrie (CT) permet `a [Nam et al., 2010] d’aider le praticien lors d’une intervention chirurgicale du rein. Il peut ´egalement aider `a am´eliorer le diagnostic d’une pathologie, comme c’est le cas pour [Verhey et al., 2005] `a propos de l’incontinence anale de la flore pelvienne chez la femme. L’imagerie du cerveau a ´egalement ´et´e prise en compte, par exemple pour des recalages entre images par r´esonance magn´etique et US [Roche et al., 2001], ou CT [Collignon et al., 1995,Maes et al., 1999]. Le principe du recalage repose pour cela sur une fonction de similarit´e entre les deux images, qu’il faut optimiser pour d´eterminer la transformation la plus appropri´ee. Le processus de recalage est mod´elis´e par le diagramme de la figure2.3 et peut se d´ecomposer en trois grandes ´etapes :

1. Calculer un crit`ere de similarit´e entre l’image de r´ef´erence et l’image flottante,

2. Appliquer une m´ethode d’optimisation `a la mesure de similarit´e pour trouver les nouveaux param`etres de transformation selon une certaine contrainte,

3. Si le crit`ere de convergence est atteint, alors la d´eformation finale a ´et´e trouv´ee et les deux images sont recal´ees, sinon appliquer la nouvelle transformation `a l’image flottante.

Figure 2.3 – Diagramme pr´esentant les principales ´etapes d’un algorithme de recalage. Le choix du crit`ere de similarit´e d´epend de l’application et sera discut´e dans le paragraphe2.1.3.2. L’´etape d’optimisation permet d’atteindre le maximum du crit`ere de similarit´e (ou le minimum du crit`ere de dissemblance) via une recherche non exhaustive des param`etres optimaux, comme nous l’avons mentionn´e dans le paragraphe 2.1.1.1. Cette ´etape permet ainsi de d´efinir les variations des param`etres de d´eformation pour recaler les deux images.

Finalement, la troisi`eme ´etape consiste, si l’algorithme n’a pas atteint le stade de convergence, `

a d´eformer l’image flottante selon la transformation obtenue durant `a l’´etape d’optimisation. Nous avons vu jusqu’ici divers moyens d’estimer des translations rigides. Il est possible de mod´eliser des d´eplacements plus complexes, qui seront d´ecrits dans le paragraphe 2.1.4. L’algorithme prend fin si le crit`ere de convergence est atteint, c’est-`a-dire si le crit`ere de similarit´e ne varie plus selon un certain seuil, ou apr`es un nombre d´etermin´e d’it´erations.

2.1.3.2 L’information mutuelle comme crit`ere de similarit´e

Lorsque l’on traite des images d’une s´equence, les caract´eristiques (r´esolution, dynamique, ...) des images restent les mˆemes. Ce n’est plus le cas dans le cadre de recalage multimodal.

L’intensit´e des pixels correspond `a un ph´enom`ene physique diff´erent dans chaque image, ce qui fait qu’un mˆeme tissu peut avoir un niveau de gris diff´erent d’une image `a l’autre. De plus, il peut ne pas y avoir de relation directe pour relier ces niveaux de gris, ce qui fait qu’une transformation i0 = f (i) : R → R de l’intensit´e initiale d’un pixel i n’est pas toujours possible. En effet, ayant i0 6= i, l’hypoth`ese de conservation d’´energie n’est pas respect´ee, ce qui rend les approches diff´erentielles ou des mesures de SAD ou SSD inappropri´ees. L’´energie varie ´egalement entre les deux images. La ressemblance entre deux blocs de chaque image n’est plus syst´ematiquement pertinente, ce qui peut poser probl`eme lors de l’utilisation d’une mesure de corr´elation. De plus, la texture de l’image peut ˆ

etre diff´erente. Par exemple, les images par r´esonance magn´etique poss`edent des contours bien d´efinis et les pixels d’une mˆeme r´egion anatomique forment une zone homog`ene dans l’image. Au contraire, les images ultrasonores sont constitu´ees de speckle, qui donne un grain `a l’image et ses r´egions ne sont pas homog`enes. Ces caract´eristiques intrins`eques `a chaque type d’images peuvent influer sur

les r´esultats de l’estimation. Finalement, les moyens d’acquisition ´etant diff´erents, il se peut que les deux images n’aient pas la mˆeme r´esolution et ne soient pas exactement dans le mˆeme plan.

Il apparaˆıt ainsi n´ecessaire de d´efinir une mesure adapt´ee `a la multimodalit´e qui pourrait pallier `

a ces probl`emes. [Woods et al., 1992] ont ´et´e les premiers `a proposer une mesure adapt´ee `a la multimodalit´e, bas´ee sur l’hypoth`ese qu’une r´egion aux niveaux de gris similaires dans une premi`ere image correspond `a une autre r´egion dont les niveaux de gris peuvent ˆetre diff´erents dans la seconde image. [Hill et al., 1993] ont ensuite adapt´e cette mesure en utilisant l’histogramme conjoint des images pour calculer la mesure. C’est dans cette lign´ee que [Collignon et al., 1995] et [Viola, 1995] ont propos´e d’utiliser l’information mutuelle (MI) comme mesure de similarit´e entre deux images de modalit´es diff´erentes.

Tout comme les mesures destin´ees `a la multimodalit´e propos´ees avant elle, l’information mutuelle ne consid`ere pas le voisinage d’un pixel pour chacune des images mais la probabilit´e que l’intensit´e d’un pixel dans la premi`ere image corresponde `a une autre intensit´e dans l’autre modalit´e. Son expression est la suivante :

M I(I1, I2) = X i∈I1 X j∈I2 p(i, j) log  p(i, j) p(i)p(j)  , (2.35) o`u I1 et I2 sont les deux images `a recaler, i est une intensit´e admissible d’un pixel de l’image I1

et j est une intensit´e admissible d’un pixel dans l’image I2. p(i) et p(j) sont respectivement les

probabilit´es de trouver les intensit´es i et j dans les images I1 et I2. Enfin, p(i, j) est la probabilit´e

de trouver qu’un pixel d’intensit´e i dans l’image I1 est d’intensit´e j dans l’image I2. Ainsi, plus la

probabilit´e que l’intensit´e i d’un pixel de I1 corresponde `a l’intensit´e j du mˆeme pixel dans I2 est

importante, plus la valeur de l’information mutuelle sera importante.

On peut voir cette mesure comme un moyen de d´eterminer si l’intensit´e d’un pixel est un bon pr´edicteur de l’intensit´e correspondante dans l’autre image. Ce qui fait de cette mesure un crit`ere adapt´e pour le recalage est que plus les images seront align´ees, plus la probabilit´e conjointe p(i, j) contiendra des amas de niveaux de gris repr´esentant les pixels correspondant aux structures des formes pr´esentes dans les images. Pour illustrer cela, on peut se baser sur l’exemple de la figure2.4.

(a) 0˚ (b) 2˚ (c) 5˚ (d) 10˚

Figure 2.4 – Histogramme conjoint d’une IRM avec elle-mˆeme avec, de gauche `a droite, une rotation de 0˚, 2˚, 5˚ et , 10˚ [Pluim et al., 2003].

Cette figure montre l’histogramme conjoint d’une IRM avec elle-mˆeme. Dans le cas o`u les images sont parfaitement align´ees, l’histogramme conjoint fait le lien entre les diff´erentes intensit´es de

mani`ere d´eterministe (Fig. 2.4(a)). Au contraire, lorsque les images ne sont pas align´ees, l’histo- gramme est ´etal´e et il est plus difficile de d´efinir quel niveau de gris de la premi`ere image correspond `

a quel niveau de gris dans la suivante. Les figures2.4(b),2.4(c)et2.4(d)montrent que l’histogramme conjoint est de plus en plus ´etal´e lorsque l’angle augmente.