Recalage d'images médicales par inférence statistique

HAL Id: tel-00636180

https://tel.archives-ouvertes.fr/tel-00636180

Submitted on 27 Oct 2011

HAL is a multi-disciplinary open access

archive for the deposit and dissemination of sci-entific research documents, whether they are pub-lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

Alexis Roche

To cite this version:

Alexis Roche. Recalage d’images médicales par inférence statistique. Informatique [cs]. Université Nice Sophia Antipolis, 2001. Français. �tel-00636180�

prpare 

L'INRIA Sophia Antipolis

et prsente 

L'UNIVERSIT de NICE - SOPHIA ANTIPOLIS

pour obtenir le grade de

DOCTEUR

Spcialit

Sciences de l'ingnieur

par

Alexis ROCHE

Sujet de la thse:

RECALAGE D'IMAGES MDICALES

PAR INFRENCE STATISTIQUE

Soutenue le 2 fvrier 2001 devant le jury compos de:

MM.

Jacques DARCOURT

Prsident

Nicholas AYACHE

Directeur

Michael BRADY

Rapporteurs

Dirk

VANDERMEULEN

Grgoire MALANDAIN

Examinateurs

Remerciements

Aux membres minents de mon jury:

Nicholas Ayache, mon directeur de thse, qui m'a orient vers un sujet de recherche  la fois riche et stimulant. En m'accueillant au sein de l'quipe Epidaure de l'INRIA Sophia Antipolis, il m'a permis de travailler dans un environnement scienti que de haut niveau et dans des conditions matrielles uniques au monde.

Mike Brady, dont j'ai toujours grand plaisir  partager la bonne humeur et la comprhension exhaustive du domaine de la vision par ordinateur. Ses encouragements rguliers m'ont t prcieux.

Dirk Vandermeulen, dont les travaux pionniers sur le recalage par information mutuelle ont t l'une des principales sources d'inspiration de cette thse. Sa prsence dans le jury est une marque de reconnaissance dont je suis att.

Max Viergever, qui m'a fait lui aussi l'honneur d'valuer mon travail  travers sa comptence mondialement reconnue en vision par ordinateur.

Jacques Darcourt, qui a manifest pour cette thse l'intrt d'un mdecin et me laisse ainsi esprer qu'elle puisse tre utile.

Grgoire Malandain, qui a co-encadr cette thse et a t un soutien permanent au cours de ces trois annes, tant sur le plan scienti que que sur le plan humain.

Un grand merci  ric Bardinet, qui a consacr beaucoup de son temps  relire ce mmoire et dont les remarques ont permis d'en amliorer signi cativement la qualit.

Alexandre Guimond et Xavier Pennec ont pris une part active  cette recherche. Qu'ils soient assurs de ma reconnaissance et du plaisir que j'ai eu  travailler avec eux.

A l'issue de ces trois annes, ma principale dcouverte aura peut-tre t qu'aucun travail de recherche n'est possible sans un change constant avec d'autres chercheurs. Je remercie tous les membres actuels et passs de l'quipe Epidaure pour le temps qu'ils m'ont consacr, avec une pense particulire pour Sylvain Prima et Sbastien Ourselin. Je n'oublie pas les discussions fructueuses que j'ai eues avec Octave Migneco, Jean-Franois Mangin, David Sarrut. J'ai trouv en ve Coste-Manire et en Jrme Declerck deux modles de chercheurs dont je veillerai  m'inspirer.

Mon sjour sur la cte d'Azur ne s'est pas mal pass, merci. Valrie est une amie attentive. Je regretterai les vires de n de semaine avec Stab, Nico, Coralie, Natacha, Marc, Max, Karine et les autres. Merci Bndicte et Christian. Merci  l'Italie et ses couleurs.

Et puis les amis de longue date: ma sur Aurlie, mon frre Ivan, maman, papa, la famille Roche au sens large, la famille Schblah, Urtul et ses prophtes, Bob & co. Florence. Longue vie  Louise, Sarah, Justin, Ninon, Margot, Elsa et William.

Table des matires

1 Introduction

1

1.1 Le rle du recalage dans l'analyse des images mdicales . . . 1

1.1.1 Le recalage, un problme  gomtrie variable . . . 2

1.1.2 Quelques exemples illustratifs (dont certains illustrs) . . . 3

1.1.3 Le recalage ultrason/IRM . . . 6

1.2 Approches algorithmiques du recalage . . . 6

1.2.1 Mthodes gomtriques . . . 7

1.2.2 Mthodes iconiques . . . 8

1.2.3 Lesquelles choisir? . . . 9

1.3 Organisation du mmoire et contributions . . . 10

2 Recalage par comparaison d'intensits: tat de l'art

13

2.1 Introduction . . . 13 2.1.1 Premiers pas . . . 13 2.1.2 L'histoire contemporaine . . . 14 2.1.3 Et maintenant? . . . 16 2.1.4 Plan du chapitre . . . 16 2.2 Notations et terminologie . . . 16 2.3 Mesure de similarit . . . 17

2.3.1 Le concept d'histogramme conjoint . . . 18

2.3.2 Interpolation . . . 20

2.3.3 Le problme du recouvrement partiel . . . 23

2.3.4 Acclration du calcul . . . 24

2.3.5 Classi cation des mesures de similarit . . . 25

2.4 Espace de recherche . . . 28

2.4.1 Transformations rigides . . . 28

2.4.2 Similitudes . . . 30

2.4.3 Transformations a"nes . . . 30

2.4.4 Transformations projectives . . . 31

2.4.6 Transformations locales non-paramtriques . . . 32

2.5 Mthode d'optimisation . . . 34

2.5.1 Mthodes standard sans gradient . . . 35

2.5.2 Descentes de gradient . . . 36

2.5.3 Mthodes spci ques . . . 37

2.5.4 Schma multi-rsolution . . . 39

2.6 Conclusion . . . 40

3 Une classe de mesures de similarit fonde sur le rapport de corrlation

41

3.1 Limitations de l'information mutuelle . . . 41

3.1.1 Expriences synthtiques . . . 42

3.1.2 Mode d'emploi du chapitre . . . 45

3.2 Formulation . . . 46

3.2.1 Interpolation . . . 47

3.2.2 Normalisation . . . 48

3.2.3 Formulations analogues . . . 50

3.3 Cas particulier: mtrique quadratique, fonctions constantes par morceaux . . . 51

3.3.1 Calcul explicite . . . 51

3.3.2 Interprtation probabiliste: le rapport de corrlation . . . 52

3.3.3 Lien avec le coe"cient de corrlation . . . 54

3.3.4 Lien avec le critre de Woods et ses variantes . . . 55

3.3.5 Lien avec l'information mutuelle . . . 56

3.4 Rapport de corrlation gnralis . . . 58

3.4.1 Espace de fonctions . . . 58

3.4.2 Mtrique robuste . . . 60

3.5 Schma d'optimisation . . . 66

3.5.1 Optimisation hirarchise et optimisation alterne . . . 66

3.5.2 Mise en uvre . . . 67

3.6 Conclusion . . . 70

4 Comparaison exprimentale de mesures

73

4.1 La base d'images #Vanderbilt$ . . . 73

4.2 Description des expriences . . . 74

4.2.1 Mesures de similarit . . . 74

4.2.2 Implmentation commune . . . 76

4.2.3 Recalages scanner/IRM . . . 78

4.2.4 Recalages TEP/IRM . . . 79

4.3 Rsultats . . . 79

4.3.1 Calcul des erreurs de recalage . . . 80

Table des matires iii

4.3.3 Commentaires . . . 84

4.4 Conclusion . . . 87

5 Le recalage d'images vu comme un problme d'infrence statistique

93

5.1 Introduction . . . 93 5.1.1 De l'intrt de la modlisation . . . 94 5.1.2 Plan du chapitre . . . 95 5.2 Modle probabiliste . . . 96 5.2.1 Modles d'acquisition . . . 96 5.2.2 Modle anatomique . . . 98

5.2.3 Relation directe entre les images . . . 99

5.3 Principe d'identi cation des paramtres . . . 103

5.3.1 Estimateur du maximum de vraisemblance . . . 104

5.3.2 Autres estimateurs . . . 105

5.3.3 Log-vraisemblance . . . 106

5.3.4 Information mutuelle empirique . . . 107

5.3.5 Schma d'optimisation . . . 108

5.4 Estimation des paramtres auxiliaires . . . 108

5.4.1 Algorithme EM . . . 109

5.4.2 Hypothse de redondance . . . 112

5.4.3 Hypothse de complexit anatomique . . . 119

5.5 Interpolation . . . 123

5.6 Conclusion . . . 124

6 Recalage rigide d'images ultrasonores et IRM

127

6.1 Introduction . . . 127

6.2 Method . . . 128

6.2.1 A rough US/MR dependence model . . . 128

6.2.2 Bivariate correlation ratio . . . 129

6.2.3 Robust intensity distance . . . 130

6.3 Data . . . 131

6.3.1 Phantom dataset . . . 131

6.3.2 Baby dataset . . . 132

6.3.3 Patient dataset . . . 133

6.4 Accuracy study . . . 133

6.4.1 Principle of the accuracy evaluation . . . 133

6.4.2 Multiple intra-modality registration . . . 134

6.4.3 Phantom dataset . . . 134

6.4.4 Baby dataset . . . 135

6.4.6 Overall discussion . . . 137

6.5 Robustness study . . . 140

6.5.1 Principle . . . 140

6.5.2 Computing the robustness and precision . . . 141

6.5.3 Results and discussion . . . 141

6.6 Conclusion . . . 143

7 Une adaptation multimodale de l'algorithme des

#

dmons

$

145

7.1 Introduction . . . 145

7.1.1 Principe gnral de la mthode . . . 146

7.1.2 Plan du chapitre . . . 148

7.2 Estimation de la transformation spatiale . . . 148

7.2.1 Minimisation de la SDC pnalise . . . 148

7.2.2 L'algorithme des dmons . . . 150

7.2.3 Dformations uides . . . 152

7.3 Estimation de la transformation d'intensit . . . 154

7.3.1 Monofunctional dependence assumption . . . 154

7.3.2 Bifunctional dependence assumption . . . 156

7.4 Information mutuelle . . . 158

7.5 Data . . . 159

7.6 Results and discussion . . . 160

7.6.1 Monofunctional dependence . . . 161

7.6.2 Bifunctional dependence . . . 166

7.6.3 Mutual Information . . . 184

7.6.4 Displacement eld comparison . . . 184

7.7 Conclusion . . . 188

8 Conclusion

191

8.1 Bilan . . . 191

8.2 Perspectives . . . 193

8.2.1 Recalage non-rigide ultrason/IRM . . . 193

8.2.2 Des algorithmes plus robustes . . . 193

Annexes

197

A Couples de variables alatoires et conditionnement

199

A.1

L

2 space . . . 199

A.2 Expectation . . . 200

A.3 Correlation coe"cient . . . 200

Table des matires v A.5 Total variance theorem . . . 202 A.6 Correlation ratio . . . 204 A.7 Woods criterion . . . 204

B Rgression linaire avec interpolation par volume partiel

207

B.1 Least squares parametric tting . . . 207 B.2 Robust parametric tting . . . 208

Table des gures

1.1 Exemple de recalage rigide scanner/IRM pour la radiothrapie des tumeurs crbrales. 5 1.2 Fusion d'un atlas tiquet et d'un volume scanner. . . 5 1.3 Trois vues orthogonales correspondantes d'une image IRM et d'une image ultrasonore. 7 1.4 Classi cation gnrale des mthodes de recalage d'images selon le type de primitives

qu'elles utilisent. . . 9 2.1 Construction d'un histogramme conjoint. . . 19 2.2 Application d'une transformation spatiale  une image, et illustration des e%ets de

bord. . . 20 2.3 Inuence de l'interpolation sur une mesure de similarit. . . 23 2.4 Histogramme conjoint de deux IRM crbrales calcul pour deux transformations

di%rentes. . . 26 2.5 Histogramme conjoint d'un couple scanner/IRM calcul pour deux transformations

di%rentes. . . 26 3.1 Deux images synttiques reprsentant (pourquoi pas?) une barre grise. . . 42 3.2 Exprience de la barre grise. Pro l de di%rents critres en fonction de la translation

horizontale. . . 43 3.3 Exprience de la distorsion invisible. Le recalage par information mutuelle correspond

 un dcalage horizontal de6 pixels. . . 44 3.4 Exprience de la distorsion invisible. Pro l de l'information mutuelle ( gauche) et

du rapport de corrlation ( droite) en fonction de la translation horizontale. . . 44 3.5 Exprience de la distorsion invisible. Histogrammes conjoints correspondant

respec-tivement  la transformation identit et  la translation horizontale pure de +6pixels. 45 3.6 Illustration de l'interpolation spline d'ordre1dans le cas 2D (interpolation bilinaire),

et deux stratgies correspondantes d'interpolation du critre de recalage. . . 48 3.7 Ces deux densits de probabilit ont la mme variance mais des entropies di%rentes. 57 3.8 Ces deux densits de probabilit ont la mme entropie mais des variances di%rentes. 57 3.9 Illustration des schmas de minimisation hirarchise et alterne. . . 68 3.10 Illustration des schmas de minimisation hirarchise et alterne, en prsence de

3.11 Organigramme de l'algorithme de recalage rigide/a"ne correspondant  une

optimi-sation alterne du rapport de corrlation gnralis. . . 69

4.1 Inuence de l'interpolation sur les paysages d'nergie correspondant  l'information mutuelle et au rapport de corrlation. . . 77

4.2 Illustration des maxima locaux de l'information mutuelle et du rapport de corrlation. 79 4.3 Exemple de recalage rigide scanner/DP. . . 81

4.4 Exemple de recalage rigide TEP/T1. . . 82

4.5 Localisation du point de contrle utilis pour le calcul d'erreurs. . . 83

4.6 Erreurs de contrle pour les recalages scanner/T1 (protocole B). . . 85

4.7 Erreurs de contrle pour les recalages scanner/T2 (protocole B). . . 86

4.8 Erreurs de contrle pour les recalages scanner/DP (protocole B). . . 86

4.9 Erreurs de contrle pour les recalages TEP/T1. . . 88

4.10 Erreurs de contrle pour les recalages TEP/T2. . . 88

4.11 Erreurs de contrle pour les recalages TEP/DP. . . 89

5.1 Reprsentation schmatique du modle de dpendance inter-images. . . 96

5.2 E%et de recouvrement partiel entre les grilles. . . 101

5.3 Recalage rigide IRM/scanner par maximum de vraisemblance et la segmentation baysienne obtenue. . . 113

5.4 Recalage rigide T2/FLAIR par maximum de vraisemblance et la segmentation bay-sienne obtenue. . . 114

5.5 Reprsentation graphique de la fonction

F

reliant les intensits des images

I

et

J

. . . 117

6.1 La squence d'images IRM et ultrasonores du fantme. . . 132

6.2 Recalage rigide US/IRM: donnes fantme. . . 135

6.3 Recalage rigide US/IRM: images d'un nourisson. . . 136

6.4 Recalage rigide US/IRM: donnes chirurgicales. . . 138

6.5 Recalage rigide US/IRM: autres donnes chirurgicales. . . 139

7.1 Schma de l'algorithme de recalage non-rigide. . . 147

7.2 Schma itratif correspondant  la minimisation de la SDC pnalise. . . 150

7.3 Schma itratif des dmons. . . 151

7.4 Schma itratif correspondant  des dformations uides. . . 153

7.5 Recalage non-rigide atlas/T1: vues axiales. . . 162

7.6 Recalage non-rigide atlas/T1: vues coronales. . . 163

7.7 Recalage non-rigide atlas/T1: vues sagittales. . . 164

7.8 Recalage non-rigide atlas/T1: transformation d'intensit. . . 165

7.9 Recalage non-rigide atlas/T1': vues axiales. . . 167

7.10 Recalage non-rigide atlas/T1': vues coronales. . . 168

Table des gures iii

7.12 Recalage non-rigide atlas/T1': transformation d'intensit. . . 170

7.13 Recalage non-rigide T1a/CT: vues axiales. . . 171

7.14 Recalage non-rigide T1a/CT: vues coronales. . . 172

7.15 Recalage non-rigide T1a/CT: vues sagittales. . . 173

7.16 Recalage non-rigide T1a/CT: transformation d'intensit. . . 174

7.17 Recalage non-rigide T2a/T1: vues axiales. . . 176

7.18 Recalage non-rigide T2a/T1: vues coronales. . . 177

7.19 Recalage non-rigide T2a/T1: vues sagittales. . . 178

7.20 Recalage non-rigide T2a/T1: transformation d'intensit. . . 179

7.21 Recalage non-rigide PDa/T1: vues axiales. . . 180

7.22 Recalage non-rigide PDa/T1: vues coronales. . . 181

7.23 Recalage non-rigide PDa/T1: vues sagittales. . . 182

7.24 Recalage non-rigide PDa/T1: transformation d'intensit. . . 183

7.25 Recalage non-rigide T2a/T1 par information mutuelle: vues axiales. . . 185

7.26 Recalage non-rigide T2a/T1 par information mutuelle: vues coronales. . . 186

7.27 Recalage non-rigide T2a/T1 par information mutuelle: vues sagittales. . . 187

A.1 Interprtation gomtrique de l'esprance mathmatique comme une projection or-thogonale. . . 200

A.2 Interprtation gomtrique du coe"cient de corrlation. . . 201

A.3 Interprtation gomtrique de l'esprance conditionnelle. . . 203

Chapitre

1

Introduction

1.1 Le rle du recalage dans l'analyse des images mdicales

 For NASA, space is still a high priority  (George W. Bush, Jr., 5 septembre 1993)

A

prs l'invention de la photographie, le xxesicle a vu l'mergence de nouvelles techniques d'imagerie qu'il n'est pas excessif de quali er de rvolutionnaires. En e%et, plutt que de rduire la reprsentation d'un objet  une surface plane, celles-ci l'apprhendent dans sa gom-trie naturelle, c'est--dire en trois dimensions. Ces techniques comprennent le scanner, l'imagerie ultrasonore ou chographie, l'imagerie nuclaire ou scintigraphie et l'imagerie par rsonance ma-gntique (IRM). Leur champ d'observation privilgi est l'tre vivant et leur domaine d'application principal est la mdecine.

La grande nouveaut qu'apportent ces systmes optiques modernes n'est d'ailleurs pas tant de produire des images tridimensionnelles que de permettre de voir  travers le corps de faon quasiment non-invasive. Ils sont en cela une source d'information inestimable pour le diagnostic et la pratique thrapeutique. Aujourd'hui, des dizaines de milliers d'images mdicales sont acquises quotidiennement dans le monde.

Cependant, une fois acquises, les images doivent encore tre examines et interprtes par le praticien. Bien souvent, celui-ci ralise l'examen  partir d'une succession de coupes bidimension-nelles imprimes sur un lm, d'o& une di"cult certaine  percevoir les objets dans leur globalit, d'autant plus lorsque plusieurs images doivent tre tudies simultanment. L'inconfort de l'examen ne facilite pas l'interptation. Le dveloppement parallle des sciences informatiques a fait na'tre l'ide que des outils logiciels pourraient aider le praticien dans ce travail. Ainsi s'est constitue, depuis la n des annes 80, une nouvelle branche de la vision arti cielle dont l'objectif gnral est d'automatiser l'accs aux informations pertinentes fournies par les images mdicales (Ayache, 1998( Duncan et Ayache, 2000).

Parmi les besoins les plus courants du praticien se trouvent une varit de t)ches de comparaison: comparer des images d'un mme patient acquises  des instants di%rents ou selon des modalits

di%rentes, comparer des images de patients di%rents, ou encore comparer une image avec un atlas anatomique ou fonctionnel. Ces t)ches de comparaison relvent toutes d'une mme problmatique: le recalage. La prsente thse dcrit un certain nombre de contributions mthodologiques au recalage, dans le contexte particulier de l'analyse des images mdicales.

1.1.1 Le recalage, un problme  gomtrie variable

Le recalage est un vieux problme de vision arti cielle encore incompltement rsolu. Il consiste essentiellement  tablir une relation gomtrique entre les objets reprsents par deux images. De manire quelque peu rductrice, le terme recalage est synomyme d'expressions telles que mise en correspondance ou alignement. En donner une d nition prcise relve cependant de l'utopie. Il n'existe pas un problme unique de recalage mais plutt une varit de t)ches visuelles que le bon sens nous incite  regrouper sous la mme rubrique.

Un exemple classique de recalage est celui de la compensation d'un mouvement apparent entre deux images reprsentant un mme objet rigide. En e%et, lors d'acquisitions espaces dans le temps, l'objet occupe rarement une position xe par rapport au systme d'imagerie et, ainsi, ses reprsen-tations successives seront elles-mmes localises di%remment dans les images. Dans ce contexte, le recalage s'identi e parfaitement  la mise en correspondance: il s'agit de calculer la transforma-tion gomtrique qui permet d'apparier les pixels ou voxels reprsentant des points physiquement homologues.

Dans le cas d'images tridimensionnelles, cette transformation est idalement rigide dans la me-sure o& elle caractrise un simple dplacement dans l'espace. Sa description mathmatique fait alors intervenir trois paramtres de translation et trois paramtres de rotation. Remarquons que para-doxalement, la situation se complique dans le cas d'images bidimensionnelles acquises au moyen d'une camra ou d'un appareil photographique( on parle alors de recalage stroscopique. La trans-formation reliant le monde rel et le plan d'image n'est pas rigide mais de type projectif. C'est un phnomne dont la manifestation visuelle bien connue est l'e%et de perspective. De ce fait, la relation gomtrique entre les images n'est pas, a priori, une application: un pixel d'une image peut n'avoir aucun correspondant dans l'autre image et rciproquement.

Jusqu'ici, le recalage appara't comme un problme objectif et, pourrait-on dire, froidement mathmatique. C'est loin d'tre toujours vrai. D'abord, parce que rares sont les objets du monde rel qui sont parfaitement rigides a fortiori s'agissant d'organes vivants comme le cerveau, le cur, le foie... De tel objets peuvent se dformer de manire complexe dans le laps de temps qui spare deux acquisitions (celui-ci pouvant varier de quelques secondes  plusieurs mois).

Ds lors, le problme du recalage peut avoir di%rents sens. Si l'on s'intresse uniquement  la composante rigide du mouvement, celle qui est due  la di%rence de positionnement de l'objet par rapport au systme d'imagerie, on cherche comme prcdemment une transformation rigide. Cependant, certaines applications ncessitent de caractriser les dformations propres de l'objet et, dans ce cas, la transformation reliant les images devra tre recherche dans un espace beaucoup plus grand que celui des transformations rigides. Ces deux problmes distincts peuvent tre considrs

1.1. Le rle du recalage dans l'analyse des images mdicales 3 l'un et l'autre comme du domaine du recalage, mais seul le dernier relve  proprement parler de la mise en correspondance.

Ajoutons  cela que les procds d'imagerie ne sont pas parfaits: ils peuvent eux-mmes crer des distorsions gomtriques. Ce sont cette fois des dformations virtuelles dans la mesure o& elles ne caractrisent pas une volution physique de l'objet. Le simple fait qu'une image numrique soit chantillonne  une certaine rsolution spatiale implique une incertitude sur la localisation de l'objet reprsent( c'est en soi une source de distorsion gomtrique. D'autres types de distorsions, parfois beaucoup plus svres, sont dues  l'inexactitude des modles physiques qui sous-tendent les procds d'imagerie (hypothse de clrit constante en imagerie ultrasonore, hypothse de linarit du champ magntique en IRM, etc.).

En thorie, il faudrait calculer la transformation ralisant la mise en correspondance parfaite des images pour en isoler ultrieurement les di%rentes causes physiques (dplacement rigide, dfor-mations propres, dfordfor-mations virtuelles). Une telle analyse conduit cependant  la rsolution d'un problme inverse dont la solution n'est gnralement pas dtermine de manire unique. En pratique, un problme de recalage est souvent trait directement, c'est--dire en appariant #au mieux$ un certain nombre de structures d'intrt que l'on appelle primitives, et moyennant une certaine classe de transformations spatiales adaptes, dans la mesure du possible,  la nature du mouvement que l'on cherche  estimer. Ceci avec toute la subjectivit que l'expression #au mieux$ laisse entendre. Cette subjectivit appara't de faon encore plus manifeste lorsqu'il s'agit de recaler des images reprsentant des objets non plus identiques mais (prsums) comparables. Dans un contexte mdical, on parle alors de recalage inter-sujets ou inter-patients. L'exemple trs actuel d'un tel problme, ayant de nombreuses implications dans le domaine des neurosciences, est le recalage inter-sujets d'images du cerveau. Du fait de l'extrme variabilit du cerveau d'un individu  l'autre, et plus particulirement de l'anatomie corticale, il s'agit d'un problme dont la signi cation physique est sujette  di%rentes interprtations, pour ne pas dire controverses. On pourra se reporter  (Mangin, 1995( Toga, 1999( Lester, 1999( Hellier, 2000) pour di%rents points de vue sur le sujet.

Ainsi, certaines approches se fondent sur la dtection de points anatomiques stables, comme par exemple ceux du quadrillage proportionnel de (Talairach et Tournoux, 1993). D'autres mthodes utilisent une extraction pralable des sillons du cortex dans le but de privilgier la mise en corres-pondance des surfaces corticales. En n, certaines mthodes assimilables au #morphing$ n'utilisent aucune primitive gomtrique et cherchent  maximiser une mesure de corrlation entre les inten-sits des images. La comparaison et la validation de ces di%rentes techniques suppose de d nir des critres objectifs d'valuation. Ici encore, ces critres pourront tre di%rents selon les domaines d'applications viss: neurochirurgie, sciences cognitives, radiologie...

1.1.2 Quelques exemples illustratifs (dont certains illustrs)

Les di%rents problmes de recalage rencontrs en analyse d'images mdicales peuvent tre classi s schmatiquement selon les deux catgories suivantes:

Les modalits d'acquisition des images: mono/multi-modal.

Il s'agit d'une classi cation d'origine mthodologique: elle tient moins compte des caractris-tiques mdicales du problme pos que des niveaux de di"cult que sa rsolution implique du point de vue de l'ingnieur. On pourrait notamment faire intervenir une troisime catgorie, dtermine par la conformit des objets reprsents, et il conviendrait alors de distinguer le recalage intra-sujet du recalage inter-sujets.

Les problmes de recalage rigide monomodal sont typiquement des pr-traitements ncessaires  l'tude de sries temporelles d'images. On peut citer l'exemple d'images IRM d'un patient atteint de sclrose en plaques( dans ce cas, les acquisitions sont chelonnes sur plusieurs mois. Le recalage rigide permet de repositionner les images dans un mme rfrentiel spatial, ce qui facilite grandement l'tude de l'volution des lsions. Un autre exemple est celui de la correction de mouvement dans les squences d'IRM fonctionnelles et, dans ce cas, la frquence d'acquisition est de l'ordre de la seconde. Il s'agit cette fois de dtecter des activations neuronales mais le problme du recalage se pose de la mme faon.

Si l'on cherche  caractriser le mouvement d'un organe, le recalage rigide doit tre complt par un recalage non-rigide. Un bon exemple est l'tude de la dynamique du cur  partir d'images nuclaires ou par IRM marque (Declerck, 1997). Le recalage non-rigide peut galement servir  es-timer un mouvement virtuel, entre deux sujets di%rents comme mentionn plus haut, ou entre deux images d'un mme sujet. Pour reprendre l'exemple de la sclrose en plaques, l'approche propose par (Rey et al., 1999) consiste  e%ectuer un recalage non-rigide entre deux images successives pour dtecter les zones o& les lsions voluent.

Le recalage multimodal est utile lorsque l'on souhaite tirer pro t des informations complmen-taires apportes par di%rentes modalits d'acquisition. Un exemple caractristique est celui du recalage rigide scanner/IRM pour la radiothrapie des tumeurs crbrales. Il s'agit d'optimiser la position, l'orientation et la puissance des faisceaux de manire  irradier su"samment le volume tumoral en dtruisant un minimum de tissus sains. L'imagerie scanner convient naturellement au calcul des doses car elle mesure localement le coe"cient d'absorption aux rayons X. Mais contrai-rement  l'IRM, elle ne permet pas une localisation prcise des di%rentes structures anatomiques de l'encphale. Aprs recalage des deux modalits, le mdecin dispose des informations ncessaires  une plani cation prcise de la radiothrapie (voir la gure 1.1).

En n, le recalage multimodal non-rigide peut tre vu comme le #cas gnral$ des problmes de recalage. C'est un problme di"cile qui est souvent trait indirectement, en combinant un recalage rigide multimodal et un recalage non-rigide monomodal. Dans l'exemple prcdent, on peut envisager de recaler l'image scanner avec une image IRM de rfrence pour laquelle on dispose d'un tiquetage anatomique (ralis  la main par un expert). La transformation gomtrique ainsi calcule permet de #propager$ les tiquettes anatomiques dans le repre du scanner et d'y faire appara'tre certaines structures d'intrt pratiquement invisibles par scannographie. Le rsultat illustr par la gure 1.2 a t obtenu par G. Malandain et P.-Y. Bondiau en composant un recalage rigide scanner/IRM et un recalage non-rigide entre l'IRM d'un patient et l'IRM d'un sujet de rfrence.

1.1. Le rle du recalage dans l'analyse des images mdicales 5

IRM originale Scanner dosimétrique

IRM recalée

Recalage

Fig.1.1 Recalage rigide d'une IRM (acquise en protocole T2) et d'un volume scanner dosimtrique. Images gr cieusement fournies par Pierre-Yves Bondiau, Centre Antoine Lacassagne (Nice).

Fig. 1.2 Fusion d'un atlas tiquet et d'un volume scanner. Images gr cieusement fournies par Pierre-Yves Bondiau, Centre Antoine Lacassagne (Nice). Les structures incrustes en couleur sont les ventricules (en vert), le cervelet (en bleu), le tronc crbral (en blanc) et le chiasma optique (en jaune).

1.1.3 Le recalage ultrason/IRM

Le problme du recalage d'images ultrasonores et IRM du cerveau a t le point de dpart de nos travaux et il sera le l rouge de ce mmoire. Ce problme appara't dans le contexte de la neurochirurgie assiste par ordinateur, o& l'on souhaite tirer partie d'images mdicales pour fournir au chirurgien des outils de visualisation temps-rel. L'opration est typiquement plani e sur une image IRM pr-opratoire. Lors de l'intervention, on acquiert des images ultrasonores qu'il faut recaler avec l'image pr-opratoire pour permettre au chirurgien de visualiser la trajectoire des instruments et contrler ainsi son geste thrapeutique.

Les principales causes du mouvement apparent entre l'image ultrasonore et l'image IRM sont les suivantes:

La position et l'orientation de la sonde ultrasonore dans le reprre de l'image pr-opratoire sont inconnues a priori. Ceci implique dj l'estimation d'un dplacement rigide.

Les distorsions gomtriques inhrentes  l'imagerie ultrasonore provoquent une dformation apparente du cerveau.

Pendant la cr)niotomie, et en particulier aprs ouverture de la dure-mre, le cerveau peut subir un dplacement de l'ordre du centimtre et se dformer de manire consquente. Ce phnomne (brain shift) est d* essentiellement aux variations de pression du liquide cphalo-rachidien dans lequel baigne le cerveau.

Nous sommes donc en prsence d'un problme de recalage multimodal et, en principe, non-rigide. Sa di"cult particulire tient au faible rapport contraste/bruit des images ultrasonores. De nombreux chirurgiens considrent que l'interprtation de ce type d'images ncessite un long apprentissage et on peut comprendre pourquoi en observant la gure 1.3. Nous gageons que mme un systme visuel aussi perfectionn que l'esprit de notre lecteur peine  reconna'tre les structures antomiques reprsentes sur l'image ultrasonore.

Le recalage automatique ultrason/IRM fait encore partie des quelques problmes de recalage d'images mdicales dont on peut considrer qu'ils n'ont pas de solution satisfaisante  l'heure ac-tuelle. Nous esprons y avoir apport quelques lments de rponse  travers ces travaux de recherche.

1.2 Approches algorithmiques du recalage

Il est absolument impossible de recenser toutes les mthodes de recalage d'images qui ont t proposes dans la littrature. Les tats de l'art crits par (Brown, 1992( Zhang, 1993), couvrant plusieurs domaines de la vision arti cielle, ainsi que ceux de (van den Elsen et al., 1993( Lavalle, 1995( Maintz et Viergever, 1998), spci ques au traitement d'images mdicales, constituent d'excel-lentes synthses techniques. Il existe deux grandes familles de mthodes de recalage: les mthodes gomtriques1 _{et les mthodes iconiques}2_.

1. En anglais, l'expressionfeature-basedest plus usite.

1.2. Approches algorithmiques du recalage 7

(a) Image IRM pr-opratoire (b) Image ultrasonore per-opratoire

Fig. 1.3 Trois vues orthogonales correspondantes d'une image IRM et d'une image ultrasonore. Les images sont-elles recales? La rponse est en fait: non (voir la gure 6.4 du chapitre 6).

1.2.1 Mthodes gomtriques

Les mthodes gomtriques sont peut-tre les plus naturelles car elles procdent de faon ana-logue  l'esprit humain conscient. Dans un premier temps, il s'agit d'identi er dans les images des caractristiques gomtriques communes( caractristiques que l'on appelle des primitives et qui peuvent tre des points, des lignes, des surfaces, des volumes, des repres orients..., voire des des-criptions structures mettant en jeu des relations entre lments. Ayant ainsi rduit le signal visuel  une information gomtriquement pertinente, on cherche la transformation spatiale qui apparie #au mieux$ les di%rentes primitives.

Les mthodes gomtriques reposent donc sur deux tapes bien distinctes, qui sont d'ailleurs gnralement menes de faon compltement indpendante. La premire tape, dite de segmentation, est souvent la plus problmatique ds lors que l'on souhaite la raliser automatiquement. Elle requiert d'extraire des primitives qui soient signi catives, ce qui peut s'avrer di"cile si les images sont fortement bruites (par exemple, des images ultrasonores). Mais ce n'est pas tout car il faut encore que ces primitives correspondent aux mmes ralits physiques dans les deux images( cette deuxime contrainte est particulirement dlicate dans un problme de recalage multimodal. Ainsi, la mise en uvre des mthodes gomtriques ncessite une forte connaissance a priori sur la nature des objets imags, ce qui rend leur champ d'application trs spci que.

l'tape de segmentation. Bien que nous ayons tendance  penser que les outils de vision arti cielle devraient toujours tre compltement automatiques, nous n'en reconnaissons pas moins que l'esprit humain est sans aucun doute l'algorithme de recalage le plus able au monde peut-tre faut-il s'en rjouir. Dans un mme ordre d'ide, on peut prvoir d'inclure dans les images des marqueurs strotaxiques xs rigidement au patient et dont la dtection sera plus aise. Il s'agit alors, pour reprendre la terminologie de (van den Elsen et al., 1993), de primitives extrinsques par opposition  intrinsques.

Nous pouvons donner quelques exemples de primitives dtectes automatiquement dans un but de recalage: des points extrmaux (Thirion, 1996), des lignes de crte (Subsol et al., 1998), des surfaces (Pelizzari et al., 1989), des volumes (Malandain et al., 1994) ou,  un niveau smantique suprieur, des graphes relationnels distribus (Mangin, 1995( Amit et Kong, 1996( Fern+ndez-Vidal et al., 2000). On trouvera bien d'autres rfrences dans les tats de l'art prcdemment cits.

Aprs la segmentation des primitives, la deuxime tape est celle du recalage proprement dit, c'est--dire le calcul d'une transformation spatiale #optimale$. Il convient de distinguer le cas o& les correspondances entre primitives sont connues  l'avance (primitives lablises) du cas contraire (primitives non-lablises), trs frquent lorsque la segmentation est automatique. Les mthodes adaptes au premier cas sont typiquement des mthodes d'ajustement aux moindres carrs ou au sens d'une mtrique non-euclidienne. Dans le second cas, les mthodes les plus populaires sont, ple-mle, les algorithmes de type prdiction-vrication, la minimisation d'une carte de distances (Borgefors, 1988), l'algorithme ICP3 _{(Besl et McKay, 1992( Zhang, 1994) ou les algorithmes bass}

sur des correspondances oues (Rangarajan et al., 1997( Rangarajan et al., 1999).

1.2.2 Mthodes iconiques

Si les mthodes gomtriques peuvent tre considres comme des approches haut-niveau, les mthodes iconiques sont des approches bas-niveau. Contrairement aux premires, celles-ci ne n-cessitent aucune segmentation pralable des images. Elles consistent essentiellement  optimiser un critre de ressemblance ou mesure de similarit fond uniquement sur des comparaisons locales d'intensits. Dans ce cas, les primitives guidant le recalage sont les donnes brutes, c'est--dire des vecteurs 4D contenant la position et l'intensit des voxels. Pour faire un parallle avec la vision naturelle, nous pouvons dire que les primitives iconiques sont de l'ordre de la sensation alors que les primitives gomtriques sont de l'ordre de la perception, voire de la cognition dans le cas de primitives structures comme les graphes relationnels (voir la gure 1.4).

On reconna't une mthode iconique  deux proprits essentielles. D'une part, le choix des primitives est compltement arbitraire: tous les voxels sont a priori des candidats valables. D'autre part, les primitives ne sont pas des entits gomtriques( elles appartiennent  un espace guratif, di%rent du monde rel. Ainsi, le critre utilis pour comparer ces primitives est une mesure de similarit retant indirectement une distance gomtrique.

1.2. Approches algorithmiques du recalage 9 Approches iconiques Approches géométriques Bas niveau Haut niveau Volumes Surfaces Lignes Graphes relationnels Modèles structurés Primitives élémentaires Points

Voxels (position + intensité) Primitives segmentées

Voxels + information différentielle

Fig. 1.4 Classication gnrale des mthodes de recalage d'images selon le type de primitives qu'elles utilisent.

Remarquons qu'il est possible d'enrichir l'information d'intensit par des informations di%ren-tielles d'ordre suprieur (par exemple, le gradient). De telles approches permettent de #simuler$ un recalage gomtrique fond sur des appariements de contours, mais elles restent des mthodes purement iconiques. En revanche, rien n'empche de choisir des primitives de types di%rents dans les images  recaler, notamment des primitives iconiques dans l'une et gomtriques dans l'autre (Montagnat, 1999). Les mthodes de ce type peuvent tre quali es d'hybrides.

1.2.3 Lesquelles choisir?

Nous sommes sans doute encore trs loin d'avoir explor compltement les potentialits de chacune de ces deux grandes familles de mthodes. Aussi serait-il hasardeux de porter des jugements de valeur sur leurs mrites compars. Les nombreuses tudes de validation permettent de dgager certaines tendances, mais il ne faut pas oublier que lorsque l'on parle des mthodes gomtriques ou iconiques d'un point de vue exprimental, il s'agit en fait des mthodes gomtriques ou iconiques dveloppes jusqu' prsent.

Il y a une dizaine d'annes, les mthodes iconiques taient quasiment tombes en dsutude, clipses notamment par la rapidit et la robustesse des techniques de recalage de surfaces du type chamfer-matching(Borgefors, 1988). Elles ont bn ci depuis d'un trs net regain d'intrt gr)ce  la puissance croissante des ordinateurs et au succs des approches fondes sur l'information mutuelle (Collignon et al., 1995a( Viola, 1995) dans de nombreux problmes de recalage multimodal. Vers

la n de l'anne 1997, date  laquelle ont commenc nos travaux, le projet #Vanderbilt$ (West et al., 1997) venait de publier un article comparant une douzaine de mthodes pour le recalage scanner/IRM et TEP4_{/IRM. Les rsultats donnaient un avantage certain aux mthodes iconiques.}

C'est dans ce contexte que nous avons abord le problme du recalage d'images ultrasonores et IRM  travers une approche iconique. Chemin faisant, nous avons acquis la conviction qu'aucune mesure de similarit existante n'tait adapte  ce problme. Cette thse dcrit la dmarche que nous avons suivie pour en construire une.

1.3 Organisation du mmoire et contributions

La suite de ce mmoire est divise en sept chapitres organiss de la manire suivante:

Le chapitre 2 est consacr  un tat de l'art des mthodes iconiques, l'accent tant mis sur celles qui ont t proposes en analyse d'images mdicales. Plutt que de dresser un inventaire exhaustif, nous avons cherch  faire ressortir les ides majeures, quitte  simpli er parfois la prsentation de certains travaux. Ce chapitre ne contient pas de contribution originale, en dehors d'un e%ort de synthse et d'un clairage peut-tre nouveau sur le lien qui unit le recalage iconique non-rigide et la thorie des splines multivaries (paragraphe 2.4.6).

En constatant le caractre sous-contraint des mesures de similarit du type de l'information mutuelle, nous justi ons au chapitre 3 une formulation du recalage d'images dont drive une nouvelle classe de mesures lie  la notion de rapport de corrlation. Nous montrons en quoi notre formulation est e%ectivement nouvelle, notamment par sa capacit  grer les e%ets de recouvrement partiel entre les images. Ce chapitre dveloppe les aspects thoriques abords dans (Roche et al., 1998b( Roche et al., 2000d), deux articles prsents aux ditions 1998 et 2000 de la confrence internationale MICCAI5_.

Le chapitre 4propose une valuation objective de di%rentes mesures de similarit  partir de la base de donnes #Vanderbilt$. Il rpond  un double objectif: valider les mesures fonds sur le rapport de corrlation dans le cadre du recalage multimodal, et comparer quantitativement leurs performances avec les rsultats publis dans (West et al., 1997). Une des conclusions de ce chapitre est que, dans le contexte d'une optimisation locale, certaines versions du rap-port de corrlation donnent lieu  une estimation plus robuste et au moins aussi prcise que l'information mutuelle.

Le chapitre 5 est peut-tre le plus important de ce mmoire. Notre objectif est de dterminer  quelles hypothses correspondent les mesures de similarit usuelles, a n de mieux comprendre leurs conditions d'utilisation et nalement d'aider au choix d'une mesure approprie  un pro-blme donn. Dans la continuit de (McGillem et Svedlow, 1976( Mort et Srinath, 1988( Costa et al., 1993( Viola, 1995( Leventon et Grimson, 1998( Bansal et al., 1998), nous d nissons le recalage comme un problme d'estimation par maximum de vraisemblance associ  un modle

4. Tomographie par mission de positron

1.3. Organisation du mmoire et contributions 11 gnrique d'acquisition d'images. Nous calculons alors les mesures correspondant  di%rentes instanciations du modle et retrouvons, en particulier, l'information mutuelle et le rapport de corrlation. De faon plus gnrale, cette approche permet de gnrer automatiquement une mesure de similarit en fonction d'a priori concernant la nature des images. Une version prliminaire de ce travail a t prsente  MICCAI'99 (Roche et al., 1999) et publie dans un numro spcial du journal IJIST6 _{consacr  l'imagerie 3D (Roche et al., 2000b).}

Le chapitre 6 aborde spci quement le problme du recalage rigide d'images ultrasonores et IRM du cerveau. La mesure de similarit que nous proposons est un rapport de corrlation bivari utilisant l'information d'intensit et de gradient de l'image IRM. Elle dcoule d'un mo-dle simpliste de dpendance entre les images et des rsultats thoriques obtenus au chapitre 5. Nous prsentons une validation prliminaire de la mthode qui fait appel  des techniques d'es-timation de l'incertitude dveloppes par Xavier Pennec (paragraphes 6.4et 6.5). Ce chapitre est une version augmente de l'article prsent  MICCAI'00 (Roche et al., 2000d).

Le chapitre 7 est une tude de faisabilit du recalage multimodal non-rigide. Notre mthode reprend la philosophie du rapport de corrlation en y incorporant quelques adaptations pra-tiques dont on montrera qu'elles sont ncessaires dans le contexte du recalage non-rigide. Nous prsentons quelques rsultats de recalage inter-sujets d'images du cerveau combinant des mo-dalits di%rentes (atlas lablis, trois protocoles d'acquisition IRM, scanner). Cette mthode ncessite encore quelques dveloppements pour aboutir au recalage non-rigide ultrason/IRM. Il nous est agrable de souligner que ce travail est le fruit d'une collaboration avec Alexandre Guimond dont on trouvera une prsentation lgrement di%rente dans sa thse (Guimond, 1999), dans les actes de la confrence ECCV'007 _{(Roche et al., 2000a) et dans un numro }

para'tre du journal TMI8 _{(Guimond et al., 2001). Par rapport  ces publications, nous avons}

reformul la partie consacre au calcul des dplacements, en prcisant sa relation  une mi-nimisation d'nergie et en incluant une comparaison avec les modles uides de (Christensen et al., 1996).

En n, le chapitre 8 fait le bilan des travaux prsents et esquisse quelques directions de recherche future.

6.International Journal of Imaging Systems and Technology. 7.European Conference on Computer Vision.

Chapitre

2

Recalage par comparaison d'intensits:

tat de l'art

2.1 Introduction

C

ontrairement aux mthodes gomtriques, les mthodes iconiques de recalage ne font pas appel  une segmentation pralable des images. Leur principe commun est de rechercher la transformation spatiale qui optimise un certain critre de ressemblance, ou mesure de similarit, dont le calcul ne fait intervenir que des comparaisons locales d'intensits.

2.1.1 Premiers pas

Un exemple trs simple permet d'introduire ces approches. Supposons que l'on souhaite reca-ler deux images identiques  une transformation spatiale prs. On comprend que si on superpose les images de manire  compenser cette transformation, leurs intensits sont identiques en tout point. Par contre, en appliquant une transformation qui ne correspond pas au vritable dcalage, on risque d'apparier des points d'intensits di%rentes. Ainsi, si l'on est capable de mesurer le degr de recouvrement entre points de mme intensit, on obtient indirectement une mesure de l'cart entre la transformation considre et la transformation vritable, quand bien mme cette dernire est inconnue! Or une telle mesure est trs facile  calculer( on peut prendre, par exemple, la somme des di%rences d'intensit au carr. Ce critre atteint son minimum absolu (zro) lorsque les images sont recales.

Bien entendu, la situation o& les images sont parfaitement identiques  une transformation prs n'existe pas en pratique. Mais, tant qu'elles restent relativement semblables (en particulier, si elles sont acquises selon la mme modalit), le principe trs simple que nous venons de dcrire s'avre redoutablement e"cace. Il semble que les premires mthodes exploitant le concept de mesure de similarit entre intensits soient apparues au dbut des annes 70. Certains auteurs ont cherch alors  relier les mesures de similarit  des modles stochastiques d'acquisition. Ainsi, il a t dmontr

que le critre de somme des di%rences au carr que nous avons mentionn est thoriquement justi  si l'on suppose que les images  recaler sont identiques  une transformation spatiale prs et  un bruit blanc gaussien additif prs (McGillem et Svedlow, 1976).

De nombreuses mesures analogues ont t proposes, telles que le coe"cient de corrlation (Svedlow et al., 1978), la somme des di%rences d'intensits en valeurs absolues (Barnea et Silverman, 1972), ou encore le nombre de changements de signe dans l'image de di%rence (Venot et al., 1984). On se reportera  l'tat de l'art crit par (Brown, 1992) pour une liste plus dtaille ainsi que pour une discussion des avantages compars de ces di%rentes mesures.

Dveloppes  l'origine dans un contexte de recalage global (rigide ou a"ne), les mthodes iconiques ont par la suite t tendues au cas du recalage non-rigide, o& elles sont  la base d'une varit d'algorithmes de ux optique (Horn et Schunck, 1981). On se reportera  (Barron et al., 1994( Lester, 1999) pour deux tats de l'art extrmement dtaills, le premier d'ordre gnral et le second spci que aux images mdicales.

Le passage  des espaces de recherche plus grands que celui des transformations a"nes pose en fait une di"cult conceptuelle supplmentaire. Ds lors que l'on n'impose plus de contraintes explicites  la transformation recherche, l'optimisation d'une mesure de similarit peut conduire  une solution qui n'a pas les bonnes proprits de continuit et d'inversibilit attendues. Pour remdier  cette di"cult, l'approche la plus courante est de modi er le problme d'optimisation en ajoutant  la mesure de similarit un terme d'nergie permettant de contrler la rgularit de la transformation.

2.1.2 L'histoire contemporaine

Jusqu' la n des annes 80, la recherche s'tait concentre sur des problmes de recalage entre images de mme modalit. C'est en partie l'mergence du traitement d'images mdicales qui a fait appara'tre la problmatique du recalage multimodal1_{. Or, les mesures de similarit connues}

reposaient sur une hypothse de conservation d'intensit, ou au mieux de dpendance linaire entre les intensits, qui s'accomodaient mal de la relation complexe manifeste par des images issues de modalits di%rentes. Les mesures classiques tant prises en dfaut, il fallait en trouver de nouvelles. Les travaux de (Woods et al., 1993) ont permis une avance signi cative dans cette direction. Pour s'a%ranchir de l'hypothse de dpendance linaire entre les intensits, Woods et al. proposent de partitionner une des images en ses ensembles d'iso-intensits. L'ide est de calculer, pour chacun de ces ensembles, un cart-type (normalis) traduisant la dispersion en intensits des voxels corres-pondants dans la seconde image. La mesure de similarit  minimiser est alors obtenue en faisant une somme pondre de ces cart-types. A l'origine, la mthode tait applique au recalage rigide TEP/IRM d'images du cerveau et son bon fonctionnement ncessitait une tape de pr-traitement de l'IRM visant  masquer les structures extra-crbrales. Certains auteurs l'ont amliore par la suite au prix de modi cations sensibles apportes  la mesure de similarit originale (Ardekani et al., 1995( Alpert et al., 1996( Nikou et al., 1998).

2.1. Introduction 15 Dans la foule des travaux de Woods et al., un concept trs utile allait tre introduit par (Hill et al., 1994): la distribution conjointe d'intensits, ou histogramme conjoint2_{, que nous}

d ni-rons formellement au paragraphe 2.3.1. Hill et al. observent que lorsque la transformation relative entre deux images s'carte de la position idale de recalage, leur histogramme conjoint tend  se #disperser$. Ainsi, une mesure de dispersion de l'histogramme conjoint est une mesure de similarit. Dans l'article auquel nous faisons rfrence, c'est en l'occurrence le moment d'espace d'ordre 3 qui est utilis, un choix que les auteurs prsentent eux-mmes comme arbitraire.

Plusieurs groupes ont alors envisag d'autres choix et ont montr que des critres hrits de la thorie de l'information permettaient de mesurer plus e"cacement la dispersion de l'histogramme conjoint. Les propositions les plus notables sont l'entropie conjointe (Collignon et al., 1995b( Stud-holme et al., 1995), l'information mutuelle (Collignon et al., 1995a( Viola, 1995) et le coe"cient de corrlation entropique ou information mutuelle normalise (Studholme et al., 1998). Ces trois me-sures di%rent entre elles essentiellement par leurs proprits de robustesse au recouvrement partiel, une notion sur laquelle nous aurons l'occasion de revenir en dtail.

En 1997, on disposait donc dj d'une panoplie to%e de mesures de similarits potentiellement adaptes au recalage multimodal rigide. Nanmoins l'information mutuelle s'tait impose dans l'esprit de beaucoup comme la mesure standard, sinon universelle. Une tude de validation du recalage rigide TEP/IRM et scanner/IRM, impliquant des mthodes dveloppes par di%rents groupes, venait d'tre publie (West et al., 1997) et tablissait exprimentalement l'e"cacit du recalage par information mutuelle.

D'un point de vue conceptuel, plusieurs auteurs (Viola, 1995( Wells et al., 1996b( Maes et al., 1997) ont avanc des arguments similaires pour expliquer la supriorit de l'information mutuelle sur les mesures du type de celle de Woods et al. On peut les rsumer de la manire suivante: ces dernires mesures reposent en fait sur une hypothse implicite de dpendance fonctionnelle entre les intensits des images, hypothse certes moins restrictive que celle d'une dpendance linaire, mais encore trop grossire, selon eux, pour rendre compte de la ralit. L'information mutuelle, dont on peut considrer qu'elle repose sur une hypothse d'ordre plus gnral, serait donc mieux adapte  la nature des images mdicales.

Nanmoins, certains travaux contemporains de ceux sur l'information mutuelle utilisaient ex-plicitement l'hypothse d'une dpendance fonctionnelle entre les intensits des images. L'ide tait d'estimer simultanment la transformation de recalage et une fonction de correction d'intensit ap-plique  l'une des images pour qu'elle #ressemble$  l'autre. Cette ide, prsente dans (Barber, 1992( Feldmar et al., 1997) mais restreinte  l'estimation d'une fonction de correction linaire, a t exploite par (Friston et al., 1995) et Viola lui-mme (Viola, 1995) dans le cas d'une fonction non-linaire, voire spatialement instationnaire en ce qui concerne la premire rfrence.

C'est une formulation similaire qui nous a conduit  proposer le rapport de corrlation comme mesure de similarit (Roche et al., 1998b). Il s'agit d'un critre de liaison connu en statistique comme une gnralisation naturelle du coecient de corrlation dj voqu. Le chapitre 3 est consacr 

sa description et  sa comparaison avec d'autres mesures.

2.1.3 Et maintenant?

Nous pouvons considrer aujourd'hui que la faisabilit du recalage multimodal rigide est tablie pour di%rentes combinaisons de modalits d'images mdicales. Deux tendances actuelles semblent se dessiner. Plusieurs quipes ont commenc  appliquer les mesures de similarit prcdemment voques au recalage multimodal non-rigide (Maintz et al., 1998( Gaens et al., 1998( Lau et al., 1999( Guimond et al., 2001( Hellier et Barillot, 2000). Les dveloppements concernant le recalage rigide continuent cependant avec un e%ort croissant pour concevoir des mesures de similarit spci- ques aux applications vises. La problmatique qui en dcoule est la prise en compte de modles d'acquisition d'images (Costa et al., 1993( Viola, 1995( Leventon et Grimson, 1998( Bansal et al., 1998( Roche et al., 2000b).

2.1.4 Plan du chapitre

Les algorithmes de recalage iconique se distinguent entre eux par trois types de choix de mise en uvre:

1. la mesure de similarit,

2. l'espace dans lequel est recherche la transformation, 3. la mthode d'optimisation.

Ces trois aspects seront abords dans cet ordre au cours des paragraphes 2.3, 2.4 et 2.5. Nous commenons par introduire quelques notations et lments de vocabulaire que nous utiliserons fr-quemment au cours de ce mmoire.

2.2 Notations et terminologie

Puisque un problme de recalage suppose la donne de deux images, nous utiliserons les lettres

I

et

J

pour les dsigner. Les images seront considres comme des applications d'une partie nie de

R 2 ou

R

3 (grille)  valeurs dans R,

I

: IRd !R



J

: J Rd 0 !R



(

dd

0) 2f2



3g 2

Par souci de clart, nous supposerons par dfaut que les images sont tridimensionnelles, tant entendu que cette hypothse n'entra'ne pas ncessairement une perte de gnralit.

La grilleI(resp.J) est l'ensemble des vecteurs dont les coordonnes reprsentent les positions

des voxels de

I

(resp.

J

) dans un certain repre. Par abus de langage, nous parlerons des voxels de

I ouJ. Le choix des repres est bien entendu arbitraire. Pour une image chantillonne sur une

grille cubique, il est pratique de choisir les axes naturels de la grille comme axes du repre, l'origine tant souvent prise par convention au coin suprieur gauche de la grille. Lorsque cela sera important, nous prciserons si les repres considrs sont rels, les coordonnes d'un point tenant compte de

2.3. Mesure de similarit 17 la rsolution spatiale de l'image, ou si ils sont virtuels, les voxels tant alors reprs par des indices entiers. Pour une grille cubique, la matrice de passage d'un repre  l'autre est une simple matrice diagonale.

La lettre x sera rserve aux lments de I et la lettre y aux lments de J. De plus, a n

d'allger au maximum les notations mathmatiques, nous serons frquemment amens  indicer ces lments. Les lettres

k

et

`

seront respectivement rserves aux indices correspondant  I et J.

Les intensits des voxels seront alors abrges de la faon suivante:

(

i

k

I

(xk)

 k

= 1

:::n

j

`

J

(y`)

 `

= 1

:::m

o&, par d nition,

n

CardI et

m

CardJ.

Le problme du recalage consiste  relier spatialement les deux grilles d'images. De manire peut-tre restrictive, nous le voyons comme la recherche d'une transformation spatiale

T

:R

3 !R

3

 appliquer  l'une des grilles pour la mettre en correspondance avec l'autre. Ce point de vue impose une rpartition des rles: l'image dont la grille subit la transformation sera appele source et l'autre, dont la grille sert par consquent de rfrence, sera appele cible. La convention qui sera adopte tout au long du mmoire sera de prendre

I

comme image source et

J

comme image cible.

Cette terminologie nous semble moins quivoque que la terminologie plus classique dans laquelle une des images est vue comme la #rfrence$. En e%et, puisque la transformation

T

est applique  I, nous serions tents de considrer

J

comme image de rfrence. Mais le point de vue peut

tre renvers car, contrairement  l'intuition, la transformation

T

ainsi d nie est celle qui sert habituellement  rchantillonner

J

dans la gomtrie de

I

. Nous avons opt pour ce changement de terminologie aprs avoir constat qu'une majorit d'auteurs appelaient image de rfrence ce que nous appelons ici image source.

2.3 Mesure de similarit

Il existe un nombre considrable de mesures de similarit dans la littrature du recalage d'images. Notre objectif n'est pas de les recenser, mais de prsenter les grandes familles d'une manire aussi synthtique que possible. Or, il s'avre que la plupart des mesures existantes peuvent tre d nies  partir d'un histogramme conjoint (Hill et al., 1994( Bro-Nielsen, 1997( Sarrut, 2000). C'est par consquent le formalisme que nous avons choisi d'adopter au cours de ce chapitre.

Nous signalons que plusieurs mesures peuvent tre apprhendes indpendamment de la notion d'histogramme conjoint. Celle-ci implique une certaine interprtation probabiliste, mais d'autres interprtations sont possibles et parfois plus naturelles. De plus, en termes de mise en uvre, le calcul e%ectif d'un histogramme conjoint peut accro'tre inutilement la complexit calculatoire d'une mesure. C'est le cas, en particulier, pour toutes les mesures bases sur des di%rences d'images. Il faut donc considrer ce formalisme comme uni cateur d'un point de vue conceptuel, mais pas ncessairement pertinent d'un point de vue algorithmique.

2.3.1 Le concept d'histogramme conjoint

Soient deux images

I

et

J

et soit une transformation de l'espace

T

:R 3

!R

3. Nous supposons

pour le moment que

T

fait parfaitement co-ncider les voxels de

I

avec des voxels de

J

. En termes mathmatiques, la restriction de

T

 I est suppose tre une application de I dans J.

L'his-togramme conjoint est alors d ni en fonction de

T

comme le tableau de contingence des couples d'intensits associs aux voxels apparis:

p

ij(

T

) = 1

_n

Card n

k

21

:::n

]

 i

k =

i j

# k =

j

o

o& nous posons

j

#

k 

J

(

T

(xk)). L'utilisation d'une che oriente vers le bas pour souligner la

dpendance en

T

constitue une notation abusive, mais nous pensons qu'elle allge la typographie mathmatique de l'expos.

L'histogramme conjoint associe  chaque couple d'intensits possible une valeur comprise entre 0 et 1 qui reprsente une proportion de voxels. On peut l'interprter comme une densit de probabilit discrte, ce qui a le sens suivant:

p

ij(

T

) est la probabilit qu'un voxel tir alatoirement dans I

ait l'intensit

i

dans l'image

I

et que son correspondant par

T

ait l'intensit

j

dans l'image

J

. La d nition prcdente n'a de sens statistique que si le nombre de valeurs d'intensits prises par les images est faible devant le nombre de voxels utiliss pour calculer l'histogramme conjoint. En pratique, cette condition est gnralement ralise pour des images encodes sur 1 octet, les intensits prenant alors un maximum de 256 valeurs( typiquement(

ij

) 2f0



1

::: 

255g

2. Mais ds

que l'on considre des images encodes sur 2 voire 4octets, il est ncessaire de regrouper les intensits de valeurs proches. Ceci nous amne  une d nition plus gnrale de l'histogramme conjoint. Pour deux rels

 >

0 et

 >

0donns, considrons la fonction indicatrice du pav ;

2



 2 ; 2



 2:

K

(

ij

) = ( 1 si ;  2 

i <

 2



;  2 

j <

 2 0 sinon

La fonction

K

 engendre une partition discrte deR

2 en fentres d'aires gales et centres sur

les valeurs (

ij

) = (

pq

), pour (

pq

) dcrivant Z

2. Nous pouvons d nir l'histogramme conjoint

sous forme d'une somme:

p

ij(

T

) = 1

_n

Xn k=1

K

 

i

;

i

k

j

;

j

# k 



8(

ij

)2  (

pq

)



(

pq

)2Z 2  (2.1) Dans la suite de l'expos, les indices (

pq

) seront assimils aux couples d'intensits (

ij

) qu'ils reprsentent. La restriction de

p

ij(

T

)  ces valeurs possde clairement les proprits d'une densit

de probabilit discrte et gnralise donc naturellement la prcdente d nition.

Les paramtres



et



contrlent la taille des fentres, et on peut se poser la question de leurs valeurs optimales. Une solution courante est de prendre



=



= 1pour deux images encodes sur 1 octet, ce qui revient  ne pas regrouper des intensits di%rentes. Dans le cas gnral, on se ramne  une rpartition des intensits en 2562 classes par des choix appropris de



et



. En se fondant

2.3. Mesure de similarit 19 k j α β i j k i

Fig. 2.1 Construction d'un histogramme conjoint. Le couple d'intensits(

i

k

j

#

k) augmente d'une

unit l'eectif de la fentre colorie en bleu.

sur un argument statistique, (Jenkinson et Smith, 2000) introduisent une dpendance de ces valeurs en fonction du nombre de voxels utiliss.

Insistons sur le fait que la d nition de l'histogramme conjoint considre ici est discrte, au sens o& les couples (

ij

)varient dans un espace discret. Une d nition continue est possible via une trs lgre modi cation de l'quation (2.1): il su"t de normaliser la fonction

K

 pour que son

intgrale prise sur R

2 soit unitaire. C'est le principe mme du fentrage de Parzen (Duda et Hart,

1973). Il est galement possible de choisir un autre noyau que la fonction indicatrice, par exemple un noyau gaussien. Cette approche permet de rgulariser la dpendance en

T

de l'histogramme conjoint, mais au prix d'un accroissement important de la complexit calculatoire. Elle t explore dans le contexte discret (Thvenaz et Unser, 1998) et continu (Viola, 1995).

Jusqu' prsent, nous avons travaill sous l'hypothse de correspondances spatiales parfaites entre les voxels, ce qui restreint notre d nition de l'histogramme conjoint  une classe de trans-formations peu intressante car n'ayant pas beaucoup de sens physique. La gure 2.2 illustre les di"cults qui apparaissent lorsque l'on considre des transformations spatiales plus gnrales. Le correspondant d'un voxel xk peut ne pas co-ncider exactement avec un nud de la grille d'arrive,

de sorte que son intensit

j

#

k est ind nie. Deux problmes peuvent alors se poser:

1. un problme d'interpolation pour les points

T

(xk) tombant  l'intrieur du domaine dlimit

par la grille J,

2. un problme d'extrapolation pour les points

T

(xk)tombant  l'extrieur.

di%rentes. Nous les abordons dans cet ordre au cours des deux prochains paragraphes, ce qui aboutira  gnraliser la notion d'histogramme conjoint  toutes les transformations spatiales.

? ?? Image J Image I xk xk’ T

Fig. 2.2 Application d'une transformation spatiale  une image, et illustration des eets de bord.

2.3.2 Interpolation

Le problme qu'on se pose ici est le suivant: comment estimer la contribution  l'histogramme conjoint d'un voxel xk dont le correspondant

T

(xk) est situ  l'intrieur du domaine dlimit par

la grille J?

2.3.2.1 Interpolation de l'intensit

L'approche la plus rpandue consiste  interpoler l'intensit

j

#

k du correspondant et de lui

substi-tuer cette valeur interpole dans l'quation (2.1). En d'autres termes, il s'agit de reprsenter

J

par une fonction d nie sur l'espace entier,

J

~:R

3

!R, et qui co-ncide avec le signal chantillonn aux

di%rents nuds de la grilleJ. Dans le cadre gnral de l'interpolation linaire, le signal reconstruit

est obtenu par convolution du signal discret (vu comme une somme d'impulsions de Dirac) avec un noyau convenablement choisi.

Un cas particulier intressant d'un point de vue calculatoire est celui de l'interpolation spline (Unser, 1999( Unser et al., 1993a( Unser et al., 1993b). L'interpolation spline d'ordre

d

est d nie par sa dcomposition sur la base des fonctions

B

-splines de degr

d

:

~

J

(y) = +1 X `=;1

c

`



3d( y;y`)



8y2R 3 (2.2)

o& les vecteurs y` reprsentent des coordonnes virtuelles (voir le paragraphe 2.2). La somme in nie

qui appara't dans l'quation (2.2) provient du fait que, pour garantir l'unicit de la spline interpo-lante, le signal doit tre d ni sur une grille d'extension in nie. Une manire judicieuse de raliser

2.3. Mesure de similarit 21 cette condition est de dupliquer ind niment le signal original en lui appliquant des symtries suc-cessives. Cette opration, bien videmment arti cielle, ne joue que sur l'interpolation des points situs  proximit des bords de la grille.

Dans notre cas, le signal tant une image 3D, il importe de raliser que les fonctions

B

-splines dont nous parlons sont des produits tensoriels de fonctions

B

-splines unidimensionnelles( si

(

y

1

y

2

y

3) dsignent les composantes d'un vecteur y:



d 3( y) =



d 1(

y

1)



d 1(

y

2)



d 1(

y

3)

:

Notons que cette d nition n'est pas la seule gnralisation possible des fonctions

B

-splines aux dimensions suprieures 1. La #bonne$ gnralisation, celle qui permet de conserver les proprits d'optimalit tablies en dimension 1, trouve son expression dans la thorie de la rgularisation et des splines multivaries (Duchon, 1977( Girosi et al., 1995). Nanmoins, les produits tensoriels de fonctions

B

-splines prsentent un avantage calculatoire considrable li au fait que leur support est compact.

Les coe"cients

c

`de l'quation (2.2) sont choisis de manire  statisfaire aux contraintes d'galit

entre

J

~et

J

aux nuds de la grille. Dans le cas de grilles rgulires, ils peuvent tre calculs par ltrage rcursif (Unser et al., 1993b), ce qui peut tre fait une fois pour toutes avant la procdure de recalage. Remarquons cependant que pour les splines de degr 0 et de degr 1, ce calcul n'a pas lieu d'tre puisque les coe"cients sont alors gaux aux valeurs d'intensit,

c

`=

j

`.

Une fois les coe"cients

c

` connus, les intensits interpoles sont donnes par:

j

# k X `

c

`



d 3 ;

T

(xk);y` 



o& un nombre restreint de nuds voisins de

T

(xk)interviennent dans la somme, tant donne la taille

nie du support des fonctions

B

-splines. Le nombre de voisins, et donc la complexit calculatoire, augmentent en fonction du degr de la spline selon (

d

+ 1)3. Les cas

d

= 0 et

d

= 1 correspondent

respectivement  l'interpolation par le plus proche voisin et  l'interpolation trilinaire. Un rsul-tat satisfaisant pour l'esprit est que, lorsque

d

tend vers l'in ni, l'interpolation spline tend vers l'interpolation par sinus cardinal (sinc) prconise par la thorie de l'chantillonnage de Shannon.

Une autre manire de raliser approximativement une interpolation sinc est d'utiliser des noyaux de convolution obtenus par multiplication de la fonction sinc avec une fonction  support compact (Meijering et al., 1999). Le signal reconstruit est alors obtenu par convolution directe du signal discret: ~

J

(y) = +1 X `=;1

j

`

h

(y;y`)



h

(y) = sinc(y)

w

(y)

Il s'agit vraiment de l'approche duale  l'interpolation spline. En e%et, on peut voir les fonctions

B

-splines comme des approximations de la fonction sinc dans le domaine de Fourier (Unser, 1999)( les fonctions sinc fentres en sont des approximations dans le domaine spatial.

En pratique, par souci de rduire les temps de calcul, la plupart des auteurs se limitent  l'interpolation trilinaire (

d

= 1), pour laquelle la fonction

B

-spline lmentaire s'crit



1

3( y) =