Université de Sherbrooke
R EC A LA G E M ULTI-M O DAL A U T O M A T IQ U E :
T E C H N IQ U E D E M U L T I-R Ê SO L U T IO N PARALLÈLE
A P P L IQ U É E À LA T E P ET L’IRM
par
Michaël Bernier
Département de médecine nucléaire et radiobiologie
Mémoire présenté à la Faculté de médecine et des sciences de la santé
en vue de l’obtention du grade de maître ès sciences (M.Sc.)
en Sciences des radiations et imagerie biomédicale
Sherbrooke, Québec, Canada
1er mai 2012
Membres du Jury d ’évaluation
Maxime Descoteaux, Département d ’informatique
Martin Lepage, Département de médecine nucléaire et radiobiologie Roger Lecomte, Département de médecine nucléaire et radiobiologie
Kevin W hittingstall, Département de radiologie Marie-Flavie Auclair-Fortier, Département d ’informatique
1+1
Library and Archives Canada Published Héritage Branch Bibliothèque et Archives Canada Direction du Patrimoine de l'édition 395 Wellington Street Ottawa ON K1A0N4 Canada 395, rue Wellington Ottawa ON K1A 0N4 CanadaYour file Votre référence ISBN: 978-0-494-93300-8 Our file Notre référence ISBN: 978-0-494-93300-8
NOTICE:
The author has granted a non-
exclusive license allowing Library and Archives Canada to reproduce, publish, archive, preserve, conserve, communicate to the public by
télécommunication or on the Internet, loan, distrbute and sell theses
worldwide, for commercial or non- commercial purposes, in microform, paper, electronic and/or any other formats.
AVIS:
L'auteur a accordé une licence non exclusive permettant à la Bibliothèque et Archives Canada de reproduire, publier, archiver, sauvegarder, conserver, transmettre au public par télécommunication ou par l'Internet, prêter, distribuer et vendre des thèses partout dans le monde, à des fins commerciales ou autres, sur support microforme, papier, électronique et/ou autres formats.
The author retains copyright ownership and moral rights in this thesis. Neither the thesis nor substantial extracts from it may be printed or otherwise reproduced without the author's permission.
L'auteur conserve la propriété du droit d'auteur et des droits moraux qui protégé cette thèse. Ni la thèse ni des extraits substantiels de celle-ci ne doivent être imprimés ou autrement
reproduits sans son autorisation.
In compliance with the Canadian Privacy Act some supporting forms may have been removed from this thesis.
While these forms may be included in the document page count, their removal does not represent any loss of content from the thesis.
Conformément à la loi canadienne sur la protection de la vie privée, quelques
formulaires secondaires ont été enlevés de cette thèse.
Bien que ces formulaires aient inclus dans la pagination, il n'y aura aucun contenu manquant.
R ecalage m ulti-m odal au to m a tiq u e : T echnique d e m u lti-résolu tion parallèle ap p liq uée à la T E P e t l ’IR M
Par
Michaël Bernier
Programme de Sciences des radiations et imagerie biomédicale
Mémoire présenté à la Faculté de médecine et des sciences de la santé en vue de l’obtention du diplôme de maître ès sciences (M.Sc.) en Sciences des radiations et imagerie biomédicale, Faculté de médecine et des sciences de la santé, Université de
Sherbrooke, Sherbrooke, Québec, Canada, J1H 5N4
Le recalage autom atique des images issues de la tomographie par émission de po sitrons (TEP) et de l’imagerie par résonance magnétique (IRM) du petit animal pose un problème difficile à résoudre, tan t sur l’aspect de la précision, du taux de réussite et de convergence que sur la rapidité d ’exécution. En fait, la plupart des techniques de recalage actuelles sont développées et appliquées aux cerveaux humains, mais ne sont pas aussi efficaces lorsqu’appliquées sur des données animales. L’anisotropie impor tante des voxels (résolution fine dans le plan de l ’acquisition, mais grande épaisseur de coupe) et la dégradation des images associée à ce type d ’acquisition s ’additionne au manque d ’information d ’intensité et de complexité anatomique de ce type de jeu de données. Ce mémoire met l’accent sur les techniques multimodales de recalage automatique et de leurs limites, appliquées particulièrement à la T E P et l’IRM du petit animal. Dans l’article principal présenté dans ce mémoire, nous proposons une mesure qui utilise un recalage multirésolution en parallèle (imbriqué dans la fonction d ’énergie) au lieu d ’une approche classique de multirésolution séquentielle, influen çant directement la procédure du recalage. En combinant les niveaux de basse et haute résolution des images, nous nous assurons une plus grande insensibilité par rapport au bruit, d ’une ouverture accrue perm ettant une meilleure convergence et rapidité d ’exécution. L’article démontre que notre nouvelle approche autom atique est un algorithme de recalage robuste et efficace avec un taux de réussite élevé. Nous présentons également dans ce mémoire certains détails d ’implantation de l’outil, qui a été créé par l’auteur de ce document, reposant sur le recalage classique et la nouvelle méthode décrite dans ce mémoire.
M ots-clés: T E P ; IRM ; Recalage ; Mesure de similarité ; Multi-résolution ; Multi- modal ; NMI.
M ulti-m odal au tom atic registration : A parallel m u lti-resolu tion approach applied to P E T -M R I
By Michaël Bernier
Graduate Program of Radiation Sciences and Biomédical Imaging
Master’s thesis presented to the Faculty of Medecine and Health Sciences to obtain the title of maître ès sciences (M.Sc.) in Radiation Sciences and Biomédical Imaging, Faculty of Medecine and Health Sciences, Université de Sherbrooke,
Sherbrooke, Québec, Canada, J1H 5N4
Automatic registration of small animal Positron Emission Tomography (PET) and Magnetic Résonance Imaging (MRI) d ata represents a difficult problem in term s of convergence speed, accuracy and success rate. In fact, most existing registration me- thods are developed and applied to human brain volumes but these are not as effective for small animal data because of the lack of intensity information in the images and often the large anisotropy in voxel dimensions (very small in-plane resolution and large slice thickness). This master thesis focuses on multi-modal autom atic registra tion techniques and their limitations, especially applied to PET-MRI registration. In the main article of this master thesis, we propose a new registration measure th at combines multi-resolution in parallel (in the same energy function) instead of a clas- sic sequential multi-resolution, which influence th e procédure of the registration as well. By combining low and high resolution levels of images, we can gain from the low noise sensitivity and aperture a t coarse levels and higher contrast and détails at higher levels, which helps convergence accuracy and speed. The paper shows th a t our new approach is therefore an automatic, robust and efficient registration algorithm with a high success rate. We also présent in this document some implémentation dé tails on the tool which was created by the author of this thesis based on the classic registration and the new approach described in this thesis.
K eyw ords: PET ; MRI ; Registration ; Similarity measure ; Multi-resolution ; Multi- modal; NMI.
D éd ica ce &: rem erciem en ts
J ’aimerais dédier ce mémoire aux gens du Moivre, pour avoir su apprécier mon humour et mes humeurs tout au long de ma maîtrise. Le support moral est primordial lorsque l’on effectue un projet aussi ambitieux, et quoi de mieux que de travailler dans une ambiance légère et agréable !
Je voudrais remercier Maxime Descoteaux pour son immense support et les op portunités de projets auxquel j ’ai eu la chance de collaborer. Je remercie également M artin Lepage, Roger Leeomte et les gens du CIMS pour m ’avoir permis de décou vrir le vaste domaine de l’imagerie médicale tout en m’apportant un support essentiel sous diverses formes. Je remercie également Louis Doré-Savard, Nicolas Beaudet, Phi lippe Sarret, David Fortin, Jérôme Côté, Fernand Gobeil Jr., Maggie Roy, Stephen Cunnane, Olivier Clerk-Lamalice et Lionel Carm ant pour m ’avoir procuré les jeux de données utilisés dans ce projet. Finalement, merci à Marie-Flavie Auclair-Fortier pour m ’avoir fait une petite place au Moivre !
E p igrap h e
“If you can’t explain it simply, you don’t understand it weli enough.”
T able des m a tières
D édicace &: rem erciem ents iii
Épigraphe iv
Table des m atières v
L iste d es figures vii
L iste des tab leau x ix
A b réviations x
Introd u ction 1
1 Le recalage m ultim odal T E P -IR M 3
1.1 Le recalage en général ... 3
1.1.1 Mesures de s im ila rité ... 4
1.1.2 Recherche de la s o l u t i o n ... 6
2 R evu e d es ty p es de recalage 9 2.1 Recalage m o n o m o d al... 9
2.2 Recalage géom étrique... 10
2.3 Recalage ico n iq u e... 12
2.4 Recalage h y b r i d e ... 13
Ta b l e d e s m a t i è r e s
3 A rticle : N ou velle approche de m u lti-résolu tion parallèle p ou r un recalage a u tom atiq u e T E P -IR M du p e tit anim al 17
3.1 Avant-propos ... 17
3.2 In tro d u c tio n ... 19
3.3 Automatic R eg istratio n ... 21
3.3.1 T ra n sfo rm a tio n ... 21
3.3.2 Similarity M e a s u r e ... 21
3.3.3 Energy minimization using D H S ... 23
3.4 M e th o d s ... 24
3.4.1 Initialization with a PCA ... 24
3.4.2 Parallel multi-resolution m e a s u r e ... 24
3.4.3 Using PMCM initiated with P C A ... 26
3.4.4 Algorithms and Expérimental D a t a ... 27
3.5 R e su lts... 29
3.5.1 PET-M RI fémoral bone tumor d a t a b a s e ... 29
3.5.2 PET-M RI rat brain database ... 31
3.5.3 MRI-MRI rat brain database ... 31
3.6 C onclusion... 32
3.7 R eferen ces... 34
3.8 Appendix A. A lg o rith m s... 37
4 D iscussion 38 5 C onclusion 41 A D éta ils d ’im p lém en tation 51 A .l In te rfa c e ... 53
A.2 Encodeurs et décodeurs des formats m é d ic a u x ... 60
A.3 Algorithme de re c a la g e ... 62
A.4 A u tre ... 63
A.5 Documentation et c o d e ... 64
1.1 Opérations de la descente du simplexe, où les opérations de convergence du simplexe y sont représentées : Réflexion, contraction, contraction multiple et expansion. L’algorithme choisit l’opération à effectuer en fonction de la position du simplexe par rapport à la solution optimale. 8 2.1 Recalage géométrique TEP-IRM où on utilise les informations de contour
seulement (en rouge). A noter ici q u ’on démontre que les primitives de contours sont très différentes d ’une modalité à l’autre, impliquant que
ce type de recalage n ’est pas adapté à la TE P et l’IRM... 12
2.2 Recalage iconique TEP-IRM où on utilise des mesures basées sur l’in tensité des pixels pour effectuer notre recalage. On doit alors trans former l’image TEP entièrement pour tenter de l’aligner avec l’image IRM, et ce à chaque itération... 13
2.3 Recalage hybride TEP-IRM où on utilise des mesures basées sur l’in tensité des pixels et les primitives géométriques de contours (en rouge) pour effectuer notre recalage. On utilise ces dernières pour guider le recalage iconique vers la solution optim ale... 15
3.1 Mutual in fo rm atio n ... 22
3.2 Downhill s im p le x ... 23
3.3 Downhill simplex animation (still i m a g e ) ... 23
3.4 P C A ... 24
3.5 PCA effect... 25
3.6 Smoothing curve ... 25
3.7 a f a c t o r ... 26
Li s t e d e s f i g u r e s
3.9 W ith and without PCA ... 29
3.10 Successful registration animation (still image) ... 29
3.11 Successful fémur PET-MRI affine registration ... 30
3.12 Successful PET-MRI ra t brain affine reg istratio n ... 32
3.13 Successful MRI-MRI affine re g is tr a tio n ... 33
3.14 Downhill simplex algorithm ... 37
A .l Interface générale du logiciel... 55
A.2 Contrôles des volumes... 56
A.3 Contrôles associés au résultat du recalage... 57
A.4 Interface d ’entrée-sortie de l’information relative au recalage... 58
A.5 Diagramme UML simplifié de la LoaderFactory ... 61
B.l Recalage de volume Tl-IRM et 18F-FD G-TEP illustrant une tum eur fémorale dans le plan sagittal... 6 6 B.2 Animation dans le plan axial illustrant un recalage TEP-IRM réussi. . 67
L iste d es ta b le a u x
3.1 List of datasets used for reg istratio n ... 28 3.2 Mean errors of 22 sets of rat fémur bone tumors PET-MRI affine re
gistration 31
3.3 Mean errors of 9 sets of rat brains PET-MRI after affine registration . 32 3.4 Mean errors of 14 sets of rat brains MRI-MRI affine registration . . . 33
A b rév ia tio n s
A C P ( P C A ) Analyse en composante principale (Principal Components Analysis) D S ( D H S ) Descente du simplexe (DownHül Simplex)
F D G Fluorodésoxyglucose (Fludeoxyglucose)
IM ( M I ) Information mutuelle (Mutual Information)
IM N ( N M I ) Information mutuelle normalisée ( Normalised Mutual Information) IR M ( M R I ) Imagerie par Résonance Magnétique (Magnetic Résonance Imaging) M -R Multi-résolution (Multi-Resolution)
P M C M Mesure combinant parallèlement les multiples résolutions (Parallel Multi- Resolution Combined Measure)
R C ( C R ) Rapport de corrélation ( Corrélation Ratio)
T E P ( P E T ) Tomographie par émission de positrons (Positron Em ission Tomogra- phy)
In tro d u ctio n
Le recalage d ’images acquises à l’aide de plusieurs appareils différents a le poten tiel d ’améliorer et de compléter le manque de sensibilité ou d ’information spatiale et anatomique de chacune des modalités. Par exemple, les images provenant de l’image rie par résonance magnétique (IRM) et la tomographie d ’émission de positron (TE P) diffèrent significativement par rapport aux contrastes obtenus lors de l’acquisition et à l’information obtenue par chacune des modalités. Le recalage autom atique précis d ’images multimodales n’est donc pas sans difficultés [8]. Bien que les scanners TEP- IRM combinés vont éventuellement devenir de plus en plus disponibles, la plupart des centres de recherche ont des systèmes d ’acquisition indépendants, souvent même dans des pièces différentes [33]. Cependant, l’intégration technologique de la T E P à l’IRM demeure un défi, car les champs magnétiques à proximité d’un scanneur IRM se heurtent au processus de détection des scanners T E P [54], Le recalage TEP-IRM est donc une solution potentielle qui peut fournir une alternative rentable aux scanners TEP-IRM combinés.
Il y a des nombreux algorithmes d ’alignement de cerveaux humains TEP-IRM dans la littérature [2, 6, 14, 15, 24, 31, 39, 48, 50, 55] et la base de données cérébrale humaine publique RIRE (Rétrospective Image Registration Evaluation project) de ré férence peut comparer et évaluer des nouveaux algorithmes d’enregistrement [48]. L’article de Zitova et al. [55] est une bonne revue d ’approches de recalage, concen trée uniquement sur l’alignement des volumes cérébraux TEP-IRM généralement hu mains. La performance de ces algorithmes, appliqués à la TE P et l’IRM des petits animaux, est encore méconnue et peu testée. Des méthodes de recalage cliniques gé néralement utilisées dans l’imagerie de l’homme ne peuvent pas fonctionner aussi bien
In t r o d u c t i o n
dans des études animales, dû au manque de détails anatomiques des petits animaux dans les régions étudiées et aux suppositions spécifiquement humaines entre les moda lités d ’imagerie [47]. Par exemple, dans des données TE P humaines, plusieurs contours ou changement d ’intensités (os, crâne, ventricules) aident le processus d ’alignement des images. Dans la T E P animale, il y a comparativement moins de variations d ’in tensité, ce qui représente un plus grand défi pour les mesures de similitude qui sont normalement fructueuses sur des données humaines [1 2].
Le recalage monomodal (p. ex. IRM-IRM ou T E P-T E P) peut seulement exploiter les informations spatiales et le niveaux d ’intensité des voxels, mais ceci ne fonctionne que très rarement pour un recalage TEP-IRM autom atique. Une segmentation ini tiale est souvent nécessaire pour obtenir un bon alignement d ’images et un taux de convergence satisfaisant [8, 24, 33]. Puisque le contenu d ’intensité des images T E P et des images IRM n ’est que faiblement corrélé, particulièrement l’imagerie du petit animal, l’initialisation est une étape cruciale et souvent sous-estimée pour un recalage automatique TEP-IRM fructueux.
Dans ce document, nous présenterons d ’abord une revue des différentes techniques de recalage TEP-IRM automatique actuelles. Puis, nous présenterons l’article de ce mémoire, qui est le fruit des recherches effectuées au cours de cette maîtrise. Une dis cussion sur l’état actuel de la recherche et ses pistes futures sera également fournie. En annexe seront présentés quelques détails d ’implémentation.
C h ap itre 1
Le recalage m u ltim o d a l T E P -IR M
Ce chapitre traite des techniques de recalage TEP-IRM présentées dans la litté rature. Comme notre technique vise à la fois l’imagerie humaine et médicale, nous parlerons des techniques spécifiquement appliqués à l’homme. L’article de ce mémoire présente la théorie utilisée dans le cadre de cette maîtrise. Ici, nous survolerons cette théorie en présentant certains aspects qui ne sont pas présents dans l ’article du cha pitre suivant.1.1
Le recalage en gén éral
Le recalage se définit généralement comme suit : on veut trouver la transform ation à appliquer à un volume dit flottant pour l’aligner sur un volume fixe afin de maximiser une mesure de similarité. La mesure de similarité doit être maximale lorsque les volumes sont parfaitement alignés [29, 39, 50]. Le recalage est défini comme étant :
T ; = argma x ^ R , T ,(F ))} , (1.1)
où 7 contient tous les paramètres de transformation (translation, rotation, ...) , Ty est une transformation intermédiaire d ’une itération donnée en utilisant les param ètres 7 , E est une mesure de similarité adpatée aux volumes traités R , F et T* est la trans
1 . 1 . Le r e c a l a g e e n g é n é r a l
formation optimale recherchée. Le volume de référence R choisi est celui affichant la meilleure résolution [50]. En générale, Dans le cas du recalage TEP-IRM, R est défini comme étant le volume de référence IRM, et F comme étant le volume flottant TEP, car on obtient en IRM des images à la résolution spatiale autant ou plus fine qu’en TEP, tout en conservant un rapport signal sur bruit plus élevé.
1.1.1
M esures de sim ilarité
La mesure de similarité (E ) doit être adaptée aux types de modalités. Dans le cas de la TE P et de l’IRM, les mesures à base d ’intensité les plus efficaces [‘29, 39] sont : In fo rm a tio n m u tu e lle (IM ) (Théorie de l’information)
- Dépendance statistique quantifiée par entropie jointe. R a p p o r t d e c o rré la tio n (R C ) (Critère de Woods)
- Dépendance fonctionnelle entre les intensités des images.
Nous définirons ces mesure dans les sous-chapitres suivant. La comparaison avec d ’autres mesures, moins efficaces, est présentée dans d ’autres ouvrages [32, 38] et ne figurerons pas dans ce mémoire.
In fo rm a tio n m u tu e lle (IM )
L’information mutuelle est la mesure adaptée à la TEP-IRM la plus populaire dans la littérature. L’information mutuelle de deux ensembles de données représente leur degré de dépendance probabiliste. C ’est un cas particulier de dépendance dans lequel la relation entre les deux variables est strictem ent monotone, c’est-à-dire que l’information spatiale n ’est pas tenue en compte : deux volumes déformés de la même façon vont engendrer la même information mutuelle.
L’information mutuelle est définie comme étant :
1 . 1 . Le r e c a l a g e e n g é n é r a l
où H( R) et H (F) sont l’entropie des volumes T E P et IRM et H(R, F) est l’entropie jointe : N g H { R ) = Y , P R { i ) * l o g ( p n (i)), N g H (F) = ' £ p F( i ) *l og( pF(i)), (1.3) N g H( R , F) = J 2 p ( i , j ) * log(p(i,j)), ij
où N g est le nombre de niveaux de gris que i et j peuvent avoir, P f i ( i ) , P v ( i ) sont respectivement la probabilité d ’occurence de la valeur de niveau de gris i dans les volumes R et F et p ( i , j ) est la probabilité jointe de l’IRM et de la TEP. La IM possède les propriétés suivantes :
- Toujours positive ;
- Nulle si les voxels des volumes sont indépendantes (l’entropie jointe est alors maximisée) ;
- Maximale si les volumes sont parfaitement alignés.
Il existe plusieurs variantes normalisées de IM dans la littérature [3, 29, 42, 43, 49, 52], perm ettant d ’acquérir différentes propriétés qui facilitent la convergence vers une solution optimale. De ces IM normalisées (IMN), la plus utilisée [29] perm et d ’être indépendant de la surface commune des volumes et est définie comme étant :
,MN(R'F)=Tm m h -
(L4)
1 . 1 . Le r e c a l a g e e n g é n é r a l
R apport de corrélation (RC)
Le rapport de corrélation se base plutôt sur le rapport fonctionnel suivant : Selon le type d ’images, un ensemble de voxels de l’image R où l’intensité est i se projettera sur un ou plusieurs ensembles de voxels de l’image F où l’intensité est j en appliquant une simple fonction [29, 39]. Cet argument n ’est valable que si les images sont parfaitem ent recalées. Il est alors permis d ’utiliser le degré de dépendance fonctionnelle entre R et F comme une correspondance. La définition du rapport de corrélation est donnée par :
R C (R , F) = 1 — r}(F\R)
V a r [ E s { F \ R )] (1-5)
Var ( F) ’
où Var [2?s(F|R)] est la variance de l ’espérance conditionnelle Es ( F\ R) , m esurant la partie de F qui est prédite par R. T] varie de 0 à 1, où 1 exprime une très forte dépendance. R C sera alors maximal lorsque la dépendance des images sera minimale, donc lorsqu’elles seront alignées. La définition complète du rapport de corrélation est disponible dans [39].
1.1.2
Recherche d e la solution
La recherche de la transformation optimale à appliquer au volume flottant F pour l’aligner sur le volume de référence R s’effectue par un algorithme de recherche qui optimisera la mesure de similarité choisie. Dans le cas dû recalage TEP-IRM auto matique, il nous faut un algorithme capable d ’optimiser plusieurs variables à la fois. Ces variables sont les paramètres de transformation, et peuvent aussi contenir des variables supplémentaires. Des méthodes, telle la descente de gradient [17], l ’optimi sation de Powell [27] et la descente du simplexe [23] sont généralement utilisée.
Dans le cadre de cette recherche, nous avons utilisé la descente du simplexe (DHS). Comme nous n ’avons pas accès aux dérivées premières et secondes de la fonction de coût E ( R , T y( F)) de l ’Eq. 1.1, nous employons cette méthode qui n ’utilise pas
1 . 1 . L e r e c a l a g e e n g é n é r a l
de forme dérivatives pour tout le processus d ’optimisation. À titre d ’information complémentaire, le DHS est un algorithme de recherche exhaustive à N dimensions (paramètres de transformation), où l’on tente de contracter le simplexe formé d ’un ensemble de points (transformations) vers la solution optimale. La Figure 1.1 illustre les opérations effectuées itérativement par le DHS pour converger vers la solution optimale :
R éflex io n Lors d ’une réflexion, la transformation qui obtient la mesure de similarité la plus faible est reflétée au côté opposé du simplexe suivant l ’axe formé par ce point et le centre du simplexe. Ainsi, la transform ation est remplacée par une qui suit la direction du gradient le plus élevé.
C o n tra c tio n Si la valeur de similarité de la transformation (le point du simplex) la plus faible est légèrement en deçà des autres, on procède alors à une réduction de ce point dans la direction du centroïde formé des autres points du simplex. C o n tra c tio n m u ltip le Variante de la contraction, on peut réduire tous les points
afin d ’accélérer le processus.
E x p a n sio n Si une transformation éloignée du centre du simplexe obtient une valeur de similarité beaucoup plus élevée que les autres, on peut alors procéder à une expansion du simplexe en éloignant le point le plus faible du point fort, dans la direction formée de ce dernier et du centroïde du simplex.
1.1. LE RECALAGE EN GÉNÉRAL Simplexe initial X11 .. ·~ Xi contraction multiple réflexïon Xh Point fort Xi Point faible Xi: CentroYde con traction expansion
Figure 1.1 - Opérations de la descente du simplexe, où les opérations de convergence du simplexe y sont représentées : Réflexion, contraction, contraction multiple et
ex-pansion. L'algorithme choisit l'opération à effectuer en fonction de la position du simplexe par rapport à la solution optimale.
C h ap itre 2
R ev u e d es ty p e s de recalage
Il est possible de classifier les différentes familles de recalage multimodal en trois familles distinctes : le recalage géométrique, iconique (basé sur les intensités des voxels seulement) et hybride (une combinaison de la géométrie et l’intensité). Le recalage géométrique, basé uniquement sur des primitives extraites telles des contours, des points d ’intérêt, des gradients d ’intensité, n ’est pas intéressant dans le cas de l’aligne ment TEP-IRM strictement automatique, puisque pour être efficace, il est nécessaire d ’ajouter des marqueurs physique externe visible à la fois dans les deux modalités à aligner. Les efforts se concentreront plutôt sur plusieurs méthodes de recalage statis tique, basées sur les voxels, ou de multiples possibilités de recalage hybride.
2.1
R eca la g e m o n o m o d a l
Le recalage monomodal est une simplification à la problématique illustrée ci- dessus. Sachant que les images auront une forte corrélation en ce qui a tra it à leurs caractéristiques spatiales et sémantiques, la seule contrainte restante est la déforma tion spatiale. Sachant que le volume flottant est similaire au volume de référence à une transformation près, l’alignement peut alors être déterminé par minimisation des moindres carrés :
2 . 2 . Re c a l a g e g é o m é t r i q u e
T; =
argmin7{ ||r 7(F) - P ||2 + a 5 ( 7 )}, (2.1) où S{7) est un terme de régularisation basé sur le type de transformation. À noter que bien que l’approche soit semblable au recalage géométrique, on utilise directement l’intensité des voxels. C ’est donc une approche dite iconique. Nous éclaircirons cet aspect dans les sections suivantes.2.2
R eca la g e g éo m étriq u e
Le recalage géométrique est particulièrement adapté au recalage monomodal et aux modalités qui affichent des caractéristiques anatomiques similaires, comme l’IRM et la tomodensitométrie, par exemple. Dans de tels cas, la corrélation de l’information spatiale et anatomique des sujets sera particulièrement forte. Bien que ce mémoire se concentre plutôt sur le recalage TEP-IRM , plusieurs idées du recalage géométrique ont inspiré certaines méthodes hybrides de la littérature. Le recalage géométrique n ’uti lisera pas directement l’intensité des voxels : nous utiliserons plutôt des primitives géométriques extraites des deux volumes. Les primitives peuvent être des contours, des marqueurs externes, des marqueurs naturels, des points d ’intérêt, des régions ou des coins.
Le recalage géométrique exige donc une étape d ’extraction complémentaire. La définition du recalage devient alors :
T; = argmax7{ F ( P r(R ),P / (F ),T 7)}, (2.2) où Pr et Pj sont respectivement une opération d ’extraction de primitives pour le volume de référence et le volume fixe et T7 est l’ensemble des paramètres de transfor mation. À noter que l’on n ’applique pas nécessairement la transformation à l’image pour tester notre alignement. Comme le travail s’effectue sur une fraction de l ’image, la convergence vers la transformation optimale n ’est pas la contrainte principale :
2 . 2 . Re c a l a g e g é o m é t r i q u e
c’est plutôt la perte de précision, car le recalage dépend entièrement de l’opération d ’extraction de primitives.
Un exemple d ’algorithme utilisé en littérature pour résoudre un problème de reca lage multimodal dit géométrique est l’algorithme des plus proches voisins itérés [46] (ou mieux connu sous son nom original anglais : itérative closest point (ICP)), basé sur les points d ’intérêt. Suite à l’extraction des points d ’intérêt des deux images, par exemple avec un détecteur Harris [5, 40], on veut minimiser la distance entre les points d ’intérêt associés d ’un volume à l’autre :
Ty = argmin7{ ||T7( /) - p ( f ) ||2}, / 2 3) t e P ( F )
où / est un des n points extraits du volume F par l’opération P . p( f ) est une opération d ’association au point r G P( R) le plus près basé sur le point / G P ( F ) . La mesure de distance entre deux nuages de points est donnée par :
R M SD (P(F), P( R) , p)
\
^
E r,(/)-M
f e P ( F )/)ii2
.
(2.4)
Le sommaire des étapes de l’algorithme des plus proches voisins itérés est :1. Association : Sachant 7, minimiser p en trouvant :
p* = m in{R M SD (P(F), P(R), p)} (2.5)
2. Transformation : Sachant p*, minimiser 7 en trouvant :
T ; = mm{RMSD(T7(P (F )), P ( F ) ,p*)} (2.6)
3. Mettre à jour P ( F ) en appliquant la transformation T* pour chaque compo sante de la primitive. Si celle-ci ne change pas comparativement à l ’itération précédente, retourner à l’étape 1.
2.3. RECALAGE ICONIQUE
Dans l'exemple d'algorithme ci-dessus, la contrainte importante vient de la
sup-position que les points d'intérêt extraits auront un lien sémantique et anatomique
important. Or, dans le recalage TEP-IRM, les points d'intérêt extraits risquent de complètement différer, comme dans l'exemple illustré à la Figure 2.1. C'est pourquoi dans un tel
cas,
on ne peut se fier qu'aux primitives géométriques pour un alignementde modalités à faible cohésion spatiale.
Figure 2.1- Recalage géométrique TEP-IRM où on utilise les informations de contour
seulement (en rouge). À noter ici qu on démontre que les primitives de contours sont très différentes d'une modalité à l'autre, impliquant que ce type de re alage n'est pas
adapté à la TEP et l'IRM.
2.3
Recalage iconique
Le recalage iconique, basé sur l'intensité des voxels (voir Figure 2.2), est la mé-thode la plus utilisée dans la littérature. Son plus grand défaut réside en sa difficulté de convergence : l'algorithme de recherche, s'il n'est pas initialisé autour de la solu-tion optimale, convergera vers un minimum local et non global. En d'autres mots, il
trouvera une solution optimale qui n'est pas nécessairement la solution réelle. Basé
principalement sur les mesures définies plus tôt (IM et RC), on tente d'en extraire
des informations pour contraindre la recherche de la transformation optimale. Afin
2.4. RECALAGE HYBRIDE
primordial à la IM [29] et RC [19, 29], des études proposent d'utiliser et de contraindre
des histogrammes et un histogramme joint [19, 24, 30, 39]. D'autres, pour atteindre
un degré d'optimisation supplémentaire en estimant la variation de la mesure de
si-milarité, vont utiliser des fenêtres Parzen [44, 51] ou auront recours à une analyse
pondérée des régions entrecroisées à l'aide de gaussiennes [22]. Le but de toutes ces
méthodes est de contourner le problème d'optimisation vers un minimum local. En
utilisant une approche iconique, une initialisation de la transformation dans un voi-sinage restreint centré sur la solution optimale augmente grandement les chances de convergence vers l'optimum global.
Figure 2.2 - Recalage iconique TEP-IRM où on utilise des mesures basées sur l'
inten-sité des pixels pour effectuer notre recalage. On doit alors transformer l'image TEP
entièrement pour tenter de l'aligner avec l'image IRM, et ce à chaque itération.
2.4
Recalage hybride
Le recalage hybride est une approche iconique augmentée de primitives géomé-triques ou encore iconiques, tel qu'illustré à la Figure 2.3. Les techniques diffèrent : certains utilisent une approche de mesure statistique agrémentée de points de repère
ou les points de sélection d'intérêt, comme dans [13]. Certains ont appliqué une maxi-misation IM, combinée avec une détection de bord dans une approche séquentielle
2 . 4 . Re c a l a g e h y b r i d e
telles les contours [36].
Par exemple, dans [24], ils utilisent une approche iconique classique utilisant la descente du simplexe et l’information mutuelle sans multi-résolution. En parallèle, ils calculent, pour chaque volume, son spectre de phase et d ’amplitude. Ils discrétisent les volumes en utilisant ces dernières, formant deux cartographies, une pour le volume de référence et une pour le volume flottant. Ils définissent alors la mesure de similarité E comme étant :
E = 0 ■ IMi + (1 — 0) ■ I M2, (2.7)
où /M i est l’information mutuelle utilisant les volumes originaux et I M 2 est l ’infor mation mutuelle provenant des deux cartographies. 0 est une variable de mélange variant de 0 à 1, qui augmente avec l’approche de la solution optimale. La définition du recalage ne change pas :
T ; = argmax7{E (R ,T7(F ))}, (2.8) perm ettant de conserver intacte la phase d ’optimisation classique du downhill sim- plex. Dans cet article, l’information spatiale est intégrée complètement dans la mesure de similarité à l’aide des cartographies de la combinaison phase et amplitude.
Le problème des approches hybride pour la T E P et l’IRM est le même qu’avec le recalage géométrique : la faiblesse du lien anatomique entre ces deux modalités. C ’est pourquoi on ne peut entièrement se fier aux informations spatiales, comme dans le recalage géométrique, et que le succès d ’un recalage hybride varie grandem ent d ’un jeu de données à l’autre. Une autre approche hybride est l’utilisation d ’une approche spatiale pour initialiser une approche iconique. Par exemple, l’utilisation d ’une analyse en composante principale (ACP) [18, 25], comme dans l’article de ce mémoire, perm et
2.5. APPROCHE MULTI-RÉSOLUTION
d'avoir un alignement de départ plus près de la solution optimale, ce qui favorise la
convergence de l'approche iconique.
Figure 2.3 - Recalage hybride TEP-IRM où on utilise des mesures basées sur l'inten
-sité des pixels et les prjmitives géométriques de contours (en rouge) pour effectuer
notre recalage. On utilise ces dernières pour guider le recalage iconique vers la solution optimale.
2.5
Approche multi-résolution
En générale, une approche de multi-résolution classique, dite séquentielle, consiste
à utiliser plusieurs versions dégradées (flou et perte de résolution) de volumes trai-tés afin de pouvoir utlliser les niveaux les moins précis pom guider la recherche des niveaux les plus fins, jusqu'à atteindre le volume original. Plusieurs méthodes
uti-lisent des approches de multi-résolution séquentielle pour effectuer le recalage. Ces
méthodes visent à contraindre ou guider l'algorithme d optimisation en utilisant les niveaux dégradés des volumes, tout en surmontant la sensibilité des méthodes i co-niques face au bruit [35, 37]. On montre une comparaison de quelques approches de
multi-résolution séquentielle dans [34]. Bien que ces approches pyramidales n'utilisent
pas directement de primitives géométriques, elles utilisent généralement une primitive iconique : ses propres basses résolutions dégradées.
2 . 5 . Ap p r o c h e m u l t i-r é s o l u t i o n
Ces approches, bien que reconnues pour accélérer plusieurs processus d ’optimi sation et de recherche [2 1], peuvent engendrer un problème de convergence et donc amplifier la problématique du recalage TEP-IRM .
En utilisant, par exemple, une pyramide diminuant de moitié à chaque niveau k, le voxel (x, y, z) de Ik est formé à l’aide une moyenne des huit pixels du niveau supérieur qui le forme, soit :
Ik(x,y,z) =
-f Ik+Ï(2x,2y,2z) + Ik+i(2 x+l,2y,2z) + Jfc+i(2x,2y + 1,2 2) + I fc+i(2x + l,2 y + l,2z) + -ffc+i (2®, 2y, 2z + 1) 4- 7*.+i(2x + 1, 2y, 2z 4- 1) + ^ ffc+i(2x, 2y + 1, 2z + 1) + /fc+i(2x + 1, 2y + 1,2^ + 1) y
(2.9)
suivi de l’application d ’un flou global aux volumes. Dans le cas d ’une pyramide de six niveaux, la dégradation de chaque niveau est accumulée. On utilise alors ces pyra mides, une pour le volume référence et une pour le volume flottant, séquentiellement dans l’algorithme de recalage : on aligne les volumes du niveau k = 1 le plus dégradé, et on recommence au niveau suivant A: = 2 en utilisant la transformation trouvée au niveau précédent k = 1, jusqu’à ce qu’on atteigne le niveau maximal K , représentant les volumes originaux.
Avec une telle approche, bien que l’algorithme de recherche de la solution s’en trouve accéléré, le taux de convergence réussi est diminué, car si l ’algorithme ne converge pas au bon endroit au premier niveau, tous les autres sont affectés [31]. Dans un cas de recalage TEP-IRM, une dégradation trop importante des volumes peut mener à des optima locaux éloignés de la solution optimale [31],
C h ap itre 3
N o u v e lle ap p roch e d e
m u lti-réso lu tio n p a ra llèle pour u n
recalage a u to m a tiq u e T E P -IR M d u
p e tit an im al
3.1
A van t-p rop os
A u te u rs : Michaël Bernier, M artin Lepage, Roger Lecomte, Luc Tremblay et Maxime Descoteaux
S t a t u t : Soumis à Médical Image Analysis (MedIA) A v an t-p ro p o s :
Cet article est directement le fruit de mes deux années de recherche en ce qui a tra it au recalage automatique TEP-IRM. L’élaboration de ce travail se divise en trois étapes : la théorie et la rédaction, la mise en oeuvre en QT@trolltech et C + + du logiciel servant à tester les algorithmes présentés dans cet article et finalement l ’acquisition et le traitem ent des données expérimentales. Les détails d ’implémentation du logiciel sont situé dans l’Annexe A.
3 . 1 . Av a n t-p r o p o s
Ma contribution est entière en ce qui a trait à la rédaction de l’article, ainsi qu’à l’implémentation de l’outil de test. Les résultats présentés dans le papier furent également compilés et analysés par moi-même. Je n ’ai pas participé à l’acquisition des données : celle-ci a été effectué par les gens de l’équipe du CIMS et les collaborateurs énumérés dans les remerciements de l’article. Les co-auteurs sont mes directeurs de recherche, qui ont participé à la supervision de toutes les étapes du procédé, ainsi que Luc Tremblay, qui a participé à l’acquisition et apporté nombreux conseils quant aux techniques implémentées et à la rédaction de l’article.
Som m aire des références c itées dans l’article :
En ordre d ’apparition : [8, 33, 54, 55, 48, 50, 39, 2, 31, 6, 14, 24, 15, 12, 44, 51, 22, 19, 30, 29, 35, 37, 45,1, 27, 3, 43, 52, 42, 49, 32, 38, 28, 11, 25,10, 4, 20,16, 9, 2G, 53, 41] R ésum é :
Le recalage des données provenant de l’IRM e t de la T E P du petit animal repré sente un problème difficile en ce qui a tra it à la vitesse de convergence, la précision de l’alignement et son taux de réussite. En fait, les méthodes de recalage les plus récentes sont développées et appliquées aux données cérébrales de l’humain. Elle sont efficaces sur celles-ci, mais souffrent d ’im portantes lacunes lorsqu’elles sont appliquées au petit animal, souffrant d ’anisotropie im portante des voxels (très petite résolution dans l’axe d ’acquisition, mais grande épaisseur de tranche) et de faibles variations d ’intensités causée par la simplicité anatomique du cerveau animal. Dans ce travail, nous proposons une nouvelle approche de recalage en utilisant une mesure de simi larité qui combine parallèlement plusieurs résolutions du volume de la T E P et de l’IRM, au lieu de le faire de façon séquentielle tel que proposé par l’approche de multi-résolution classique. En combinant directement les basses et les hautes résolu tions d ’images, nous pouvons tirer profit à la fois de la sensibilité réduite au bruit des images et l’ouverture de la basse résolution et de la précision des détails de la haute résolution, nous perm ettant d ’accentuer précision, vitesse et taux de réussite. Nous utilisons aussi une initialisation par analyse de composantes principales (ACP) comme alignement initial afin d ’accomplir un recalage entièrement autom atique.
New parallel multi-resolution approach for an automatic registration of
small animal PET-MRI
Michaël Bemiera’b, Martin Lepage\ Roger Lecomte3, Luc Tremblay3, Maxime Descoteauxb
Université de Sherbrooke, Québec, Canada
aCentre d ’imagerie moléculaire de Sherbrooke (C1MS), Département de médecine nucléaire Cr radiologie bCentre de rechercher MOIVRE, Département d'informatique
Âbstract
Automatic small animal registration of Positron Emitted Tomography (PET) and Magnetic Résonance Imaging (MRI) data represents a difficult problem in terms of convergence speed, accuracy and success rate. In fact, most existing registration methods are developed and applied to human brain volumes but these are not as effective for small animal data because of the lack of intensity information in the images and often the high anisotropy in voxel dimensions (very fine in-plane resolution and large slice thickness). In this work, we propose a new registration method that combines multi-resolution in parallel (in the same energy fonction) instead of sequentially. By combining low and high resolution levels of images, the method takes advantage of the low noise sensitivity and aperture at coarse levels and higher contrast and détails at higher levels. Our results indicate a gain in convergence accuracy and speed. In addition, a PCA initialization as coarse initial alignment resulted in a fully automatic algorithm with a more successful registration rate. We quantitatively show that our technique outperforms state-of-the-art PET-MRI registration with classical multi-resolution, with and without PCA initialization. Using target registration errer, we also show that our registration is in close agreement with expert manual registration.
Keywords: PET, MRI, registration, multi-resolution, mutual information, simplex method
1. Introduction
The fusion of multiple médical imaging modali- ties has the potential to enhance and complément the images in terms of sensitivity, spatial information or resolution. Images from magnetic résonance imag ing (MRI) and positron émission tomography (PET) have entirely différent contrast and information con tent. Automatic and accurate image registration is therefore not trivial (Cizek et al., 2004). Although combined PET-MRI scanners are likely to become more available, most centers have separate imaging systems, often in différent rooms (Pichler et al., 2008). However, integrated PET and MRI remains challeng- ing because the magnetic fields proxi mal to an MRI scanner interfère with the scintillation détection pro- cess in PET scanners (Zanzonico and Nehmeh, 2006).
Hence, PET-MRI registration is an important prob lem that can provide a cost-effective alternative to combined PET-MRI scanners.
There are numerous human brain PET-MRI reg istration algorithms in the literature (Ashbumer and Friston, 2011; Chumchob and Chen, 2009; Huang, 2007; Jenkinson and Smith, 2001; Liu and Tian, 2007; Pascau et al., 2009; Roche et al., 1998; West et al., 1997; Woods et al., 1993; Zitova, 2003) and the RIRE public benchmark human brain database can compare and evaluate novel registration algorithms (West et al., 1997). Référencé (Zitova, 2003) is a good review of registration approaches focused on the alignment of generic PET-MRI volumes of human brains. Little is known about the performance of these algorithms when applied to PET or MRI images of small animais.
Clinical registration methods commonly used in hu man imaging may not perform well in animal studies, because of the lack of anatomical détails and human- specific assumptions between the imaging modalities tailored to human imaging (Vaquero et al., 2001). In human PET data, several contours and change in intensifies (bone, brain surface, white/gray matter interface, ventricles) help the image alignment for registration algorithms. In small animal PET imag ing, there are comparably less intensity variations and the images represent a harder challenge for similar- ity measures that are normally successful on human data (Hayakawa et al., 2000).
Monomodal registration (e.g. MRI-MRI or PET- PET registration) can exploit spatial information and intensity values only, but this is rarely satisfactory for an automatic PET-MRI registration. An initial segmentation is often needed for good alignment of images and convergence of the registration solu tion (Cizek et al., 2004; Liu and Tian, 2007; Pichler et al., 2008). Since the image intensity content of PET and MRI images is highly uncorrelated, especially in small animal imaging, initialization is a cmcial and often underestimated step for a successful and auto- mated PET-MRI registration.
Recent studies propose to use Parzen-
windows (Thévenaz et al., 1998; Xu et al., 2008), Gaussian analysis of overlapping régions (Leiva- Murillo and Artés-Rodriguez, 2004), or a histogram corn pari son using statistical information (Lau et al., 2001; Liu and Tian, 2007; Milko et al., 2009; Roche et al., 1998), combined with statistically-based mea sures, such as mutual information (MI) (Malandain, 2006) and corrélation ratio (CR) (Lau et al., 2001; Malandain, 2006). In fact, MI and CR were shown to be effective for PET-MRI registration. Others use feature-based approaches like landmarks or points of interest sélection, or a combination of features and statistical measures, as in (Hellier and Barillot, 2000). Some applied a MI maximisation combined with an edge détection in a sequential, pyramidal coarse-to-fine approach (Chen and Varshney, 2000; Thévenaz et al., 1998; Thévenaz and Unser, 1996). Such methods using anatomie characteristics are not appropriate in a generic multimodal registration such as PET-MRI fusion (Zitova, 2003). Rangarajan
et al. (Rangarajan et al., 1999) even applied MI on extracted points o f borders. Powell’s optimization method (Maes et al., 1997) has been employed to register MR, CT, and PET images of a human brain that differ by a similarity transform. A study of the performance of différent methods for the joint probability estimation in muscle fibre images registration was done in (Likar and Pemus, 2001 ).
The classic, sequential multi-resolution approach employs multiple levels of resolution of the volumes to process in order to overcome noise sensitivity as well as to accelerate the optimizing process algo rithms (Qin and Zhuang, 2003; Ritter et al., 1999). This method, applied to registration, implies to first align the lowest resolution levels of the volumes and then use its resulting transformation to initialize the alignment of the second resolution level, until the op timal registration at the original volume resolutions. A comparison of some of these pyramidal scheme is shown in (Pluim, 2001). However, this classical ap proach is often effective with pre-masked data, since stmetures outside the brain may become aligned in- stead of the brain itself, especially in low-resolution levels (Pascau et al., 2009). We are seeking to de- velop a robust algorithm able to effectively register im ages of a variety of anatomical locations and diseases (e.g., healthy brain, damaged brain and bone cancer). Hence, we need to remove pre-processing steps such as segmentation, masking, denoising that may lead to convergence problems (Pascau et al., 2009).
In this work, we propose a novel approach to the multi-resolution scheme: A parallel multi-resolution similarity measure combining normalized Ml-based responses of multiple resolution levels simultaneously instead of sequentially, as in classical level-by-level approaches (Pascau et al., 2009; Qin and Zhuang, 2003; Thévenaz et al., 1998; Thévenaz and Unser, 1996). We also use a PCA initialization to obtain a fast, fiilly automatic accurate registration. This nov- elty is highlighted with accurate automatic registra tion on 3 différent small animal databases; a fémoral bone cancer PET-MRI study, a PET-MRI rat brain study, and a MRI-MRI rat brain tumor study. We eval- uate the performance of our technique against a classi cal sequential multi-resolution algorithm and a regular one-pass registration algorithm, using a normalized
Ml-based similarity measure, with and without PCA initialization. We show that a simultaneous multi- resolution with an appropriate PCA initialization can outperform classical approaches, both in terms of reg istration accuracy and in convergence speed of the algorithm. In short, our parallel approach has the ca- pability to overcome the disadvantages of a sequential multi-resolution registration.
2. Automatic Registration
An automatic registration pipeline for PET-MRI volumes requires an energy minimization scheme that optimizes a similarity measure between the two vol umes. The général energy minimization process to find the optimal transformation parameters is defined by:
T ' - argmax{E(m ri, Ty(pet))), (1)
where y contains ail transformation parameters (trans lation, rotation, scaling), Ty is an intermediate affine transformation given at a certain itération using y, E is a similarity measure between two volumes (here
mri and pet), and Ty is the optimal transformation. It
is crucial for the similarity measure to be maximal if the volumes are perfectly aligned.
2.1. Transformations
3D affine transformations have been widely used in registration algorithms involving brains, inter-modal datasets of non-deforming structures. In (Andrei, 2006), transformations are grouped in three différent possible définitions of affine transformations, using more or less degrees of freedom (DoF):
• 12 DoF: Tÿpical affine transformation with 3 DoF for translation, 3 DoF for rotation, 3 DoF for scale factor along each axis and 3 DoF for skewness are more appropriate to 3D volume matching of slightly deformable datasets (Maes et al., 1997).
• 9 DoF: Three translations, three rotations, three scales, along each axis. This can be defined as a similarity affine transformation or an affine transformation without shearing.
• 8 DoF: Two translations, three rotations, two scale factors and skew distortion. This is more appropriate to describe a model that transforms 3D object space into 2D image space.
The number o f DoF has a large impact on conver gence and speed. More DoF can resuit in a more ac curate registration, at the cost of lower speed and with more possibilities to encounter local energy minima. In intra-subject datasets, where shearing is minimal, a 9 DoF is sufficient to obtain an accurate 3D regis tration. Therefore, the 9 DoF affine registration was selected in this work.
2.2. Similarity measures
In PET-MRI registration, MI and corrélation ra tio (CR) measures have been found to be useful in providing a quality rating to a set of transformation parameters (Lau et al., 2001; Liu and Tian, 2007; Ma landain, 2006; Milko et al., 2009; Roche et al., 1998; Woods et al, 1998). MI is a statistical measure based on entropy and CR is a functional measure based on intensity variations (Malandain, 2006). In cases where MI fails, CR often performs better, and vice versa (Roche et al., 1998). The comparison of MI to other similarity measures, such as cross-correlation, is described in (Penney et al., 1998; Roche et al., 2000). Here, we choose to use the normalized mutual in formation (NMI) as our quality measure, as defined in (Strehl and Ghosh, 2003; Yao and Regina, 2003), a measure indépendant of the overlap région o f the volumes. Multiple définitions of normalized mutual information exist in the literature (Cahill et al., 2008; Malandain, 2006; Strehl and Ghosh, 2003; Studholme et al., 1999; Witten and Frank, 2005; Yao and Regina, 2003). Here, we choose one of the defined NMI, a measure of the cohesiveness and the strength o f the relation within a group of variables. Near-zero NMI indicates that the variables in the group are essentially statistically independent, therefore the volumes are not aligned. A maximal NMI implies highly corre- lated volumes, hence an optimal affine transformation. Let R be the référencé MRI volume and F the floating PET volume, the NMI measure is defined as:
where H(R) and H(F) are the entropy of the reference
MRI and fioating PET volumes:
Cs H(R)
=
I
PR(i) * log(pR(i)), i Cs H(F) =I
PF(i) * log(pF(i)), i Cs Cs H(R, F) =I I
p(i, j) * log(p(i, })), j (3)where Gs is the number of different possible
grayscale values that i and j can take, pv(i) is the
probability of occurrence of a grayscale value i in volume V and p(i, j) is the joint probability of the
MRI and PET volume. To compute images entropy
H(F), H(R) and mutual entropy H(R, F), we use a
binarized histogram of volume V as an approximation of the intensity probability Pv· The joint probability
of grayscale intensity values i and j, p(i, J), is the
normalized sum of ail pairs (i, j) found at the same
voxel position, for each of the volumes corresponding
voxels. In a perfectly aligned MRI-MRl registration,
the probability values in the diagonal axis of the his-togram would be much higher than the others, while in an unaligned match they would be scattered. In
a perfectly aligned PET-MRI registration, however,
instead of having the mutual probability located
ex-clusively on the diagonal axis, clusters will form at specific points in the histograrn, according to match-ing intensities in corresponding regions or tissues of
the volumes. The mutual entropy goal is to quantify the scattering of the mutual probability histogram, therefore it is an adapted measure of alignment for
multimodal registration. Figure 1 illustrates the his-togram and the scattering of the mutual probabil.ity of
aligned volumes.
Optimization schemes using binarized histograms
are generally slower, since they do not approximate a
derivative form of the joint entropy H(R, F), but they generally converge more successfully to the optimal
solution (Maesand et al., 1999). Recent studies using
Parzen-windows (Xu et al., 2008) or Gaussian
anal-ysis (Leiva-Murillo and Artés-Rodriguez, 2004) are
also effective and faster, but since they use the gradi
-ent of intensity information, their convergence is not
optimal for images that greatly ditfer from the gold
Figure 1: Representation of a potential mutual
proba-bility histogram between two volumes with two
ditfer-ent transformation matrix. a) is an unaligned dataset,
while b) shows clusters of paired intensities forming
instead of scattered data. The mutual information is a measure derived from the entropy of this histogram,
which is a quantification of the scattering.
standard (Maesand et al., 1999). The main advantage of the binarized form of the histogram is its lower sensitivity to global noise or low intensity variations
in volumes, hel)Ce is faster to compute. During the
op-timization process, at each iteration, we compute the binarized histograrn of the fixed MRI volume and the floating PET volume using the estimated transforma-tion parameters at that iteration. Then, we compute the similarity ratio in order to evaluate the quality of
the given set of transformation parameters. We will
use a 32-bins binarized histogram, since for most med-ical images, the estimat~d appropriate number of bins
was found to be in the range of 30 to 60 bins (Hahn
a)
b)
prrvious .. ···
X ·,·:::·····
Figure 2: Geometric representation of the simplex
algorithm. In a), the image shows a simplex of n vertices X, which are potential sets of transformation
parameters, with a high variance (cr) between each
other. In b), the image shows that at subsequent
it-erations, the simplex evolves by contracting around
the solution, therefore the variance is reduced as it
approaches the optimal solution.
2.3. Energy minimization using downhill simplex
(DHS)
Our similarity measure is based on the binarized
histogram and therefore the minimization needs to
find an optimal solution without computing
deriva-tives ofthe histograms. As described in (Liu and Tian,
2007), the downhill simplex (DHS) optimization is
an efficient method for N-dimensional unconstrained
zeroth-order minimization. It begins with N + 1
ver-tices that define a simplex in N-dirnensional space and
attempts to move them as to pinpoint the minimum.
Each vertex is a potential set of transformation param
-eters which constrains the optimal solution. Given
the N + l vertices x, where Xj contains a set of tran
s-formation parameters, and their respective similarity
measure E, the iterative procedure is given by
Algo-rithm l. Following these operations, all N + l vertices
x, containing the set of registration parameters, will
all be equal, and will have converged to the solution.
Figure 2 illustrates the set of vertices, or potential set
of transformation parameters, which forms the
geo-metric N-dimensional simplex that need to converge
into a single vertex.
Figure 3 shows an animation of the DHS
compu-tation in real-time for a 3D set of transformation
pa-rameters for PET and MR images acquired from a rat
mode] of femoral bone cancer.
Play Pause Stop
Figure 3: Tl-MRI and 18F-FDG-PET volumes
regis-tration of a femoral bone tumor. This animation of the DHS computation shows only a sagittal slice of the
aligned volumes (the movie can be visualized with a
recent version of Acrobat or Foxit PDF reader).
3. Methods
3.1. Initialization with a Principal Component
Anal-ysis (PCA)
Intensity-based functions like MI or NMI and
functional-based methods such as CR Jack suffi.cient
spatial information and hence, it is diffi.cult to
es-timate an optimal alignment of the images without
manually introducing initial translations and rotations.
Local maxima and interpolation artifacts influence the
convergence of algorithms towards local extrema and
a) b)
Figure 4: The centers of mass and eigenvectors given by the PCA of the MRI and PET volumes can provide a coarse initial alignment for the registration pipeline.
d illustrate the distance between centers of mass and (01, 02 , 03) are the angles between eigenvectors in ax-ial, coronal and sagittal planes respectively.
In small animal imaging, voxel dimensions are often highly anisotropie with a high in-plane resolution and a large slice thickness. It has been suggested to inject spatial information from a gradient mapping of the volumes to reduce converge ce to local extrema (Liu and Tian, 2007). However, this procedure does not act on the initialization step such that convergence of initially poorly registered volumes can remain prob-lematic. Convergence can be favored by a near-goal initialization, where the optimization scheme is used to tune the initial coarse transformation parameters.
In (Lu and Chen, 2007), a PCA on both fixed and floating volumes is used to estimate initial translation and rotation parameters on the clustered volumes. The PCA computation needs a selection of 3D spatial posi-tions that is based on the images intensities. Here, the selection is found using an expectation-maximization (EM) algorithm (Frosio et al., 2008) to remove noisy-background and to select points defining the volume. The PCA procedure, for PET and MRI volumes, is detailed in Algorithm 3. As illustrated in Figure 4, dis-tance between the centers of mass provides the initial translation, as the initial axial, coronal and sagittal ro-tation angles can be extracted using the eigenvectors associated to the volumes.
Angles between projected eigenvectors in axial, coronal and sagittal planes from both the PET-MRI volumes, combined with the center of mass distance
(d, 01, 02, 03 in Figure 4 ), pro vide an initial set of pa -rameters used for the first coarse transformation.
Fig-a) b)
Figure 5: Example of the PCA initialization effect on a misaligned PET-MRI brain data, coronal view. The axes shown are a representation of two of the three eigenvectors computed by the PCA, placed on the centroid of their respective volumes. The red and the blue vectors, associated respectively with the PET and MRI volumes, are directly used to compute an initial coarse transformation.
ure 5 illustrates the effect of the PCA initialization on a dataset.
3.2. Parallel multi-resolution measure
Multi-resolution schemes have been used in previ-ous work to address the convergence problem by ei-ther reducing the number of iterations or reducing the local maxima problem (Cizek et al., 2004). The main idea of these approaches is to use Jow-resolution vol-umes in order to initialize the higher-resolution ones, as a coarse-to-fine scheme. This strategy reduces the number of iterations required for convergence, but the local maxima problem increased in some cases. Therefore, as described in classical methods without multi-resolution (Roche et al., 1998; Woods et al., 1993), the initial step of the DHS is crucial to con-verge to the global maxima, and a classical multi-resolution scheme only considers the highly degraded resolution information to do so. Hence, it tends to be inaccurate (Qin and Zhuang, 2003; Ritter et al., 1999). If a PCA is used to estimate the coarse initialization, a less sensitive coarse-to-fine registration tuning is needed to reduce the number of iterations and local maxima problem.
In this work, we combined the information of the registration of these different levels using an adaptive weighting factor. In this approach, more weight is initially placed on the coarsest levels; the weight is
