016

Multitexturbasierte Volumen

visualisierung

in der

Medizin

Christof

Rezk-Salama,

Michael

Scheuering

Graphische

Datenverarbeitung, Uni versit ¨at Erlangen-N¨urnber g Am

W

eichselgarten

9, 91058 Erlangen

Email: rezk,scheuering @cs.fau.de

Zusammenfassung

Volumenvisualisierung ist mittlerweile zum festen Bestand- teil

zeitgem¨aßer medizinischer Forschung und Diagnostik gew orden. Interakti- vit¨at fordert hier in der Regel teure Graphikworkstations oder spezielle Volume Rendering

Hardware. Alternati v wurde bisher reduzierte Interakti vit¨at und Bild- qualit

¨at auch auf dem

PC oder g ¨unstigeren W orkstations angeboten. Angetrie- ben

durch

den PC Konsumermarkt werden hochwertige Graphikkarten gleich- zeitig immer preiswerter und leistungsf¨ahiger . Neueste Entwicklungen bieten e

xtreme Polygonleistungen bei einer F¨ullrate im Gigapix el-Bereich. In diesem Bericht

! werden V^" erfahren vorgestellt, diese preiswerte Hardw^# are f¨ur die wis- senschaftliche

$ V^" isualisierung zu verwenden. Dabei werden spezielle F¨ahigkei-

ten

wie Framebuffer-Arithmetik und Single-P^% ass-Multi-Te xturing effizient aus- genutzt,

um direktes Volume Rendering mit Beleuchtung sowie Isofl¨achendar - stellung

$ bei interaktiver Bildrate^! zu erm ¨oglichen. Das^& Ergebnis ist zeitgem¨aße V

"

olumen

visualisierung, die in Hinblick so^$ wohl auf Qualit^' ¨at als auch auf Interak- ti

vit¨at den Vergleich mit teuren High-End L¨osungen mehr als standh¨alt.

1

Einleitung

Bei tomographischen⁾ Datens¨atzen^* liegt⁺ die

,

v

- olumetrische^. Information in der

,

Regel⁺ als^* eine

/ Menge diskreter^, Abtastpunkte auf^* uniformem⁰ Gitter¹ v^- or^. . Der skalare² Abtastwert beschreibt

3

dabei

,

eine

/ bestimmte³ Materialeigenschaft des^, aufgenommenen^* Ge¹ webes,⁴ beispielsweise

3

das

,

Absorptionsverm^{/ .}¨ogenge^{+ +}gen⁰¨uberR¨ontgenstrahlung^. bei³ CT . In der^, V

5

olumen

. visualisierung^- wird⁴ durch^, eine^/ T⁶ r⁷ ansferfunktion⁸ jedem⁹ dieser^, Material werte⁴ je

9

weils

4 ein^/ F^: arbwert^* und⁰ ein^/ Opazit^; ¨atswert^* zuge^< wiesen.⁴ Dadurch⁼ werden⁴ dem^, tats⁾ ¨achli-^*

chen

> Ge¹ webe⁴ an^* diesem^, Punkt^? virtuell^- physikalische^@ F^: ¨ahigk^* eiten^/ zur^< Emission^A und⁰ Ab-^B sorption

C v^- on^. Licht^D zugeordnet,^< die^, zur^< Generierung¹ v^- on^. Bildern^E genutzt⁺ werden.⁴ Die

=

allgemein

* zum^< Rendering virtueller^- Szenen v^- erwendete^/ Str^F ahlungstr⁸ ansfer⁸ glei-^G c

H hung^I beschreibt³ das^, physikalische^@ Ph¨anomen^* der^, Ausbreitung v^- on^. Licht in Materie.

Streuung

des

,

Lichts wird⁴ in der^, V⁵ olumen^. visualisierung^- in der^, Regel⁺ v^- ernachl^{/ *}¨assigt.Der

¨ublicherweise

0 v^- erwendete^/ Raycasting-Ansatz approximiert^* die^, Strahlungstransfer glei-⁺

chung

> durch^, eine^/ Neuabtastung^J des^, Datensatzes und⁰ durch^, Integration⁺ der^, interpolierten diskreten

,

Emissions- und⁰ Absorptionswerte entlang^/ der^, Sehstrahlen. Zur Interpolation k ¨onnen^{. 2}spezielleF¨ahigk^* eiten^/ der^, Graphik-Hardw¹ are,^* wie⁴ beispielsweise³ Te^/ xturen aus-^* genutzt

+ werden,⁴ um⁰ interaktiv^- e^/ Bildraten zu erreichen.^/

Angetrieben

K durch^, den^, Massenmarkt f^L ¨ur⁰ Multimedia-Anwendungen hat^M die^, Lei-^D stungsf

2 ¨ahigk^* eit^/ preiswerter^@ PC-Graphikkarten^? immens^N zugenommen^< und⁰ teil⁾ weise⁴ die^,

teuren

) High-End L¨osungen^. im Hinblick so² w⁴ ohl^. auf^* Flexibilit¨at^* als^* auch^* auf^* Performanz bereits

3

¨uberholt.

0 F¨ur⁰ eine^/ Anwendung der^, V⁵ olumen^. visualisierung^- in der^, Medizin spielt² die

,

Benutzerinteraktion eine^/ entscheidende^/ Rolle. Interaktiv^- e^/ Darstellungen sind² zwin- gend

+ notwendig,^O um⁰ zielgerichtet^< Diagnosen⁼ durchzuf

,

¨uhren.

0 Daher⁼ ist

N

es

/ w⁴ ¨unschens-⁰ wert,

4 k

P

osteng

. ¨unstige⁰ hochperformante

M

PC

?

Hardw

Q

are

* auch^* im

N

medizinischen

R Bereich^E

einzusetzen.

/

2 Texturbasierte Interpolation

Im

T

Ge

U

gensatz

+ zum^< K^V onsumermarkt^. ist^N f^L ¨ur⁰ die^W wissenschaftliche^X V^Y isualisierung^N nicht^O nur

O die^W Performanz^Z wichtig,^X sondern² auch^* die^W Qualit^[ ¨at^* der^W resultierenden^\ Bilder^] ,^{^} d.h.^W die

W

Exaktheit

_

bei

`

der

W

Darstellung

a

der

W

im

N

Datensatz

a

enthaltenen

/ Information.^T Diese^a wird^X einerseits

/ bestimmt^` durch^W das^W v^b erwendete^/ Interpolationsverf^/ ahren,^* andererseits^* durch^W die

W

Abtastrate, d.h.^W die^W Anzahl der^W Abtastpunkte entlang^/ eines^/ Sehstrahls. Trilineare Interpolation wird^X hier als^* Standardanforderungangesehen.^* Der Nutzen^c v^b on^. Interpo- lationsverf^/ ahren^* h ¨oherer^. Ordnung^d ist gerade⁺ im medizinischen Bereich fraglich, da^W in der

W

Regel⁺ bei^{`</sup> tomographischen<sup>)</sup> Aufnahmev<sup>b</sup> erf<sup>/</sup> ahren,<sup>* `}beispielsweisebeim^` Spiral-CT,^{^} die^W Rek

onstruktion^. der^W Schichtbilder aus^* Projektionsbildern^Z lediglich^e durch^W lineare^e Inter^T - polation

f erfolgt.^/ Zur^g artef^* aktfreien^* Darstellung^a kleiner^P Strukturen – Nerv^c en^/ oder^. Blut-^]

gef

+ ¨aßen^* beispielsweise^` – muß^R dar^W ¨uber⁰ hinaus^M eine^/ M ¨oglichk^. eit^/ ge⁺ geben⁺ sein,² die^W Abta-^h strate

2 entsprechend^/ zu^< erh^/ ¨ohen.^.

T

i e^/ xturbasierte^j V^Y erf^/ ahren^* v^b ersuchen^/ die^W F^k ¨ahigk^* eit^/ der^W Tⁱ e^/ xtureinheit^j zur^< hardw^M arebe-^*

schleunigten

2 Interpolation ausnutzen.^* Da Graphikkarten^U jedoch^l keine^/ v^b olumetrischen^.

Rendering-Primitiv^b e^/ unterst^{0 0}¨utzen,muß das^W V^{Y .}olumendurch^W eine^/ bestimmte^` Anzahl po-^f lygonaler Schichten approximiert^* werden.^X Je^m nach v^b orhandener^. Hardware^* gibt⁺ es^/ v^b er^/ - schiedene

2 Strate gien:⁺

2.1

n

V

o

erwendung

p v^q on^r 3D-T

s

extur

p en^p

Das

a

Standardv

erf

/ ahren^* zum^< te⁾ xturbasierten^j V^Y olume-Rendering^. wurde^X 1994 v^b on^. Cabral et

/ al.^* [1]^t v^b or^. gestellt⁺ und⁰ erfordert^/ eine^/ Unterst^u ¨utzung⁰ v^b on^. 3D-T^v e^/ xturen^j mit^R trilinearer⁾ Interpolation durch^W die^W Graphikhardw^U are.^* Dieses in der^W Regel⁺ auf^* High-End W^w orksta-^. tions

) implementierte V^Y erf^/ ahren^* gilt⁺ als^* Referenz so² w^X ohl^. f¨ur⁰ Bildqualit¨at^* als^* auch^* f¨ur⁰ Performanz. Das V^Y olumen^. wird^X dann^W wie^X in Abb. 1 (links)^x dar^W gestellt⁺ in Te^/ xturschich- ten

) zerlegt,⁺ die^W abh^* ¨angig^* v^b on^. der^W Blickrichtung immer parallel^f zur Bildebene v^b erlaufen.^/

Da sich² in diesem^W Szenario die^W Schichtpolygone bei^` Anderung des¨ ^W Augpunktes eben-^/ f

L

alls

* v^b er^/ ¨andern,^* m^R ¨ussen⁰ die

W

T

i

e

/ xturen^j f

L

¨ur

0 jedes

l

Bild

]

neu

O interpoliert

N

werden.

X Da^a die

W

Hardw

y

are

* trilineare⁾ Interpolation^T unterst⁰ ¨utzt,⁰ ist

N

dies

W

bei

`

interakti

N

v

b er^/ Bildrate^] m^R ¨oglich.^.

2.2 V^{o p}erwendung^qvon^r 2D-Textur^p en^p

Trilinear interpolierte 3D-T^v e^/ xturen werden^X v^b on^. PC-Graphikkarten nur z¨ogerlich^. un-⁰ terst

) ¨utzt.⁰ Daher will^X man zumindest die^W bilineare^` Interpolation der^W 2D-Te^/ xturen ausnut-^*

zen.

< W^w ie^N in^N Abb^h . 1 (Mitte)^x dar^W gestellt,⁺ kann^P dies^W geschehen,⁺ indem^N man^R die^W Schicht- polygone

f anstatt^* an^* der^W Bildebene^] am^* Objekt^d selbst² ausrichtet.^* Auf^h diese^W W^w eise^/ wird^X

Polygone parallel zur Bildebene Polygone am Objekt ausgerichtet

Abbildung1. Ausrichtung der Polygone an der Bildebene (links)

z

und

am Volumen^{ (Mitte). Bei zu geringer Abtastrate f¨uhren beide V^| erf ahren zu visuellenArtefakten (rechts).

trilineare

) durch^W bilineare^` Interpolation^T ersetzt.^/ ¨Andert^h sich² der^W W^w ink^N el^/ zwischen^< Blick-^]

richtung

\ und⁰ Schichtnormale um⁰ mehr^R als^* 45^{} ~},^{^} so² wird^X auf^* einen^/ anderen^* Schichtsta- pel

f umgeschaltet.⁰ Demzufolge^a m^R ¨ussen⁰ die^W meisten^R der^W te⁾ xturbasierten^j Algorithmen^h das^W V

Y

olumen

. dreif

W

ach

* im Speicher halten, je

l

weils

X ein^/ Schichtenstapel f¨ur⁰ jede

l

Raumachse.

Dies ist auch^* das

W

Grundprinzip

U

beim

`

Shear



-Warp-Algorithmus^€ [2],^t der

W

als

* Standardv er^/ - fahren^* f¨ur⁰ Softw are-Implementierungen^* gilt.⁺

Im Bezug auf^* den^W urspr^{0 0}¨unglichenRaycasting-Ansatz ist diese^{W Y}Vor^. gehensweise^{+ l}je- doch

W

nicht ganz⁺ korrekt.^. Da der^W W^w inkel^/ zwischen Blickrichtung und⁰ Schichtnormale zwischen 0^{ ‚} und⁰ 45^ƒ v^b ariiert,^{* *}¨andertsich² der^W Abstand der^W Abtastpunkte blickrichtungs-^` abh

* ¨angig^* mit^R einem^/ F^k aktor^* zwischen^< 1 und^{0 „} 2 . Die^a Inte^T gration⁺ der^W Abtastwerte^h wird^X somit

2 ink^N orrekt.^. Der^a gr⁺ ¨oßte^. Schw achpunkt^* bisheriger^` 2D-te xturbasierter^j V^Y erf^/ ahren^* ist^N jedoch

l

die

W

T

i

atsache,

* daß^W es^/ aufgrund^* der^W festen^L Tⁱ e^/ xturschichten^j nicht^O m^R ¨oglich^. ist,^N die^W Abtastrate

h

zu

< erh^/ ¨ohen.^. Dies^a wird^X besonders^{`</sup> dann<sup>W</sup> deutlich,<sup>W</sup> wenn<sup>X</sup> bei<sup>`} stark² em^/ Zoomen^g visuelle

b Artef^h akte^* an^* den^W Schichtr ¨andern^* entstehen,^/ wie^X sie² in^N Abb^h . 1 (rechts)^x dar^W ge-⁺

stellt

2 sind.² Die Beseitigung dieser^W Artefakte^* ist auf^* sehr² ef^/ fiziente W^w eise^/ m¨oglich^. durch^W V

Y

erwendung

/ v^b on^. Multitexturen.

2.3 V^o erwendung^p v^q on^r 2D-Multitexturen^p Unter

u

Multite

xturen

j v^b ersteht^/ man^R die^W M ¨oglichk^. eit^/ ein^/ einzelnes^/ Polygon^Z innerhalb^N der^W Rendering-Pipeline

gleichzeitig

+ mit^R mehreren^R Tⁱ e^/ xturen^j zu^< v^b ersehen.^/ In^T der^W Rasterisie- rung

\ wird^X F^k arbe^* und⁰ Opazit^d ¨at^* eines^/ Fragments^k dann^W als^* Er^_ gebnis⁺ programmierbarer^f arithmetischer

* Operationen^d zwischen^< der^W Prim^Z ¨arf^* arbe^* und⁰ mehreren^R Tⁱ e^/ xturwerten^j be-^`

stimmt

2 (T^† e^‡ xturk^ˆ ombination)^‰ . W^w ie in [3] beschrieben,^` kann diese^W flexible Framebuf⁰ fer- Arithmetik ef^/ fizient ausgenutzt^* werden,^X um⁰ echte^/ trilineare⁾ Interpolation auch^* mit 2D- Te^/ xturen zu berechnen.

`

Die trilineare⁾ Interpolation einer^/ Te^/ xturschicht S^ i^Š αkann beschrieben

`

werden

X als^*

Uberblenden¨

u

zwischen zwei aufeinanderfolgenden^* Schichten S^ i⁰undS^ i^‹ 1: S



i^Œ α^Ž1^{ ‘}α^’”“S^ i^• α^{‘ –}S^ i^— 1^˜ (1)^x

Die

a beiden^{`</sup> Schichten S<sup></sup> <sub>i</sub>und<sup>0</sup> S<sup></sup> <sub>i</sub>™ 1werden<sup>X</sup> als<sup>*</sup> Multite xturen<sup>j</sup> akti<sup>*</sup> viert.<sup>b</sup> Die<sup>a</sup> bilineare<sup>`} Inter^T - polation

f innerhalb^N der^W Tⁱ e^/ xturschicht^j wird^X hierbei^M durch^W die^W Tⁱ e^/ xturumgeb^j ung⁰ berechnet.^`

A B C D

Abbildung2.^š Intrakranielles Aneurysma in der CT^› Angiographie. Direktes Volume-Rendering^{ ohne

{ Beleuchtung (A), mit dif^œ fuser und spekularer Beleuchtung (B). Isofl¨ache mit diffuser und spekularer

$ Beleuchtung^ (C).^z Transparente^ž Isofl¨ache (D)^z

Der fehlende dritte^W Interpolationschritt in Richtung der^W Schichtnormale erfolgt^/ anschlie-^* ßend

Ÿ

gem

+ ¨aß^* Gleichung^U 1 bei^` der^W Te^/ xturkombination.^. Berechnungen wie^X diese^W werden^X auf

* PC-Graphikkarten mittlerweile standardm² ¨aßig^* unterst⁰ ¨utzt,⁰ beispielsweise^` im neuen Standard

DirectX^‡ 8  ^¡0oder^. unter⁰ OpenGL^{¢ W}durchNV^c idia’s² Register^£ Combiners^¤ [4]^t Moderne Multitextur-Hardware^* unterst^{0 0}¨utztweitaus^X komple^. xere^/ M¨oglichk^. eiten^/ der^W Te^/ xturkombination.^. Beispielsweise k ¨onnen^. die^W RGB-Kan¨ale^* einer^/ Te^/ xtur als^* V^Y ektoren^/ interpretiert und^{0 /}einSkalarprodukt berechnet^` werden.^X Dies kann genutzt⁺ werden,^X um⁰ das

W

Phong-Beleuchtungsmodell in die^W te⁾ xturbasierte V^Y olumendarstellung^. zu integrieren⁺ (siehe

x Abb^h . 2 und⁰ 3),^v wie^X es^/ beispielsweise^` in^N [5]^t zur^< Darstellung^a nic^¥ ht-polygonaler^¦

Isofl

T ¨achen^* genutzt⁺ wurde.^X Die^a Basis^] dieser^W V^Y erf^/ ahren^* ist^N die^W V^Y orberechnung^. der^W Gra-^U dienten

W

v

b ektoren,^/ deren^W x^{ˆ §} ,^{^} y^{¨ ©} und⁰ z^{ª «} K^V omponenten^. in^N einer^/ RGB-T e^/ xtur^j gespeichert⁺

werden.

X In^T der^W Rasterisierung wird^X dann^W das^W f^L ¨ur⁰ die^W Beleuchtung^] ben^` ¨otigte^. Skalarpro- dukt

W

zwischen

< Gradient^U und⁰ Lichtrichtung^¬ (bzw^x . Halfway-^­ V^Y ektor)^/ bestimmt.^` Die^a Be-^]

rechnung

\ des^W Phong-Beleuchtungsmodells^Z kann^P somit² v^b ollst^. ¨andig^* durch^W die^W Rasterisie- rungshardware^* erfolgen^/ [3].

3

®

Implementierung

¯

Um

u

medizinischem

R F^k achpersonal^* den^W Zugrif^g f^L und⁰ den^W Einsatz^_ des^W beschriebenen^` V^Y o-^.

lume

e

Rendering

Systems

zu

< erm^/ ¨oglichen,^. wurde^X eine^/ Inte^T gration⁺ in^N die^W medizinische^R Softw

areplattform

* syngo^¤ der^W Firma^k Siemens A^h G^U zu^< Ev^_ aluierungszweck^* en^/ v^b or^. genom-⁺

men

R 1. Durch^a die^W Realisierung ¨ahnlich^* einer^/ Syngo-K omponente^. ist^N es^/ m^R ¨oglich,^. die^W Applikation

h

in

N

den

W

W

w

orkflo

. w^X des^W Mediziners einzubinden.^/ So erlaubt^/ die^W Anwendung^h nun,

O direkt^W v^b om^. CT - oder^. MR-Scanner aufgenommene^* Tⁱ omographiedaten^. per^f DICOM-^a Protokoll^. zu transferieren⁾ und⁰ in einem^/ Patientbro^{* X}wser auszuw^{* *}¨ahlen. Anschließend k ¨onnen^. die

W

Daten mit den

W

in den

W

v

b origen^. Kapiteln beschriebenen

`

V

Y

isualisierungstech- niken^/ dar^W gestellt⁺ werden.^X

1Die^& Inte^° grationliegt ^±jedochnicht als Produkt vor^{ , sondern lediglich als F^² orschungsarbeit zu

T

³ estzweck en am Institut.^°

A B C D

Abbildung3. Computertomographie^› der^œ Mittelhandknochen.^´ Direktes^& Volume-Rendering^{ ohne Beleuchtung (A), mit dif^œ fuser Beleuchtung (B)^z und mit spekularer^$ Beleuchtung (C).^z Isofl¨ache mit diffuser und spekularer Beleuchtung (D)

4 Zusammenfassung und

Ausblick

Graphik-Hardw

U

are

* f¨ur⁰ den^W PC bietet^{`</sup> sehr<sup>2</sup> flexible Multitextur-Einheiten mit program-<sup>f</sup> mierbaren arithmetischen<sup>* d</sup>Operationen.Es wurde<sup>X</sup> gezeigt,<sup>+</sup> daß<sup>W</sup> diese<sup>W</sup> M¨oglichk<sup>.</sup> eiten<sup>/</sup> ef-<sup>/</sup> fizient genutzt<sup>+</sup> werden<sup>X</sup> k ¨onnen<sup>.</sup> um<sup>0</sup> die<sup>W</sup> f¨ur<sup>0</sup> medizinische Anwendungen ben<sup>` .}¨otigteInter- akti

* vit^b ¨at^* und⁰ Bildqualit^] ¨at^* auch^* auf^* Lo^¶ w-Cost^X Hardw^y are^* zu^< realisieren.^\ Die^a v^b or^. gestellten⁺

V

Y

erf

/ ahren^* zielen^< darauf

W

ab,

* in

N

naher

O Zukunft^g hochqualitati

M

v

b es^/ V^Y olume^. Rendering auf^*

den

W

Schreibtisch

eines

/ jeden^l praktizierenden^f Arztes^h zu^< bringen.^`

Speziell

f

L

¨ur

0 medizinische^R Zweck^g e^/ k^P ¨onnen^. die^W V^Y erf^/ ahren^* auch^* zur^< interakti^N v^b en^/ Se g-⁺

mentierung

R erweitert^/ werden.^X Dabei^a k^P ¨onnen^. die^W Originaldaten^d als^* eine^/ Tⁱ e^/ xtur^j defi-^W niert und⁰ die^W Se gmentierungs-T⁺ ags^* als^* eine^/ zweite Te^/ xtur,^{^} w^X odurch^. in V^Y erbindung^/ mit Te^/ xturpaletten e^/ xtrem flexible Darstellungsm ¨oglichk^. eiten^/ folgen. Dar ¨uber⁰ hinaus ist es^/ auch

* naheliegend⁺ die^W fusionierte Darstellung registrierter⁺ multimodaler Datens¨atze^* auf^*

sehr

2 flexible W^w eise^/ mit Multitexturen zu realisieren.

References

1. B. Cabral,^› N. Cam, and J.^· Foran.^{ Accelerated V^| olume^{ Rendering and Tomographic Recon- struction

$ Using Texture Mapping Hardware. ACM^¸ Symp.^¹ on Vol.^º Vis., 1994.

2. P^» .^¼ Lacroute and M.^´ Le^½ voy^¾ . Fast V^| olume^{ Rendering Using a Shear^¿ –Warp Factorization of^{ the V

|

ie

wing T^³ ransform . Comp. Graphics^À , 28(4), 1994.

3. C.^› Rezk-Salama, K. Engel, M. Bauer, G. Greiner, and T. Ertl. Interactive Volume Rendering on

{ Standard PC Graphics Hardware Using Multi-Textures and Multi-Stage Rasterization. In Eur

Á o^º gr^Â aphics/SIGGRAPH^À Worksh. on^º Graphics^À Har^Ã dwar^Ä e^Å . ACM, 2000.

4. J.^· Spitzer.^¼ GeForce^{ 256^Æ and RIVA TNT^³ Combiners. http://www^Ç .nvidia.com/Developer.^¼ 5. R. Westermann and T. Ertl. Efficiently Using Graphics Hardware in Volume Rendering App-

lications. In Proc. of^º SIGGRAPH, Comp.^› Graph. Conf. Series,^¿ 1998.