Mini-Projektor basierte Augmented Reality für medizinische Anwendungen
J.-P. Kobler¹, A. Hussong¹, T. Ortmaier¹
¹ Gottfried Wilhelm Leibniz Universität Hannover, Institut für Mechatronische Systeme, Hannover, Deutschland
Kontakt: jan-philipp.kobler@imes.uni-hannover.de Abstract:
Der vorliegende Beitrag beschreibt ein neuartiges, handgeführtes, projektorbasiertes Augmented-Reality-System für medizinische Anwendungen. Die Komponenten des Systems ermöglichen die lagerichtige Projektion visueller Informa- tionen in Echtzeit unmittelbar auf die Oberfläche eines Patienten, wobei Nachteile konventioneller Augmented-Reality- Ansätze vermieden werden. Bedingt durch die zunehmende Miniaturisierung kommerziell verfügbarer Projektoren konn- te ein kompakter Aufbau realisiert werden, der sowohl die klinischen Anforderungen hinsichtlich Dynamik und Genau- igkeit der projizierten Informationen als auch den Wunsch nach flexibler Handhabbarkeit erfüllt. Ein optisches Naviga- tionssystem dient der Erfassung der Lage des Projektors und der Projektionsfläche, also des Patienten. Das System eig- net sich zur Visualisierung medizinischer Bilddaten wie beispielsweise der Lage anatomischer Strukturen oder Operationsplänen. Ferner kann das System zur Darstellung von Navigations- und Ausrichtungsanweisungen für chirur- gische Instrumente verwendet werden.
Schlüsselworte: Projektorbasierte Augmented Reality, medizinische Visualisierung, chirurgische Navigation
1 Problem
Im Rahmen moderner chirurgischer Eingriffe steht dem Operateur ein umfangreicher Bestand an patientenspezifischem, medizinischem Datenmaterial zur Verfügung. Dieses wird heutzutage beispielsweise im Umfeld der sog. image guided surgery (IGS) eingesetzt. Dabei werden dem Arzt durch den Einsatz von Navigationssystemen die Lagen chirurgischer Instrumente relativ zum Patienten in präoperativen Bilddatensätzen visualisiert oder anhand eines bildgestützt erstellten Operationsplanes konkrete Ausrichtungsanweisungen gegeben. Zudem können in den Bilddaten spezielle Zusatzinfor- mationen angezeigt werden, wie beispielsweise Gewebearten, Schnitt- und Bohrmarkierungen oder auch Risikostruktu- ren.
Nachdem sich derartige Systeme zunehmend etablieren, verbleibt die größte Herausforderung in der Wahl einer geeig- neten, dem operativen Umfeld angepassten Darstellungsweise. Aktuell werden im klinischen Umfeld primär Monitor- Systeme eingesetzt. Problematisch ist dabei einerseits, dass eine Vielzahl von visuellen Informationen simultan ange- zeigt wird. Der Chirurg muss den Umgang mit derartigen Systemen daher zunächst trainieren. Andererseits gerät der Patient durch die Konzentration des Chirurgen auf einen Monitor aus dem Fokus. Der Blickwechsel zwischen Patient und Monitor führt zudem zu schneller Ermüdung sowie einem Verlust der Genauigkeit. Erschwerend kommt hinzu, dass eine Hand-Auge-Koordination nicht intuitiv möglich ist [5]. Zusammen mit der anspruchsvollen Führung des chirurgi- schen Mikro-Instrumentariums resultiert eine erhebliche Belastung des Chirurgen während des Eingriffs.
Zum Zwecke einer Optimierung der Darstellungsweise von Informationen sind daher Augmented-Reality-Ansätze Ge- genstand aktueller Forschungen. Ziel ist dabei die Visualisierung von Daten unmittelbar im Blickfeld des Chirurgen.
Dieser Ansatz basiert auf einer simultanen Darstellung der Realität, also des Patienten, und zusätzlicher visueller Infor- mationen. Charakteristisch ist in diesem Zusammenhang, dass reale und virtuelle Objekte bezüglich ihrer Lage in Be- ziehung gesetzt werden [3].
Im medizinischen Umfeld werden derzeit primär zwei Arten von Augmented-Reality-Systemen erprobt. Einerseits er- folgt die Anzeige von Zusatzinformationen unter Verwendung von sogenannten Head-Mounted-Displays (HMD) [4]
oder See-Through-Devices (STD) [8]. Bei ersteren handelt es sich um visuelle Ausgabegeräte, die am Kopf fixiert wer- den und Informationen mit Hilfe von transparenten, augennahen Bildschirmen darstellen. Möglich ist auch eine Projek- tion direkt auf die Netzhaut. Diese Technologie ist jedoch nicht frei von Nachteilen: Der Chirurg wird durch ein übli- cherweise kabelgebundenes, kopf-fixiertes System in seiner Bewegungsfreiheit stark eingeschränkt. Zudem führt der ständige Fokuswechsel, bedingt durch den augennahen Monitor, zu schneller Ermüdung. Nachteilig ist auch, dass die eingeblendeten Zusatzinformationen ausschließlich von der Person wahrgenommen werden können, die das HMD trägt
Proceedings curac2010@MEDICA 115
- typischerweise der operierende Chirurg. Ähnliche Eigenschaften haben auch Augmented-Reality-Systeme, die auf beweglichen, halbtransparenten Displays basieren (STD).
Ein zweiter Ansatz zur Realisierung von Augmented Reality basiert auf dem Einsatz von Projektoren. Dabei werden Zusatzinformationen unmittelbar auf den Patienten projiziert. Vorteilhaft ist, dass die Projektion von allen am chirurgi- schen Eingriff beteiligten Personen erkennbar ist. Die für den medizinischen Einsatz konzipierten Systeme basieren oft auf stationär oberhalb des Patienten montierten Projektoren. Problematisch sind dabei Abschattungen des projizierten Bildes, die beispielsweise entstehen, wenn sich der Chirurg über den Patienten beugt.
Das hier vorgestellte Systeme greift die Vorteile der projektorbasierten Augmented-Reality-Systeme auf und umgeht den Nachteil der Abschattung durch ein kompaktes, mobiles und handgeführtes Konzept, das im Folgenden vorgestellt wird.
2 Methoden
Das handgeführte Augmented-Reality-System besteht aus einer CCD-Kamera (uEye, UI-2250SE-C, im Folgenden mit dem Index K abgekürzt), die der Kalibrierung des Systems dient, und einem Projektor (aaxa, P2, Index P). Diese Kom- ponenten sind an einem Handgriff befestigt, an dem sich zusätzlich Navigationsmarker (TP) zur Lokalisation des Hand- gerätes mit Hilfe eines optischen Navigationssystems (Advanced Realtime Tracking, ARTtrack 2, Index ART) befinden.
Abbildung 1 zeigt das Handgerät.
l
Abb.1 : Projektorbasiertes, handgeführtes Augmented-Reality-System (links), Skizze des Aufbaus zur lagerichtigen Projektion der Lage von Blutgefäßen sowie relevante Koordinatensysteme (rechts)
Zur lagerichtigen Projektion von Bildinformationen auf den Patienten muss zusätzlich dessen Lage bezüglich des Aug- mented-Reality-Systems bekannt sein. Daher ist ein weiteres Tracking Target am Patienten (TSP) angebracht, so dass auch die Lage des Patienten mit Hilfe des optischen Navigationssystems bestimmt werden kann. Einen beispielhaften Aufbau unter Verwendung eines Schädel-Phantoms (SP) sowie die relevanten Koordinatensysteme zeigt Abbildung 2.
Die Software zur Ansteuerung des Projektors und zur Berechnung des Projektorbildes ist in C++ verfasst. Die imple- mentierte Visualisierungs-Pipeline des Systems basiert auf den quelloffenen Bibliotheken OpenCV (Bildverarbeitung) [1] und VTK (3D-Rendering) [2] und ermöglicht die unkomplizierte Erstellung der zu projizierenden Bilddaten.
Mathematisch können sowohl Kamera als auch Projektor durch das Lochkameramodell beschrieben werden. Dabei wird der Projektor als inverse Kamera aufgefasst. Die Kalibrierung des Augmented-Reality-Systems erfordert die fol- genden Schritte:
1. Kalibrierung der Kamera zur Bestimmung der intrinsischen Kameraparameter sowie der Linsenverzeichnun- gen nach Zhang [9].
2. Kalibrierung des Kamera-Projektor-Systems mit Hilfe der kalibrierten Kamera, nach Falcao [6], zur Bestim- mung der intrinsischen Projektorparameter sowie der Lage der Kamera bezüglich des Projektors.
3. Hand-Auge-Kalibrierung zur Bestimmung der Lage des am Augmented-Reality-System befestigten Tracking- Targets bezüglich der Kamera. Damit kann die Lage des Tracking-Targets bezüglich des Projektors berechnet werden.
Die beschriebene Systemkalibrierung ist einmalig vorzunehmen.
Das System ist für eine Vielzahl von Anwendungsbereichen flexibel einsetzbar. Beispielhaft sollen im Folgenden zwei Applikationen vorgestellt werden: Die lagerichtige Projektion von Risikostrukturen am Beispiel eines Blutgefäßes so- wie die Projektion von Ausrichtungsanweisungen beispielsweise zur Durchführung einer Punktion oder Biopsie.
50mm
Kamera Handgriff
Projektor
Tracking- Target
116 Proceedings curac2010@MEDICA
Mit Hilfe des Projektors soll die Lage eines an der Schädelinnenseite gelegenen Blutgefäßes von außen lagerichtig auf den Schädel projiziert werden. Zu diesem Zweck wird ein CT-Scan eines Schädelphantoms durchgeführt, an dessen In- nenseite der Verlauf des Blutgefäßes angedeutet ist. Im Rahmen einer präoperativen Planungsphase wird das zu visuali- sierende Blutgefäß im CT-Datensatz segmentiert. Zur lagerichtigen Projektion dieser anatomischen Risikostruktur ist die Transformationsvorschrift gesucht, die den Zusammenhang zwischen segmentierten CT-Daten (SP) und Projektorbild (PB) beschreibt.
Zur Bestimmung des Zusammenhangs zwischen dem am Phantom befestigten Tracking-Target (TSP) und dem CT- Datensatz (SP) kann eine punktbasierte Registrierung unter Verwendung natürlicher oder künstlicher Landmarken durchgeführt werden. Anschließend wird mit Hilfe des optischen Navigationssystems die gesuchte Transformationsvor- schrift zwischen Projektorbild und CT-Datensatz des Phantoms bestimmt und in Echtzeit aktualisiert.
Bezogen auf das bereits beschriebene Beispiel wird das Projektorbild wie folgt berechnet: Basierend auf dem CT- Datensatz des Patienten wird der Verlauf des zu visualisierenden Blutgefäßes durch eine Punktmenge charakterisiert.
Die Punkte, deren Lage im Raum vom Navigationssystem gemessen wird, werden unter Anwendung der Modellglei- chungen des Projektors und unter Berücksichtigung der Linsenverzeichnungen in das Projektorbild transformiert. Die resultierenden Pixelwerte werden linear interpoliert, wodurch ein Polygonzug entsteht, der den rekonstruierten Verlauf des Blutgefäßes repräsentiert. Die Projektion des auf diese Weise berechneten Projektorbildes liefert eine lagerichtige Darstellung des Blutgefäßes auf der Schädeldecke des Phantoms, die zyklisch auf Basis der Lageinformationen des op- tischen Navigationssystems aktualisiert wird. Dies zeigt Abbildung 2.
Abb.2 : Lagerichtige Projektion der Lage eines Blutgefäßes auf ein Schädelphantom (links), Darstellung von Ausrichtungsanweisungen für chirurgische Instrumente (rechts)
Das beschriebene Verfahren ist unabhängig von der Art der zu visualisierenden Struktur. Denkbar ist auch die Darstel- lung weiterer medizinischer Planungsdaten wie beispielsweise Schnitt- und Bohrmarken sowie Bereiche mit bestimm- ten Materialeigenschaften.
Neben dem beschriebenen Beispiel ist es mit Hilfe des Augmented-Reality-Systems möglich, Bilddaten, wie beispiels- weise Texturen, lagerichtig auf die Oberfläche des Patienten zu projizieren. Sofern die Kontur dieser nichtplanaren Oberfläche bekannt ist, kann das zu projizierende Bild unter Anwendung einer elastischen Transformation, in diesem Fall einer Thin-Plate-Spline-Transformation, entsprechend vorverzerrt werden.
Als zweite Beispielapplikation soll die Verwendung des Systems zur Projektion von Anweisungen zur Positionierung und Ausrichtung eines medizinischen Instrumentes vorgestellt werden. So kann beispielsweise die Insertion von Biopsienadeln, die im CT-gesteuerten Fall mit einer hohen Strahlenbelastung des Patienten und insbesondere des Aus- führenden verbunden sein kann [7], deutlich vereinfacht werden: Ein Werkzeug zum Vorschieben der Nadeln wird am beschriebenen Augmented-Reality-System befestigt. Durch eine geeignete Registrierung kann die Lage der Nadel im Insertionswerkzeug bezüglich des Patienten mit Hilfe des optischen Navigationssystems gemessen werden. Auf Basis eines präoperativen Planungsdatensatzes des Patienten kann die optimale Lage der Biopsienadel spezifiziert werden.
Das Augmented-Reality-System ermöglicht dann eine Visualisierung der Abweichung zwischen Ziel- und Ist- Orientierung des Werkzeugs relativ zum Patienten. Bei der Wahl einer geeigneten grafischen Darstellungsweise wird zwischen der Positionierung und der Orientierung des Systems unterschieden. Es wird angenommen, dass das Werk- zeug zunächst an der Insertionsstelle aufgesetzt und anschließend ausgerichtet wird. Die Messung des Abstands zwi- schen Werkzeugspitze und Patient ermöglicht ein Umschalten zwischen der Projektion von Positionierungs- und Orien- tierungsanweisungen, wenn das Instrument an der Insertionsstelle aufgesetzt wird. Sobald das System vom Chirurgen entsprechend der Ziellage ausgerichtet ist, kann der Insertionsvorgang mit Hilfe des Werkzeugs durch Vorschieben der Nadel erfolgen. Die gewählte Darstellungsweise für Ausrichtungsanweisungen ist in Abbildung 2 dargestellt.
Ziel: In Deckung bringen der Konturen
Nachbildung einer Instrumentenspit- Projektion
Proceedings curac2010@MEDICA 117
3 Ergebnisse
Zur Evaluation des vorgestellten Augmented-Reality-Systems wurden Untersuchungen zur Bestimmung der Projekti- onsgenauigkeit und des Zeitverhaltens, charakterisiert durch die Aktualisierungsfrequenz der projizierten Informatio- nen, angestellt. Die Genauigkeit der Projektion beträgt, gemittelt über das Projektorbild, rund 0,5 ± 0,4mm (Mittelwert
± Standardabweichung) und liegt damit auf hohem Niveau. Sie wurde durch Projektion auf eine planare Fläche mit de- finiertem Raster bestimmt, deren Lage mit Hilfe des optischen Navigationssystems gemessen wurde. Es ist anzumerken, dass die Projektionsgenauigkeit, bedingt durch nicht vollständig kompensierte Linsenverzeichnungen des Projektors, in der Mitte des Projektorbildes sehr hoch ist, und hin zu den Ecken abnimmt. Die Berechnung des Projektorbildes erfolgt für sämtliche beschriebenen Anwendungsfälle mit 60fps, begrenzt durch das optische Navigationssystem. Das Augmen- ted-Reality-System ist mit einer ebenfalls primär durch das optische Navigationssystem bestimmten Totzeit von 100ms behaftet, die für medizinische Anwendungen grundsätzlich als unkritisch angesehen werden kann.
Weiterhin wurde unter Einbeziehung von sieben Probanden, die das System im Vorfeld nicht kannten, eine Studie durchgeführt, die der Ermittlung von Kenngrößen bei der Positionierung und Ausrichtung einer Instrumentenspitze auf Basis von projizierten Informationen diente. Im Rahmen von insgesamt 210 Versuchen gelang die Positionierung der Instrumentenspitze mit einer Genauigkeit von 1,6 ± 0,9mm (Mittelwert ± Standardabweichung) und war im Mittel zwei Sekunden nach Anzeige der Zielposition abgeschlossen. Die anschließende Ausrichtung der Instrumentenspitze erfolgte mit einer mittleren Genauigkeit von 0,3 ± 0,3° (Mittelwert ± Standardabweichung) und nahm weitere sieben Sekunden in Anspruch.
4 Diskussion
Das handgeführte, projektorbasierte Augmented-Reality-System ermöglicht die lagerichtige Darstellung medizinischer Planungsdaten auf der nichtplanaren Oberfläche des Patienten sowie die Anzeige von Anweisungen zur Ausrichtung chirurgischer Instrumente. Dabei werden Nachteile von monitorbasierten Darstellungskonzepten sowie konventionellen Augmented-Reality-Ansätzen vermieden.
Die erreichte Projektionsgenauigkeit ist auf eine sorgfältige Kalibrierung der Systemkomponenten zurückzuführen. Un- ter Berücksichtigung der zahlreichen Fehlerquellen (Kalibrierung, optische Navigation, punktbasierte Registrierung) muss im Worst-Case mit einer geringeren Projektionsgenauigkeit gerechnet werden.
Das System in der beschriebenen Form eignet sich ausschließlich zur Darstellung oberflächennaher, anatomischer Strukturen. Bei größerer Tiefe des Objektes unterhalb der Projektionsfläche lokalisiert der Chirurg die visualisierte Struktur in Abhängigkeit seines Blickwinkels an einer falschen Stelle. Um dies zu verhindern, könnte in Zukunft die Position und die Blickrichtung des Chirurgen zusätzlich mit Hilfe des Navigationssystems erfasst werden.
Die Vorteile des vorgestellten Systems liegen in den vielfältigen Einsatzmöglichkeiten, da beliebige visuelle Informati- onen darstellbar sind. Zudem bietet das Konzept Miniaturisierungspotenzial, das die Integration von Projektormodulen in chirurgische Instrumente in naher Zukunft ermöglichen wird.
5 Referenzen
[1] OpenCV. http://opencv.willowgarage.com.
[2] The Visualization Toolkit (VTK). www.vtk.org.
[3] R. T. Azuma. A survey of augmented reality. In Teleoperators and Virtual Environments, volume 4, pages 355–
385, 1997.
[4] W. Birkfellner, M. Figl, K. Huber, F. Watzinger, F. Wanschitz, J. Hummel, R. Hanel, W. Greimel, P. Homolka, R. Ewers, and H. Bergmann. A head-mounted operating binocular for augmented reality visualization in medicine - design and initial evaluation. In IEEE Transactions on Medical Imaging, volume 21, pages 991–997, 2002.
[5] M. Brell and A. A. Hein. Positioning tasks in multimodal computer-navigated surgery. In IEEE_M_MM, vol- ume 14, pages 42–51, 2007.
[6] G. Falcao, N. Hurtos, and J. Massich. Plane-based calibration of a projector-camera system. VIBOT Master, 2008.
[7] M.G. Mack, R. Straub, K. Eichler, S. Zangos, F. Kniep, J.O. Balzer, and T.J. Vogl. Nadelhalter zur Reduktion der Strahlenbelastung für den Untersucher bei einer CT-gesteuerten Punktion. In Der Radiologe, volume 41, pages 927–929, October 2001.
[8] M. Schnaider, B. Schwald, and H. Seibert. Medical augmented reality for patients. Technical report, Zentrum für Graphische Datenverarbeitung e.V., 2005.
[9] Z. Zhang. A flexible new technique for camera calibration. In IEEE Transactions on Pattern Analysis and Machine Intelligence, volume 22, pages 1330–1334, 2000.
118 Proceedings curac2010@MEDICA
