Erweiterte Realität und 3D-Druck für die Chirurgie

Ein Verbund unter Leitung der Universität Bremen kombiniert Virtual Reality, Augmented Reality und 3D-Druck, um die Planung und Durchführung von Operationen zu verbessern. Die Technologien lassen sich auch für die Aus- und Weiterbildung von Ärztinnen und Ärzten einsetzen.

Neue Informationstechnologien können helfen, Chirurginnen und Chirurgen im Operationssaal wichtige Informationen bereitzustellen und damit die Erfolgsaussichten des Eingriffs spürbar zu erhöhen. Ein Forschungsverbund unter Leitung des Technologie-Zentrums Informatik und Informationstechnik (TZI) der Universität Bremen entwickelt zurzeit beispielhafte Verfahren und Anwendungen. Der Einsatz von Virtual Reality (VR), also mit Hilfe von Computern geschaffener künstlicher Realität, Augmented Reality (AR), also computergestützter erweiterter Realität, und 3D-Druck soll die Planung und Durchführung einer Operation verbessern. Die Ergebnisse sollen zusätzlich für Trainingszwecke und für die Patienteninformation eingesetzt werden. Das Bundesministerium für Bildung und Forschung (BMBF) fördert das Projekt „Vielseitiger Immersiver Virtueller und Augmentierter Tangible OP“(VIVATOP) über eine Laufzeit von drei Jahren mit insgesamt 2,2 Millionen Euro.

Präoperative Planung

Die Planung einer Operation mit 3D-Modellen bietet erhebliche Vorteile gegenüber den bislang verbreiteten 2D-Bildern. Ärztinnen und Ärzte erhalten einen wesentlich realistischeren und besser begreifbaren Überblick über den Bereich, in dem sie einen Eingriff vornehmen wollen. Parallel zu den dreidimensionalen Computermodellen erproben die Forschenden im Rahmen von VIVATOP auch die Bereitstellung lebensechter physischer Modelle des betroffenen Organs. Dafür werden die Bilddaten analysiert und aufbereitet, sodass sie in einen 3D-Drucker importiert werden können, um beispielsweise die Leber einer Patientin realitätsnah anzufertigen.

Diese gedruckten Modelle ermöglichen der Ärztin oder dem Arzt die haptische Erfahrung des individuellen Organs, also die Nutzung des Tastsinns, aber sie lassen sich auch gemeinsam mit den virtuellen Modellen einsetzen. So kann jemand das physische Modell in den Händen halten und erklärend gestikulieren, während alle Beteiligten auf der VR-Brille die Gesten in Verbindung mit dem hochdetaillierten Computermodell sehen. Diese Bedienungsweise entspricht eher den natürlichen Gewohnheiten als der Umgang mit Controllern, wie sie bei Spielkonsolen zur Steuerung von Bewegungen eingesetzt werden.

Die 3D-Drucke, die sowohl transparent als auch mehrfarbig sein können, erleichtern nicht nur die Planung, sondern auch das Gespräch mit den Patientinnen und Patienten, da das Ärzte-Team das Vorgehen bei den Eingriffen anschaulicher erklären kann.

Unterstützung während der OP

Während der Operation helfen Bilddaten und Modelle des Organs den Ärztinnen und Ärzten, sich zu orientieren und Entscheidungen zu treffen. Dazu erweitert das VIVATOP-Team eine vorhandene Augmented-Reality-Anwendung, mit der die relevanten Informationen im Sichtfeld einer Brille angezeigt werden. Über die Sprachsteuerung können Chirurginnen und Chirurgen das Gerät bedienen, ohne die Hände einsetzen zu müssen. Gleichzeitig besteht die Möglichkeit, die Operation live in VR darzustellen, damit Expertinnen und Experten außerhalb des Operationssaals interaktiv hinzugezogen werden können („remote, kollaborative, immersive Chirurgie-Konsultation“). Mit Hilfe von Tiefenkameras, Sensoren und weiteren Technologien werden dabei die Handbewegungen des Ärzte-Teams sowie die Eingriffe am operierten Organ aufgezeichnet und in VR dargestellt. Parallel können in der VR auch die Planungsdaten angezeigt werden. So unterstützt das System per Telepräsenz die weltweite Zusammenarbeit von Fachleuten bei einer Operation.

Training und Ausbildung

Mit der Integration von AR, VR und 3D-Druck kann darüber hinaus die Aus-, Fort- und Weiterbildung junger Ärztinnen und Ärzte effizienter gestaltet werden. Konkrete Fälle können anhand der 3D-Bilddaten erörtert und in der virtuellen Realität präzise nachvollzogen werden. Die ausgedruckten 3D-Modelle erlauben jungen Ärzten und Ärztinnen, wertvolle erste Erfahrungen zu sammeln. So können sie beispielsweise lernen, einen Tumor in verschiedenen Entwicklungsstadien zu ertasten („haptisches Feedback“), und die Lage anschließend in einer VR-Umgebung begutachten. Außerdem können einzelne Operationsschritte in virtuellen Szenarien trainiert werden.

Verbund aus Wissenschaft, Wirtschaft und Gesundheitswesen

Das Projekt VIVATOP wird am TZI der Universität Bremen von der Arbeitsgruppe Digitale Medien (Prof. Dr. Rainer Malaka) koordiniert und von der Arbeitsgruppe Virtual Reality und Computergraphik (Prof. Dr. Gabriel Zachmann) unterstützt. Diese Teams sind in erster Linie für die VR-Interaktion bzw. die VR-Algorithmen zuständig. Das Pius Hospital Oldenburg/Universitätsklinikum für Viszeralchirurgie liefert die klinische Expertise und generiert die Bilddaten. Das Fraunhofer-Institut für Digitale Medizin MEVIS erstellt daraus virtuelle realistische Organ-Modelle für AR/VR und den 3D-Druck, während die apoQlar GmbH als Spezialistin im Bereich Augmented Reality und die cirp GmbH für den 3D-Druck eingebunden sind. Die szenaris GmbH verantwortet den Bereich Training und Ausbildung. Der Projektabschluss ist für September 2021 vorgesehen.