Optimal Spatial Registration of SLAM for Augmented Reality

Erweiterte Realität (AR) bezeichnet ein Paradigma, welches darauf abzielt, die wahrgenommene, reale Umgebung eines Menschen mit im 3D-Raum verorteten, digitalen Informationen zu verschmelzen. Typischerweise werden dabei in Echtzeit virtuelle 3D-Grafiken in die aufgenommenen Bilder einer sich bewegenden Kamera oder direkt in das Sichtfeld des Nutzers über optische Durchsichtanzeigen eingebettet. Die perspektivisch korrekte und lagerichtige Darstellung erfordert hierzu die Lösung verschiedener statischer und dynamischer Registrierungsprobleme, um den Eindruck zu erzeugen, dass die virtuelle und die reale Welt nahtlos miteinander verbunden sind.

© Fraunhofer IGD
Folker Wientapper (li.) reiht sich ein in die Promotionen des Fachbereichs Graphisch Interaktive Systeme der TU Darmstadt - auch Institutsleiter und Betreuer Prof. Dieter W. Fellner (re.) freut sich über die gelungene Promotion.

In seiner Zeit in der Abteilung “Virtual & Augmented Reality“ am Fraunhofer IGD beschäftigte sich Folker Wientapper vertiefend mit Tracking-Technologien, die für AR-Anwendungen notwendig sind. Die im letzten Jahrzehnt erreichten Fortschritte im Bereich simultaner Lokalisierung und Kartierung (SLAM) liefern hierzu einen wichtigen Beitrag. Hiermit ist es möglich, die reale Umgebung zu rekonstruieren und dabei gleichzeitig die dynamische Eigenbewegung einer Kamera aus den Bildern zu erfassen, ohne dass die Umgebung hierzu präpariert werden muss. Im Rahmen seiner Dissertation stellte Wientapper jedoch fest, dass SLAM nur einen Teil des gesamten Registrierungsproblems löst: die erstellte 3D-Szenengeometrie und der berechnete Bewegungspfad werden räumlich nur in Bezug zu einem frei gewählten Koordinatensystem gesetzt.

Ohne einen entsprechenden Abgleich der Koordinatensysteme bleibt die reale Welt des menschlichen Beobachters stets von der virtuellen Welt entkoppelt. Bestehende Ansätze zur Lösung dieses Problems erfordern entweder die Verfügbarkeit eines virtuellen 3D-Modells, welches einem realen Objekt mit ausreichender Genauigkeit entsprechen muss (modellbasiertes Tracking), oder sie stützen sich auf anwendungsfallspezifische Annahmen und zusätzliche Sensordaten (wie GPS-Signale oder der "Manhattan Welt"-Annahme), welches die allgemeine Anwendbarkeit dieser Verfahren einschränkt. Der Umstand, dass eine automatisierte Registrierung wünschenswert, jedoch nicht immer möglich ist, schafft den Bedarf an Techniken, mit denen ein Benutzer beim Einrichten von AR-Anwendungen Verbindungen zwischen der realen und der virtuellen Welt spezifizieren und somit die Registrierung begleiten und kontrollieren kann. Diese Techniken benötigen die Unterstützung durch numerische Algorithmen, welche die Informationen optimal ausnutzen, um somit genaue Registrierungsergebnisse zu erreichen.

Die öffentliche Verteidigung der Dissertation zum Thema "Optimal Spatial Registration of SLAM for Augmented Reality" fand am 15. März im Fraunhofer IGD in Darmstadt statt. Betreuer der Arbeit waren Prof. Dr. Arjan Kuijper (TU Darmstadt), Prof. Dr. techn. Dieter W. Fellner (TU Darmstadt) sowie Prof. Dr. Didier Stricker (Kaiserslautern). Dr. Wientapper gründete 2017 mit weiteren Kollegen des Fraunhofer IGD das Spin-off Visometry. Dort vertreibt er als Head of R&D die Technologie VisionLib, die AR-Tracking für industrielle Anwendungen ermöglicht.