Fraunhofer-Institut für Graphische Datenverarbeitung IGD
Automatic model-based teeth segmentation, numbering and 3-D reconstruction using routinely collected images
Die Mundhygiene ist ein essentieller Bestandteil der täglichen Gesundheitsroutine und die Mund- und Zahnmedizin ein wichtiger Bereich des Gesundheitswesens. Erkrankungen des Mundes und der Zähne, wie beispielsweise Karies, betreffen weltweit Milliarden von Menschen. Aufgrund der hohen Prävalenz und der kostspieligen Behandlung ist die frühzeitige Erkennung solcher Erkrankungen ein wichtiger Bestandteil der heutigen Gesundheitsversorgung. Hierfür werden medizinische Bildgebungsverfahren eingesetzt, da die Zähne teilweise in Weichgewebe und Knochen eingebettet sind und ihr Gesundheitszustand daher nicht allein durch eine visuelle Inspektion beurteilt werden kann. Die manuelle Analyse der generierten Bilder ist allerdings zeitaufwändig, stark von der Erfahrung des behandelnden Experten abhängig und leidet unter einer hohen Intra- und Interobserver-Variabilität. Aus diesem Grund können computergestutzte Systeme, welche die Extraktion klinisch relevanter Informationen automatisieren, von großem Nutzen für das medizinische Fachpersonal sein. Ein notwendiger Verarbeitungsschritt zur Bereitstellung solcher Systeme für die Zahnmedizin ist die Segmentierung und Nummerierung der einzelnen Zähne in den digitalen Bildern. Herausforderungen wie die Bildqualität und -eigenschaften zahnmedizinischer Röntgenbilder sowie die patientenspezifischen Variationen des Gebisses erschweren jedoch die genaue Erkennung von Zahngrenzen. Darüber hinaus setzen sich die 32 Zähne des menschlichen Gebisses aus nur vier Zahntypen zusammen, wodurch eine Nummerierung nicht ausschließlich auf Basis der erkannten Form durchgeführt werden kann.
Wie mit Hilfe computergestützter Verfahren die aufwändige manuelle Analyse ersetzt werden könnte, beschreibt Andreas Wirtz, wissenschaftlicher Mitarbeiter in der Abteilung »Visual Healthcare Technologies« in seiner Dissertation, die er am 20. Dezember 2021 erfolgreich verteidigt hat - herzlichen Glückwunsch!
Die öffentliche Verteidigung der Dissertation zum Thema »Automatic model-based teeth segmentation, numbering and 3-D reconstruction using routinely collected images« fand am 20. Dezember im Fraunhofer IGD in Darmstadt und online statt. Betreuer der Arbeit waren Prof. Dr. techn. Dieter W. Fellner (TU Darmstadt), Prof. Dr. Arjan Kuijper (TU Darmstadt) sowie Prof. Dr. Reinhard Klein (Universität Bonn).
Abstract
Vor diesem Hintergrund konzentriert sich diese Arbeit auf die Forschungsfragen i) Zahnsegmentierung und -nummerierung in Panoramaschichtaufnahmen und ii) bildbasierte 3-D-Rekonstruktion der Zähne aus fünf Farbfotografien, welche eine genaue Segmentierung und Nummerierung der individuellen 2-D-Zahnumrisse (in den Fotografien) voraussetzt. Da beide Themen sich mit dem Problem der Segmentierung und Nummerierung beschäftigen, wird zunächst ein allgemeines Konzept für diesen Aspekt vorgestellt. Dieses wird später auch in einer dritten Anwendung zur Lokalisierung von Landmarken für die Analyse von zahnmedizinischen Fernröntgenseitenbildern angewendet.
In dieser Arbeit wird vorgeschlagen die Segmentierung und Nummerierung der Zähne in zahnmedizinischen Bilddaten unter Verwendung von Vorwissen über die Form und die räumlichen Lagebeziehung der Zähne durchzufuhren. Dieses statistische Vorwissen wird in einem gekoppelten Formmodell kodiert. Das Modell wird in einem Optimierungsverfahren an die Strukturen im Bild angepasst und bildet den optimalen Kompromiss zwischen den lokalen Bildmerkmalen und der erwarteten Zahnform und Lage ab. Die initiale Platzierung des Modells in den Bilddaten erfolgt unter Ausnutzung der semantischen Segmentierungs-Performance Neuronaler Netze. Die Modellanpassung an ungesehene Bilderdaten erfolgt unter Einsatz dynamischer Anpassungsstrategien, um die Robustheit der lokalen Merkmalssuche zu erhöhen. Dieser Ansatz ermöglicht die Extraktion von Zahnkonturen sowohl aus Panoramaschichtaufnahmen als auch aus Farbfotografien.
Der vorgeschlagene bildbasierte 3-D-Zahnrekonstruktionsansatz nutzt die nummerierten Zahnkonturen (Silhouetten) aus den Fotografien, um ein initiales Modell der Zähne so lange zu deformieren, bis es die extrahierten Silhouetten optimal widerspiegelt. Es ist die erste vollautomatische bildbasierte Zahnrekonstruktion, die darauf abzielt, die Mehrheit der Zähne zu rekonstruieren. Darüber hinaus ist es der erste Ansatz, der eine Rekonstruktion nur auf Basis der fünf Fotografien durchführt, die im Zuge einer kieferorthopädischen Behandlung standardmäßig aufgenommen werden. Die Landmarkenlokalisierung nutzt das Segmentierungs- und Nummerierungskonzept zur Vorhersage der Lage von 19 Landmarken in zahnmedizinischen Fernröntgenseitenbildern. Hierfür wird die räumliche Lagebeziehung zwischen den Landmarken und zu anderen Strukturen (Schädel, Haut) ausgenutzt. Die Vorhersagen werden anschließend mit spezifischen Hough-Forests für jede Landmarke verfeinert.
Die Zahnsegmentierung und Nummerierung von 28 Einzelzähnen in Panoramaschichtaufnahmen erreicht einen durchschnittlichen F1-Score von 0.823 ± 0.189 und 0.833 ± 0.108 in zwei unterschiedlichen Datensätzen. Die bildbasierte 3-D-Rekonstruktion von 24 Zähnen aus fünf Fotografien erzielt einen durchschnittlichen symmetrischen Oberflächenabstand von 0.807 ± 0.379 mm. Die Lokalisierung der Landmarken in Fernröntgenseitenbildern im klinisch relevanten Genauigkeitsbereich von 2.0 mm ist zu 76.04 % erfolgreich.