Fraunhofer-Institut für Graphische Datenverarbeitung IGD
Forschungsprojekt PERCEIVE
Mit KI Farben antiker Kunstwerke rekonstruieren
Die Farbgebung historischer Kunst rekonstruieren und so erlebbar machen: Das EU-geförderte Forschungsprojekt PERCEIVE zielt darauf ab, eine neue Art der Wahrnehmung, Ausstellung und Erforschung alter Werke zu entwickeln. Das Fraunhofer IGD unterstützt das Vorhaben als wissenschaftlich-technischer Koordinator mit der Entwicklung einer Künstlichen Intelligenz (KI), welche etwa die Veränderung der Farbgebung über die vergangenen Jahrhunderte nachzeichnet und auch für die Zukunft modelliert. Das Forschungsprojekt startete nun mit einer Auftaktveranstaltung im Archäologischen Nationalmuseum Neapel und zwei Tagen gemeinsamer Abstimmung aller Projektpartner vor Ort. Bereits in drei Jahren sollen Museen sowie Kunsthistorikerinnen und -historiker diverse Tools und zugehörige KI-Dienste in der Praxis nutzen können.
(Neapel/Darmstadt) Von der farbigen Gestaltung antiker griechischer Skulpturen ist heute kaum noch etwas übrig, und auch der Stoff samtbezogener Sessel aus vorigen Jahrhunderten verblasst mit der Zeit. Kunstwerke sind in Museen heute oftmals durch Glaskästen und Kordeln geschützt – vor unvorsichtigen Berührungen und neugierigen Kinderhänden. Kaum zu bewahren sind sie aber beispielsweise vor dem Lichteinfall, der über die Jahre Einfluss auf die Farbgebung nimmt. Das Fraunhofer-Institut für Graphische Datenverarbeitung IGD entwickelt als wissenschaftlicher Partner im Forschungsprojekt PERCEIVE eine KI, welche sowohl die ursprüngliche Farbgestaltung des Kunstwerks rekonstruiert als auch den zukünftigen Zustand vorhersagt. Neben Skulpturen stehen auch Gemälde, Textilien, historische Fotos und digitale Kunst im Fokus des Projekts.
Intelligentes Scannen statt händischer Modellierung
Die Forschung des Fraunhofer IGD startet im ersten Schritt mit der Materialrekonstruktion, um Informationen über die Oberfläche zu erhalten. »Die KI ermöglicht, Reflektanzmodelle auch in virtueller Umgebung aufzubauen«, erklärt Pavel Rojtberg, der das Projekt seitens des Fraunhofer IGD leitet. Bislang wurden diese mit einem aufwändigen realen Aufbau aus Kameras und Lichtquellen erstellt. Dieses Vorgehen entfällt bei der KI-basierten Lösung. »Das spart zeitliche und finanzielle Ressourcen«, ergänzt Rojtberg. Allein auf Basis weniger Bilder, die beispielsweise mit einem Smartphone aufgenommen werden, sind Spiegelung und Schattenwurf auf den jeweiligen Materialien wie Samt oder Seide schätzbar.
Die bereits trainierte KI stellt anschließend innerhalb weniger Sekunden dar, wie das Kunstwerk und seine Farben bei verschiedenem Lichteinfall wirken – gleich ob textile Robe der britischen Queen Victoria oder steinerne Statue aus dem Römischen Reich. Zusätzlich wird die Technologie in der Lage sein, automatisch geometrische Daten zu segmentieren und so festzustellen, welcher Teil eines Stuhls aus Holz und welcher aus Stoff besteht.
Historische Fotografien als Grundlage
Basis für die darauffolgende Abschätzung der Farbveränderung über die Zeit sind etwa historische Fotografien, Aufnahmen von Multispektralkameras oder chemisch-physikalische Eigenschaften von Farben, die als Vergleichswert dienen. So kann die Software auch vorhersagen, wie das Kunstwerk – abhängig vom jeweiligen Lichteinfall – in fünfzig oder einhundert Jahren aussehen wird. Einsetzbar werden die Lösungen derweil nicht nur für die digitale Remodellierung sein, sondern auch für die tatsächliche physische Instandsetzung. So können sie prognostizieren, wann diese aufgrund des fortschreitenden Verblassens der Farben notwendig sein wird.
Bis Ende 2024 wird das Fraunhofer-Team eine Alpha-Version der KI-Technologie entwickeln, in drei Jahren soll sie für Museen und Forschende nutzbar sein. »Die umgesetzten Werkzeuge werden rein web- und dienstbasiert funktionieren, sodass sie nicht nur vor Ort in den Museen via Augmented Reality, sondern auch für virtuelle Ausstellungen genutzt werden kann«, erklärt Holger Graf, Leiter der Abteilung Virtuelle und Erweiterte Realität.