Meiling Fang, wissenschaftliche Mitarbeiterin in der Abteilung »Smart Living and Biometric Technologies« hat ihre Dissertation am 21. April 2023 erfolgreich verteidigt - herzlichen Glückwunsch!

Die öffentliche Verteidigung der Dissertation zum Thema »Boosting the Generalizability and Fairness of Presentation Attack Detection« fand im Fraunhofer IGD in Darmstadt und online statt.

Die Anfälligkeit von biometrischer Erkennung für Presentation Attacks (PAs) ist weithin bekannt und hat zunehmend Aufmerksamkeit erregt, da sie Angreifern ermöglicht, sich als authentische Benutzer auszugeben. Die automatisierte Erkennung von Presentation Attacks (Presentation Attack Detection (PAD)) ist eine wesentliche Technologie um biometrische Systeme vor solchen Angriffen, etwa mit gedruckten Fotos oder abgespielten Videos, zu schützen. Trotz des beachtlichen und bemerkenswerten Fortschritts bezüglich der Erkennungsraten im Bereich PAD zeigen sich noch zwei Hauptprobleme. Das erste Problem ist die mangelnde Kenntnis bezüglich der Fairness der Algorithmen in Bezug auf menschenbezogene Attribute und das zweite Problem ist die geringe Generalisierbarkeit der Algorithmen in Bezug auf Veränderungen wie etwa unbekannte Angriffstypen und unbekannte Aufnahmeumgebungen. Die Herausforderungen, die sowohl aus der Analyse, der Steigerung der Fairness sowie der Generalisierbarkeit von PAD-Algorithmen bestehen, motivieren den Kern dieser Dissertation.

Die Fairness von PAD-Algorithmen bezüglich verschiedener personenbezogener Attribute ist noch sehr wenig erforscht, was vor allem auf den Mangel an geeigneten Daten zurückzuführen ist. Um die Fairness von PAD-Algorithmen für Gesichtserkennungssysteme zu bewerten und diese auch zu erhöhen, wird in dieser Thesis zuerst ein kombinierter PAD-Datensatz eingeführt, welcher mit demografischen sowie nicht-demografischen Attributen annotiert ist. Des Weiteren stellt diese Arbeit eine neue Metrik, acurracy balanced fairness, vor, um gleichzeitig die Fairness und die Erkennungsgenauigkeit von PAD-Algorithmen zu messen. Anschließend wird eine umfassende Analyse der Fairness dieser Algorithmen für Gesichter durchgeführt. Dabei werden die Zusammenhänge zwischen Fairness und der Art der Trainingsdaten sowie zwischen Fairness und der Auswahlmethodik der Entscheidungsgrenzen untersucht. Angeleitet von den Ergebnissen dieser Analysen wird eine neue Datenaugmentierungsmethode, FairSWAP, vorgeschlagen, um die Fairness von PAD-Algorithmen für Gesichter zu verbessern.

Neben der Generalisierbarkeit von PAD-Algorithmen bezüglich personenbezogenen Attributen, die als Fairness angesehen werden kann, ist die Generalisierbarkeit von PAD-Algorithmen auf Personen, die Masken tragen, eine Herausforderung, welche durch die COVID-19 Pandemie aufgekommen ist. Um dieses Problem anzugehen wird in dieser Arbeit zuerst ein Datensatz vorgestellt, welcher authentische maskierte und unmaskierte Gesichter, sowie Angriffe mit Gesichtern, die Masken tragen und Angriffe mit echten Masken auf nicht authentischen Gesichtern, enthält. In dieser Thesis werden umfangreiche Experimente durchgeführt, um die Auswirkungen von maskierten Gesichtern auf die Erkennungsanfälligkeit und die Genauigkeit der PAD-Algorithmen zu untersuchen. Angesichts der Verschlechterung der PAD-Algorithmen bezüglich ihrer Genauigkeit verursacht durch die Masken, wird in dieser Arbeit eine Lösung vorgestellt, die auf der Verfeinerung der partial attack supervision und der regional weighted inference basiert.

Der dritte Teil dieser Arbeit befasst sich mit den eher konventionellen PAD-Generalisierungsproblemen, wie z.B. Unterschiede bei der Erstellung von Angriffen und unterschiedliche biometrische Aufnahmeszenarien. Mit dem Ziel, die Generalisierung von PAD-Algorithmen für Gesichter zu verbessern, schlägt diese Arbeit vor, zusätzlich zum räumlichen Bereich, Informationen aus dem Frequenzbereich in einer optimierten Form zu nutzen, um eine generalisierte Repräsentation zu lernen, sowohl für einzelne Datenbanken, als auch datenbankübergreifend. Um die Generalisierbarkeit von PAD-Algorithmen für Iriserkennung zu verbessern wird in dieser Arbeit eine Lösung vorgeschlagen, die auf der Analyse von micro-stripes basiert und den Vorteil der spatialen Verarbeitung von klar definierten Regionen der Iris und ihrer Abgrenzung mit der Sklera nutzt. Diese Dissertation führt zusätzlich eine neue Methodik ein, A-PBS, welche eine attention-based deep pixel-wise binary supervision Methode für Iris-PAD ist. Diese Methode zielt darauf ab, subtile Angriffshinweise auf Pixel- bzw. Patch-Ebene zu erfassen und automatisch die Regionen zu finden, welche am meisten zu einer richtigen PAD-Entscheidung beitragen. Die Generalisierbarkeit der vorgeschlagenen Iris-PAD-Lösungen wird unter realen Cross-Testing-Fällen demonstriert, einschließlich angriffsübergreifender, datensatzübergreifender und spektrenübergreifender Einstellungen.

Zusammenfassend bietet diese Arbeit zunächst eine notwendige, umfassende Analyse der Fairness von PAD-Algorithmen, die eine integrierbare Lösung zur Verbesserung der Fairness motiviert. Anschließend werden detaillierte Untersuchungen zur Herausforderung von Gesichtern, welche Masken tragen für PAD-Algorithmen präsentiert und zusammen mit einer technischen Lösung zur Verbesserung der PAD-Erkennungsraten von maskierten Gesichtern vorgestellt. Dann wird eine Reihe von neuartigen Lösungen präsentiert, welche die Generalisierbarkeit von PAD-Algorithmen für Gesicht- und Iriserkennung verbessert. Diese Arbeit liefert somit praxisnahe Fortschritte bei der Reduzierung und dem Verständnis von Schwachstellen von biometrischen Systemen und legt den Grundstein für die zukünftige Forschung zur Entwicklung und zum Einsatz generalisierter PAD-Erkennungssysteme.