Mitigating Soft-Biometric Driven Bias and Privacy Concerns in Face Recognition Systems

21. April 2021

Biometrische Verifizierung verweist auf die automatische Überprüfung der Identität einer Person auf der Grundlage ihrer Verhaltens- und biologischen Merkmale. Unter den verschiedenen biometrischen Modalitäten ist das Gesicht eine der am weitesten verbreiteten, da es in einer unbeschränkten Umgebung leicht zu erfassen ist und gleichzeitig eine starke Einzigartigkeit bietet. In den letzten Jahren haben sich Gesichtserkennungssysteme weltweit verbreitet und werden auch zunehmend in kritische Entscheidungsprozesse wie im Finanzwesen, der öffentlichen Sicherheit oder der Forensik einbezogen. Der wachsende Einfluss dieser Systeme auf das tägliche Leben eines jeden Menschen wird durch die starke Verbesserung ihrer Erkennungsleistung angetrieben. Die Fortschritte bei der Extraktion von Feature-Repräsentationen mit tiefen neuronalenNetzen aus Gesichtsbildern ermöglichten die hohe Leistungsfähigkeit der aktuellen Gesichtserkennungssysteme. Der Erfolg dieser Darstellungen kam jedoch auf Kosten zweier wesentlicher diskriminierender Bedenken. Diese Bedenken werden durch soft-biometrische Merkmale wie demographische Daten, Accessoires, Gesundheitszustände oder Frisuren hervorgerufen.

© Fraunhofer IGD
Im Foyer des Fraunhofer IGD verewigt: Herzlichen Glückwunsch, Dr.-Ing. Philipp Terhörst!

Mit diesen Bedenken hat sich Philipp Terhörst, wissenschaftlicher Mitarbeiter in der Abteilung »Smart Living and Biometric Technologies« im Zuge seiner Promotion befasst und seine Dissertation am 20. April 2021 erfolgreich verteidigt - herzlichen Glückwunsch!

Die öffentliche Verteidigung der Dissertation zum Thema »Mitigating Soft-Biometric Driven Bias and Privacy Concerns in Face Recognition Systems« fand am 20. April im Fraunhofer IGD in Darmstadt und online statt. Betreuer der Arbeit waren Prof. Dr. Arjan Kuijper (TU Darmstadt), Prof. Dr. techn. Dieter W. Fellner (TU Darmstadt) sowie Prof. Dr. Vitomir Štruc (University of Ljubljana).

Abstract

Das erste Bedenken bezieht sich auf die Voreingenommenheit von Gesichtserkennungssystemen. Aktuelle Gesichtserkennungslösungen bauen auf Repräsentations-Lernstrategien auf, die auf eine optimale Gesamterkennungsleistung ausgelegt sind. Solche Lernstrategien hängen stark von der zugrundeliegenden Verteilung der soft-biometrischen Attribute in den Trainingsdaten ab und beeinflussen daher stark die Erkennungsleistung verschiedener Individuen abhängig von diesen Attributen. Das zweite Bedenken betrifft die Privatsphäre der Benutzer in solchen Systemen. Obwohl Gesichtserkennungssysteme darauf trainiert sind, Personen anhand von Gesichtsbildern zu erkennen, enthalten die gelernten Repräsentationen einer Person mehr Informationen als nur ihre Identität. Datenschutzrelevante Informationen wie demographische Daten, sexuelle Orientierung oder Gesundheitszustand der Person sind in solchen Darstellungen enthalten. Bei vielen Anwendungen wird jedoch davon ausgegangen, dass die biometrischen Daten nur zur Erkennung verwendet werden, was große Probleme bezüglich der Privatsphäre aufwirft. Bei vielen Anwendungen wird jedoch erwartet, dass die biometrischen Daten nur zur Erkennung verwendet werden. Das trotzdem solche datenschutzrelevanten Informationen enthalten sind wirft große Bedenken hinsichtlich der Nutzerprivatsphäre auf. Der unbefugte Zugriff auf die datenschutzsensitiven Informationen einer Person kann zu einer ungerechten oder ungleichen Behandlung dieser Person führen. Dieser unbefugte Zugriff auf die sensiblen Daten einer Person kann zu einer unfairen oder diskriminierenden Behandlung dieser Person führen. Beide Bedenken werden durch das Vorhandensein von Informationen über soft-biometrische Attribute in den Gesichtsbildern verursacht.

Frühere Forschungsarbeiten konzentrierten sich auf die Untersuchung des Einflusses demographischer Merkmale auf beide Bedenken. Folglich fokussierten sich auch die Lösungen aus früheren Arbeiten nur auf die Entschärfung der demographischen Bedenken. Darüber hinaus erfordern diese Ansätze rechenintensive Trainings der eingesetzten Gesichtserkennungsmodelle und sind daher nur schwer in bestehende Systeme integrierbar. Im Gegensatz zu früheren Arbeiten werden in Terhörsts Dissertation Lösungen zur Entschärfung soft-biometrisch bedingter Voreingenommenheit und Datenschutzbedenken in Gesichtserkennungssystemen vorgeschlagen, die leicht in bestehende Systeme integrierbar sind und auf eine umfassendere Entschärfung abzielen, die sich nicht auf vordefinierte demografische Merkmale beschränkt. Dadurch sollen die Zuverlässigkeit, das Vertrauen und die Verbreitung dieser Systeme verbessert werden.

Der erste Teil der Arbeit bietet eingehende Untersuchungen zu der soft-biometrisch bedingten Voreingenommenheit und Datenschutzbedenken bei der Gesichtserkennung über ein breites Spektrum soft-biometrischer Merkmale. Die Erkenntnisse aus diesen Untersuchungen dienten als Grundlage für die Entwicklung der Lösungsvorschläge. Die Untersuchungen zeigten, dass eine hohe Anzahl von soft-biometrischen und datenschutzrelevanten Attributen in Gesichtsrepräsentationen enthalten ist. Darüber hinaus beeinflusst das Vorhandensein dieser weich-biometrischen Attribute stark das Verhalten der Gesichtserkennungssysteme. Dies zeigt den dringenden Bedarf an weiterführenden Technologien zur Verbesserung der Privatsphäre und zur Verringerung von der system-bedingten Voreingenommenheit, die nicht auf vordefinierte (demografische) Attribute beschränkt ist.Geleitet von diesen Erkenntnissen werden in dieser Arbeit Lösungen zur Entschärfung von Voreingenommenheit in Gesichtserkennungssystemen und Lösungen zur Verbesserung der soft-biometrischen Privatsphäre in diesen Systemen vorgeschlagen. Die vorgeschlagenen Lösungen zur Minderung der Voreingenommenheit arbeiten auf der Vergleichs-und Score-Ebene des Erkennungssystems und können daher leicht in bestehende Systemeintegriert werden. Durch die Integration der Notation der individuellen Fairness, die darauf abzielt ähnliche Personen ähnlich zu behandeln, werden Voreingenommenheit unbekannter Herkunft stark abgeschwächt und die Gesamterkennungsleistung des Systems zusätzlich verbessert. Die vorgeschlagenen Lösungen zur Verbesserung der soft-biometrischen Privatsphäre in Gesichtserkennungssystemen basieren entweder auf der direkten Manipulation bestehender Gesichtsrepräsentationen oder auf der Änderung des Darstellungstyps dieser Repräsentationen einschließlich des Inferenzprozesses zur Verifizierung. Während die Manipulation vorhandener Gesichtsrepräsentationen auf die direkte Unterdrückung der privatsphärerelevanten Informationen abzielt, unterdrücken die vorgeschlagenen Lösungen, die auf der Inferenz-Ebene des Erkennungssystems arbeiten, indirekt diese Informationen, indem sie die Art und Weise ändern, wie diese Informationen kodiert werden. Zusammengefasst untersucht diese Arbeit soft-biometrisch bedingte Voreingenommenheit und Datenschutzbedenken in Gesichtserkennungssystemen und präsentiert Lösungen, um diese zu entschärfen. Im Gegensatz zu früheren Arbeiten sind die vorgeschlagenen Ansätze (a) hocheffektiv bei der Verminderung dieser Bedenken, (b) nicht auf die Verminderung von Bedenken beschränkt, die nur von spezifischen Attributen ausgehen, und (c) leicht in bestehende Systeme integrierbar. Außerdem sind die vorgestellten Lösungen nicht auf die Gesichtsbiometrie begrenzt und zielen daher darauf ab, die Zuverlässigkeit,das Vertrauen und die Verbreitung biometrischer Systeme im Allgemeinen zu verbessern.