Die Bundesbeauftragte für Antidiskriminierung, Ferda Ataman, stellte am 30.08.2023 das Gutachten „Automatisch benachteiligt“ vor. Es zeigt deutliche Lücken im Allgemeinen Gleichbehandlungsgesetz (AGG) beim Schutz vor Diskriminierung durch algorithmische Entscheidungssysteme auf. Das Gutachten hat dabei auch Empfehlungen aus dem Dritten Gleichstellungsbericht aufgegriffen. Prof. Dr. Indra Spiecker gen. Döhmann, ehemaliges Mitglied der Sachverständigenkommission für den Dritten Gleichstellungsbericht „Digitalisierung geschlechtergerecht gestalten“, und Prof. Dr. Emanuel V. Towfigh haben das Rechtsgutachten im Auftrag der Antidiskriminierungsstelle des Bundes verfasst.
Neues Rechtsgutachten: Das AGG schützt nicht ausreichend vor Diskriminierung durch algorithmische Entscheidungssysteme
Das Allgemeinen Gleichbehandlungsgesetz und die Digitalisierung
Das AGG zielt ab auf den Schutz vor Benachteiligungen, unter anderem aus Gründen des Geschlechts oder der sexuellen Identität vor allem im Bereich Beschäftigung und Beruf (§ 1 AGG). Bislang fehlt es jedoch an Regelungen für die durch die Digitalisierung entstandenen Diskriminierungsrisiken. Die Autor*innen von „Automatisch benachteiligt“ stellen insbesondere fest, dass algorithmische Systeme, wie sie etwa zunehmend bei der Personalauswahl angewendet werden, das AGG wie auch das Antidiskriminierungsrecht im Allgemeinen vor große Herausforderungen stellen. Die Sachverständigenkommission für den Dritten Gleichstellungsbericht hatte 2021 bereits darauf verwiesen, dass das AGG in seiner jetzigen Ausgestaltung nicht ausreichend vor Diskriminierungen durch algorithmische Entscheidungssysteme schützt.
Welche diskriminierungsrelevanten Fallstricke gibt es?
Diskriminierungsrelevante Fehlerquellen bei algorithmischen Entscheidungssystemen beginnen bei der Gewinnung von Daten, die genutzt werden, um algorithmische Systeme zu trainieren. Werden beispielsweise Hautfarbe oder Geschlecht nicht ausgewogen in ein Datenset für das Training eines biometrischen Erkennungssystems eingespeist, wird das System die nicht oder weniger repräsentierten Gruppen schlechter erkennen. Ähnliches gilt für algorithmische Systeme zur Unterstützung von Personalentscheidungen. So könnte ein System, das passende Bewerber*innen auf Basis von Daten, die aus einem weiter zurückliegenden Zeitraum stammen, filtern soll , männliche Bewerber häufiger als geeignet bewerten, wenn bisher überwiegend Männer eingestellt wurden. Gleichzeitig ist ein Merkmal algorithmischer Entscheidungssysteme, dass die Kriterien der Entscheidungen aufgrund der Komplexität und Intransparenz der Systeme kaum nachvollzogen werden können. Zudem sind an der Programmierung, Fortentwicklungung weiteren Verwendung eine Vielzahl von Akteuren beteiligt. Dies führt zu Problemen bei der Frage, wer die Verantwortung für die Diskriminierung trägt.
Wie können Lücken geschlossen werden?
Die Autor*innen kommen vor diesem Hintergrund – ebenso wie die Sachverständigen des Dritten Gleichstellungsberichts – zu dem Schluss, dass das geltende Recht bei Diskriminierungen durch algorithmische Systeme nicht greift. Die im AGG bestehenden Regelungslücken müssen geschlossen werden. Das Gutachten knüpft dabei an Empfehlungen des Dritten Gleichstellungsberichts an und empfiehlt insbesondere:
- Der Intransparenz muss begegnet werden: Es braucht z. B. Auskunftsrechte für Betroffene und Offenlegungspflichten für Betreiber*innen algorithmischer Systeme.
- Die Beweislast muss umgekehrt werden: Haben Betroffene den Verdacht, von einem System diskriminiert worden zu sein, müssen die Betreiber*innen beweisen, dass das nicht der Fall ist. Auch ein Verbandsklagerecht könne die Rechte von Betroffenen verbessern.
- Bisher ist bereits Diskriminierung aufgrund eines Näheverhältnisses zu einer nach § 1 AGG geschützten Personengruppe untersagt. Die vorgeschlagene Neuregelung soll darüber hinausgehen und auch statistische Nähe zu einer Personengruppe einbeziehen. So werden Menschen geschützt, die aufgrund von statistischen Korrelationen einer bestimmten Gruppe zugeordnet werden. Verhindert werden kann dadurch beispielsweise, dass einer Person eine schlechte Kreditwürdigkeit zugeschrieben wird, weil sich einige ihrer Merkmale (zum Beispiel die Postleitzahl) mit Eigenschaften einer Gruppe überschneidet, die häufig eine geringe Bonität hat.
Ähnliche Empfehlungen der Arbeitsgruppe „Algorithmisches Management“
Mit dem Diskriminierungsschutz bei der Anwendung algorithmischer Systeme bei der Personalauswahl hat sich auch die Ad-hoc-Arbeitsgruppe „Algorithmisches Management“ des Bundesarbeitsministeriums unter Vorsitz von Prof. Dr. Johanna Wenckebach und Mitarbeit von Dr. Ulrike Spangenberg, Leitung des Bereichs Gleichstellungsberichte in der Bundesstiftung, beschäftigt. Angelehnt an die Empfehlungen des Dritten Gleichstellungsberichts der Bundesregierung spricht sich die Arbeitsgruppe für gesetzlich konkrete Informationspflichten und korrespondierende Auskunftsansprüche beim Einsatz algorithmischer Systeme aus. Außerdem empfiehlt sie, eine (betriebliche) Datenschutzfolgeabschätzung mit Blick auf Diskriminierungen verpflichtend einzuführen, besonders im Hinblick auf Personalentscheidungen.
Die Sachverständigen für den Dritten Gleichstellungsbericht befürworten darüber hinaus, den Anwendungsbereich des AGG auf selbstständige Tätigkeiten oder zumindest Plattformarbeit auszuweiten. Dadurch könnten z. B. auch Menschen vor Diskriminierung geschützt werden, die auf digitalen Plattformen häufig selbstständig arbeiten.
EU-Regulierungen: Die KI-Verordnung (KI-VO)
In der aktuell in Arbeit befindlichen EU-Regulierung (KI-Verordnung, zu den wesentlichen gleichstellungs- bzw. diskriminierungsrelevanten Aspekten des Gesetzentwurfs siehe auch den Blogbeitrag auf der Seite des Dritten Gleichstellungsberichts) sehen sowohl die Expert*innen des Dritten Geleichstellungsberichts als auch die Autor*innen des Rechtsgutachtens keine ausreichende Lösung für die Schutzlücken. Diese umfasst z. B. keinerlei Individualrechte, also etwa Klage- und Auskunftsrechte, für Betroffene.
Weitere Informationen:
Rechtsgutachten „Automatisch benachteiligt“
Arbeitspapier „Daten und Gute Arbeit – Algorithmisches Management im Fokus“ der Ad-hoc-Arbeitsgruppe