Automatisierte Entscheidungssysteme und Künstliche Intelligenz sollen stärker als bisher geplant im Gesetzentwurf (21/6178) der Bundesregierung für eine Änderung des Allgemeinen Gleichbehandlungsgesetzes (AGG) berücksichtigt werden. Das fordert der Bundesrat in einer Stellungnahme zum Entwurf, der nun als Unterrichtung (21/6669) vorliegt.
Algorithmus statt Mensch
In vielen diskriminierungssensiblen Bereichen würden Künstliche Intelligenz und automatisierte Entscheidungssysteme eingesetzt, schreibt die Länderkammer. Dies sei unter anderem bei der Jobsuche, bei Wohnungs- und Kreditvergaben oder Versicherungsdienstleistungen der Fall. „Die Systeme arbeiten auf Grundlage von Statistiken und Daten, die diskriminierungsbedingte Verzerrungen beinhalten können. Zudem können Vorurteile oder ein fehlendes Bewusstsein für Diskriminierung die Programmierung der Modelle beeinflussen, ohne dass dies für Anwendende oder für betroffene Personen erkennbar ist. Dieses Problem wird vom AGG in der aktuellen Fassung nur unzureichend erfasst“, heißt es in der Stellungnahme weiter.
Die Bundesregierung sieht keinen Handlungsbedarf
Die Bundesregierung sieht das in ihrer Gegenäußerung anders und erwidert dazu: „Das Allgemeine Gleichbehandlungsgesetz ist grundsätzlich technologieneutral formuliert. Damit ist eine ungerechtfertigte Benachteiligung aufgrund eines der in Paragraf 1 AGG geschützten Merkmale unzulässig, unabhängig davon, ob die Benachteiligung unmittelbar durch einen Menschen oder mittels eines KI-Systems erfolgt. Hinsichtlich der Beweisregelung in Paragraf 22 AGG sieht die Bundesregierung jedenfalls derzeit keinen Handlungsbedarf.“
Zwar hätten von Diskriminierung Betroffene in der Regel keine Kenntnis von der technischen Funktionsweise eines IT-Systems und könnten so in einem gerichtlichen Verfahren ihrer Darlegungs- und Beweislast nicht in vollem Umfang gerecht werden. In vergleichbaren Fällen solcher Informationsasymmetrien greife die Rechtsprechung jedoch auf die Grundsätze der sekundären Darlegungs- beziehungsweise Beweislast zurück. „Für Fälle der Benachteiligung durch algorithmische Entscheidungssysteme bleibt die Entwicklung einer solchen Rechtsprechung zunächst abzuwarten; gesetzgeberisches Tätigwerden dürfte hier einstweilen nicht erforderlich sein“, so die Bundesregierung.
Fazit
Der Streit zeigt, dass Diskriminierung durch KI zunehmend an praktischer Bedeutung gewinnt. Besonders problematisch ist, dass Betroffene oft nicht erkennen können, wie eine automatisierte Entscheidung zustande gekommen ist. Unternehmen sollten den Einsatz von KI-Systemen in sensiblen Bereichen wie Personal, Vermietung, Kreditvergabe oder Versicherungen sorgfältig prüfen. Wichtig ist, nachvollziehen zu können, auf welcher Datenbasis automatisierte Entscheidungen getroffen werden und ob diese zu Benachteiligungen führen können.
