Interview mit der Bundesbeauftragten für Antidiskriminierung, Ferda Ataman, zum Thema digitalisierte Diskriminierung

Clar: Aus dem von der Anti-Diskriminierungsstelle des Bundes (ADS) in Auftrag gegebene Forschungsprojekt Diskriminierungsrisiken bei Verwendung von Algorithmen“ aus dem Jahre 2019 gingen verschiedene Erkenntnisse hervor, unter anderem Feststellungen, wie die Anti-Diskriminierungsstelle selbst vorzugehen hat, um gegen digitalisierte Diskriminierung vorzugehen.

Wie steht es um diese Ansprüche?

Man kam zu der Erkenntnis, dass Ersteller von Algorithmen beraten und sensibilisiert werden müssten, um eine von vornherein diskriminierende Programmierung zu vermeiden. Es wurde zudem gefordert, dass die ADS in Entscheidungsprozesse bei Beschaffung von Algorithmen durch staatliche Behörden/Institutionen einbezogen werden sollte. Durch direkte Analysen und das Testen von Algorithmen, sollen diskriminierende Strukturen schneller erkannt werden.

Hier werden verschiedene Fragen aufgeworfen. Zum einen, in welchen Aspekten die ADS Fortschritte gemacht hat und ob es neue oder geplante Projekte gibt. Zum anderen, wie die aktuellen Entscheidungsprozesse ablaufen und welche Rolle die ADS in diesen spielt.

Welchen der von Ihnen angeführten Punkte halten Sie für besonders akut?

Ataman (Antwort auf alle vorstehenden Fragen): “Es gibt viel zu tun, um Diskriminierungsrisiken durch Algorithmen gut zu begegnen und wir stehen zugegebenermaßen immer noch am Anfang. Mein eigenes Amt ist ja noch ganz neu. Im April 2022 wurde das Allgemeine Gleichbehandlungsgesetz geändert und die Position einer Unabhängigen Bundesbeauftragten für Antidiskriminierung geschaffen, die gleichzeitig die Antidiskriminierungsstelle des Bundes leitet. Ich habe dieses Amt im Juli übernommen. Und zu meinen Befugnissen als Beauftragte gehört auch, dass Bundesbehörden mich bei allen Vorhaben, die meine Zuständigkeit berühren, zukünftig beteiligen müssen. Das gilt auch bei der Frage der Beschaffung von algorithmischen Entscheidungssystemen durch staatliche Stellen. Wichtig ist, dass Testing-Möglichkeiten geschaffen werden, um Diskriminierungsrisiken zu identifizieren. Ich werde diese Punkte als Unabhängige Beauftragte einbringen, wenn die Bundesregierung hier einen Gesetzentwurf vorlegt.”

Clar: Die Ampel-Koalition positioniert sich in Ihrem Koalitionsvertrag noch deutlicher als ihre Vorgänger gegen Diskriminierung. Zudem verweist der Vertrag auf die Ausweitung des Allgemeinen Gleichbehandlungsgesetzes, eine Möglichkeit, die sowohl in Ihrem Forschungsprojekt als auch im Policy Brief #5 von der Nicht-Regierungsorganisation AlgorithmWatch gefordert wird.

Hat der Regierungswechsel bezüglich der Arbeit (Abläufe, Herangehensweise etc.) gegen digitalisierte Diskriminierung nennenswerte Veränderungen herbeigeführt oder sind diese zu erwarten?

Ataman: “Klar ist: Das Thema Diskriminierungsschutz gehört auf die Agenda, und zwar jetzt. Es gab schon kurz nach dem Regierungswechsel die erste substanzielle Änderung des AGG seit vielen Jahren, die mir als Beauftragte und damit auch der Antidiskriminierungsstelle die Beteiligungsrechte gegeben hat, die ich erwähnt habe. Aber wie Sie selbst ansprechen, hat die Regierung sich noch eine grundsätzlichere AGG-Reform vorgenommen, die laut Koalitionsvertrag „Schutzlücken schließen, den Rechtsschutz verbessern und den Anwendungsbereich des Gesetzes“ ausweiten soll. Ich will mit daran arbeiten, dass dieser Anspruch auch erfüllt wird und die AGG-Novelle Menschen, die Diskriminierung erleben, tatsächlich hilft. Denn das Gesetz, das wissen wir seit langem, ist zu schwach und macht es Menschen zu schwer, zu ihrem Recht zu kommen. Das gilt auch im Umgang mit algorithmischen Systemen und die Bundesregierung steht da wirklich in der Pflicht. Als Antidiskriminierungsstelle haben wir ein Rechtsgutachten vergeben, das für uns ganz genau prüfen soll, ob und wie das Allgemeine Gleichbehandlungsgesetz angepasst werden muss, um mit Diskriminierung durch algorithmische Systeme angemessen umgehen zu können. Das Gutachten werde ich in einigen Monaten vorlegen können.

Ein Verbandsklagerecht und auch ein Klagerecht der Antidiskriminierungsstelle in Fällen von grundsätzlicher Bedeutung gehören aus meiner Sicht jedenfalls zu den Verbesserungen, die unbedingt kommen sollten.”

Clar: In den Schlussfolgerungen, welche Sie aus dem Forschungsprojekt ziehen, führen Sie auch verschiedene gesetzliche Möglichkeiten gegen digitale Diskriminierung vorzugehen auf.

Wurden diese Vorschläge bereits von der Ampel-Koalition aufgegriffen oder rechnen Sie damit, dass dies in Zukunft passiert? Rechnen Sie zudem mit Gesetzesentwürfen/gesetzlichen Anpassungen während der aktuellen Legislaturperiode?

Ataman: “Wir sind ja mittendrin in der gesetzgeberischen Debatte, aktuell aber vor allem auf EU-Ebene, wo es um die Europäische Verordnung zu Künstlicher Intelligenz geht. Viele Expert*innen kritisieren, dass der Vorschlag den Diskriminierungsschutz eher als Nebensache behandelt. Ich sehe das auch kritisch. Die Betroffenen und ihre Rechte kamen im ersten Entwurf der Kommission eigentlich gar nicht vor. Wir dringen hier darauf, dass die Bundesregierung in den Verhandlungen möglichst viel für den Schutz vor Diskriminierung herausholt. Parallel gibt es jetzt auch einen ersten Entwurf für eine Konvention des Europarats zu Künstlicher Intelligenz, die besonders den Schutz der Grundrechte in den Blick nimmt.

Mir ist vor allem wichtig, dass wir Dokumentationspflichten für die Anwender algorithmischer Systeme in allen Bereichen haben, in denen Diskriminierung verboten ist, damit vor Gericht überhaupt nachgewiesen werden kann, nach welchen Kriterien eine Entscheidung gefällt wurde. Dass es Transparenzpflichten gibt und die Betroffenen überhaupt darüber informiert werden, dass z.B. in einem Bewerbungsverfahren Algorithmen eingesetzt werden. Und dass wir genau hinschauen, ob bestimmte Änderungen am bestehenden Antidiskriminierungsrecht

nötig sind, damit es zukünftig noch durchgesetzt werden kann. Um nur ein Beispiel zu nennen: Die Antidiskriminierungsstelle hat bisher keinen Auskunftsanspruch gegenüber privaten Unternehmen. Da hilft uns dann die schönste Dokumentation von Entscheidungskriterien eines Algorithmus nichts, wenn wir sie nicht anfordern können.

Ob auch nationale Gesetzgebung nötig wird, werden wir sehen, wenn die europäischen Verhandlungen abgeschlossen sind. Ich bin aber ziemlich sicher, dass wir am Ende der Legislaturperiode eine Rechtslage haben werden, die deutlich klarer ist.”

Clar: Der Policy Brief #5 von AlgorithmWatch ähnelt insbesondere in Bezug auf die Schlussfolgerungen und Handlungsansätze stark der Ihren.

Bestätigt das Ihre Arbeit? Wie ist das weitere Vorgehen? Welchen Einfluss hat dies auf Sie?

Ataman: “Tatsächlich kommt AlgorithmWatch zu sehr ähnlichen Empfehlungen wie das Gutachten, das Carsten Orwat vom KIT Karlsruhe für die Antidiskriminierungsstelle des Bundes erarbeitet hat. Und das ist auch gar nicht überraschend, denn beide liegen auf einer Linie mit den allermeisten Analysen aus der Wissenschaft und auch von europäischen und internationalen Fachgremien, die inzwischen vorliegen. Natürlich fühlen wir uns darin bestätigt, dass wir mit unseren grundsätzlichen Empfehlungen auf dem richtigen Kurs sind. Wir werden uns mit Organisationen wie AlgorithmWatch in Zukunft laufend inhaltlich austauschen. Ich finde es wichtig, dass wir in beiden Richtungen einen Wissenstransfer organisieren zwischen denen, die sich seit Jahren mit Algorithmen und KI beschäftigen, und denen, die Expert*innen für Antidiskriminierung sind. Da machen wir auch gute Fortschritte.”

Clar: Es besteht die Möglichkeit, dass es zu keinen konkreten Maßnahmen gegen digitale Diskriminierung kommt, oder diese erst in einigen Jahren wirken.

Wie können sich Nutzer*innen aktuell schützen? Gibt es eventuell konkrete Plattformen/Betreiber*innen etc., die zu meiden sind?

Ataman: “Es ist sehr schwierig, Einzelpersonen zu empfehlen, wie sie sich schützen können. Solange es keine Transparenzpflichten gibt, wissen sie ja oft gar nicht, dass ein algorithmischer Entscheidungsmechanismus zum Einsatz kommt. Und eigentlich sollte unser Ansatz doch auch ein anderer sein: Damit wir einen guten Schutz vor Diskriminierung erreichen, müssen wir uns an diejenigen richten, die gestalten können: Das sind die Anbieter*innen von KI und die Unternehmen, die solche Anwendungen nutzen. Das ist die Politik, die die Rahmenbedingungen setzen muss. Und das sind all diejenigen, die in Beratungsstellen aktiv mit Menschen arbeiten, die Diskriminierung erleben.

An der Stelle haben wir zuletzt angesetzt. Wir haben das Projekt AutoCheck von AlgorithmWatch gefördert, das einen Ratgeber zu „Automatisierten Entscheidungssystemen und Diskriminierung“ erarbeitet und Schulungsprogramme für die Antidiskriminierungsberatung entwickelt hat. Dadurch wollen wir die Berater*innen ansprechen, die überall im Land täglich Menschen unterstützen, die Diskriminierung erfahren. Sie sollen in die Lage versetzt werden, einen

Zusammenhang eines Diskriminierungsfalls mit algorithmischen Systemen besser zu erkennen. Das hilft in erster Linie den Betroffenen, weil sie besser beraten werden können. Es hilft uns aber auch dabei, solche Fälle besser zu dokumentieren, damit wir politische Schlüsse aus ihnen ziehen und dann eventuell auch die Öffentlichkeit besser über einzelne, problematische Anwendungen aufklären können.”

Picture by Tobias Golla on pixabay