Stellen Sie sich vor, Sie sind eine Frau und sowohl Sie als auch Ihr Mann fühlen sich körperlich krank. Sie geben beide die gleichen Symptome bei einer Gesundheitsapp ein, um über das Krankheitsbild aufgeklärt zu werden. Ihrem Mann wird empfohlen sich von einem Arzt untersuchen zu lassen, Ihnen hingegen reicht laut der App etwas Bettruhe aus. Woran kann das liegen? Es ist keine Neuigkeit, dass auch in verschiedenen medizinischen Aspekten Sexismus reproduziert wird und Frauen die Ernsthaftigkeit ihres Leidens abgesprochen wird, dies belegen mehrere Studien (bspw. ¹ ² ³ ). Aber in diesem Fall hat ein ganz rationales und objektiv handelndes Programm die Entscheidung getroffen, oder? Nicht wirklich! Mit der sich immer schneller entwickelnden Digitalisierung, macht sich auch die Diskriminierung, in digitalen Räumen breit. Doch während der bewusste „Hass im Netz” bereits öffentlich wirksam thematisiert und teilweise bekämpft wird, sorgt programmierte Diskriminierung für eine viel breiter Gefächerte, wenn auch oft nicht direkt zu erkennbare, Einschränkung im alltäglichen Leben.
Die aus der analogen Welt bekannten Formen der Diskriminierung, bspw. aufgrund von Geschlecht, Ethnie oder Sexualität, treten in der digitalen Welt in neuer Art und Weise zu Tage. Neben offensichtlicher, meist bewusst verübter Diskriminierung, wie Hasskommentare und Beiträge, kommt es zunehmend zu passiver Ausgrenzung durch Algorithmen, welche schlichtweg das unbewusst diskriminierende Verhalten der Menschen, die sie entwickelt haben bzw. nutzen reproduzieren und teilweise auch verstärken. Beispiele, für diese programmierte Diskriminierung gibt es zuhauf. In der Netflix-Dokumentation „Coded Bias“ (zu Deutsch: Vorprogrammierte Diskriminierung), erklärt Joy Buolamwini, Programmiererin im MIT Media Lab, wie ihr Gesicht von einem Gesichtserkennungsprogramm, erst durch das Tragen einer weißen Maske erkannt wurde. Buolamwini ist Schwarz und die dunklere Farbe ihrer Haut konnte von dem Programm nicht erkannt werden, weil seine Programmierer*innen dem Algorithmus eine Datenbank mit mangelnder Diversität zugrunde legten. Das heißt, damit der Algorithmus fähig ist, Gesichter zu erkennen, müssen ihm möglichst viele Bilder von Gesichtern als Lernmaterial zu Verfügung gestellt werden. Da die Programmier-Szene aber hauptsächlich von weißen Männern dominiert wird, wurde höchstwahrscheinlich schlichtweg nicht berücksichtigt auch bzw. genügend Gesichter von nicht-weißen Frauen und Männern in die Datenbank einzuspeisen. Hier geht es also weniger um gewollte Ausgrenzung, vielmehr wird von sich selbst, als die gesellschaftliche Norm ausgegangen und „Abweichungen“ davon werden häufig vergessen.
Das Problem der fehlenden Transparenz
Dies ist nur eines von vielen Beispielen zu programmierter Diskriminierung. Doch während eine nur beschränkt funktionierende Gesichtserkennung schnell zu entdecken ist, gibt es Algorithmen bei denen eine potenziell diskriminierende Programmierung zunächst überhaupt nicht in Betracht gezogen, geschweige denn erkennbar ist. So arbeitete Amazon zeitweise mit einem Programm, welches eine Vorauswahl bei den eingeschickten Bewerbungen treffen sollte, um den Auswahlprozess zu beschleunigen oder zumindest zu erleichtern. Auch dieser Algorithmus wurde vorab mit Daten gefüttert. In diesem Fall, mit den Attributen von Personen, die in der Vergangenheit eingestellt wurden und sich erfolgreich im Unternehmen etablierten. Dieses Vorgehen führte dazu, dass das Programm größtenteils weiße Männer als Kandidaten vorschlug, da die zuvor von Menschen getroffenen Entscheidungen schlichtweg reproduziert wurden. Für die Bewerber*innen war dieser Prozess allerdings völlig undurchsichtig, durch die jeweils individuelle Ablehnung, konnte das Muster dahinter nicht bemerkt werden. Es besteht also zunehmend die Gefahr, nicht aufgrund von mangelnden Qualifikationen, sondern durch unfaire Algorithmen einen Job nicht zu bekommen.
Wer übernimmt die Verantwortung?
Natürlich sind diese Beispiele auch der Politik und dem Staat nicht verborgen geblieben. Seit einiger Zeit widmet sich deswegen auch die im Familienministerium angesiedelte Antidiskriminierungsstelle des Bundes (ADS) dem Thema. Die ADS berät Menschen, die Diskriminierung erfahren haben, klärt durch leicht zugängliche Artikel und Videos auf, führt Forschungsprojekte durch bzw. gibt diese in Auftrag und formuliert aus den Ergebnissen Handlungsvorschläge für die Politik. Zudem unterstützt sie verschiedene Nicht-Regierungsorganisationen, welche sich ebenfalls der Bekämpfung unterschiedlichen Aspekten von Diskriminierung widmen. Zu diesen von der ADS unterstützten NRO zählt auch AlgorithmWatch, die sich auf die Beobachtung, Analyse und Bewertung von Algorithmen spezialisiert haben.
Aber das Melden dieser diskriminierenden Vorfälle, sofern sie überhaupt entdeckt werden, führt meist zu keinerlei Konsequenzen für die Anbieter oder Unternehmen. Viele Opfer von digitalisierter Diskriminierung geben sich meist mit einer Entschuldigung oder Schmerzensgeld zufrieden, auch weil sie Angst haben, dass ein tatsächlicher Gerichtsprozess viel Zeit, Energie und Geld kosten würde. Obwohl es bereits Organisationen wie AlgorithmWatch gibt, die durch intensive Recherche und Diskriminierungs-Melde-Tools auf die Problematik aufmerksam machen, kann es nur durch flächendeckend staatliches Eingreifen, bzw. durch Präventivmaßnahmen zu einer tatsächlichen Besserung der Situation kommen.
AlgorithmWatch veröffentlichte am 10. Februar 2022 den Policy-Brief #5, der neben einer detaillierten Darstellung der programmierten Diskriminierung auch klare Lösungsansätze formulierte und Forderungen an die aktuelle Bundesregierung stellte. Und tatsächlich findet man in dem aktuellen Koalitionsvertrag die Ankündigung, dass das Allgemeine Gleichstellungsgesetz auf den digitalen Raum ausgeweitet werden soll. Ein wichtiger Schritt, der eine stabilere rechtliche Grundlage für juristische Verfahren schaffen würde und sowohl von der Antidiskriminierungsstelle des Bundes (ADS) als auch von AlgorithmWatch als sinnvollen Schritt erachtet wird.
Nachfragen bei der ADS, welche Ziele und Zukunftspläne bestehen und inwiefern der die Ankündigung der neuen Regierung bereits Einfluss auf ihre Arbeit genommen hat, blieben leider unbeantwortet. Die Entscheidung, über welches Budget die ADS künftig verfügt, liegt im Bundestag bzw. bei der derzeitigen Regierung. Diese hat in ihrem Koalitionsvertrag angegeben, sie wolle effektiver gegen Diskriminierung vorgehen. Eine sichtbare Besserung ist bis jetzt nicht zu erkennen.
Vorprogrammierte Diskriminierung bleibt also weiterhin ein eher mangelhaft thematisiertes Problem. Die dafür zuständigen Behörden scheinen bis dato noch keine feste Strategie entwickelt zu haben. Somit wird es wohl weiterhin die Aufgabe der Vertreter*innen der Zivilgesellschaft sein, mit Aufklärung oder dem zur Verfügung stellen von Meldeportalen, ein Bewusstsein für das Thema zu schaffen.
Text: CC-BY-SA 3.0
