Die rassistische, sexistische, psychopathische KI – manifestieren sich in einer Technologie, die unser Leben eigentlich verbessern sollte, die Schattenseiten unserer Gesellschaft? Ist KI nun eine Möglichkeit, menschliche Irrationalität, vorherrschende Ungleichheit und Vorurteile zu reduzieren – oder potenziert sie sie stattdessen?
Vor einigen Monaten tauchte Norman auf. Norman behauptet, ein Psychopath zu sein. Während sein Kollege auf Rohrschachtests eine Hochzeitstorte sieht, sieht er, wie ein Mann in eine Teigmaschine fällt oder auf offener Straße erschossen – Brutales, um es kurz zu fassen. Norman ist kein Mensch; Norman ist der Name einer KI, die mit Fotos eines Reddit Threads trainiert wurde und dann angeben sollte, was sie auf Fotos des Rohrschachtests sieht. Es ist unklar, ob wir Norman irgendwie witzig finden oder ihn als Symbol für die Risiken und Gefahren halten sollten, die KI birgt. Bei anderen Meldungen ist es eindeutiger: Es ist letzteres. In letzter Zeit machte Gesichtserkennungssoftware von IBM, Face++ oder Microsoft Schlagzeilen: Weil sie hellhäutige Männer wesentlich besser erkennt, als Frauen mit dunklerer Hautfarbe. Eine rassistische KI? Das ist dabei kein Einzelfall: Die Software COMPAS, die die Wahrscheinlichkeit eines kriminellen Rückfalls voraussagen soll, beschreibt afroamerikanischen Häftlingen mehr als doppelt so häufig fälschlicherweise als Hochrisikofälle. Chatbots, wie Tay von Microsoft, verleugnen auf twitter den Holocaust. Immer lauter, immer häufiger wird der Vorwurf der diskriminierenden Systeme ausgesprochen. Doch handelt es sich dabei wirklich um diskriminierende Technologie? Ist es einer Technologie möglich, sexistisch, rassistisch, extremistisch zu sein? Und wie sollen wir als Gesellschaft damit umgehen?
„Algorithmen sind nicht ausschließlich technisch.“
Im Juni hält Goda Klombyte, Doktorandin des GEdis Lab der Universität Kassel, einen Vortrag in Berlin. GEdis steht dabei für Gender and Diversity in Informatic Systems, sie spricht über Feminismus und Algorithmen. Was sie sagt, ist allerdings anwendbar auf jegliche Form von Diskriminierung: Algorithmen seien nicht ausschließlich technisch – es sei an uns zu fragen, wessen Perspektive sie vermitteln und wie es möglich ist, soziale Praktiken in Algorithmen einzuschleusen. Wie wurde beispielsweise Tay zum Holocaustleugner oder die Gesichtserkennungssoftware zum vermeintlichen Rassisten? Hinter beiden Anwendungen scheinen neuronale Netze zu stehen (etwas mehr darüber haben wir bereits hier geschrieben). Neuronale Netze sind Algorithmen, die maschinell lernen können. Sie werden mit einem Datensatz trainiert, einem Trainingsset; bei Bilderkennung mit Fotos, bei Spracherkennung mit Sprache und Text. Umso mehr Input zur Verfügung steht, umso größer das Trainingsset, umso besser werden diese Systeme in der Erkennung von Bildern oder Sprache. Sie lernen. Würden wir das Trainingsset der Gesichtserkennungssoftware ansehen, würden wir wohl einen Datensatz auffinden, in dem Menschen (beziehungsweise Männer) mit hellerer Hautfarbe wesentlich häufiger auftauchen, als Menschen mit anderer Hautfarbe. Weiße Männer wären stark repräsentiert, Frauen und Menschen anderer Hautfarbe unterrepräsentiert. Daher erkennt Software letztere weniger gut – sie lernte besser, helle Hautfarbe zu erkennen, als dunkle. Datensätze, in denen etwas über- oder unterrepräsentiert ist, sind ein häufiges Phänomen, nicht nur in Gesichtserkennungsalgorithmen: Datenbiases.
Algorithmen erkennen Muster viel stärker als wir Menschen
Das bedeutet, dass obgleich das Resultat diskriminierend ist, die Technologie, sprich die Algorithmen als solche, nicht diskriminierend sind. Sie lernen lediglich mit den Daten, die ihnen zur Verfügung gestellt werden. Und das ist ein Problem: Denn häufig lernen Algorithmen mit historischen Daten; mit dem, was „eben da ist“. „Spracherkennungsalgorithmen, beispielsweise, lernen auf Basis existierender Sprache. Wenn es in der existierenden Sprache das Muster gibt, dass ein Mann immer der Verdiener, der Arzt, ist und die Frau mit Haushalt assoziiert wird, weil Menschen das so im Kopf haben, lernt der Algorithmus das. Und man muss sich aktiv bemühen, das rauszunehmen“, sagt Professor Florian Ellsaesser vom Centre for Human and Machine Intelligence der Frankfurt School of Finance and Management. Diskriminierung und Ungleichheiten sind in unserer Gesellschaft präsent, sie finden sich in alltäglichen Strukturen, in unserer Sprache, in den Daten, mit denen Algorithmen dann lernen sollen. „Das ist ja nicht nur ein Problem von Algorithmen, sondern auch der Mensch hat das Problem, dass er Dinge zu sehr generalisiert. Es existiert bei uns Menschen genauso, nur der Algorithmus bringt es viel stärker heraus, weil es da vollautomatisch läuft.“ Dem stimmt auch Dr. Sebastian Thieme, Bioinformatiker und -physiker, zu. Er weiß, dass Algorithmen viel besser darin sind, Muster zu erkennen, als wir Menschen. Algorithmen erkennen Muster auch dort, wo wir sie nicht erkennen – nicht mehr erkennen oder nicht erkennen wollen. Und das ist erschreckend.
„Wir erkennen die Systematik dadurch viel stärker“, sagt Ellsaesser. „Da merken wir, dass Frau eben im durchschnittlichen Sprachgebrauch oft mit Haushalt assoziiert wird.“ Uns werde jetzt ein Spiegel vorgehalten, sagt Thieme, ein gesellschaftlicher Spiegel. Das trifft vor allem auf den COMPAS Algorithmus zu: Trainiert wurde er mit historischen Daten. Mit Daten, die repräsentieren, dass einige Gruppen von Menschen eine andere Behandlung erfahren, einige RichterInnen und BeamtInnen nicht immer objektiv entscheiden. Mit Daten, in denen sich rassistische und diskriminierende Muster finden lassen. „Was wir in Zukunft erleben werden ist keine mehr so offensichtliche Diskriminierung, sondern neue Arten von Diskriminierung“, ist sich Thieme sicher. Erlebt haben wir hier nicht zwangsläufig eine gezielte diskriminierende Programmierung – sondern stattdessen das Sichtbarmachen und Potenzieren eines Musters erlebt, das so in unserer Gesellschaft existiert.
Was darf entscheidungsrelevant sein?
Wenn wir über Daten sprechen, müssen wir über noch mehr sprechen als über Biases. So muss bei der Programmierung entschieden werden, welche Parameter oder Kriterien für die Datenbewertung durch den Algorithmus festgelegt werden. Es muss sich überlegt werden, welche Kriterien letztlich relevant für eine Bewertung und Entscheidung sind. Würden wir uns COMPAS anschauen müssten wir also beispielsweise fragen: Wenn festgestellt werden soll, ob jemand frühzeitig aus der Haft entlassen wird, ist die Hautfarbe ein solcher Parameter? Benötigt man in einem Datensatz Angaben über Religion, Herkunft, Delikt – was davon darf wirklich urteilsstiftend sein? „Diejenigen, die den Algorithmus entwickeln, entscheiden letztlich, welche Kriterien oder Features sie mit hereinnehmen und welche nicht. Das heißt, hier liegt viel in der Verantwortung der EntwicklerInnen, auf solche Dinge zu achten“, sagt Thieme.
Wir brauchen ein Algorithmenmonitoring
Aber wie kann das geleistet werden? Wie können wir beispielsweise sicherstellen, dass die Menschen, die in der Verantwortung stehen, darauf achten? Algorithmenmonitoring, oder von vielen auch Algorithmen-TÜV genannt, scheint hier eine mögliche Antwort zu sein. Thieme sieht letzteren Begriff allerdings skeptisch: „Was es nicht geben wird ist, dass Firmen uns ihre Algorithmen geben, so dass wir sie von Zeile eins bis zehn Millionen durchschauen. Deshalb finde ich den Begriff TÜV irreführend.“ Zu groß seien dafür die Programme, zu kompliziert die Algorithmen. Und zulassen würden es die Unternehmen schon gar nicht: „Es ist schwierig, darüber eine gesetzliche Handhabe zu bekommen, weil die Entwicklung eines Algorithmus viel mit geistigem Eigentum zu tun hat. Wenn der Algorithmus von google bekannt würde, würde ihn jeder kopieren – weshalb Firmen den Teufel tun, den rauszugeben.“ Wie Monitoring stattfinden kann, ist eine Frage, auf die es nur die Antwort gibt, dass es irgendwie passieren muss. Das wie ist noch nicht klar. Thieme spricht viel von den Hindernissen, auf die man treffen wird, wenn man versucht, Daten von unabhängiger Distanz sichten zu lassen. Vertrauliche Daten, vertrauliche Algorithmen, Kunden- und Firmengeheimnisse. Prinzipiell glaube er aber daran, in die Systeme hineinsehen zu müssen, um sie zu prüfen. Dasselbe gilt für die Daten, mit denen gearbeitet wird: Diese müssten genauso von ExpertInnen gesichtet und analysiert werden. Völlig ohne Verzerrungen, biasfrei sozusagen, werden wir sie allerdings nicht bekommen, ist er sich sicher. „Allein bei der Selektion der Daten haben wir ja bereits einen Bias. Und auch wenn wir es objektiv machen wollen, werden wir es wahrscheinlich subjektiv machen. Weil wir nun mal Menschen sind“, sagt er. „Aber wenn möglichst viele Menschen sich die Daten ansehen und einigen, dann kann man den Bias so klein wie möglich halten, auch wenn man ihn nicht völlig rauskriegt.“
Es beginnt noch früher
Die Daten müssen also gesichtet werden, die Algorithmen analysiert. Allerdings sind es am Ende des Tages nicht die Algorithmen, die sexistisch und rassistisch sind – sondern die Gesellschaft, in der wir leben, zumindest zum Teil. Aus diesem Grund sind die Daten, auch wenn sie ein großes Thema sind, nicht das einzige. Während ihres Vortrags fragt uns Klombyte beispielsweise, warum alle Sprachassistenten (oder Assistentinnen?) weiblich konzipiert sind? Siri, Alexa – was vermittelt es für ein Bild, dass es weibliche Stimmen mit weiblichen Namen sind, die uns ohne Widerworte in jedem Aspekt unseres Alltags unterstützen sollen? Eine ähnliche Frage stellt sich bei einem im letzten Jahr entwickelten System, das anhand eines Fotos eines Menschen feststellen sollte, ob er oder sie homosexuell ist. Nicht nur die Annahme, dass es tatsächlich bei 70-80% der Bilder funktionierte, ist diskussionswürdig – sondern auch warum überhaupt danach gefragt wurde: „Es gibt ganz viele andere Fragestellungen – hat das Aussehen etwas mit Bildung zu tun, oder einer sozialen Stellung in der Gesellschaft, oder beim Einstellungsverfahren: Spielt bei der Einstellung in Firmen das Aussehen eine Rolle? All das ist interessant und wäre damit erklärbar. Aber es wurde eine sexuelle Frage gestellt, eine Frage nach der sexuellen Orientierung. Und das ist grenzwertig“, sagt Thieme. Es sind nicht nur die Daten, die wir auswählen, es beginnt viel weiter davor: Was für Fragen stellen wir uns überhaupt? Was wollen wir mit unseren Algorithmen erreichen? Und was sagt die Antwort auf diese Fragen über unsere Gesellschaft aus?
Algorithmen helfen uns, zu erkennen, was bereits in unserer Gesellschaft verankert ist, so fest, dass es nicht mal mehr bemerkt wird, nicht hinterfragt wird, sondern akzeptiert. Die Algorithmen erkennen diese Muster und verstärken sie. So stark, dass erkannt wird, dass es eben nicht akzeptiert werden kann. Und dann folgt ein Aufschrei. Es ist ein Paradox: Einerseits die Möglichkeit zu erkennen, wo wir Diskriminierung haben; andererseits die Gefahr einer neuen, weniger offensichtlichen Diskriminierung. So oder so: Bei dem Aufschrei müssen wir aufpassen, dass er die richtigen Verantwortlichen trifft – denn es sind nicht die Algorithmen, die diskriminieren, es sind unsere gesellschaftlichen Strukturen.
Titelbild: Photo by Oleg Laptev on Unsplash
