Automatisch benachteiligt«: Wie Ferda Ataman die Diskriminierung durch KI bekämpfen will

Artikel von Patrick Beuth

Wenn Algorithmen bei Kreditvergaben, Bewerbungen oder staatlichen Leistungen (vor)entscheiden, kann das für Betroffene nachteilig sein. Die Antidiskriminierungsbeauftragte drängt auf gesetzliche Abhilfe.

Automatisch benachteiligt«: Wie Ferda Ataman die Diskriminierung durch KI bekämpfen will © Bernd von Jutrczenka / dpa

Die Unabhängige Antidiskriminierungsbeauftragte des Bundes, Ferda Ataman, sieht im Einsatz von künstlicher Intelligenz (KI) eine mögliche Quelle für Diskriminierung im Alltag.

»Was auf den ersten Blick objektiv wirkt, kann automatisch Vorurteile und Stereotype reproduzieren. Die Gefahren digitaler Diskriminierung dürfen wir auf keinen Fall unterschätzen«, sagte Ataman am Mittwoch bei der Vorstellung eines Rechtsgutachtens, das sie bei der Rechtswissenschaftlerin Indra Spiecker gen. Döhmann und deren Fachkollegen Emanuel Towfigh in Auftrag gegeben hatte.

DER SPIEGEL fasst die wichtigsten News des Tages für Sie zusammen: Was heute wirklich wichtig war – und was es bedeutet. Ihr tägliches Newsletter-Update um 18 Uhr. Jetzt kostenfrei abonnieren.

In dem Gutachten mit dem Titel »Automatisch benachteiligt« heißt es, der Einsatz von algorithmischer Entscheidungsfindung (ADM – automated decision making) erfasse mittlerweile »nahezu alle Bereiche des privaten und öffentlichen Lebens«. Als allgemeine Beispiele werden »Preisbildung, Zugang zu und Teilhabe an öffentlichen und privaten Leistungen, Marketing, Vertragsbedingungen, Diagnostik- und Therapieentscheidungen oder Verteilungsentscheidungen bei knappen Ressourcen« genannt.

Diskriminierung durch Statistik«

»KI macht vieles leichter – leider auch Diskriminierung«, teilte Ataman mit. »Immer öfter übernehmen automatisierte Systeme oder künstliche Intelligenz Entscheidungen, die für Menschen im Alltag wichtig sind. Hier werden Wahrscheinlichkeitsaussagen auf der Grundlage von pauschalen Gruppenmerkmalen getroffen.«

»Diskriminierung durch Statistik« wird das im Gutachten genannt. Durch sie würden »(historische) strukturelle Ungleichheiten perpetuiert und neue geschaffen«.

Neu ist das Problem keineswegs. Bereits 2020 hatte die Organisation AlgorithmWatch mehr als 100 ADM-Systeme in 16 Ländern untersucht und ein ernüchterndes Fazit gezogen: »Wenn wir den derzeitigen Stand von ADM-Systemen in Europa betrachten, sind Positivbeispiele mit echten Vorzügen selten.« Die »große Mehrheit« der Systeme »setzt Menschen eher einem Risiko aus, als ihnen zu helfen«.

Im Jahr darauf deckten US-Reporter auf, dass ein Algorithmus von Amazon automatisch Fahrer des Lieferdienstes Flex feuert, sobald sie ihre Touren nicht mehr schnell genug schaffen. Schlechte Straßenverhältnisse, Wartezeiten beim Beladen und andere Umstände, die Flex-Fahrer nicht zu verantworten hatten, wurden ignoriert. Ein Widerspruch gegen die Bot-Kündigung kostete 200 Dollar und führte zu nichts. Und in mehreren US-Bundesstaaten sollten sich Arbeitslose online mithilfe einer Gesichtserkennungssoftware verifizieren, um ihr Arbeitslosengeld zu erhalten. Wenn das nicht klappte, weil die Software sie nicht korrekt erkannte, bekamen sie tage-, wochen- oder gar monatelang kein Geld.

Solche konkreten Beispiele finden sich im Gutachten allenfalls in den Randnotizen und Quellenangaben. Der Schwerpunkt liegt vielmehr auf Vorschlägen, wie das Problem rechtlich angegangen werden könnte. Denn die »teils zu eng gefassten gesetzlichen Regelungen des AGG« (Allgemeinen Gleichbehandlungsgesetz) seien nicht darauf ausgerichtet, »die spezifischen Umstände

algorithmischer Diskriminierung angemessen zu berücksichtigen«.

Vier Forderungen

Ataman hat daraus vier Forderungen an die Bundesregierung abgeleitet:

• Das AGG solle erweitert, »Handeln durch automatisierte Entscheidungssysteme« ausdrücklich als Benachteiligung in das Gesetz aufgenommen werden.
• Wer ADM-Systeme betreibt, solle neue Auskunfts- und Offenlegungspflichten auferlegt bekommen, um Betroffenen einen Einblick in die genutzten Daten und in die Funktionsweise des Systems zu ermöglichen.
• Die Beweislast solle umgekehrt werden: »Bislang müssen Betroffene vor Gericht Indizien einer Diskriminierung vorlegen, damit die Beweislasterleichterung des AGG greift. Betroffene haben aber keine Kenntnisse über die Funktionsweise des KI-Systems und können in die ›Black Box‹ digitaler Entscheidungen nicht hineinschauen. Verantwortliche von KI-Systemen sollten deshalb vor Gericht die Beweislast tragen, wenn sie ein solches System eingesetzt haben.«
• In ihrer Antidiskriminierungsstelle solle eine unabhängige Schlichtungsstelle eingerichtet werden, zusammen mit einer Regelung eines verpflichtenden Schlichtungsverfahrens im AGG

Gehören Entwickler von ADM-Systemen ins Gesetz geschrieben

Im Gutachten wird darüber hinaus eine Stärkung der Antidiskriminierungsstelle erwogen, etwa durch ein neu zu schaffendes »eigenständiges Verbandsklagerecht« – auch wenn »dies ein rechtssystematisch großer Schritt wäre, den der Gesetzgeber gehen müsste; zudem müsste die Ausstattung der ADS dann erheblich erweitert werden, um die Aufdeckung und Rechtsverfolgung aktiv leisten zu können«. Außerdem schlagen Spiecker gen. Döhmann und Towfigh vor, »behördliche Aufsichtsbefugnisse speziell im Hinblick auf algorithmenbasierte Benachteiligungen durch ADM-Systeme« entweder auf die Datenschutzbehörden oder wiederum die Antidiskriminierungsstelle zu übertragen.

Ataman dürfte es zumindest mit Wohlwollen gelesen haben. Im Koalitionsvertrag heißt es schließlich auch: »Wir stellen die Unabhängigkeit der Antidiskriminierungsstelle des Bundes sicher, statten sie angemessen mit Personal und Budget aus und stärken ihre Kompetenzen. (…) Das Allgemeine Gleichbehandlungsgesetz (AGG) werden wir evaluieren, Schutzlücken schließen, den Rechtsschutz verbessern und den Anwendungsbereich ausweiten.« Zu eigen gemacht hat sie sich die Vorschläge zum Verbandsklagerecht und zu den zusätzlichen Aufsichtsbefugnissen aber ebenso wenig wie jenen, den Adressatenkreis des AGG auf die Entwickler und Dienstleister der ADM-Systeme auszuweiten.