Ein Algorithmus entscheidet in Frankreich darüber mit, ob Familien vermeintlich zu viel Sozialhilfe erhalten. NGOs kritisieren das System als diskriminierend, weil es vor allem ärmere Menschen ins Visier nehme. Jetzt klagen sie vor Gericht.

In Frankreich beziehen Millionen Menschen Sozialhilfe aus der Caisses d’Allocations Familiales (CAF). Die „Familienausgleichskasse“ zahlt etwa Zulagen oder Wohngeld an einkommensschwache Familien. Mit solchen Zahlungen einher geht allerdings auch eine (teil-) automatische Risikobewertung von Empfänger-Familien. Ein Algorithmus entscheidet anhand von personenbezogenen Daten regelmäßig, ob ein vermeintliches Risiko einer Überzahlung vorliegen könnte.

Eine Koalition aus 15 Nichtregierungsorganisationen geht nun vor Gericht gegen dieses System vor. Angeführt von der französischen NGO La Quadrature du Net (LQDN) haben sie Klage beim obersten Verwaltungsgericht in Frankreich, dem Conseil d’État, eingereicht. Unter den Unterstützenden ist auch Amnesty International France.

Verstoß gegen Anti-Diskriminierungsgesetz

In der Klage kritisieren die Organisationen die rücksichtslose Nutzung von personenbezogenen Daten und werfen der französischen Behörde einen Verstoß gegen das Anti-Diskriminierungsgesetz vor. „Dieses System steht in direktem Widerspruch zu Menschenrechtsstandards und verletzt das Recht auf Gleichheit und Nichtdiskriminierung sowie das Recht auf Privatsphäre“, sagt Agnès Callamard, Generalsekretärin von Amnesty International.

2023 hatte La Quadrature du Net über Informationsfreiheitsanfragen Zugang zu dem Quellcode der Software erhalten. In ihrer Analyse zeigte die NGO, welche Faktoren zu einem vermeintlich erhöhten Risiko für unberechtigte Zahlungen führen und wie dadurch bestimmte Gruppen diskriminiert werden.

Doppelte Bestrafung

Faktoren, die das vermeintliche Risiko steigen lassen, sind demnach etwa ein geringes Einkommen, Arbeitslosigkeit oder instabile Beschäftigungsverhältnisse. Auch wer in einer „benachteiligten“ Nachbarschaft lebt oder einen großen Teil des Einkommens für Miete ausgibt, muss mit einem höheren Wert rechnen. Diese Faktoren prüft das System monatlich bei allen Empfänger:innen und vergibt einen „Verdächtigkeitswert“. Je höher der Wert einer Person, desto öfter wird sie von Behörden kontrolliert.

Menschen, die in armen und prekären Verhältnissen leben, geraten somit vermehrt ins Visier von behördlichen Kontrollen. „Das ist eine doppelte Bestrafung“, kritisiert Bastien Le Querrec, Rechtsberater bei La Quadrature du Net. Der Algorithmus sei Ausdruck einer Politik der Verfolgung der Ärmsten.

Algorithmische Diskriminierung hatte in Europa schon mehrfach für Skandale gesorgt. In den Niederlanden hatte etwa die sogenannte „Kindergeldaffäre“ zu ungerechtfertigten Rückzahlungen von Kindergeld geführt. In einem anderem Fall hatte ein automatisiertes Tool vermeintlichen Betrug beim Bezug von Sozialleistungen aufgespürt. In Österreich sollte der sogenannte AMS-Algorithmus Arbeitssuchende nach ihrer Vermittelbarkeit einstufen, ist jedoch schon seit Jahren in einen langwierigen Rechtsstreit verstrickt.

Die im August dieses Jahres in Kraft getretene KI-Verordnung der EU soll den Einsatz solcher (teil-) automatischen Entscheidungssysteme im sozialen Bereich stark reglementieren. Social-Scoring-Systeme sind in der EU eigentlich ganz verboten. Doch da die Definition solcher Systeme in der Verordnung vage gehalten ist, bleiben den Mitgliedsstaaten Schlupflöcher offen. Bei den Verhandlungen um die KI-Verordnung hatte Frankreich, aber auch Deutschland, mehrmals blockiert, um die Regulierung von KI-Systemen einzuschränken.

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.