Polizeibehörden möchten mit Hilfe sogenannter künstlicher Intelligenz quasi in die Zukunft schauen und präventiv tätig werden. Predictive Policing gilt jedoch als hochriskant, weshalb der europäische AI Act es angeblich europaweit verbietet. Doch die Verordnung weist eine bedrohliche Leerstelle auf.

Mitte März verabschiedete das EU-Parlament den AI Act. Es ist das erste umfassende Gesetz weltweit, das den Einsatz sogenannter künstlicher Intelligenz (KI) reguliert. Laut EU-Kommission soll die Verordnung den Risiken vorbeugen, die bestimmte KI-Systeme mit sich bringen. So sei es beispielsweise „oft nicht möglich, herauszufinden, warum ein KI-System eine Entscheidung oder Vorhersage getroffen hat“ und damit „zu beurteilen, ob jemand ungerechtfertigt benachteiligt wurde“.

Tatsächlich sind Entscheidungsprozesse, die mit Hilfe von KI-Systemen durchgeführt werden, häufig intransparent – und zwar sowohl für die Betroffenen als auch für die Nutzer*innen. Das ist insbesondere dann der Fall, wenn die kommerziellen Anbieter solcher Systeme die technischen Details als Geschäftsgeheimnis klassifizieren. Oder wenn diese Details zwar bekannt sind, der Quellcode aber dennoch nicht erkennen lässt, wie das System ein bestimmtes Resultat generiert.

Das ist weit mehr als nur ein akademisches Problem. Denn eine mit Hilfe von KI-Systemen herbeigeführte Entscheidung kann auch bestimmte gesellschaftliche Gruppen diskriminieren.

Predictive Policing auf Grundlage verzerrter Daten

Deutlich wird dies etwa bei dem Einsatz des COMPAS-Systems in den Vereinigten Staaten. Die Abkürzung steht für „Correctional Offender Management Profile for Alternative Sanctions“, zu Deutsch etwa: Straffälligen-Managementprofil für alternative Sanktionen. Das System soll Richter*innen in den USA dabei helfen, die Rückfälligkeit von bereits verurteilten Straftäter*innen einzuschätzen. Die Auswertung der bisherigen Ergebnisse von COMPAS weist jedoch darauf hin, dass das System systematisch dunkelhäutige Menschen diskriminiert – auch wenn die weitere wissenschaftliche Begutachtung des Falls zeigt, dass die Lage nicht so klar ist, wie die Auswertung suggeriert. COMPAS bleibt aber ein Verdachtsfall unter vielen.

Auch das Predictive Policing steht im Verdacht, politische Minderheiten zu diskriminieren. Dabei werden – im Gegensatz zu anderen vorbeugenden Verfahren wie erkennungsdienstlichen Maßnahmen oder dem klassischen Streifefahren – große Datenmengen zu vergangenen Straftaten ausgewertet. Auf diese Weise wird eine Wahrscheinlichkeit – der sogenannte Risikoscore – für künftige Straftaten errechnet. Auf dieser Grundlage können dann Polizeieinsätze geplant werden.

So setzt etwa die Polizei in Chicago die Software „Strategic Subject List“ ein, um nach eigenen Angaben der Bandenkriminalität zu begegnen. Das System errechnet unter anderem einen Risikoscore für potenziell gefährliche Personen. Diese Kennzahl basiert auf Daten, die bei einer früheren Verhaftung der jeweiligen Personen erhoben wurden. Solche Daten sagen aber nicht notwendigerweise etwas über das tatsächliche kriminelle Potenzial der ins Visier genommenen Verdächtigen aus.

Vielmehr zeigt sich oftmals, wie ungerecht und diskriminierend US-Polizist:innen gegen dunkelhäutige Menschen vorgehen – erinnert sei hier nur an die Tötung von George Floyd vor ziemlich genau vier Jahren. Schon aus diesem Grund sind die Daten über frühere Verhaftungen, die in Vorhersagesysteme eingespeist werden, verzerrt und lassen auch keine sicheren Rückschlüsse auf das kriminelle Potenzial einzelner Personen zu. Oder wie die Datenwissenschaftlerin Alice Xiang es ausdrückt: „Wir versuchen zu messen, wie viele Menschen Straftaten begehen. Aber alles, was wir haben, sind Daten über Verhaftungen.”

Was kann die KI-Verordnung gegen Predictive Policing ausrichten?

Die KI-Verordnung in Europa kann als Versuch gesehen werden, solchen intransparenten und womöglich ungerechten Strukturen entgegenzuwirken.

Das Gesetz basiert auf einer einfachen Idee: Je größer das Risiko ist, das mit der Nutzung eines KI-Systems für Mensch, Natur und Grundrechte einhergeht, desto stärker soll diese Nutzung reguliert werden. Hierfür hat die EU vier Risikogruppen definiert, denen Typen von KI-Systemen zugeordnet werden. Systeme, die das größte Gefahrenpotenzial bergen, sollen komplett verboten werden.

Nachdem das EU-Parlament die Verordnung verabschiedet hatte, meldeten verschiedene Medien, dass „das Gesetz auch die Nutzung einer KI zwecks Predictive Policing verbietet“.

Tatsächlich aber findet sich der Ausdruck „Predictive Policing“ kein einziges Mal im Gesetzestext. Allerdings zählt Artikel 5 der Verordnung all jene Praktiken im KI-Bereich auf, die das Gesetz verbietet. Darunter fällt auch „die Verwendung eines KI-Systems zur Durchführung von Risikobewertungen in Bezug auf natürliche Personen, um die Wahrscheinlichkeit, dass eine natürliche Person eine Straftat begeht, ausschließlich auf der Grundlage des Profiling einer natürlichen Person oder der Bewertung ihrer persönlichen Merkmale und Eigenschaften zu bewerten oder vorherzusagen“.

Sowohl das COMPAS-System als auch die Strategic Subject List scheinen diese Definition auf zu erfüllen. Sie wären demnach in Europa verboten. Alles gut also?

Zwei Formen des Predictive Policing

Eine Lücke zeigt sich bei einer näheren Betrachtung des Predictive Policing. Eine solche hat etwa die Rechtswissenschaftlerin Lucia Sommerer in ihrer Dissertation „Personenbezogenes Predictive Policing“ dargelegt. Sommerer zufolge werden im Falle des Predictive Policing „mit algorithmengestützten Verfahren Daten zu in der Vergangenheit straffällig gewordenen Personen analysiert und Merkmale und Verhaltensweisen, die von einer großen Anzahl bekanntermaßen straffälliger Personen vor einer Strafbegehung geteilt wurden, herausgearbeitet. Weist eine mit Blick auf ihr zukünftiges Straftatverhalten neu zu bewertende Person in ihren Merkmalen und Verhaltensweisen eine große Ähnlichkeit zu den herausgearbeiteten Mustern auf, so führt dies zur Zuschreibung einer erhöhten Kriminalitätswahrscheinlichkeit.“

Diese Charakterisierung entspricht ziemlich genau der Definition des Artikel 5 der KI-Verordnung. Sie erfasst allerdings nur das personenbezogene Predictive Policing – und damit nur eine von zwei Formen dieser Technologie.

Wie Sommerer auch darstellt, gibt es daneben noch das ortsbezogene Predictive Policing. Es identifiziert jene Orte, „die sich durch eine besonders hohe Wahrscheinlichkeit auszeichnen, Ort einer Straftat zu werden. Die Identifizierung erfolgt u.a. durch eine Analyse vergangener Kriminalitätsstatistiken und das Heranziehen kriminologischer Theorien wie der Near-Repeat-Theorie.“ Diese Theorie besagt, dass professionelle Täter*innen etwa mehrere Einbrüche am gleichen Ort begehen, etwa weil sie die lokalen Gegebenheiten kennen.

Wie verlässlich solche Theorien sind, soll hier keine Rolle spielen. Entscheidend ist, dass weder Artikel 5 noch andere Artikel der KI-Verordnung ortsbezogenes Predictive Policing verbieten. Das aber deutet darauf hin, dass diese Form in der EU nicht reguliert werden soll.

Mit Blick auf das erklärte Ziel des Gesetzes, vertrauenswürdige KI zu fördern, wäre dies aber wünschenswert, wie auch die Situation in Deutschland zeigt. Hierzulande ist die polizeiliche Verwendung nicht einheitlich geregelt. Einige Bundesländer setzen das Verfahren bereits im Regelbetrieb ein, andere Systeme befinden sich in der Testphase. Einige Länder haben entsprechende Software bei Privatunternehmen erworben, andere entwickelten die Systeme selbst. Einige Länder gehen von der Near-Repeat-Theorie aus, andere nicht.

Das Lüchow-Dannenberg-Syndrom

Zudem warnen Expert*innen davor, dass ortsbezogenes Predictive Policing ein ähnlich hohes Diskriminierungspotenzial birgt wie personenbezogene Vorhersagen.

Dies hängt unter anderem mit dem Lüchow-Dannenberg-Syndrom zusammen. Nach einem beschaulichen Landkreis in Niedersachsen benannt, besteht es darin, dass die Kriminalitätsrate scheinbar ansteigt, wenn in einem bestimmten Gebiet mehr Polizeikräfte eingesetzt werden. Dieser Anstieg erklärt sich aber vor allem daraus, dass die größere Zahl der Polizist*innen vor Ort mehr Kontrollen durchführt und damit auch mehr Straftaten registriert. In der jährlichen Kriminalitätsstatistik wirft das dann ein schlechtes Licht auf das Viertel und die dort lebenden Menschen. Es ist zu erwarten, dass diese Menschen stigmatisiert werden und die Grundstücke in dem betreffenden Gebiet einen Wertverlust erfahren.

Auch in Deutschland werden KI-Systeme mit großen Datensätzen trainiert. Und auch hier ist davon auszugehen, dass die erhobenen Daten verzerrt sind. Es ist daher zu befürchten, dass Predictive Policing in Deutschland vor allem solchen Gegenden einen hohen Risikoscore zuweist, die etwa einen hohen Anteil an Migrant*innen aufweisen. In solchen Vierteln würden dann auch die Polizeieinsätze zunehmen – zum Nachteil der dort lebenden Menschen.

Es ist unklar, warum die KI-Verordnung das ortsbezogene Predictive Policing ausklammert. Fest steht aber, dass dies eine gefährliche Lücke in der KI-Verordnung ist. Und dass sie der von der EU-Kommission proklamierten Absicht widerspricht, wonach KI-Systeme „die Grundrechte, die Sicherheit und die ethischen Grundsätze achten“ sollen.

Daniel Minkin arbeitet in der Abteilung Philosophy of Computational Sciences im Höchstleistungsrechenzentrum Stuttgart. Zu seinen Forschungs- und Kompetenzbereichen gehören Philosophie der Künstlichen Intelligenz, Erkenntnis- und Wissenschaftstheorie. 

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.