Menschen auf der Flucht sind an den europäischen Außengrenzen unmenschlicher und diskriminierender Behandlung ausgesetzt. Dennoch finanziert die EU weiterhin Projekte, die den Status Quo mit Hilfe von KI automatisieren sollen – und verschärft damit die Notlage. Ein Gespräch mit Antonella Napolitano und Fabio Chiusi.

Antonella Napolitano ist eine unabhängige Forscherin und arbeitete in der Vergangenheit bei Privacy International. Sie untersucht die Auswirkungen von Technologie auf unsere Gesellschaft und die Menschenrechte. Fabio Chiusi leitet das Projekt „Automation on the Move“ bei AlgorithmWatch.

Auf der re:publica24 sprachen sie über die Festung Europa – eine technologische Dystopie – und argumentierten, dass sich komplexe Fragen der Migration nicht durch den Einsatz von Künstlicher Intelligenz (KI) lösen lassen.

netzpolitik.org: Künstliche Intelligenz ist ein sehr weit gefasster Begriff, der zurzeit in vielen Diskussionen auftaucht. Wie wird KI an den EU-Grenzen eingesetzt?

Fabio Chiusi: Es gibt dort zwei Anwendungen für KI: die Grenzüberwachung und die Migrationssteuerung. Es werden Systeme zur Vorhersage von Migrationsströmen entwickelt. Automatisierte Fingerabdrucknahme wird bereits mithilfe großer Datenbanken auf EU-Ebene eingesetzt. Auch biometrische Identifizierung – wie Iris-Scans oder 3D-Face-Mapping – wird immer ausgefeilter.

Andere von der EU finanzierte Projekte erforschen algorithmische Erkennung von Emotionen, wie etwa Lügendetektoren. Und dann gibt es Systeme zur Grenzüberwachung; dazu zählen vor allem unbemannte Fahrzeuge (UVs). Ein Beispiel dafür ist das Projekt ROBORDER. Es entwickelt Überwachungsroboter, die in der Luft und auf dem Meeresgrund patrouillieren – und überall dazwischen. Die Entwickler:innen behaupten, die UVs werden eingesetzt, um Menschenhandel zu verhindern, Leben zu retten oder Meeresverschmutzung vorzubeugen. Wenn die Technik jedoch nicht richtig eingesetzt wird, kann sie sehr schnell gefährlich werden.

netzpolitik.org: Was sind Beispiele für diese Gefahren?

Fabio Chiusi: KI und Automatisierung greifen soziale und politische Vorurteile auf und verstärken sie. Das gilt für alle KI-basierten Tools, ist aber im Kontext der Migration, bei der das Leben schutzbedürftiger Menschen auf dem Spiel steht, noch gefährlicher. Sie normalisieren nach und nach ein Ausmaß von Massenüberwachung, das wir einst nur in illiberalen und autoritären Regimen für möglich hielten. Und letztlich werden diese Technologien zu noch mehr Gewalt gegen Menschen auf der Flucht und zum Missbrauch ihrer Rechte führen – das zeigt sich schon jetzt bei der Erforschung und Anwendung.

netzpolitik.org: Welche dieser Technologien werden bereits genutzt und an welchen wird noch geforscht?

Fabio Chiusi: Drohnen sind schon vielerorts im Einsatz, aber es werden auch stetig neue Möglichkeiten entwickelt. Die UVs, die von ROBORDER eingesetzt werden, sollen in Schwärmen operieren – das ist neu.

„Menschen auf der Flucht gelten von vornherein als zweitklassig“

netzpolitik.org: Im Bericht für „Automation on the Move“ wird der Begriff „automated decision-making“ (ADM) erwähnt. Wie grenzt sich das von Künstlicher Intelligenz ab?

Fabio Chiusi: Der Begriff der Künstlichen Intelligenz ist grundsätzlich vage – schon seit seiner Entstehung. Meiner Ansicht nach ist KI eine Komponente eines ADM-Systems. Automatisierte Entscheidungsfindung beinhaltet nicht nur technische, sondern auch soziale und kulturelle Aspekte – und viel Politik.

ADM-Systeme beeinflussen die Art und Weise, wie die Menschen leben; sie haben einen sozialen, wirtschaftlichen, kulturellen oder individuellen Einfluss auf das Leben der Menschen. Im allgemeinen Sprachgebrauch bezieht sich der Begriff KI also auf die rein technischen Aspekte – zum Beispiel bei der Anwendung in der Landwirtschaft oder in der Medizin.

Wir bei AlgorithmWatch beschäftigen uns eher mit den automatisierten Entscheidungssystemen. Man könnte sagen: KI ist ein Weg, sie zu erkennen.

netzpolitik.org: Apropos Politik – die EU hat mit dem AI-Gesetz (AI Act) einen Versuch unternommen, Bürger:innen vor den Schattenseiten der KI-Systeme zu schützen. Aber – wie in Ihrem Vortrag angedeutet – gelten diese Regelungen nicht für alle. Wer ist am stärksten vom Einsatz automatisierter Überwachung betroffen?

Antonella Napolitano: Der AI Act legt verschiedene Risikostufen für KI-Technologie fest. Technologie, deren Risiko als „inakzeptabel“ eingestuft wird, kann in der Regel nicht eingesetzt werden. Im Zusammenhang mit nationaler Sicherheit und Grenzkontrolle sind jedoch mehrere Systeme mit „inakzeptablem“ oder „hohem“ Risiko zulässig.

Das bedeutet, dass es Technologien gibt, die nicht bei EU-Bürger:innen eingesetzt werden können, wohl aber bei Personen, die nach Europa kommen. Dadurch entsteht ein Zwei-Klassen-System: Für verschiedene Kategorien von Menschen gelten unterschiedliche Regeln. Und die Kategorie wird nicht durch das Verhalten – etwa ein begangenes Verbrechen – bestimmt. Menschen auf der Flucht werden aber faktisch kriminalisiert und gelten von vornherein als zweitklassig.

„Ein Versuch, sich aus der Verantwortung zu ziehen“.

netzpolitik.org: Wer entscheidet denn, welche Automatisierungstools wo eingesetzt werden können?

Antonella Napolitano: Diese Systeme müssen auf EU-Ebene bewertet werden. Für deren Implementierung wird ein KI-Büro zuständig sein. Außerdem wird es die nationalen Behörden in den EU-Mitgliedstaaten unterstützen.

Aber es gibt Ausnahmen: Nationale Sicherheits- und Militärsysteme fallen nicht unter das AI-Gesetz und werden weiterhin auf nationaler Ebene betrieben. Damit bleibt ein großer Teil der Anwendungen vom AI Act unreguliert.

netzpolitik.org: Welches Ziel verfolgt die Europäische Kommission mit dem Einsatz dieser Technologien an der Grenze?

Fabio Chiusi: Man muss verstehen, dass die Ziele nicht nur von der Politik, sondern auch von privaten Interessen und der Sicherheitsgemeinschaft bestimmt werden. Es gibt eine Handvoll großer Unternehmen, die Lobbyarbeit betreiben und die Forschung in diesen Bereichen diktieren und gestalten.

Frontex und die Grenz- und Küstenwachen spielen zunehmend eine große Rolle bei diesen Projekten. Sie können entscheiden, was erforscht werden soll. Wenn sie eine operative Lücke feststellen, bitten sie die EU, ein Projekt zur Entwicklung der erforderlichen Technologie zu finanzieren.

Viele in diesem Bereich halten diesen technikzentrierten Rahmen für problematisch, weil er ein kompliziertes soziales Problem auf eine technische Frage reduziert. In der Sicherheitssprache werden Begriffe wie „Situationsbewusstsein“ oder „heterogene Roboterschwärme“ als Deckmantel verwendet, um Rassismus, Diskriminierung, Missbrauch und Gewalt zu verschleiern. Es ist ein Versuch, sich aus der Verantwortung zu ziehen.

netzpolitik.org: Gibt es für Migrant:innen Möglichkeiten, sich vor diskriminierenden Überwachungstechnologien zu schützen?

Antonella Napolitano: Das Narrativ dieser Frage macht Menschen auf der Flucht für die Lösung des Problems verantwortlich. Sie sollten sich nicht verstecken müssen, um der Überwachung zu entgehen. Es ist allerdings das Gesetz. In Deutschland zum Beispiel werden einige dieser Überwachungstechnologien legal eingesetzt. Sie wurden von Juristen und der Zivilgesellschaft angefochten, unter anderem mit der Begründung, dass ihr Einsatz nicht mit den Werten des deutschen Grundgesetzes vereinbar ist.

Als ich bei Privacy International in England tätig war, haben wir gegen die Auswertung von Mobiltelefonen gekämpft. In diesem Fall wurde sie unrechtmäßig eingesetzt. Wir haben sie vor Gericht angefochten und gewonnen. Diese Art von Technologie kann nicht mehr auf diese Weise eingesetzt werden.

Es wird auch Gespräche über Widerstand und Verschleierung geben müssen, und es gibt durchaus Dinge, die man tun kann. Aber was die Politik betrifft, verschieben sich die Verantwortlichkeiten. Diese Systeme sollten gar nicht erst existieren.

„Infrage stellen, dass Menschen anderer Hautfarbe von Natur aus gefährlich sind“

netzpolitik.org: Was können wir als einzelne europäische Bürger tun, um die Situation an den Grenzen zu verbessern?

Antonella Napolitano: Ganz aktuell: EU-Wahlen stehen vor der Tür; die Stimmabgabe ist also eine erste Antwort. Ein wichtiges Thema ist die Auseinandersetzung mit dem Narrativ, dass Menschen aus anderen Ländern eine potenzielle Gefahr darstellen. Wir müssen die rassistische Annahme infrage stellen, dass Menschen anderer Hautfarbe von Natur aus gefährlich sind. Das steht nicht im Einklang mit den Werten der EU, über die europäische Politiker sprechen.

Es werden EU-Gelder ausgegeben, um Schwarze zusammenzutreiben und in der Wüste auszusetzen. Dies erfolgt indirekt, indem anderen Regierungen Geld zur Verfügung gestellt wird. Wie kann das mit den sogenannten EU-Werten vereinbar sein?

Das geschieht nicht im Namen der EU-Bürger:innen. Wir müssen einen Negativanreiz für solche Handlungen schaffen.

Fabio Chiusi: Man könnte die Frage auch umdrehen. Anstatt Migrant:innen vor der Technologie zu schützen, sollte die Technologie sie schützen. Bei meinen Recherchen stelle ich immer wieder fest, dass sich diese EU-finanzierten Projekte darauf konzentrieren, Zeit und Geld zu sparen und den Grenzschutzbeamt:innen die Arbeit zu erleichtern. Es ist schwer zu erkennen, wo das lebensrettende Ziel liegt.

„Wozu all das Geld und die Technik?“

netzpolitik.org: Lebensrettung wird hier nur als Vorwand benutzt, um die Investitionen zu rechtfertigen?

Fabio Chiusi: Sie behaupten, sie würden die Menschenrechte schützen und Menschenleben retten. Aber meine Recherchen zeigen: Tatsächlich ist dieser Aspekt bestenfalls marginal. Wie ich in meinem Vortrag sagte, sind die ethischen Analysen solcher Projekte in den der Regel sehr oberflächlich.

Antonella Napolitano: Frontex zum Beispiel verfügt über ein großes Budget und hochentwickelte Technologien, um im Mittelmeer zu patrouillieren, Boote in Seenot aufzuspüren und deren Sicherheit zu gewährleisten. Aber wie man an den Schiffbrüchen vor Pylos in Griechenland und vor Cutro in Italien gesehen hat: Sie sind oft involviert, aber sie helfen nicht.

netzpolitik.org: Oder sie drängen die Boote weiter zurück…

Antonella Napolitano: Ja, es gab vor kurzem einen Fall – ich weiß nicht, ob er rechtlich angefochten wurde –, bei dem Frontex bei einem Pushback der griechischen Küstenwache anwesend war. Sie griffen nicht ein, als das Boot in Not war, und unternahmen nichts, als die Küstenwache es in die Türkei zurückdrängte.

Vorfälle wie dieser führten zum Rücktritt des ehemaligen Frontex-Direktors. Vor einigen Monaten fand Lighthouse Reports heraus, dass über drei Jahre hinweg über 2.000 E-Mails zwischen Frontex und der so genannten libyschen Küstenwache ausgetauscht wurden. So eine umfassende Kommunikation erinnert an die zwischen Kolleg:innen.

Wir wissen um die furchtbare Situation in Libyen. Wozu all das Geld und die Technik? Jedes Mal, wenn Frontex gefragt wird, behaupten sie, es fehle an Ressourcen.

Fabio Chiusi: Und deshalb brauchen sie angeblich Automatisierung.

Antonella Napolitano: Das Frontex-Budget wächst jedes Jahr – um 50, 80, 100 Millionen Euro. Frontex richtet Risikoanalysezellen in afrikanischen Ländern ein, und trotzdem sterben immer wieder Menschen und werden zurückgedrängt. Wozu gibt es diese ganze Technologie dann?

Fabio Chiusi: Sicher nicht, um Leben zu retten.

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.