Auf KI basierende Systeme werden auch an den EU-Außengrenzen eingesetzt. Die NGO AlgorithmWatch führt eine Datenbank über entwickelte Technologien und macht auf Intransparenz sowie potenzielle Menschenrechtsverletzungen aufmerksam. An die EU-Mitgliedstaaten stellt sie klare Forderungen.

Um die Überwachung ihrer Außengrenzen effizienter zu gestalten, setzt die EU zunehmend auf automatisierte Systeme. Ein Projekt der NGO AlgorithmWatch trägt einige dieser Technologien in einer Datenbank zusammen und zeigt Probleme auf: Trotz potenzieller Einschränkungen von Menschenrechten scheinen ethische Abwägungen kaum in die Entwicklung der Systeme einzufließen. Außerdem hält die EU Projektinformationen zurück, obwohl es sich um öffentliche Forschung handelt. Als Konsequenz fordert AlgorithmWatch konkrete politische Maßnahmen.

In dem Projekt „Automation on the Move“ hat AlgorithmWatch 24 von der EU in Auftrag gegebene Forschungsprojekte untersucht und hinsichtlich ihrer Risiken bewertet. Darunter sind Systeme zur biometrischen Datenverarbeitung, zur Kontrolle von Schwärmen unbemannter Fahrzeuge und Drohnen sowie andere KI-basierte Überwachungssysteme. Um die Tragweite der Risiken solcher Systeme aufzudecken, hat AlgorithmWatch ein Netzwerk von zivilgesellschaftlichen Organisationen, Wissenschaftler:innen und Journalist:innen zu Rate gezogen.

Laut der Untersuchung können technische Fehler oder Verzerrungen zu inkorrekten Identifikationen führen, wodurch Personen ungerechtfertigt blockiert oder überwacht werden. Gerade im Kontext einer europaweit restriktiver werdenden Migrationspolitik werde algorithmische Diskriminierung zunehmend relevanter. Die KI-Systeme könnten die Bewegungsfreiheit von Migrant:innen einschränken und für Überwachung oder politische Repression missbraucht werden. Diese Entwicklung gefährde grundlegende Menschenrechte wie das Recht auf Privatsphäre, Gleichbehandlung und Asyl.

Nur unzureichende ethische Abwägungen und Transparenz

Aus der Untersuchung von AlgorithmWatch geht hervor, dass diese Risiken nur unzureichend in den jeweiligen Forschungsprojekten abgewägt werden. „Nur ein einziger Projekt-Antrag wurde jemals aus ethischen Gründen abgelehnt. Die meisten Projekte durchlaufen diesen Bewertungs-Prozess, ohne dass ihr Schadenspotenzial für Menschenrechte gründlich untersucht wurde“, schreibt die Organisation.

Obwohl es sich um öffentlich finanzierte Forschungsprojekte handelt, deren Ergebnisse hohe gesellschaftliche Relevanz aufweisen, berichtet AlgorithmWatch von einem hohen Grad an Undurchsichtigkeit. Die verantwortliche Forschungsagentur der EU (REA) hätte AlgorithmWatch regelmäßig den Zugang zu Projektinformationen verweigert, mit der Begründung, dass Sicherheits- und Anbieter-Interessen wichtiger seien als die der Öffentlichkeit.

Dadurch musste die NGO in der Informationsbeschaffung teilweise kreativ werden. Um herauszufinden, ob die Überwachungstechnologie ANDROMEDA vom Grenzschutz eingesetzt wird, analysierte die griechische Grenzschutzforscherin Lena Karamanidou beispielsweise Fernsehaufnahmen. In einem Interview gab ein Grenzschutzbeamter Details über genutzte Technologie preis, die genau mit den Spezifikationen von ANDROMEDA übereinstimmten.

An diesem Beispiel sieht man außerdem, dass es sich bei den Forschungsprojekten nicht nur um wissenschaftliche Experimente handelt, die das Labor nie verlassen. Wie die Forscherin aufzeigte, nutzt der griechische Grenzschutz das System bereits im operativen Einsatz. Gleiches gilt auch für andere von AlgorithmWatch untersuchte Projekte.

Einsatz auch im Inland und Militär denkbar

AlgorithmWatch zweifelt daran, dass der Einsatz der Systeme auf die Grenzen beschränkt bleibt. „Es gab bisher kaum eine Überwachungstechnologie, deren Einsatz nicht früher oder später auch von den Sicherheitsbehörden im Inland gefordert worden ist“, sagt Matthias Spielkamp, Geschäftsführer von AlgorithmWatch.

Die NGO befürchtet zudem, dass zahlreiche der geförderten Technologien auch für militärische Zwecke eingesetzt werden könnten. Mehrere Projekte würden demnach eindeutig Militär- und Verteidigungsbehörden als Partner beinhalten. Auch sei es möglich, dass die von der EU unterstützten Technologien am Ende in Autokratien landen. So war die belarussische Diktatur bis zu Russlands Invasion der Ukraine an mindestens zwei der Projekte beteiligt.

Mit der im Frühjahr in Kraft getretenen KI-Verordnung, hat die EU versucht, den Einsatz von ethisch bedenklichen KI-Systemen zu beschränken. In den menschenrechtlich sensiblen Bereichen Grenzschutz und Migration klaffen in der Verordnung allerdings Löcher, die den Einsatz kritischer Systeme ermöglichen. AlgorithmWatch weist darauf hin, dass in der aktuellen Phase der nationalen Umsetzung der Verordnung noch Handlungsspielräume für die Mitgliedstaaten existieren. Die NGO formuliert deshalb konkrete politische Forderungen.

Das fordert AlgorithmWatch

AlgorithmWatch spricht sich gegen die unkontrollierte Nutzung von KI im Migrationskontext aus und fordert klare Aufsichts- und Transparenzstandards für Hochrisiko-Anwendungen. Besonders wichtig sei die Einbindung von Zivilgesellschaft, Betroffenen und unabhängigen Expert:innen in die Gestaltung und Bewertung solcher Systeme. Gleichzeitig müsse der Einfluss von Sicherheitsakteuren wie Frontex und der Verteidigungsindustrie auf die Forschungsagenda der EU reduziert werden. Zivile und militärische Anwendungen sollten strikt getrennt und Doppelnutzungen von Forschungsergebnissen transparent gemacht werden.

AlgorithmWatch fordert zudem verpflichtende Ethikbewertungen für Forschungsprojekte, bei denen alle relevanten Informationen öffentlich zugänglich gemacht werden, sowie ein verbessertes Recht auf Informationsfreiheit, das kommerzielle Interessen dem öffentlichen Interesse unterordnet.

Der Leiter des Projekts bei AlgorithmWatch, Fabio Chiusi, betont, dass es sich bei Migration nicht um ein technologisch lösbares Problem handele: „Wann immer man eine automatisierte Technologie als Lösung für ein soziales Problem oder ein soziales Phänomen betrachtet, das so alt ist wie die Menschheit, wie die Migration, wird man am Ende Diskriminierung, Rassismus und Schaden rechtfertigen.“

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.