Die ungarische Ratspräsidentschaft nimmt neuen Anlauf für die Chatkontrolle. Doch der ungarische „Kompromissvorschlag“ ist fast genauso gefährlich wie seine Vorgänger sagen Wissenschaftler:innen aus der ganzen Welt. Sie warnen vor Massenüberwachung, falschen Verdächtigungen und dem Ende der Verschlüsselung.

304 Wissenschaftler:innen aus 33 Ländern halten auch den aktuellen Entwurf der Chatkontrolle-Verordnung für nicht akzeptabel. Zu den Initiator:innen des offenen Briefes (PDF) gehören IT-Koryphäen wie Carmela Troncoso. Die Unterzeichnenden erklären, dass der aktuelle Entwurf nur geringfügige Änderungen gegenüber früheren Versionen beinhalte und die Grundprobleme bestehen bleiben würden. Sie warnen unter anderem vor anlassloser Massenüberwachung, falschen Verdächtigungen, dem Ende von zuverlässiger Verschlüsselung und vor Problemen mit der IT-Sicherheit.

Die EU-Kommission will mit der so genannten CSAM-Verordnung gegen sexualisierte Gewalt gegen Kinder vorgehen. Sie möchte dafür Internetdienste per Anordnung verpflichten, die Inhalte ihrer Nutzer auf Straftaten zu durchsuchen und bei Verdacht an Behörden zu schicken. Das EU-Parlament bezeichnet das seit fast einem Jahr als Massenüberwachung und fordert, nur unverschlüsselte Inhalte von Verdächtigen zu scannen.

Die EU-Staaten können sich bisher nicht auf eine gemeinsame Position einigen. Mehrere Ratspräsidentschaften sind daran gescheitert, eine Einigung zu erzielen. Jetzt versucht es Ungarn. Die ungarische Ratspräsidentschaft schlägt vor, dass Dienste-Anbieter zunächst nur bekannte Straftaten suchen müssen. Neues Material und Grooming soll erst später verpflichtend werden, wenn die Technik gut genug ist.

Im August haben die Ständigen Vertreter über diesen neuen Vorschlag verhandelt. Wir haben ein weiteres Mal das eingestufte Protokoll der Verhandlungen im Volltext veröffentlicht. In der ersten Oktoberwoche könnte es nun im Rat zu einer Abstimmung kommen. Die bisherige Sperrminorität der Gegner-Länder, die das Überwachungsprojekt bislang verhindert, wackelt derzeit.

„Macht den Zweck der Ende-zu-Ende-Verschlüsselung völlig zunichte“

Die Wissenschaftler:innen sehen mit dem „Kompromissvorschlag“ die elementaren Probleme der Chatkontrolle nicht ausgeräumt. Eines der großen Probleme sei, dass die derzeitige Erkennungstechnologie für Inhalte fehleranfällig sei. Die Forscher:innen gehen davon aus, dass die Technik „eine sehr große Anzahl falsch-positiver Ergebnisse generieren“ wird. „Jeder dieser Fehler führt dazu, dass unschuldige Benutzer wegen abscheulicher Verbrechen angezeigt werden“, so die Wissenschaftler weiter. Es gäbe auch nach 20 Jahren Forschung am Thema keine Methode, um das auszuschließen. Es sei zweifelhaft, ob das überhaupt je gelöst werden könne.

Grundsätzlich beinhalte auch der aktuelle Vorschlag, dass die Technik des Client-Side-Scannings eingesetzt werden müsse. „Das Scannen von Bildern vor der Verschlüsselung macht den Zweck der Ende-zu-Ende-Verschlüsselung völlig zunichte“, so die Forscherinnen. Die Verordnung behaupte zwar, dass ein solches Scannen die Ende-zu-Ende-Verschlüsselung respektiere, aber das sei offensichtlich nicht der Fall.

Sie versuchen das Problem mit einem Bild zu erklären. Es sei so, als würde die „Regierung behaupten, dass sie die Vertraulichkeit der Korrespondenz respektiert, indem sie niemals Briefe öffnet, während sie gleichzeitig die Installation von Netzwerkkameras vorschreibt, um allen Bürgern über die Schulter zu schauen, bevor sie jeden Brief in einen Umschlag stecken.“

Wahllos und unverhältnismäßig

Außerdem sei die Anordnung, wessen Inhalte gescannt werden, „wahllos“. Das vorgeschlagene Modell ziele auf alle Bürger:innen ab anstatt die Nutzer:innen zu untersuchen, bei denen die Strafverfolgungsbehörden den begründeten Verdacht haben, dass sie CSAM-Material austauschen. Aus rechtlicher Sicht bedeute dies, dass das Scannen auf Nutzerseite unverhältnismäßig sei und das Grundrecht auf Privatsphäre verletzt werde.

Die Forscherinnen warnen zudem vor einem so genannten „Function Creep“.  So sei eine Erweiterung der gesuchten Inhalte auf zum Beispiel Terrorismus zu erwarten, in autoritären Regimes auch das Suchen nach regierungskritischen Inhalten. Einmal eingeführt sei es „ein Leichtes, das Scannen auf alle auf dem Gerät gespeicherten Bilder auszudehnen und die Hash-Datenbank ohne offene demokratische Kontrolle um neue Inhalte“ zu erweitern.

Zu guter Letzt warnt die Wissenschaft auch vor einer Gefährdung der IT-Sicherheit durch die Verordnung. Sie erhöhe die technische Komplexität. „Jeder Fehler könnte es Hackern, Kriminellen oder feindlichen Regierungen ermöglichen, den Inhalt von Geräten gezielt oder in großem Umfang zu scannen“, heißt es weiter im offenen Brief.

Politik sollte die sexualisierte Gewalt an der Wurzel bekämpfen

Statt der technischen Lösung, mit dem Scannen nach Inhalten das Ergebnis des Missbrauchs und der sexualisierten Gewalt gegen Kinder zu bekämpfen, sollte eher die sexualisierte Gewalt selbst in den Fokus gerückt werden. „Zu den bewährten Ansätzen, die von Organisationen wie der UNO zur Beseitigung von Missbrauch empfohlen werden, gehören Aufklärung über Einwilligung, über Normen und Werte, über digitale Kompetenz und Online-Sicherheit sowie umfassende Sexualerziehung, traumasensible Meldestellen und auf Stichwortsuche basierende Interventionen“, so die Wissenschaftler:innen weiter.

Sie empfehlen deswegen „eine deutliche Erhöhung der Investitionen und Anstrengungen zur Unterstützung bestehender bewährter Ansätze zur Beseitigung von Missbrauch und damit auch von missbräuchlichem Material. Solche Ansätze stehen im Gegensatz zu dem aktuellen technologischen Lösungsvorschlag, der darauf abzielt, missbräuchliches Material aus dem Internet zu entfernen, und zwar auf Kosten der Kommunikationssicherheit, mit wenig Potenzial für Auswirkungen auf den Missbrauch von Kindern.“

Offener Brief

Dear Members of the European Parliament,
Dear Member States of the Council of the European Union,

Joint statement of scientists and researchers on the Proposal for the Child Sexual Abuse Regulation (9 September 2024)

In September 2024, the EU Member States are considering an updated proposal of the regulation for client-side scanning, in which providers of applications with end-to-end encrypted communications would be forced to scan the content of all images for known Child Sexual Abuse
Material (CSAM).

Child sexual abuse and exploitation are serious crimes that can cause lifelong harm to survivors. We acknowledge that governments, service providers, and society at large take major responsibility in tackling these crimes. But this cannot be done at any cost. We explain in this open letter why we have strong objections against the proposed regulation.

Background

In July 2023, more than 400 scientists and researchers signed an open letter to express their concerns about the proposed EU Child Sexual Abuse Regulation (https://edri.org/wp-content/uploads/2023/07/Open-Letter-CSA-Scientific-community.pdf). The letter pointed out numerous technical issues but also broader human rights and societal risks. The European Parliament rejected the proposal in November 2023.

In the Spring of 2024, the Belgian presidency presented another version of the proposal to the EU Member States. In May 2024 more than 300 scientists wrote a second letter explaining why this version was still unacceptable: https://nce.mpi-sp.org/index.php/s/eqjiKaAw9yYQF87. In the European council, no consensus was reached on this Spring 2024 proposal, and it was therefore never submitted to parliament.

The new draft regulation of August 2024

Compared to earlier versions, the newest proposal from August 2024 is reduced in scope: the detection of new CSAM content and of grooming in chat and audio using AI are, for now, left as optional. This is only a minor concession, as the Commission can make this detection mandatory in the future. We refer to our open letter from July 2023, where we explained that both goals are technically infeasible and will remain infeasible in the next decade and thus, they should not appear in any form in a regulatory framework.

The latest proposal forces providers of end-to-end encrypted messaging services (iMessage, Matrix, Messenger, Signal, Threema, WhatsApp, Wire but also encrypted email) to check whether users send known CSAM material. The regulation leaves it open how this should be done. The only known approach to perform this verification on encrypted messaging with an acceptable efficiency is client-side scanning: before they are sent, images on a phone are compared with a hashed database of known CSAM content. If a match is detected, the user is reported to law enforcement.

There are several reasons why this proposal remains unacceptable.

• First and foremost, the current detection technology is ineffective: it is very easy to modify an image such that it evades detection (false negatives), which means that only a small fraction of offenders will be reported. In addition, it is trivial to maliciously modify an innocent image such
  that it is detected as CSAM (false positives). Given the volume of images to be analysed (all images sent in all messaging services), some of the current designs would generate a very large number of false positives, that would be further increased if we consider malicious modifications. Each of these errors result in innocent users being reported of heinous crimes. To reduce the number of both false negatives and false positives, the hashing algorithms have to be configured in a way that the hashed database will necessarily leak information on the original pictures, which is highly problematic as it could lead to reconstruction of the very CSAM material whose spreading scanning aims to prevent. After twenty years of research on this topic, there is no reliable method to address these problems and it is doubtful whether this problem can be solved at all.
• Second, reducing the scope to leave the use of AI to detect new CSAM and grooming as optional does not solve one of the main problems of client-side scanning: scanning images before encryption completely defeats the purpose of end-to-end encryption. While the regulation claims that such scanning respects end-to-end encryption, it is obvious that it does not. An analogy would be that the government would claim that it respects the confidentiality of correspondence by never opening letters, while it would mandate installing networked cameras to look over the shoulders of all citizens before they place each letter in an envelope.
• Third, despite the reduction in scope, the imposed detection orders are still indiscriminate: the proposed mandatory scanning targets every citizen, rather than investigating users for which law enforcement has reasonable suspicion that they engage in the exchange of CSAM material. Our phones and the pictures on the phones document our complete lives; giving the government full access to this content is highly intrusive. From a legal perspective, this means that client-side scanning is disproportional and violates the fundamental right to privacy.
• Fourth, there is the risk of mission creep. The proposal focuses on CSAM, but once client-side scanning would be deployed on the devices of the EU citizens, it is trivial to expand the scanning to all images stored on the device and to extend the hash database with new content (terrorism or organized crime) without open democratic oversight. As the database is hashed, there is no transparency on the nature of the content that is being detected. In addition, it is highly likely that less democratic regimes will use client-side scanning to detect at scale content critical of the government. This technology will deliver them instantaneously a list of journalists, human right activists, and opposition members, who spread such content. It is ironic that the EU wants to be seen as a beacon of democracy but would also be prepared to hand to dictators a ready-made tool for mass surveillance.
• Finally, client-side scanning adds complexity to a system providing end-to-end security. Additional interfaces and code have to be added to download and update the database, to perform verifications and to send reports. These mechanisms are extremely sensitive and require very robust secure measures. Any error could enable hackers, criminals, or unfriendly governments to scan the content of devices in a targeted manner or at scale. There is also a substantial risk that the database of hashed images will leak, ultimately weakening protections that are relied on by service providers for detecting abuse in unencrypted environments (such as email, or public photo sharing). Overall, the increased complexity is likely to lead to new vulnerabilities making everyone less secure.

Secure paths forward for child protection

To conclude, we repeat the message from our earlier letter: technocentric solutions based on surveillance are a very poor option to combat the spread of CSAM.

It is important to remember that CSAM content is the output of child sexual abuse. Eradicating CSAM relies on eradicating abuse, not only abuse material and its distribution. Proven approaches recommended by organisations such as the UN for eradicating abuse include education on consent, on norms and values, on digital literacy and online safety, and comprehensive sex education, trauma-sensitive reporting hotlines, and keyword-search based interventions. With client-side scanning, victims who use these very same secure messenger services to communicate with trusted friends or help lines would be at risk of being criminalised through flagging their call for help, and therefore less likely to reach out in the first place.

Educational efforts can take place in partnership with platforms, which can prioritise low barrier reporting of CSAM, high quality educational results in search or collaborate with their content creators to develop engaging resources. Protecting children from (online) abuse while preserving their right to secure communications is critical. We recommend substantial increases in investment and effort to support existing proven approaches to eradicate abuse, and with it, abusive material. Such approaches stand in contrast to the current techno-solutionist proposal, which is focused on vacuuming up abusive material from the internet at the cost of communication security, with little potential for impact on abuse perpetrated against children.

Liste der Unterzeichner:innen im Originaldokument

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.