Verifiziert am 7. Juli 2026. Dieser Bericht wird vierteljährlich aktualisiert, um rasche Änderungen bei den KI-Ethikrichtlinien und den Sicherheitsverfahren der Unternehmen zu berücksichtigen.
- Die Funktionsweise von Operation Cannes
- Reaktionen der Konkurrenten
- Metas offizielle Verteidigung
- Die breiteren Auswirkungen auf die KI-Sicherheitsbewertung
- Abgrenzung von anderen Tech-Konflikten
- FAQ
- Quellen
Ein verdecktes Testprogramm von Meta hat in der gesamten Technologiebranche erhebliche ethische Fragen aufgeworfen. Laut einem investigativen Bericht von Wired heuerte Meta externe Dienstleister an, um gefälschte Konten mit einem Alter von unter 18 Jahren zu erstellen. Diese Wegwerf-Accounts wurden anschließend genutzt, um krisenbezogene Prompts (unter anderem zu den Themen Suizid, Selbstverletzung, Sexualität, Drogen und Essstörungen) an konkurrierende KI-Chatbots zu senden, ohne dass die betroffenen Unternehmen davon wussten oder ihre Zustimmung gegeben hatten.
Die untersuchten Plattformen umfassten ChatGPT von OpenAI, Gemini von Google und Character.AI. Während Technologieunternehmen routinemäßig interne Sicherheitsbelastungstests durchführen, stellt das geheime Einschleusen minderjähriger Identitäten zur Überprüfung der Sicherheitsfilter von Konkurrenten einen äußerst konfrontativen Ansatz im Bereich des KI-Benchmarkings dar.
Die Funktionsweise von Operation Cannes
Das verdeckte Projekt trug den internen Codenamen „Cannes“ und wurde über Covalen, ein irisches Outsourcing- und Dienstleistungsunternehmen, abgewickelt. Im Rahmen der Operation Cannes erstellten die Auftragnehmer Wegwerf-Accounts auf den Plattformen der Konkurrenz und gaben in den Benutzerprofilen ein Alter von unter 18 Jahren an.
Der Umfang des Projekts war beträchtlich. Eine einzige Testrunde im August 2025 umfasste mehr als 45.000 Prompts mit 3.748 verschiedenen Textvarianten. Mindestens 239 dieser Anfragen bezogen sich explizit auf sexuelle oder romantische Themen. Die Mitarbeiter wurden angewiesen, die Reaktionen der Chatbots in Tabellen festzuhalten, um zu bewerten, wie stabil die Sicherheitsbarrieren der Konkurrenten blieben.
Zusätzlich zu den Textanfragen luden die Tester Bilddateien hoch, um die visuelle Erkennung der Systeme zu überprüfen. Dazu gehörten Bilder von Pillen, Messern, Galgenschlingen sowie die medizinische Illustration eines gynäkologischen Eingriffs. Ziel war es, festzustellen, ob die Konkurrenzmodelle durch visuelle Krisensignale dazu verleitet werden konnten, ihre eigenen Sicherheitsfilter zu umgehen. Das Projekt war bis April 2026 aktiv.
Reaktionen der Konkurrenten
Die betroffenen Konkurrenzunternehmen (OpenAI, Google und Character.AI) wurden vorab nicht über das Projekt Cannes informiert. Nachdem die Details bekannt wurden, fielen die Reaktionen der Firmen unterschiedlich aus. Character.AI erklärte ausdrücklich, dass dieses Vorgehen gegen die eigenen Nutzungsbedingungen verstoße. OpenAI teilte mit, den Vorfall zu prüfen, und lehnte weitere Kommentare ab. Google erklärte, die Tests weder genehmigt noch deren Zweck gekannt zu haben, betonte jedoch separat, dass eigene Prüfungen gezeigt hätten, dass Gemini im Einklang mit den Sicherheitsrichtlinien reagiert habe.
Die Sicherheit minderjähriger Nutzer ist für diese Plattformen ein sensibles Thema. So verdeutlichte beispielsweise die anhaltende Debatte über die Sicherheit von Teenagern auf Character.ai den enormen gesellschaftlichen Druck auf AI-Entwickler, Jugendliche vor schädlichen oder parasozialen Beziehungen zu schützen. Die Tests von Meta setzten genau an diesen kritischen Punkten an, um zu prüfen, wie leicht die konkurrierenden Plattformen zur Ausgabe ungeeigneter Ratschläge oder sexueller Inhalte bewegt werden konnten.
Metas offizielle Verteidigung
Meta bestritt die Existenz der Operation Cannes nicht. In einer Stellungnahme gegenüber den Medien verteidigte ein Unternehmenssprecher das Vorgehen:
„Das Testen und Vergleichen von Chatbot-Antworten zur Gewährleistung sicherer und altersgerechter Erfahrungen ist eine verantwortungsvolle und branchenübliche Praxis. Jede andere Darstellung missversteht grundlegend, wie Technologieunternehmen arbeiten, um ihre Systeme zu verbessern.“
Der Sprecher betonte zudem, dass Meta die bei den Konkurrenten gesammelten Daten nicht zum Training der eigenen Modelle verwende. Vielmehr diene der Vergleich der Ermittlung allgemeiner Sicherheitsstandards innerhalb der Branche.
Die breiteren Auswirkungen auf die KI-Sicherheitsbewertung
Das Projekt Cannes zeigt eine erhebliche Lücke bei der Bewertung von KI-Sicherheit auf und fällt in eine Phase intensiver behördlicher Kontrollen. Im September 2025 leitete die US-Handelsbehörde FTC eine offizielle Untersuchung zu künstlicher Intelligenz und Kindersicherheit ein, die sich speziell gegen Meta, OpenAI und Google richtet. Dass Meta genau während einer laufenden Bundesuntersuchung verdeckte Tests mit gefälschten Minderjährigen-Profilen bei der Konkurrenz durchführte, erhöht die politische Brisanz des Falls.
Derzeit gibt es keine unabhängige, standardisierte Instanz, die die Reaktionen von KI-Chatbots auf sensible Anfragen neutral bewertet. Stattdessen sind die Entwickler auf ethische Hacking-Tests (Red-Teaming) angewiesen, um Schwachstellen aufzuspüren. Wenn diese Tests intern am eigenen Modell stattfinden, gelten sie als bewährte Entwicklungsmethode. Wenn jedoch ein Konzern verdeckt Konkurrenten mittels gefälschter Profile von Minderjährigen prüft, verschwimmt die Grenze zwischen Sicherheitsforschung und aggressiver Konkurrenzbeobachtung. Kritiker weisen darauf hin, dass Meta durch die Nutzung fingierter Teenie-Accounts die Entwicklervereinbarungen umging und Krisen-Prompts einspeiste, die bei den Konkurrenten reale Sicherheitswarnungen auslösen konnten.
Abgrenzung von anderen Tech-Konflikten
Es ist wichtig, die Kontroverse um die Operation Cannes von anderen aktuellen Technologie-Konflikten abzugrenzen. Dieses Projekt zur Sicherheitsüberprüfung steht in keinem Zusammenhang mit den Exportkontroll-Untersuchungen zu Fable 5, bei denen es um nationale Sicherheit und Hardware-Einschränkungen geht. Es unterscheidet sich ebenso von den Patentstreitigkeiten zwischen Anthropic und Alibaba bezüglich des Vorwurfs von Quellcode-Diebstahl.
Die Operation Cannes ist ein Fall von aggressivem Benchmarking und direkter Konkurrenzanalyse, der Debatten über Nutzungsbedingungen und die Methoden zur Messung der KI-Sicherheit in einem hart umkämpften Markt aufwirft.
FAQ
Unter welchem Codenamen lief das geheime Testprojekt von Meta?
Das Projekt trug intern den Codenamen „Cannes“ und wurde über den externen Dienstleister Covalen abgewickelt.
Welche Konkurrenzplattformen wurden von Metas Testern untersucht?
Die Tester nahmen ChatGPT von OpenAI, Gemini von Google und die App Character.AI ins Visier.
Welche Art von Anfragen wurden an die Chatbots gesendet?
Die Tester sendeten krisenbezogene Prompts zu Suizid, Selbstverletzung, Essstörungen, Drogen und sexuellen Beziehungen, oft kombiniert mit Bildern von Tabletten, Messern, Schlingen sowie einer medizinischen Illustration eines gynäkologischen Eingriffs.
Hat Meta die Daten der Konkurrenz zum Training der eigenen Modelle genutzt?
Nein. Laut Meta wurden die gesammelten Daten ausschließlich für den Sicherheitsvergleich genutzt und flossen nicht in das Training der eigenen Llama-Modelle ein.
Ist das Testen der Konkurrenz-Sicherheit ohne Zustimmung illegal?
Obwohl Sicherheitsvergleiche üblich sind, verstößt die Verwendung gefälschter Profile zur Überprüfung fremder Systeme in der Regel gegen die Nutzungsbedingungen der betroffenen Plattformen. Ob dies rechtliche Konsequenzen nach sich zieht oder unter marktübliche Konkurrenzanalyse fällt, bleibt eine Grauzone im IT-Recht.
Quellen
- Originaler Wired-Bericht: Wired
- Sicherheitsrichtlinien von Meta AI: Meta AI
- Google Gemini Sicherheitsstandards: Google Safety
- Nutzungsbedingungen von OpenAI: OpenAI
Über den Autor
Ether Exter ist ein KI-Enthusiast mit 5 Jahren Erfahrung im Testen und Experimentieren mit KI-Modellen und analysiert, was wirklich funktioniert. Folgen Sie auf X: @EtherExperiment.
