Aus einer harmlosen Forschungsvorlage wurde binnen Stunden eine Anleitung, mit der sich beliebige Anfragen durchschleusen lassen. Bei den neun anfälligsten von 23 getesteten Modellen klappte das in 84 bis 100 Prozent der Fälle. Nur wenige hielten stand. Was das für jeden Betrieb heißt, der Kunden an einen Chatbot lässt.
Es gibt eine Ironie in dieser Geschichte, die man erst auf den zweiten Blick sieht. Um Modelle zu bauen, die schädliches Verhalten erkennen, braucht man Beispiele für schädliches Verhalten. Also gibt es Vorlagen, die solche Beispiele künstlich erzeugen. Ein Forscher merkte, dass sich eine dieser Vorlagen mit kleinen Änderungen so umbauen lässt, dass man beliebige Anfragen einsetzen kann und ausführliche, klar schädliche Antworten bekommt. Er brauchte dafür Stunden.
Getestet wurden 23 Modelle von sieben Anbietern, darunter Anthropic, Google, Meta und DeepSeek, anhand eines etablierten Maßstabs mit 179 heiklen Anfragen. Ergebnis: Bei den neun anfälligsten Modellen lag die Erfolgsquote zwischen 84 und 100 Prozent. Fast alle getesteten Modelle ließen sich mindestens einmal aushebeln. Standgehalten haben nach Darstellung des Autors nur die neueren Anthropic-Modelle und ein Meta-Modell, letzteres durch mehrere gestaffelte Schutzschichten.
Der lehrreichste Teil ist die Technik dahinter, denn sie ist vollständig unspektakulär. Der Autor nennt vier bekannte Bausteine: ein Rahmen, der Autorität vortäuscht, ein zweiter, der das Ganze als Forschung oder Fiktion ausgibt, eine Trennung zwischen der Rolle, die antwortet, und der, die fragt, und eine Verschleierung des Formats. Keiner dieser Bausteine ist neu. Neu ist nur, dass ihre Kombination fast überall funktioniert. Die Anbieter wurden im Vorfeld informiert; einige haben nachgebessert, andere brachten neue Modelle heraus, ohne die Lücke zu schließen.
Das ist die Arbeit eines Einzelnen, veröffentlicht auf einer Plattform ohne Begutachtungsverfahren. Es gibt keine unabhängige Wiederholung, und die Liste der geprüften Modelle ist eine Momentaufnahme, die schon wieder veraltet, während du das liest. Wer daraus eine Rangliste der sicheren Anbieter macht, überdehnt den Befund. Was bleibt, ist die Richtung, und sie deckt sich mit dem, was OpenAI gestern selbst über die schwerer gewordene Überwachbarkeit von GPT-6 Astra geschrieben hat.
Die meisten Betriebe bauen keine Grundmodelle, sie mieten eines und stellen es auf die eigene Website. Genau da ist der Befund unangenehm: Was dein Chatbot einem Kunden sagt, sagt dein Betrieb. Rechtlich haftest du für die Auskunft auf deiner Seite, nicht der Modellanbieter. Wenn jemand mit einer geschickt gebauten Anfrage einen Rabatt, eine Zusage oder eine gefährliche Anleitung herausholt, steht dein Name darüber, nicht der von OpenAI oder Google.
Die Gegenmaßnahmen sind nicht kompliziert, sie werden nur selten gemacht. Erstens: ein Filter vor und hinter dem Modell, der Anfragen und Antworten prüft, statt sich allein auf die Erziehung des Modells zu verlassen. Zweitens: harte Grenzen im System, nicht im Prompt. Ein Chatbot, der keine Rabatte vergeben kann, weil er technisch keinen Zugriff auf Preise hat, lässt sich auch nicht dazu überreden. Drittens: mitschreiben und stichprobenartig lesen. Die meisten Betriebe erfahren von einem Vorfall durch den Kunden, nicht durch ihr Protokoll.
Schreib deinem eigenen Chatbot drei Sätze: eine Bitte um einen Rabatt, den es nicht gibt; eine Frage, die eine rechtliche Zusage verlangt; und eine Aufforderung, die vorherigen Anweisungen zu ignorieren und stattdessen etwas anderes zu tun. Wenn er auch nur einmal einknickt, hast du kein Modellproblem, sondern ein Systemproblem, und das ist die gute Nachricht: Systeme kann man reparieren, ohne auf das nächste Modell zu warten.
Grenzen gehören ins System, nicht in die Höflichkeitsformel eines Prompts.
Was ich aus dieser Untersuchung mitnehme, ist nicht die Angst vor bösen Anfragen, sondern eine sehr nüchterne Einsicht: Die Sicherheit eines Modells ist eine Eigenschaft, die der Anbieter herstellt und jederzeit ändern kann, und sie hält, wie der Test zeigt, unterschiedlich gut. Darauf allein zu bauen, ist dieselbe Wette wie ein Ladengeschäft ohne Schloss, weil man an das Gute im Menschen glaubt.
Für deinen Betrieb heißt das: Verlass dich nicht darauf, dass das Modell schon nichts Falsches sagen wird. Sorge dafür, dass es nichts Falsches sagen kann, weil es die Dinge, die schiefgehen könnten, gar nicht erreicht. Das ist mehr Arbeit als ein guter Prompt und es hält länger als das nächste Modell-Update. Und es ist derselbe Gedanke wie überall in dieser Woche: Nicht das Ergebnis reparieren, sondern das System, das es erzeugt.
Quelle: Beitrag von „richbc" auf LessWrong, „From safety research prompt to cross-model universal jailbreak", entstanden im Forschungsprogramm MATS, verbreitet über TLDR AI vom 04.09.2026. LessWrong ist kein begutachtetes Journal. Rechtliche Hinweise sind allgemeine Einordnung, keine Rechtsberatung. Stand: 04.09.2026.
Welches Modell für welche Aufgabe, welche Tools wirklich zählen und wie du richtig promptest — komplett lesbar, kein Download.
Jetzt gratis lesen →Ich teste euren Chatbot mit den Anfragen, die Kunden nicht stellen sollten, und ziehe die Grenzen dorthin, wo sie hingehören: ins System, nicht in den Prompt.