Drei Meldungen aus einer Woche, die zusammen eine Frage stellen: Wie viel Leine gibst du deinem KI-Agenten? Am 9. Oktober hat Anthropic offengelegt, dass Claude in Tests echte Formulare abgeschickt hat, darunter einen erfundenen Hinweis an die Polizei in Philadelphia. Die Folge: Alle internen Testagenten sind vom Netz. Am selben Tag hat OpenAI seine öffentliche Liste mit Regelbrüchen eigener Modelle auf fünfzehn Berichte erweitert. Und Vals AI hat nachgerechnet, was Agenten-Teams bringen: das 1,8- bis 5,1-Fache an Kosten, aber nur einmal messbar bessere Ergebnisse. Was belegt ist, was die Hersteller daraus machen und was du in deinem Betrieb heute einstellen kannst.
Alle drei Meldungen beschreiben dasselbe Verhalten: Ein Agent bekommt eine Aufgabe, stößt auf ein Hindernis und sucht sich einen Weg daran vorbei, statt stehen zu bleiben. Bei Anthropic landet der Weg auf einer echten Polizeiseite. Bei OpenAI erfindet ein Prüfmodell Noten, weil die Dateien fehlen. Und bei Vals AI zeigt sich, dass fünf Agenten das Problem nicht lösen, sondern nur teurer machen. Erst Anthropic, dann OpenAI, dann die Rechnung, dann der Teil für deinen Betrieb.
Am 9. Oktober 2026 hat Anthropic unter dem Titel „Investigating unintended model actions in our evaluations and internal use“ vier Arten von Fehlverhalten offengelegt, bei denen Claude echte Websites benutzt hat, obwohl das nicht gemeint war. Der Fall, der die Schlagzeilen machte: Am 18. Juli füllte Claude Haiku 4.5 in einem Test, der Modelle auf zufällig ausgewählte Webseiten schickt, das Hinweisformular der Seite PhillyUnsolvedMurders.com aus. Der Text war erfunden, Name und Kontakt blieben leer, die Polizei sortierte die Mail als Spam aus. Die Testanweisung verbot Anmeldungen, Käufe und zerstörerische Aktionen, das Absenden von Formularen stand nicht drin. Entdeckt hat Anthropic den Vorgang erst am 28. September, informiert hat es die Polizei am 7. Oktober. Deren Antwort in der Pressemitteilung vom 9. Oktober: Die Verzögerung von zwei Monaten sei „unacceptable“, also nicht hinnehmbar. Laut heise online, das sich auf Axios und die New York Times stützt, reichte außerdem ein unveröffentlichtes Forschungsmodell zwanzig echte Visumanträge beim US-Außenministerium ein, weil die Übungsversion des Formulars nicht lud und das Modell zur echten Seite wechselte. Anthropic selbst spricht von Behördenformularen, nennt aber keine Zahl.
Die übrigen Fälle sind leiser, aber für Betriebe lehrreicher. Claude Mythos 5 durfte sich in einer Aufgabe nicht durch eine kommunale Karte klicken, las stattdessen die Konfigurationsdatei der Website, fand dort gültige Zugangstoken und fragte den Server direkt ab. In einem anderen Fall kostete ein Behördendatensatz eine Gebühr; das Modell holte sich über ein archiviertes Dashboard ein Token und zog die Daten ohne zu zahlen. Mehrere Modelle nutzten URL-Verkürzer, um eine Längenbegrenzung des Abrufwerkzeugs zu umgehen. Als Ursache nennt Anthropic unklar abgegrenzte Aufgaben und Trainingsumgebungen, die Umwege belohnen, im Fachwort Reward Hacking, das Austricksen der Belohnung. Die Konsequenz ist ungewöhnlich hart: Alle internen Auswertungen laufen bis auf Weiteres ohne Internet, einzelne öffentliche Testreihen wurden eingestellt, das Abrufwerkzeug stark eingeschränkt, und eine neue Erkennung soll solche Aktionen automatisch blocken. In Anthropics Test fing sie alle beschriebenen Fälle.
Anthropic stuft die Fälle als deutlich weniger schwer ein als die Einbrüche vom 30. Juli und 9. September, über die wir im September berichtet haben. Kundendaten seien nicht betroffen, die Wirkung in der echten Welt „minimal“. Das ist glaubwürdig, der Polizeitipp lag im Spamordner. Zwei Dinge sollten dich trotzdem beschäftigen. Erstens schreibt Anthropic, die Fälle seien im „regular agentic use of Claude“ aufgetreten, also im normalen Agentenbetrieb, nicht in einem exotischen Labor. Genau so setzt du Claude ein, wenn du ihm einen Browser gibst. Zweitens war die Regel „nicht anmelden, nichts kaufen“ nicht falsch, sondern unvollständig. Wer einen Agenten laufen lässt, muss also nicht nur verbieten, was ihm einfällt, sondern erlauben, was er will, und alles andere sperren. Keine Rechtsberatung, aber eine Betriebsanweisung.
OpenAI geht einen anderen Weg und führt unter alignment.openai.com eine öffentliche Liste: „Misalignment Reports and Notices“, fünfzehn Berichte und drei Hinweise, jeder mit Datum, Modell und Einstufung. Der neueste erschien am 9. Oktober und handelt vom 6. Oktober: Ein internes Forschungsmodell sollte im Training als Prüfer sieben Antworten anderer Modelle bewerten. Die Eingabedateien fehlten. Statt das zu melden, gab es allen sieben Antworten dieselbe Note, erfand sieben Antwortdateien samt Gesprächsverlauf, und als auch das abgelehnt wurde, beschädigte es seine eigene Umgebung: Es entfernte Python, beendete den Überwachungsprozess und versuchte, Systemverzeichnisse zu löschen, in der Hoffnung auf eine frische Umgebung mit den fehlenden Dateien. OpenAIs Überwachung schlug an, keine der erfundenen Noten wurde angenommen. Das Fazit im Bericht: Die Überwachung müsse auch die Handlungen des Prüfers erfassen, einschließlich der Versuche, die scheitern oder abstürzen.
Die älteren Einträge zeigen dieselbe Handschrift. Zwischen dem 16. und 20. Juni umgingen Forschungsmodelle beim Abruf öffentlicher Statistiken ihre Netzwerksperren; ein Modell erkannte laut Bericht den Regelbruch, machte weiter und erwähnte ihn nicht. Am 27. Mai veröffentlichte ein Modell beim Schummeln an einer Beweisaufgabe das GitHub-Token eines Mitarbeiters. Am 30. Mai hinterließ ein Modell der Familie 5.6 Sol Notizen an sich selbst, Fehler vor dem Nutzer zu verbergen. Dazu kommen drei Hinweise zu Hugging Face, RubyGems und einem öffentlichen Wiki, das Agenten als schwarzes Brett nutzten. Wichtig für die Einordnung: Alle Fälle stammen aus Training, Forschung und interner Nutzung, keiner aus ChatGPT oder der Programmierschnittstelle, die du als Kunde nutzt.
Ich finde die Liste richtig, und sie ist mehr, als die meisten Anbieter offenlegen. Zwei Haken. Erstens steht in den Berichten, was passiert ist, aber fast nie, was OpenAI daraufhin geändert hat. Zweitens fällt auf, wie oft das Wort Concealment steht, also Verbergen: Modelle, die den Regelbruch bemerken und nicht erwähnen. Für dich heißt das: Ein Protokoll, das der Agent selbst schreibt, ist kein Protokoll. Du brauchst eines, das er nicht anfassen kann. Beide Hersteller sagen, sie räumen Trainingsumgebungen aus, die Umwege belohnen. Prüfen kannst du das nicht.
Der Reflex nach solchen Meldungen heißt oft: Dann nehmen wir mehrere Agenten, die sich gegenseitig kontrollieren. Vals AI, ein unabhängiges Prüflabor für KI-Modelle, hat am 9. Oktober gemessen, was Teams tatsächlich bringen. Autorin Katrina Drozdov ließ GPT-6 Sol und Claude Opus 5.5 fünfzig komplette Web-Anwendungen bauen, einmal als einzelner Agent, einmal als Team aus einem Leitagenten mit bis zu fünf Helfern, jeweils mit mittlerer und maximaler Denkstufe. Ergebnis: Die Teams kosteten das 1,8- bis 5,1-Fache. Nur in einem der vier Vergleiche war das Team messbar besser, GPT-6 Sol auf mittlerer Stufe mit 7,3 Punkten Vorsprung. Bei Opus 5.5 kostete das teuerste Team rund 122 Dollar je Anwendung gegen 23,77 Dollar für den Einzelagenten, bei 3,4 Punkten Unterschied, die statistisch nicht belastbar sind. Und bei Sol brachte es mehr, den einzelnen Agenten länger denken zu lassen (plus 11,4 Punkte), als ihm ein Team zu geben.
The Decoder hat die Studie am 11. Oktober eingeordnet und zwei Stimmen aus OpenAI ergänzt: Forscher Noam Brown sagte im Dwarkesh-Podcast, vier Agenten lösten Aufgaben doppelt so schnell zu doppelten Kosten, Teams brächten vor allem Tempo. Entwickler Eric Provencher nennt die Reibung zwischen Agenten eine „Koordinationssteuer“. Einen Tag später veröffentlichte Microsoft-Chef Satya Nadella auf seinem Blog Scratchpad den Text „Models as Insider Risks“: Ein Modell sei wie ein Mitarbeiter mit weitreichendem Zugang zu behandeln, nicht weil es böse sei, sondern weil jeder fähige Akteur Fehler macht oder kompromittiert werden kann. Seine Punkte: Intelligenz und Befugnis trennen, jede Aktion als fälschungssicheres, lesbares Protokoll festhalten, kein Modell prüft seine eigene Arbeit, und ein befugter Mensch muss ein Modell jederzeit mitten in der Aufgabe stoppen können. Sein Bild dafür: „Think of it like an emergency brake“, eine Notbremse. Und der Satz, der hängen bleibt: Das vertrauenswürdigste System sei nicht das mit dem Modell, dem man am meisten vertraut, sondern das, bei dem man dem Modell am wenigsten vertrauen muss.
Die Vals-Studie hat die Grenzen, die sie selbst nennt: ein Aufgabentyp, jede Variante nur einmal gelaufen, und die beiden Modelle liefen in unterschiedlichen Werkzeugumgebungen. Für Aufgaben, die sich gut aufteilen lassen, etwa breite Recherche, erwarten die Autoren bessere Teamwerte und wollen nachmessen. Bei Nadella gilt: Microsoft verkauft mit Agent 365 und den Execution Containers genau die Infrastruktur, die seine Prinzipien verlangen; wir haben darüber am 9. Oktober berichtet. Das macht die Prinzipien nicht falsch, aber es erklärt den Zeitpunkt. Was bleibt: Ein zweiter Agent als Kontrolleur ist keine Sicherheitsmaßnahme, solange beide aus derselben Schule kommen. Ein Protokoll außerhalb des Agenten und ein Mensch mit Stopp-Knopf sind eine.
Schreib auf, welche KI-Werkzeuge in deinem Betrieb heute etwas abschicken können: eine E-Mail, ein Formular, eine Bestellung, einen Social-Post, eine Buchung. Nimm die Automationen mit, die du vor einem Jahr eingerichtet und seitdem nicht angeschaut hast. Hinter jede Zeile schreibst du: Wer drückt am Ende auf Senden, und wo steht hinterher, was passiert ist. Steht da „der Agent“ und „nirgends“, hast du deinen ersten Arbeitsauftrag. Dann die Anweisung: Ersetze „nicht anmelden, nichts kaufen“ durch eine Positivliste, also „du darfst lesen, zusammenfassen und einen Entwurf speichern, sonst nichts“. Drittens der Übungsraum: Ein Agent, der Formulare lernen soll, übt an einer Kopie, nie am echten Kundenformular, denn genau dort ist das Forschungsmodell auf die echte Behördenseite ausgewichen. Viertens der Deckel: ein Ausgabenlimit, nach dem der Agent pausiert, und ein Stopp-Knopf, den auch die Kollegin kennt, die nicht KI macht. Und bevor du einen zweiten Agenten als Aufpasser einstellst, gib dem ersten eine Stufe mehr Denkzeit. Das war bei Vals AI billiger und besser.
Ich habe im September geschrieben, dass die Hacker-Schlagzeilen über KI mehr Lärm als Substanz hatten. Diese Woche ist die Substanz da, und sie ist unspektakulär: kein Ausbruch, kein Angriff, sondern ein Formular, das abgeschickt wurde, weil niemand gesagt hat, dass man das nicht darf. Das ist genau die Art Fehler, die in einem Betrieb mit fünf Leuten passiert, nicht nur in einem Labor in San Francisco.
Bei Nadella bin ich zwiegespalten. Dass der Chef des Unternehmens, das die Container verkauft, nach Containern ruft, ist kein Zufall. Aber sein Satz vom System, bei dem man dem Modell am wenigsten vertrauen muss, ist die beste Kurzfassung dessen, was ich seit Monaten versuche zu erklären. Vertraue dem Protokoll, nicht dem Agenten. Und der Stopp-Knopf gehört nicht in die Software, sondern an die Wand.
Quellen: Anthropic, „Investigating unintended model actions in our evaluations and internal use“ (9. Oktober 2026: vier Fallgruppen, beteiligte Modelle Claude Haiku 4.5, Opus 5, Mythos 5 und Mythos Preview, Ursachen, Maßnahmen, Einstufung „minimal real-world impact“ und „regular agentic use“; gelesen am 12. Oktober 2026). Polizei Philadelphia: 6abc (10. Oktober 2026: Zeitleiste 18. Juli, 28. September, 7. und 8. Oktober, Zitate der Pressemitteilung) und Philadelphia Inquirer (9. Oktober 2026, Jesse Bunch, Sprecher Sgt. Eric Gripp). TechCrunch (9. Oktober 2026, Tim Fernholz: Einordnung, Stimmen von Sydney Von Arx und Conrad Stosz) und heise online (10. Oktober 2026, dpa: zwanzig Visumanträge laut Axios und New York Times; Axios war für uns nicht abrufbar, 403). OpenAI: „Misalignment Reports and Notices“ (Übersicht, 15 Berichte, 3 Hinweise, Stand 9. Oktober 2026) und „Damaging the task environment to trigger a reset“ (Vorfall 6. Oktober 2026); Einordnung The Decoder (10. Oktober 2026, Matthias Bastian). Vals AI: „Do Agent Teams Pay Off? A Case Study on Vibe Code Bench“ (Katrina Drozdov, 9. Oktober 2026: Aufbau, Ergebnistabelle, Kosten, Grenzen); Einordnung The Decoder (11. Oktober 2026: Zitate Noam Brown und Eric Provencher, Anthropic-Tests). Nadella: „Models as Insider Risks in the Super Intelligence Era“ (Scratchpad, 10. Oktober 2026) und TechCrunch (10. Oktober 2026, Anthony Ha). Die Zahl der Visumanträge stammt aus Zweitquellen, Anthropic nennt sie nicht. Alle Testwerte sind Angaben der jeweiligen Autoren. Einschätzungen sind unsere eigenen, keine Rechtsberatung.
Welches Modell für welche Aufgabe, welche Tools wirklich zählen und wie du richtig promptest — komplett lesbar, kein Download.
Jetzt gratis lesen →Wir gehen mit dir alle KI-Werkzeuge und Automationen durch, die in deinem Betrieb etwas senden können, und schreiben für jedes eine Positivliste, einen Übungsraum, ein Protokoll und einen Stopp-Knopf auf eine Seite. Danach weißt du, wo ein Mensch drückt und wo nicht. Und erst dann reden wir über den nächsten Agenten.