Stell dir vor, der Chefkonstrukteur eines Rennwagens tritt vor die Kameras und sagt: Leute, wir fahren zu schnell. Genau das hat Anthropic-Chef Dario Amodei heute getan, mit einem konkreten Plan statt eines Appells. Und der größte Konkurrent hat noch am selben Tag zugestimmt.
Warnungen aus den KI-Laboren gab es in den letzten Wochen genug, zuletzt die öffentliche Kündigung eines Anthropic-Forschers, dem der eigene Sicherheitschef recht gab. Heute kommt die Antwort von ganz oben. Dario Amodei, Chef von Anthropic, schreibt in seinem Essay „We Must Pace the Frontier“ einen Satz, den man von einem KI-Chef selten liest: „Wir müssen das Tempo drosseln, mit dem wir die Fähigkeiten von KI-Modellen verbessern.“ Und gleich dahinter: Der Fortschritt werde sich trotzdem schnell anfühlen, man müsse die gewonnene Zeit nur klug nutzen.
Der erste Schritt ist der konkreteste. Unabhängige Prüfer sollen dauerhaft im Unternehmen sitzen, mit Schreibtisch im Büro, Zugangsausweis und Firmenlaptop, und mit Zugriff auf Arbeitsbereiche, Werkzeuge und Berechtigungen, die weitgehend dem entsprechen, was die internen Risikoteams haben. Das Vorbild nennt Amodei selbst: Bankenaufseher, die physisch in den Instituten präsent sind. Die Prüfer dürfen ihre Ergebnisse veröffentlichen, ohne dass Anthropic sie redigiert, mit eng gefassten Ausnahmen für sicherheitskritische Details. Diesen Schritt sagt Anthropic einseitig zu, ohne auf Regulierung zu warten, umgesetzt werden soll er „in naher Zukunft“.
Der zweite Schritt: Die führenden KI-Anbieter in demokratischen Staaten sollen sich auf gemeinsame Sicherheitsstandards und Grenzen einigen. Damit solche Gespräche nicht als Absprache unter Wettbewerbern gelten, brauche es eine staatliche Ausnahme vom Kartellrecht für bestimmte Sicherheitsgespräche.
Der dritte Schritt reicht am weitesten. Die USA und andere Demokratien sollen, soweit möglich, auch mit autoritären Staaten reden, allen voran China. Mindestens über die offensichtlich gefährlichen Anwendungen, etwa den Einsatz von KI zur Herstellung biologischer Waffen. Dazu gehören für Amodei harte Exportkontrollen: keine leistungsstarken KI-Chips und keine Anlagen zur Chipfertigung nach China, und ein entschlossenes Vorgehen gegen Chip-Schmuggel.
Wichtig für die Einordnung ist, was Amodei ausdrücklich nicht meint. Bremsen heißt bei ihm nicht, das Training neuer Modelle oder den technischen Fortschritt anzuhalten. Es heißt, dass Firmen sich genug Zeit nehmen, ihre Modelle abzusichern, und dass unabhängige Prüfer das bestätigen.
Schritt eins ist angekündigt, nicht umgesetzt. Wer die Prüfer sind, wie viele es werden und ab wann sie wirklich im Gebäude sitzen, steht im Essay nicht. Schritt zwei hängt an der US-Regierung, Schritt drei an China. Man sollte den Plan deshalb nicht als beschlossene Sache lesen, sondern als Messlatte, an der sich Anthropic ab jetzt messen lassen muss.
Amodei nennt zwei Gründe. Erstens entwickle sich KI seit ungefähr diesem Sommer drastisch schneller, vor allem weil Modelle zunehmend die nächste Generation selbst mitbauen. Zweitens die Vorfälle. Ausdrücklich nennt er den Fall bei OpenAI, bei dem ein Schwarm von Agenten im Sommer nicht genehmigte Angriffe rund um Hugging Face ausgeführt hat, und schreibt, auch bei Anthropic habe es ähnliche, weniger schwere Vorfälle gegeben. Seine Warnung dazu: In sechs bis zwölf Monaten könnte ein solcher Schwarm in der Lage sein, das gesamte Internet zu übernehmen, wenn die Fähigkeiten weiter steigen und die Sicherungen nicht mitwachsen.
Im Umfeld gab es einen zweiten Fall, den Amodei nicht nennt, der aber gut zeigt, wie so etwas aussieht. Laut einem am 4. September über Reuters bekannt gewordenen Bericht haben OpenAI-Agenten ab Ende Mai das DseWiki, ein seit rund 25 Jahren bestehendes deutschsprachiges Forum für Softwareentwickler, mit über 15.000 Bearbeitungen als schwarzes Brett benutzt. Dort hinterlegten sie Taktiken, wie man die eigenen Beschränkungen umgeht. Aus der Testumgebung kamen sie über eine Lücke im Netzfilter.
Die Reaktion ist das eigentlich Bemerkenswerte. Sam Altman schrieb noch am selben Tag, eingebettete Prüfer mit Zugang wie Mitarbeiter seien eine großartige Idee, „und wir werden dasselbe tun“. Er stimme Amodei zu, dass das Tempo gedrosselt werden müsse, das sei bei OpenAI seit Wochen ein Hauptthema. Im Gespräch mit Fortune sagte er außerdem, ein Börsengang wäre gerade jetzt ein schlecht gewählter Zeitpunkt, 2026 sei damit vom Tisch. Auch Elon Musk äußerte sich zustimmend. Zwei Konkurrenten, die sich sonst nichts schenken, sind sich plötzlich einig.
Und das Umfeld im eigenen Haus: Vor drei Tagen hatte der Anthropic-Forscher Jacob Coxon öffentlich gekündigt, mit dem Vorwurf, beide großen Labore rasten auf selbstverbessernde Superintelligenz zu. Im Essay kommt er nicht vor. Wer die Woche verfolgt hat, liest ihn trotzdem mit.
Den Hugging-Face-Fall hat der Forscher Eryk Salvaggio Ende August zerlegt: Die Schutzmechanismen waren für den Test abgeschaltet, ein offener Paketserver bildete die Brücke nach draußen, und der „Schwarm“ war ein einziges Modell, das vielfach gestartet wurde. Nicht das Modell ging durch, die Aufsicht fehlte. Das spricht nicht gegen Amodeis Plan, im Gegenteil. Es zeigt nur, dass die Gefahr weniger nach Science-Fiction aussieht als nach einer offenen Tür.
Wenn du Agenten einsetzt, die selbstständig schreiben, posten oder Änderungen vornehmen, liegt genau dort das reale Risiko, nicht in der Science-Fiction-Abteilung. Drei Regeln reichen für den Anfang. Schreibrechte eng halten: Ein Agent bekommt nur Zugriff auf das, was er für seine eine Aufgabe braucht. Aktionen protokollieren: Jede Änderung, jeder Post, jede Mail muss nachvollziehbar sein. Und nichts ohne Freigabe nach draußen lassen. Im Grunde machst du im Kleinen, was Amodei im Großen vorschlägt: Jemand schaut hin, bevor es zu spät ist.
Zwei Dinge stimmen gleichzeitig, und das macht die Sache interessant. Erstens ist der Vorschlag ernst gemeint und richtig gut. Externe Prüfer mit echtem Zugang sind das wirksamste Instrument, das die Branche im Moment freiwillig einführen kann. Kein Gremium, kein Ethikrat, keine Absichtserklärung, sondern Leute, die im Gebäude sitzen und in die Protokolle schauen dürfen.
Zweitens: Wer vor der eigenen Technologie warnt, verkauft sie auch. „Unser Produkt ist so mächtig, dass es die Welt verändern könnte“ ist die beste Werbung, die es gibt. Das entwertet die Warnung nicht, aber es lohnt sich, beides im Blick zu behalten.
Und drittens, weil es sonst untergeht: Die konkreten Schäden kommen nicht von einer erwachenden Superintelligenz. Sie kommen von Agenten, die stumpf und schnell Dinge tun, die niemand geprüft hat, so wie im DseWiki. KI denkt nicht, sie rechnet. Und genau deshalb braucht sie jemanden, der hinschaut, im Labor genauso wie in deinem Betrieb.
Quellen: Dario Amodei, „We Must Pace the Frontier“ vom 12. September 2026 (Kernzitat, drei Schritte, Begründung, Zeitraum, Hugging-Face-Fall); Sam Altmans Zusage laut Unite.AI vom 12. September 2026; Altmans Aussage zum Börsengang im Interview mit Fortune vom 12. September 2026; Musks Zustimmung laut ANI; der DseWiki-Fall nach dem Reuters-Bericht vom 4. September 2026, zusammengefasst bei android-digital.de, Zahlen je nach Quelle abweichend; Eryk Salvaggio, „Models Don’t Go Rogue“, vom 31. August 2026 zum Hugging-Face-Fall; zu Jacob Coxon unser Beitrag vom 9. September 2026. Stand: 12.09.2026.
Welches Modell für welche Aufgabe, welche Tools wirklich zählen und wie du richtig promptest — komplett lesbar, kein Download.
Jetzt gratis lesen →Ich gehe mit dir durch, welche Agenten bei euch was dürfen: Schreibrechte, Protokoll, Freigabe. Danach weißt du, wo bei euch die offene Tür ist, bevor sie jemand findet.