Bisher hieß es oft: Wer seine Inhalte nicht für KI-Training hergeben will, riskiert, bei Google zu verschwinden, weil manche Crawler beides auf einmal erledigen. Cloudflare hat das jetzt getrennt, mit einem Schalter. Für Betriebe ist die Frage aber nicht, ob man ihn umlegen kann, sondern ob man es sollte.
Manche große Anbieter schicken einen einzigen Crawler los, der Seiten sowohl für die Suche als auch für das Training ihrer KI einsammelt. Wer den aussperrt, sperrt beides aus. Cloudflare nennt das den Tausch „Suche oder KI-Training“ und hat am 15. September eine Einstellung eingeführt, die ihn auflösen soll: Disallow AI Training.
Die Einstellung trägt in die robots.txt der Website Anweisungen ein, die zwischen Suche und Training unterscheiden. Google beachtet dafür den Eintrag für „Google-Extended“, Apple den für „Applebot-Extended“. Beide crawlen weiter für ihre Suche, nutzen die Inhalte aber nicht mehr für das KI-Training. Microsoft will das für Bing ab Anfang 2027 unterstützen.
Anbieter, die für Suche und Training getrennte Crawler betreiben, werden beim Training direkt blockiert. Laut Cloudflare betrifft das die Trainings-Crawler von Amazon, Anthropic, Meta und OpenAI, ohne dass die Auffindbarkeit in deren Suchfunktionen leidet.
Die Einstellung ist kostenlos für alle Cloudflare-Kunden in allen Tarifen und liegt in den Sicherheitseinstellungen der jeweiligen Domain.
Wer kein Cloudflare nutzt, kann die gleichen Einträge von Hand in die robots.txt schreiben. Cloudflare weist aber auf die Grenze hin: Eine robots.txt kann nicht erkennen, wer gerade crawlt, nicht prüfen, wozu, und keinen Crawler aufhalten, der sich nicht daran hält. Sie ist eine Bitte, keine Sperre. Cloudflare kann dagegen Crawler, die sich nicht an die Regeln halten, tatsächlich blockieren.
Was bereits für Training eingesammelt wurde, holt kein Schalter zurück. Die Einstellung gilt für künftiges Crawlen. Und sie wirkt bei den Anbietern, die sich an die Einträge halten oder die Cloudflare technisch aussperren kann. Wer seine Inhalte über andere Wege teilt, etwa in sozialen Netzwerken oder auf Plattformen, regelt deren Nutzung dort nach den jeweiligen Bedingungen.
Für Verlage, Fotografen oder alle, die mit eigenen Texten Geld verdienen, ist die Sache klar: Die Inhalte sind das Produkt, der Schalter gehört umgelegt. Für einen Handwerksbetrieb, einen Laden oder eine Praxis sieht es anders aus. Die Website soll dort vor allem eines: dass Kunden den Betrieb finden. Und immer mehr Menschen fragen dafür nicht nur Google, sondern eine KI.
Ob das Sperren des Trainings die Chance verringert, in KI-Antworten genannt zu werden, beantwortet Cloudflare nicht, und die Anbieter legen es nicht offen. Für die Suche bleibt man drin, so viel ist zugesagt. Wie KI-Assistenten ihre Empfehlungen zusammensetzen, ist dagegen nicht öffentlich.
Unsere Einschätzung für Betriebe: Unterscheidet nach Inhalten. Preise, Leistungen, Öffnungszeiten und Kontaktdaten sollen gefunden werden, überall, auch von KI. Eigene Fachtexte, Anleitungen, Fotos oder ein Kurs, mit dem ihr Geld verdient, sind etwas anderes. Wer beides auf derselben Domain hat, sollte bewusst entscheiden, statt den Schalter aus Prinzip umzulegen oder aus Bequemlichkeit liegen zu lassen.
Belastbare Zahlen, wie sich das Sperren von KI-Training auf Empfehlungen in ChatGPT, Gemini oder anderen Assistenten auswirkt, gibt es bisher nicht. Wer den Schalter umlegt, sollte in den folgenden Monaten beobachten, ob und wie der Betrieb in KI-Antworten auftaucht, und die Entscheidung gegebenenfalls korrigieren. Sie lässt sich jederzeit zurücknehmen.
Der Schalter regelt nur das Training. Ob und wie viel deiner Inhalte in KI-Antworten und Zusammenfassungen landet, steuert er nicht. Genau daran arbeitet Cloudflare als Nächstes: Laut eigenem Blog ist das Ziel, dass Websitebetreiber bis Anfang nächsten Jahres einstellen können, wie viel ihrer Inhalte in solche Zusammenfassungen einfließt, einmal bei Cloudflare statt bei jedem Anbieter einzeln. Ein festes Datum gibt es nicht. Für dich heißt das: Training jetzt sperren, wenn du willst, und die Frage, wie sichtbar du in KI-Antworten sein möchtest, bis dahin bewusst offen halten.
Quelle: Cloudflare Blog, 15.09.2026
Erstens: Womit verdient ihr Geld, mit den Inhalten auf der Website selbst oder mit dem, wozu die Website führt, also Terminen, Besuchen, Aufträgen? Zweitens: Wie kommen neue Kunden heute zu euch, und fragt davon schon jemand eine KI nach Empfehlungen? Drittens: Nutzt ihr überhaupt Cloudflare? Wenn nicht, ist die robots.txt der Weg, dann aber mit dem Wissen, dass sie nur eine Bitte ist. Wer bei Frage eins „mit dem, wozu die Website führt“ antwortet, lässt den Schalter eher aus.
Ich finde den Schalter gut, weil er eine unfaire Wahl beendet: Bisher mussten Website-Betreiber zwischen Auffindbarkeit und Kontrolle entscheiden. Jetzt können sie beides getrennt regeln, zumindest bei den großen Anbietern, die mitmachen.
Für die meisten unserer Kunden empfehle ich trotzdem, ihn nicht reflexhaft umzulegen. Ein Betrieb, der gefunden werden will, hat wenig davon, sich vor KI-Assistenten zu verstecken, die zunehmend Empfehlungen aussprechen. Schützenswert sind die Inhalte, mit denen man wirklich Geld verdient. Die Kunst ist, beides auseinanderzuhalten.
Quellen: Cloudflare Blog, „Have it both ways: stay discoverable in search while disallowing AI training“ vom 15. September 2026 (Funktion, Verfügbarkeit, Google-Extended, Applebot-Extended, Microsoft ab Anfang 2027, blockierte Trainings-Crawler, Grenzen der robots.txt); Cloudflare-Pressemitteilung. Die Abwägung für Betriebe ist unsere Einschätzung, Belege zur Wirkung auf KI-Empfehlungen gibt es bisher nicht. Stand: 17.09.2026.
Welches Modell für welche Aufgabe, welche Tools wirklich zählen und wie du richtig promptest — komplett lesbar, kein Download.
Jetzt gratis lesen →Wir prüfen mit dir, wie dein Betrieb heute in Google und in KI-Antworten auftaucht, was davon du schützen willst und was gefunden werden soll. Danach stehen robots.txt, Inhalte und Einstellungen so, wie es zu deinem Geschäft passt.