Google will in der robots.txt eine gemeinsame Einstellung für KI-Training unterstützen, zusammen mit anderen Anbietern, Ziel ist 2027. Was die Ankündigung sagt, was offen bleibt und was Betriebe mit eigener Website heute schon prüfen können.
Google hat am 30. Oktober 2026 angekündigt, in der robots.txt eine gemeinsame Steuerung für das Training von KI unterstützen zu wollen. Die robots.txt ist die Textdatei, mit der Websites Programmen mitteilen, welche Bereiche sie lesen dürfen. Wir haben die Ankündigung im Original gelesen und trennen, was Google plant, was offen ist und was Betriebe heute prüfen können. Zur Transparenz: Wir arbeiten in der Redaktion mit Claude von Anthropic, Google ist also ein Wettbewerber des Werkzeugs, das wir nutzen. Den Anstoß gab der Newsletter TLDR AI vom 2. November 2026.
Autor der Ankündigung ist John Mueller, Search Advocate bei Google. Grundlage ist Arbeit der IETF-Arbeitsgruppe AIPREF. Statt für jeden KI-Anbieter eigene Anweisungen zu schreiben, sollen Website-Betreiber über ein gemeinsames „Policy-Token“ ihre grundsätzlichen Wünsche für alle teilnehmenden Anbieter festlegen können. Die Steuerung betrifft laut Google das Training von KI. Ob sie das Crawlen für die Google-Suche berührt, sagt der Beitrag nicht. Name und Schreibweise des Tokens nennt Google nicht, ein Beispiel gibt es nicht.
Zusammenspiel mit Google-Extended: Lehnt eine Website per Token das Training ab und gibt Google-Extended nicht ausdrücklich an, will Google das so behandeln, als hätte der Betreiber Google-Extended gesperrt. Google-Extended bleibt bestehen. Wer es ausdrücklich erlaubt, kann laut Google in Antworten der Gemini-Apps erscheinen und darüber Klicks erhalten. Zeitplan: Google strebt an, die neue Steuerung zusammen mit anderen KI-Anbietern 2027 zu unterstützen. Bis dahin ist es ein Plan und kein Ist-Zustand. Der verlinkte Vorschlag ist ein Entwurf.
Google nennt keinen früheren Start als 2027, kein Token und keine Schreibweise. Ob andere Anbieter mitmachen, steht nicht fest: Der Beitrag sagt nur, andere könnten es ähnlich handhaben. Auch der übrige Wortschatz der Arbeitsgruppe wird noch diskutiert. Heute wirken nur die Regeln, die es schon gibt, etwa Google-Extended. Wir haben nichts getestet.
Ab hier gilt: Das ist unsere Einschätzung, keine Studie und keine Rechtsberatung. Erstens: Entscheide, ob deine Inhalte für KI-Training genutzt werden dürfen. Das betrifft Texte, Fotos, Preislisten und Produktbeschreibungen. Es gibt eine Abwägung: Wer sperrt, behält mehr Kontrolle, wer erlaubt, kann laut Google in Antworten der Gemini-Apps erscheinen. Welche Seite für dich richtig ist, hängt davon ab, wovon dein Betrieb lebt. Zweitens: Lies deine robots.txt. Rufe deine-domain.de/robots.txt im Browser auf und sieh nach, was dort steht. Viele Baukästen, Shop-Systeme und Plugins schreiben Regeln hinein, ohne dass der Betreiber es weiß.
Drittens: Plane nicht auf ein Token, das es noch nicht gibt. Heute gelten Regeln je Anbieter. Wie sich Suche und KI-Training schon jetzt trennen lassen, steht in unserem Beitrag zu Cloudflare. Und kläre, wer die Datei pflegt: Wenn eine Agentur oder ein Dienstleister Zugriff hat, gehört die Entscheidung zum Auftrag.
Die robots.txt ist ein Wunsch, den seriöse Programme beachten. Sie verhindert nicht, dass sich jemand die Inhalte auf anderem Weg besorgt. Was wirklich vertraulich ist, gehört nicht auf eine öffentliche Seite. Wie Plattformen ihre Bedingungen für deine Inhalte ändern, zeigt unser Beitrag zu Meta.
Fünf Minuten: Rufe die robots.txt deiner Website im Browser auf und notiere, welche KI-Programme dort genannt sind. Drei Minuten: Kläre, wer die Datei pflegt, und schreibe die Frage auf, die du stellen willst: Dürfen KI-Dienste meine Inhalte für das Training nutzen, ja oder nein? Zwei Minuten: Lege fest, wer die Entscheidung trifft, wenn Google den Start im Jahr 2027 konkretisiert.
Wenn es so kommt, sammelt eine einzige Einstellung die Wünsche der Betreiber für mehrere Anbieter. Das wäre für kleine Betriebe praktisch. Bis dahin lohnt es sich, die eigene Entscheidung zu treffen, damit du nicht nur übernimmst, was ein Plugin voreingestellt hat.
Entscheiden, robots.txt lesen, nicht auf ein Token warten. Das ist unsere Einschätzung, keine Studie.
Quellen: „Supporting a shared AI training control for websites“, Google Search Central Blog (John Mueller, 30. Oktober 2026); Anlass: Newsletter TLDR AI vom 2. November 2026. Die Einordnung für Betriebe ist unsere Einschätzung und keine Rechtsberatung, wir haben nichts getestet.
Welches Modell für welche Aufgabe, welche Tools wirklich zählen und wie du richtig promptest — komplett lesbar, kein Download.
Jetzt gratis lesen →Wir gehen mit dir durch, was in deiner robots.txt steht, welche Inhalte du für KI-Dienste öffnen willst und welche nicht, und richten die Regeln so ein, dass sie zu deinem Betrieb passen.