Website-Betreiber, die ihre Inhalte nicht für das Training von KI-Modellen freigeben wollen, müssen bisher eine wachsende Liste von Crawlern einzeln sperren: GPTBot für OpenAI, ClaudeBot für Anthropic, Google-Extended für Google. Das soll einfacher werden. Wie Google im Search Central Blog ankündigte, will das Unternehmen ein gemeinsames Steuersignal in der robots.txt unterstützen, mit dem sich der Widerspruch gegen KI-Training in einem Schritt gegenüber mehreren Anbietern ausdrücken lässt.

Ein Token für den Zweck

Grundlage ist ein Entwurf bei der Standardisierungsorganisation IETF, der aus der Arbeitsgruppe AI Preferences (AIPREF) hervorgegangen ist. Laut heise online führt er keine neue Syntax ein, sondern nutzt die bestehende User-Agent-Zeile für ein gemeinsames Policy-Token mit dem Namen __usage_ai-training. Anders als klassische Einträge steht es nicht für einen bestimmten Crawler, sondern für einen Verwendungszweck. Ein globaler Widerspruch mit einer Ausnahme für das Verzeichnis eines Pressebereichs sähe etwa so aus: Unter dem User-Agent __usage_ai-training stehen „Disallow: /“ und „Allow: /press-kit/“.

Parser, die das Token nicht kennen, ignorieren den Block nach dem Standard RFC 9309 als unbekannten User-Agent. Teilnehmende KI-Anbieter werten die Pfadregeln dagegen aus. Laut Search Engine Journal haben neben Google auch Microsoft und OpenAI angekündigt, das gemeinsame Signal zu berücksichtigen; derzeit unterstützt es noch keiner der drei. Eingereicht hat den Entwurf Kevin Kelley von Anthropic, der laut SEJ erklärte, Anthropic habe mit der Umsetzung begonnen. Wichtig für Betreiber: Bestehende Regeln zählen nicht. Eine Wildcard-Gruppe mit „User-Agent: *“ gilt laut Entwurf nie für das Token, und eine Datei ohne eigene Gruppe für __usage_ai-training drückt keine Präferenz aus. Ab 2027 wollen die Anbieter das Signal regulär auswerten.

Zusammenspiel mit Google-Extended

Bestehende anbieterspezifische Steuerungen bleiben erhalten. Wer dem Training über das neue Token widerspricht und Google-Extended nicht ausdrücklich erwähnt, wird von Google so behandelt, als habe er Google-Extended gesperrt. Wer Google-Extended dagegen ausdrücklich erlaubt, gibt Inhalte nicht nur fürs Training frei. Laut Google ist diese Freigabe auch Voraussetzung dafür, über das sogenannte Grounding in Antworten der Gemini-Apps aufzutauchen und Klicks zu erhalten.

Dieser Punkt dürfte Verlage beschäftigen: Wer Sichtbarkeit in KI-Antworten will, muss nach dieser Logik auch Training zulassen. Die Trennung zwischen beiden Nutzungen bleibt damit unscharf.

Bezug zum EU AI Act

Google verweist darauf, dass der Vorschlag mit dem Verhaltenskodex der EU für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck im Rahmen des AI Act übereinstimme. Dieser erkennt die robots.txt als primäres Mittel an, mit dem Web-Publisher maschinenlesbare Nutzungsvorbehalte erklären. Die Diskussion über das restliche AIPREF-Vokabular, etwa feinere Unterscheidungen weiterer KI-Verwendungen, läuft noch.

Wichtig bleibt eine Einschränkung: Die robots.txt ist keine technische Sperre. Sie formuliert Vorgaben, an die sich kooperative Crawler freiwillig halten. Anbieter, die sie ignorieren, werden auch durch das neue Token nicht aufgehalten.