Cloudflare gibt Websitebetreibern mehr Kontrolle: Sie können Suchindexierung erlauben und zugleich eine Präferenz gegen die Nutzung ihrer Inhalte für KI-Training und Feintuning setzen.
Cloudflare erweitert seine Werkzeuge zur Steuerung von KI-Crawlern. Mit der Einstellung „Disallow AI Training" können Websitebetreiber untersagen, dass Inhalte zum Training oder Feintuning von KI-Modellen verwendet werden. Der Zugriff für die klassische Suchindexierung soll dabei grundsätzlich möglich bleiben. Für Händler und Publisher ist das relevant, weil Suchmaschinen Sichtbarkeit schaffen, Inhalte aber zugleich in generative KI-Systeme einfließen können.
Drei Funktionen für Crawler
Cloudflare unterscheidet Bots nach den Funktionen Search, Training und Agent. Reine Trainingscrawler, etwa von Amazon, Anthropic, Meta oder OpenAI, soll die Infrastruktur technisch blockieren, wenn die entsprechende Präferenz gesetzt wird.
Bei Mehrzweck-Crawlern wie Applebot, Googlebot und Bingbot ist die Situation komplexer. Diese Bots dienen der Suchindexierung, können aber auch für KI-bezogene Aufgaben eingesetzt werden. Cloudflare veröffentlicht die Trainingspräferenz deshalb über Bot Preference Sync in der robots.txt. Die Datei ist eine maschinenlesbare Verhaltensvorgabe, aber keine technische Zugangssperre. Ob ein Bot die Regel beachtet, hängt vom jeweiligen Betreiber ab.
Blockieren kann Suchzugang verhindern
Mit der neuen Option versucht Cloudflare, den Konflikt zwischen Reichweite und Kontrolle zu entschärfen. Händler können Produktdaten, Ratgeber und Kategorieseiten für Suchmaschinen zugänglich halten und zugleich eine klare Präferenz gegen KI-Training kommunizieren.
Die bisherigen Einstellungen ändern dadurch ihre Bedeutung: „Block" und „Block on pages with ads" sperren nun auch Mehrzweck-Crawler vollständig. Damit können sie sowohl KI-Training als auch Suchindexierung verhindern. Eine Regel, die KI-Training ausschließlich auf Werbeseiten untersagt und den Suchzugang dort offenlässt, bietet Cloudflare nicht an.
Standards bleiben uneinheitlich
Die Änderungen gelten laut Cloudflare seit dem 15. September für Bot Management und AI Crawl Control und sollen in allen Tarifen verfügbar sein. Apple und Google unterstützen die Trennung bereits über Applebot-Extended beziehungsweise Google-Extended. Microsoft akzeptiert laut Bericht derzeit NOARCHIVE und arbeitet an einer robots.txt-Regel gegen Training auf Domain-Ebene, die erst Anfang 2027 verfügbar werden soll.
Für KI-Agenten gibt es weiterhin keine vergleichbare Opt-out-Direktive. Cloudflare verweist auf entstehende Standards wie ai-prefs. Der wesentliche Fortschritt liegt daher vor allem in der zentralen Verwaltung des Zielkonflikts im Cloudflare-Dashboard, nicht in einer grundsätzlich neuen technischen Funktion.
"