KI-Crawler und robots.txt: Was Sie erlauben sollten

Die Kennung tragen Sie in der robots.txt hinter User-agent: ein, Groß- und Kleinschreibung spielt keine Rolle. Die Spalte „Quelle“ nennt die Nummer in der Quellenliste am Ende des Beitrags. Wie diese Crawler mit KI-Antworten zusammenhängen, erklärt unser Leitfaden zu GEO (Generative Engine Optimization).

Die Angaben stammen aus der Dokumentation der Betreiber:

• OpenAI (externe Website) und Anthropic (externe Website)
• Google zu seinen Crawlern (externe Website) und seinen Abrufen im Auftrag (externe Website)
• Microsoft Bing (externe Website), Perplexity (externe Website) und Apple (externe Website)
• Meta (externe Website), Amazon (externe Website) und Mistral AI (externe Website)
• DuckDuckGo (externe Website) und Common Crawl (externe Website)

Aufgenommen sind nur Crawler, deren Betreiber Kennung und Zweck öffentlich beschreibt. Crawler für Werbung und Linkvorschauen wie OAI-AdsBot fehlen. Jede Zeile trägt das Datum unseres letzten Abgleichs mit der Dokumentation. Änderungen stehen im Änderungsprotokoll am Ende des Beitrags.

Die Liste steht auch als CSV-Datei bereit, Spalten und Zweck auf Englisch, mit denselben Kennungen wie die Tabelle. Nur __usage_ai-training fehlt dort, weil dieses Steuerwort zu keinem einzelnen Betreiber und keinem einzelnen Crawler gehört.

Für das Training zählt die Kennung, die Sie in der robots.txt sperren. Der Name in Ihren Server-Protokollen sagt aus zwei Gründen wenig darüber:

• Steuerwörter rufen nichts ab. Google-Extended und Applebot-Extended haben keinen eigenen Crawler. Sie legen nur fest, wofür Google und Apple die Inhalte nutzen dürfen, die Googlebot und Applebot ohnehin abrufen.
• Ein Abruf kann mehreren Zwecken dienen. Lässt eine Website OAI-SearchBot und GPTBot zu, nutzt OpenAI womöglich einen einzigen Abruf für Suche und Training. Die Daten von Applebot können in das Training bei Apple fließen, solange Applebot-Extended nicht gesperrt ist.

Common Crawl betreibt mit CCBot ein offenes Webarchiv, das viele Anbieter weiterverwenden. Von 47 Sprachmodellen der Jahre 2019 bis 2023, die die Mozilla Foundation untersucht hat, nutzten mindestens 30 gefilterte Fassungen dieses Archivs für ihr Training.

Quelle: Mozilla Foundation (externe Website), 06.02.2024 · 47 Sprachmodelle, veröffentlicht 2019 bis Oktober 2023

• Such-Crawler. Eine Seite, die Googlebot nicht lesen darf, erscheint höchstens ohne Beschreibung in der Google-Suche. Für die Übersicht mit KI und den KI-Modus kommt sie nicht infrage, denn beide verlangen eine Seite, die mit Textausschnitt erscheinen darf. Bing rät ausdrücklich davon ab, Bingbot zu sperren. Bing und Copilot beruhen auf demselben Crawling.
• Nutzerabrufe. Anthropic und Mistral AI richten Claude-User und MistralAI-User nach der robots.txt. Bei OpenAI, Perplexity, Google, Meta und Amazon gilt die Datei für Nutzerabrufe nicht zuverlässig, weil eine Person den Abruf auslöst. Eine Sperre hält solche Abrufe deshalb nicht sicher ab. Wo sie wirkt, kann sie laut Anthropic Sichtbarkeit kosten.
• Training. Eine Sperre von GPTBot oder Applebot-Extended ändert laut OpenAI und Apple nichts daran, ob Ihre Seiten in deren Suche erscheinen. Google-Extended ist die Ausnahme: Wer es sperrt, entzieht seine Inhalte auch den Quellen der Gemini-App. Die Google-Suche betrifft das nicht.
• Was eine Sperre nicht zurückholt. Laut Anthropic gilt eine Sperre von ClaudeBot für künftige Inhalte. Rechnen Sie bei allen Anbietern damit, dass früher gesammelte Inhalte im Training bleiben können.

Für KI-Antworten in Suchmaschinen gibt es eigene Schalter. Seit dem 31.08.2026 können Sie Ihre Website in der Google Search Console aus der Übersicht mit KI und dem KI-Modus nehmen. In der übrigen Google-Suche bleibt sie. Wann sich das lohnt und was es kostet, zeigt unser Ratgeber Aus AI Overviews aussteigen. Microsoft beachtet ab dem 01.02.2027 getrennte Angaben für Training und für KI-Antworten. NOARCHIVE und NOCACHE wertet Microsoft dafür nach dem 01.03.2027 nicht mehr aus. Wie Sie die neue Angabe setzen, erklärt unser Beitrag Was ist Grounding? Wie Google die Quellen seiner KI-Antworten auswählt, erklärt unser Beitrag zu AI Overviews und KI-Modus.

Training ist eine Abwägung. Leben Sie von den Inhalten selbst, etwa von Kursen, Fachartikeln oder Daten, spricht viel für eine Sperre. Werben Ihre Inhalte für eine Leistung, die Sie vor Ort oder im Projekt erbringen, verlieren Sie durch das Training nach unserer Einschätzung wenig.

Wie sich eine Sperre auswirkt, ist kaum untersucht. Bei 24 großen englischsprachigen Nachrichtenseiten sanken die wöchentlichen Besuche in den sechs Wochen nach einer Sperre um rund 7 %, verglichen mit Seiten ohne Sperre. Gesperrt hatten sie Kennungen wie GPTBot, CCBot und Google-Extended. Die Autoren halten für plausibel, dass KI-Antworten die Seiten danach seltener nannten. Nach etwa 20 Wochen war der Effekt statistisch nicht mehr gesichert.

Quelle: Zhao, Berman (Vorabdruck) (externe Website), 15.04.2026 · 30 Nachrichtenseiten, Sperren vor allem 2023

Im deutschsprachigen Raum sperren bisher wenige Websites das Training. In einer Stichprobe von 24.550 Hosts mit den Endungen .de, .at und .ch sperrten im August 2026 nur 2,27 % den Trainings-Crawler GPTBot. Bei 28 großen Nachrichten- und Verlagsangeboten waren es 61 %, bei 16 großen Shops 6 %. Von den 17 Verlagen mit Sperre für GPTBot sperrten nur vier auch OAI-SearchBot. Sperren in Firewall oder CDN erfasst die Auswertung nicht.

Quelle: Ahrefs (externe Website), 18.09.2026 · Anbieterstudie · Common Crawl, August 2026; Verlage und Shops als kleine Gruppen

Beispiel: Suche erlauben, Training sperren. Diese Datei sperrt die Trainings-Crawler und Steuerwörter aus der Tabelle und lässt alle anderen Crawler zu. Streichen Sie Gruppen, die Sie nicht wollen, und setzen Sie Ihre eigene Domain ein.

# Training sperren, Suche und Nutzerabrufe bleiben erlaubt
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: MistralAI-Training
Disallow: /

# gemeinsames Steuerwort mehrerer Anbieter, Entwurf seit 30.10.2026
User-agent: __usage_ai-training
Disallow: /

# entzieht Ihre Inhalte auch den Quellen der Gemini-App
User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /

Sitemap: https://www.example.de/sitemap.xml

Meta-ExternalAgent und Amazonbot fehlen im Beispiel, weil Meta und Amazon sie auch für andere Zwecke als das Training nutzen. Nehmen Sie die beiden auf, wenn Sie diese Zwecke ebenfalls ausschließen wollen.

Häufige Fehler:

• Eine eigene Gruppe ersetzt die allgemeinen Regeln. Ein Crawler mit eigener Gruppe beachtet die Regeln unter User-agent: * nicht mehr. Steht dort Disallow: /intern/, gehört die Zeile in jede eigene Gruppe.
• Die Sperre aus der Bauphase bleibt. User-agent: * mit Disallow: / sperrt alle Crawler, auch Googlebot und Bingbot.
• Die robots.txt liefert einen Serverfehler. Bei einem Fehler 5xx müssen Crawler laut RFC 9309 annehmen, dass alles gesperrt ist. Fehlt die Datei mit dem Status 404, dürfen sie alles abrufen.
• Applebot erbt die Regeln für Googlebot. Nennt die Datei Applebot nicht, folgt Apple den Regeln für Googlebot. Eine Sperre für Googlebot trifft dann auch die Suche von Apple.

• Jeder kann die Datei lesen. Eine Zeile wie Disallow: /intern/ macht den Pfad öffentlich bekannt. Darauf weist der Standard RFC 9309 (externe Website) in seinen Sicherheitshinweisen selbst hin.
• Kennungen lassen sich fälschen. Ein Abruf kann sich als GPTBot ausgeben, ohne von OpenAI zu kommen. Echte Crawler erkennen Sie an ihrer IP-Adresse.
• Technisch sperren nur Firewall und CDN. Ein CDN ist das Netz, das Ihre Seiten an die Besucher ausliefert. Anthropic weist darauf hin, dass eine Sperre über IP-Adressen als Ausstieg aus dem Crawling nicht zuverlässig wirkt. Der Crawler kann dann Ihre robots.txt nicht mehr lesen.
• Aus der Google-Suche hält die Datei keine Seite heraus. Eine gesperrte URL kann ohne Beschreibung in den Ergebnissen stehen. Dagegen hilft noindex, das Google aber nur sieht, wenn es die Seite abrufen darf. Mehr dazu steht in unserem Beitrag Website nicht bei Google.

Beim Reverse DNS fragen Sie zur IP-Adresse aus Ihrem Server-Protokoll den Hostnamen ab. Dann prüfen Sie, ob dieser Name wieder auf dieselbe IP-Adresse zeigt. Bei Google muss der Name auf googlebot.com, google.com oder googleusercontent.com enden.

host 66.249.66.1
host crawl-66-249-66-1.googlebot.com

Unter Windows geht dasselbe mit nslookup. Wie Sie Abrufe in Ihren Protokollen zählen und prüfen, zeigt unser Ratgeber KI-Traffic messen.

Neu ist Web Bot Auth: Der Anbieter signiert seine Abrufe, und Ihr Server oder CDN prüft die Signatur. Google testet das Verfahren für Google-Agent. Es ist ein Entwurf der IETF, und Google rät, die Prüfung über IP-Adressen beizubehalten.

Ein CDN ist das Auslieferungsnetz zwischen Ihrem Server und den Besuchern. Diese Stellen sollten Sie prüfen:

• Voreinstellung bei Cloudflare. Bei Cloudflare steuern Sie KI-Crawler seit dem 01.07.2026 getrennt nach drei Gruppen: Suche (Search), Abrufe im Auftrag einer Person (Agent) und Training. Zur Gruppe Agent zählt Cloudflare auch Nutzerabrufe wie ChatGPT-User. Für neue Domains nennt die Dokumentation von Cloudflare „Allow“ in allen drei Gruppen als Voreinstellung (Stand: November 2026). Seit dem 15.09.2026 schlägt Cloudflare beim Anlegen einer Domain strengere Einstellungen vor, wenn Sie angeben, dass Ihre Seiten mit Werbung Geld verdienen. Dann bleibt die Suche erlaubt, das Training ist untersagt, und Agenten sind auf Seiten mit Werbung gesperrt. Am 01.07.2025 hatte Cloudflare bei neuen Domains die Frage eingeführt, ob KI-Crawler zugelassen werden sollen.
• Einstellungen bei Cloudflare. Die Einstellungen stehen im Dashboard unter Security > Settings, Punkt „AI Crawler and Agent access policies“, und sind in allen Tarifen verfügbar. Wenn Sie in KI-Antworten vorkommen wollen, stellen Sie Search und Agent auf „Allow“. „Disallow“ gibt es nur beim Training. Wählen Sie „Disallow“ und ist „Bot Preference Sync“ eingeschaltet, schreibt Cloudflare einen Trainingsvorbehalt in die robots.txt und sperrt Crawler, die nur dem Training dienen. Googlebot, Bingbot und Applebot dürfen Ihre Seiten dann weiter für die Suche abrufen. „Block“ und „Block on pages with ads“ beim Training gelten seit dem 15.09.2026 auch für diese drei Crawler und treffen damit die Suche.
• Bestehende Domains bei Cloudflare. Für bestehende Domains hat Cloudflare am 15.09.2026 angekündigt, die bisherigen Einstellungen zu übertragen. Frühere Trainingssperren werden dabei zu „Disallow“. War bisher nur der ältere Schalter „Block AI Bots“ eingeschaltet, gilt danach laut Cloudflare: Suche erlaubt, Training untersagt, Agenten auf Seiten mit Werbung gesperrt. Sehen Sie deshalb nach, was in Ihrem Konto bei Search, Agent und Training eingestellt ist.
• Geänderte robots.txt. Cloudflare setzt eigene Regeln vor Ihre robots.txt, wenn die Funktion „Bot Preference Sync“ eingeschaltet ist und Sie mindestens eine Gruppe sperren oder das Training untersagen. Stehen alle drei Gruppen auf „Allow“, liefert Cloudflare Ihre robots.txt unverändert aus. Bei neuen Domains ist „Bot Preference Sync“ nach Angabe von Cloudflare von Anfang an eingeschaltet. Prüfen Sie deshalb die Datei, die ein Browser unter Ihrer Domain erhält.
• Freigabe in der Firewall. OpenAI empfiehlt, Anfragen aus seinen veröffentlichten IP-Bereichen zuzulassen. Perplexity beschreibt solche Freigaben für die Firewalls von Cloudflare und AWS.

Ob Ihr CDN nach der Kennung filtert, zeigt ein Vergleich. Rufen Sie Ihre Startseite einmal normal und einmal mit der Kennung eines Crawlers ab. Vergleichen Sie dann die erste Zeile der beiden Antworten. Ob ein Abruf an Firewall, robots.txt oder JavaScript scheitert, trennt unsere Prüfanleitung JavaScript und KI-Crawler.

curl -sI https://www.example.de/
curl -sI -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" https://www.example.de/

Zeigt die zweite Antwort einen anderen Statuscode als die erste, etwa 403 statt 200, weist Ihr CDN Abrufe mit dieser Kennung ab. Sperren nach IP-Adresse deckt der Test nicht auf, weil er aus Ihrem eigenen Netz kommt. Ob echte Crawler durchkommen, zeigen erst die Protokolle Ihres CDN oder Servers. Die übrigen Schritte, damit KI-Assistenten Ihre Website finden, beschreibt unser Ratgeber In ChatGPT & Co. gefunden werden.

• Was die Anbieter zusagen. Im Verhaltenskodex zur KI-Verordnung (externe Website) verpflichten sich die Unterzeichner zu Crawlern, die die robots.txt nach RFC 9309 lesen und befolgen. Das gilt für Text und Data Mining und das Training ihrer Modelle. Zu den Unterzeichnern gehören laut EU-Kommission Amazon, Anthropic, Google, Microsoft, Mistral AI und OpenAI.
• Was neu ist. Am 30.10.2026 haben OpenAI, Microsoft und Anthropic ein gemeinsames Steuerwort gegen KI-Training vorgestellt, das auch Google nennt: User-agent: __usage_ai-training mit Disallow: /. Anthropic hat nach eigener Aussage an diesem Tag begonnen, es zu beachten. Microsoft wertet es ab dem 01.02.2027 aus, Google will es Anfang 2027 unterstützen, OpenAI laut seiner Ankündigung vom 30.10.2026 (externe Website) in den kommenden Monaten.
• Was dabei gilt. Grundlage ist ein Entwurf, der bei der IETF eingereicht ist (externe Website); ein Standard ist er noch nicht. Eine Sperre unter User-agent: * zählt für dieses Steuerwort nicht. Die Kennungen der einzelnen Crawler gelten weiter.

Ob ein Vorbehalt im Einzelfall wirksam ist, ist eine Rechtsfrage. Dieser Abschnitt ist eine technische Einordnung und keine Rechtsberatung; im Zweifel klärt das eine Anwältin oder ein Anwalt.