KI-Crawler steuern:Training sperren,Sichtbarkeit behalten

KI-Crawler steuern Sie in der robots.txt einzeln nach ihrem Zweck: Trainings-Crawler wie GPTBot oder ClaudeBot können Sie sperren, ohne die Such-Crawler wie OAI-SearchBot, Claude-SearchBot oder PerplexityBot auszuschließen, die über Ihre Sichtbarkeit in der KI-Suche entscheiden. Die großen Anbieter trennen heute zwischen Crawlern, die Inhalte für das Training von Modellen sammeln, Crawlern, die einen Suchindex aufbauen, und Abrufen, die ein Nutzer im Chat auslöst. Wer pauschal alles sperrt, was nach KI klingt, verschwindet aus den Antworten, in denen seine Kunden nach Anbietern fragen. Wer gar nichts regelt, gibt seine Inhalte ungefragt für das Training frei. Dazwischen liegt eine bewusste Entscheidung, die in wenigen Zeilen umgesetzt ist.

Nikolai Schöbel und Jeremias Burger

Co-Founder der Scalableloops GmbH. Nikolai Schöbel verantwortet Online-Marketing und KI-Strategie, Jeremias Burger die KI-Architektur. Beide bauen und schulen KI-Systeme im eigenen Agenturalltag.

Welche KI-Crawler gibt es und wofür werden sie eingesetzt?

Die folgende Übersicht fasst zusammen, was OpenAI, Anthropic, Perplexity und Google in ihrer eigenen Dokumentation über ihre Crawler schreiben (Stand 25.09.2026). Die Anbieter ändern diese Angaben gelegentlich, ein Blick in die jeweilige Originalseite vor jeder Änderung an Ihrer robots.txt lohnt sich.

Bei OpenAI gilt: Seiten, die OAI-SearchBot ausschließen, erscheinen laut OpenAI nicht in den Antworten der ChatGPT-Suche. Ein Ausschluss von GPTBot bedeutet dagegen, dass Inhalte nicht für das Training der Grundmodelle verwendet werden sollen. Anthropic beschreibt dieselbe Trennung: Wer ClaudeBot sperrt, schließt künftige Inhalte vom Training aus; wer Claude-SearchBot sperrt, verhindert die Indexierung für die Suche, was laut Anthropic die Sichtbarkeit in Suchergebnissen verringern kann. Perplexity betreibt nach eigener Aussage keinen Trainings-Crawler; PerplexityBot dient dazu, Websites in den Suchergebnissen von Perplexity anzuzeigen und zu verlinken.

Sollten Sie KI-Crawler blockieren oder zulassen?

Die Frage lässt sich nicht pauschal beantworten, sie lässt sich aber in zwei getrennte Entscheidungen zerlegen. Die erste betrifft das Training: Dürfen Ihre Inhalte in künftige Modelle einfließen? Die zweite betrifft die Sichtbarkeit: Wollen Sie in den Antworten der KI-Suche als Quelle auftauchen? Weil die Anbieter dafür getrennte Crawler betreiben, können Sie beides unabhängig voneinander beantworten.

Für Unternehmen, die über KI-Antworten gefunden werden wollen, ist die Suche die wichtigere der beiden Entscheidungen. Die Übersicht zeigt, welche Haltung zu welchem Ziel passt.

1. 01

   01

   Sichtbar sein, Training erlauben

   Alle Crawler zulassen. Diese Haltung passt, wenn Ihre Inhalte ohnehin öffentlich werben sollen und Sie keinen Grund sehen, sie vom Training auszunehmen.

2. 02

   02

   Sichtbar sein, Training ausschließen

   GPTBot, ClaudeBot und Google-Extended sperren, OAI-SearchBot, Claude-SearchBot und PerplexityBot zulassen. Diese Haltung passt, wenn Sie Ihre Texte schützen, aber in der KI-Suche genannt werden wollen.

3. 03

   03

   Bestimmte Bereiche schützen

   Einzelne Verzeichnisse für alle KI-Crawler sperren, etwa Kundenbereiche, Preislisten für Händler oder interne Dokumente, den Rest freigeben. Für wirklich vertrauliche Inhalte reicht die robots.txt allerdings nicht, dazu unten mehr.

4. 04

   04

   Ganz ausschließen

   Alle KI-Crawler sperren. Das ist eine bewusste Entscheidung mit Preis: Ihr Unternehmen fehlt dann als Quelle in den Antworten der KI-Suche, wenn Kunden dort nach Anbietern fragen.

Sperren mittelständische Websites KI-Crawler überhaupt?

Keine der von uns untersuchten Websites sperrt die Crawler, mit denen ChatGPT, Claude oder Perplexity für ihre Suche Webseiten lesen. Crawler sind Programme, die Webseiten automatisch abrufen. Wir haben am 26.09.2026 die robots.txt von 22 Websites mittelständischer Betriebe geprüft. Die robots.txt ist eine kleine Datei auf der Website, die Crawlern sagt, welche Seiten sie abrufen dürfen. Ausgewertet haben wir sie nach dem Standard RFC 9309. Einfach gesagt: Nennt die Datei einen Crawler beim Namen, gelten für ihn diese Anweisungen, sonst die allgemeinen. Und die genaueste Regel hat Vorrang.

17 der 22 Websites haben eine robots.txt. Nur zwei davon nennen überhaupt einen KI-Crawler beim Namen, also ein Programm, mit dem KI-Dienste Webseiten lesen. Nur eine Website sperrt einen dieser Crawler: CCBot, den Crawler des Archivs Common Crawl. GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot und Google-Extended sind auf allen 22 Websites zugelassen. Meistens liegt das daran, dass die robots.txt sie gar nicht erwähnt.

Wenn ein KI-Dienst Ihre Seiten nicht abruft, liegt es nach dieser Untersuchung also eher nicht an der robots.txt. Deshalb lohnt der Blick auf Firewall und Bot-Schutz. Dazu mehr im nächsten Abschnitt.

Ein weiterer Befund: Sechs der 22 Websites bieten eine llms.txt an. Das ist eine Datei, die KI-Systemen eine kurze Übersicht über die wichtigsten Inhalte einer Website gibt. Eine dieser Dateien erstellt ein SEO-Plugin für WordPress automatisch. Was diese Datei leistet und was nicht, erklären wir im Beitrag llms.txt. Die Stichprobe ist nicht repräsentativ. Sie stammt aus unserem Kundenkreis und von Betrieben, deren Website wir für ein Angebot geprüft haben. Einen Teil davon betreuen wir selbst.

Wo stößt die robots.txt bei KI-Crawlern an Grenzen?

Die robots.txt ist kein Zugangsschutz. Der Standard RFC 9309 sagt ausdrücklich, dass ihre Regeln keine Form der Zugangsberechtigung sind, und Google schreibt, dass die Datei das Verhalten eines Crawlers nicht erzwingen kann. Was wirklich vertraulich ist, gehört hinter ein Passwort, nicht hinter eine Zeile in der robots.txt.

Hinzu kommen die Abrufe, die ein Nutzer auslöst. OpenAI schreibt in seiner Dokumentation, dass für ChatGPT-User die Regeln der robots.txt möglicherweise nicht gelten, weil die Aktion von einem Menschen ausgeht; über die Aufnahme in die ChatGPT-Suche entscheidet ChatGPT-User nach OpenAI nicht. Perplexity gibt an, dass Perplexity-User die robots.txt in der Regel nicht beachtet. Anthropic dagegen erklärt, dass es die robots.txt respektiert, und nennt für Claude-User eine eigene Sperrmöglichkeit.

Auch bei den erklärten Crawlern gibt es Streit. Cloudflare warf Perplexity im August 2025 vor, bei Sperren auf nicht gekennzeichnete Crawler mit wechselnden Adressen auszuweichen; Perplexity wies die Vorwürfe zurück. Für Sie folgt daraus: Die robots.txt ist das richtige Werkzeug, um Ihren Willen gegenüber seriösen Anbietern zu erklären. Wer zusätzlich sicherstellen muss, dass Inhalte nicht abgerufen werden, braucht technische Sperren. Eine Einordnung Ihrer Einstellungen im Gesamtbild der KI-Sichtbarkeit erhalten Sie über unsere GEO-Agentur.