KI-Insights · 23. Juni 2026

Der teuerste Ein-Zeilen-Fehler: KI-Crawler in der robots.txt sperren

Es gibt gute Gründe, KI-Crawler auszusperren. Wenn Sie in KI-Antworten vorkommen wollen, gehört Ihr Unternehmen nicht dazu.

Was blockiert wird

Die relevanten Bots lassen sich grob in drei Gruppen teilen: Trainings-Crawler wie GPTBot oder CCBot, Such-Crawler wie OAI-SearchBot und PerplexityBot, und nutzergesteuerte Abrufe wie ChatGPT-User oder Claude-User, die genau dann kommen, wenn jemand Ihre Seite in einem Chat aufruft.

Wer pauschal alles sperrt, verhindert nicht nur Training. Er verhindert auch, dass ein System die eigene Website als Quelle heranziehen kann, während ein Kunde gerade danach fragt.

Eine pragmatische Freigabe

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

Wenn Sie Training ausschließen, aber Antworten wollen

Dann sperren Sie gezielt die Trainings-Crawler und lassen die Such- und Nutzer-Crawler frei. Das ist ein legitimer Mittelweg. Er kostet Sie die langsame, dauerhafte Wirkung über Trainingswissen, erhält aber die schnelle über Live-Suche.

Zwei weitere Punkte, die oft fehlen

• llms.txt. Eine kurze Textdatei, die erklärt, worum es auf der Seite geht und welche Seiten die wichtigsten sind. Aufwand: eine halbe Stunde.
• Serverseitige Inhalte. Was erst per JavaScript nachgeladen wird, sehen viele Crawler nicht. Prüfen Sie, ob Ihre Kernaussagen im ausgelieferten HTML stehen.

Stand: Juni 2026. Bot-Namen und Richtlinien ändern sich, prüfen Sie die Liste regelmäßig.

Weitere Insights