robots.txt und KI-Bots: Schließen Sie die Tür nicht versehentlich
Wer Crawler wie GPTBot, ClaudeBot und PerplexityBot blockiert, kann aus KI-Antworten verschwinden. Welche Bots gibt es und wie erlaubt man sie?
· 1 Min. Lesezeit · Kieosa Redaktion
Viele Websites blockieren KI-Crawler unbemerkt durch Standardeinstellungen von Themes oder Sicherheits-Plugins. Kann ein Bot Ihre Website nicht lesen, fällt es dem Assistenten schwer, aktuelle Informationen über Sie zu liefern.
Wichtige KI-Crawler
GPTBot,OAI-SearchBot,ChatGPT-User— OpenAIClaudeBot,Claude-SearchBot,Claude-User— AnthropicPerplexityBot,Perplexity-User— PerplexityGoogle-Extended— Nutzungserlaubnis für Googles KI-ProdukteApplebot-Extended,Meta-ExternalAgent,CCBot
Beispiel für Freigaben
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: *
Disallow: /adminDarauf sollten Sie achten
- Sperren Sie Admin-Bereich, Warenkorb und persönliche Seiten; lassen Sie öffentliche Inhalte offen.
- Prüfen Sie, ob Ihr CDN oder Ihre Firewall (z. B. Bot-Schutz) diese Bots separat blockiert.
- Eine Freigabe kann auch die Zustimmung zur Nutzung Ihrer Inhalte für das Modelltraining bedeuten; treffen Sie diese Entscheidung bewusst.
Mit dem kostenlosen KI-Sichtbarkeitstest sehen Sie, für welche Bots Ihre Website offen ist.
KIEOSA
Ist Ihre Website bereit für KI?
Prüfen Sie 30 Signale kostenlos und sehen Sie sofort Ihren Score.