robots.txt и ИИ-боты: не закройте дверь случайно

Многие сайты, сами того не зная, блокируют ИИ-краулеры из-за стандартных настроек темы или плагина безопасности. Если бот не может прочитать ваш сайт, ассистенту трудно давать о вас актуальную информацию.

Важные ИИ-краулеры

• GPTBot, OAI-SearchBot, ChatGPT-User — OpenAI
• ClaudeBot, Claude-SearchBot, Claude-User — Anthropic
• PerplexityBot, Perplexity-User — Perplexity
• Google-Extended — разрешение на использование в ИИ-продуктах Google
• Applebot-Extended, Meta-ExternalAgent, CCBot

Пример разрешений

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: *
Disallow: /admin

На что обратить внимание

• Закройте админ-панель, корзину и личные страницы; публичный контент оставьте открытым.
• Проверьте, не блокирует ли эти боты отдельно ваш CDN или файрвол (например, защита от ботов).
• Разрешение может также означать согласие на использование контента для обучения моделей; принимайте это решение осознанно.

Проверить, для каких ботов открыт ваш сайт, можно с помощью бесплатного теста видимости в ИИ.