robots.txt 与 AI 爬虫：别不小心把门关上

许多网站因为主题或安全插件的默认设置，在不知情的情况下屏蔽了 AI 爬虫。爬虫读不到您的网站，助手就很难提供关于您的最新信息。

重要的 AI 爬虫

• GPTBot, OAI-SearchBot, ChatGPT-User — OpenAI
• ClaudeBot, Claude-SearchBot, Claude-User — Anthropic
• PerplexityBot, Perplexity-User — Perplexity
• Google-Extended — 用于 Google AI 产品的使用许可
• Applebot-Extended, Meta-ExternalAgent, CCBot

放行示例

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: *
Disallow: /admin

注意事项

• 屏蔽管理后台、购物车和个人页面；公开内容保持开放。
• 检查 CDN 或防火墙（如防爬虫保护）是否单独屏蔽了这些爬虫。
• 放行也可能意味着同意内容被用于模型训练，请慎重决定。

您可以通过免费 AI 可见度测试查看网站对哪些爬虫开放。