robots.txt et bots IA : ne fermez pas la porte par erreur
Bloquer des robots comme GPTBot, ClaudeBot ou PerplexityBot peut effacer votre site des réponses de l'IA. Quels bots existent et comment les autoriser ?
· 1 min de lecture · Rédaction Kieosa
Beaucoup de sites bloquent sans le savoir les robots d'IA à cause des réglages par défaut d'un thème ou d'une extension de sécurité. Si un bot ne peut pas lire votre site, l'assistant aura du mal à donner des informations à jour sur vous.
Robots d'IA importants
GPTBot,OAI-SearchBot,ChatGPT-User— OpenAIClaudeBot,Claude-SearchBot,Claude-User— AnthropicPerplexityBot,Perplexity-User— PerplexityGoogle-Extended— autorisation d'utilisation pour les produits IA de GoogleApplebot-Extended,Meta-ExternalAgent,CCBot
Exemple d'autorisation
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: *
Disallow: /adminPoints d'attention
- Bloquez l'administration, le panier et les pages personnelles ; laissez le contenu public ouvert.
- Vérifiez que votre CDN ou pare-feu (protection anti-bots, par exemple) ne bloque pas ces robots séparément.
- Les autoriser peut aussi signifier accepter l'utilisation de votre contenu pour entraîner des modèles ; prenez cette décision en connaissance de cause.
Vous pouvez vérifier à quels bots votre site est ouvert avec le test de visibilité IA gratuit.
KIEOSA
Votre site est-il prêt pour l'IA ?
Analysez 30 signaux gratuitement et voyez votre score tout de suite.