robots.txt y bots de IA: no cierre la puerta por error
Bloquear rastreadores como GPTBot, ClaudeBot y PerplexityBot puede borrar su web de las respuestas de la IA. ¿Qué bots existen y cómo permitirlos?
· 1 min de lectura · Redacción Kieosa
Muchas webs bloquean sin saberlo los rastreadores de IA por los ajustes predeterminados de una plantilla o de un plugin de seguridad. Si un bot no puede leer su web, al asistente le cuesta dar información actualizada sobre usted.
Rastreadores de IA importantes
GPTBot,OAI-SearchBot,ChatGPT-User— OpenAIClaudeBot,Claude-SearchBot,Claude-User— AnthropicPerplexityBot,Perplexity-User— PerplexityGoogle-Extended— permiso de uso para los productos de IA de GoogleApplebot-Extended,Meta-ExternalAgent,CCBot
Ejemplo de permisos
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: *
Disallow: /adminQué tener en cuenta
- Bloquee el panel de administración, el carrito y las páginas personales; deje abierto el contenido público.
- Compruebe que su CDN o cortafuegos (p. ej., protección contra bots) no bloquea estos bots por separado.
- Permitirlos también puede implicar aceptar que su contenido se use para entrenar modelos; tome esta decisión con conocimiento.
Puede comprobar a qué bots está abierta su web con el test gratuito de visibilidad IA.
KIEOSA
¿Está su web lista para la IA?
Analice 30 señales gratis y vea su puntuación al momento.