robots.txt وروبوتات الذكاء الاصطناعي: لا تغلق الباب عن غير قصد

تحظر مواقع كثيرة زواحف الذكاء الاصطناعي دون علم بسبب الإعدادات الافتراضية لقالب أو إضافة أمان. وإذا لم يستطع الروبوت قراءة موقعك يصعب على المساعد تقديم معلومات محدّثة عنك.

أهم زواحف الذكاء الاصطناعي

• GPTBot, OAI-SearchBot, ChatGPT-User — OpenAI
• ClaudeBot, Claude-SearchBot, Claude-User — Anthropic
• PerplexityBot, Perplexity-User — Perplexity
• Google-Extended — إذن الاستخدام في منتجات Google للذكاء الاصطناعي
• Applebot-Extended, Meta-ExternalAgent, CCBot

مثال على السماح

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: *
Disallow: /admin

ما يجب الانتباه إليه

• احظر لوحة الإدارة وسلة الشراء والصفحات الشخصية، واترك المحتوى العام مفتوحًا.
• تأكد أن شبكة التوزيع أو جدار الحماية (مثل الحماية من الروبوتات) لا يحظر هذه الروبوتات بشكل منفصل.
• قد يعني السماح أيضًا الموافقة على استخدام محتواك في تدريب النماذج؛ اتخذ هذا القرار عن وعي.

يمكنك معرفة الروبوتات المسموح لها بالوصول إلى موقعك عبر اختبار الظهور المجاني في الذكاء الاصطناعي.