robots.txt لزواحف الذكاء الاصطناعي: ماذا تسمح وتحظر

معظم المواقع التي تختفي من إجابات ChatGPT فعلت ذلك بنفسها. قرأ أحدهم عنواناً عن كشط الذكاء الاصطناعي، فلصق كتلة قواعد Disallow: / في ملف robots.txt، وأغلق الباب أيضاً أمام البوتات التي تجلب الصفحات حين يسأل عميل سؤالاً.

الإصلاح يستغرق عشر دقائق، لكن عليك أن تعرف أن كل شركة ذكاء اصطناعي تشغّل أكثر من بوت، وأن لكل بوت وظيفة مختلفة.

جدول المحتويات

بوتات التدريب وبوتات الإجابة ليست شيئاً واحداً

كل شركة ذكاء اصطناعي كبرى تفصل اليوم الزحف بحسب الغرض. راجعت وثائق كل مزوّد بنفسي قبل أن أكتب هذا.

أمران بشأن هذا الجدول. Google-Extended ليس له سلسلة user agent خاصة به، لذلك لا يظهر أبداً في سجلات خادمك. أما ChatGPT-User فهو الاستثناء: لأن إنساناً طلب الصفحة، تقول OpenAI إنه قد لا يتبع robots.txt إطلاقاً.

القرار: ثلاثة إعدادات

1. باب مفتوح. اسمح بكل شيء. هذا ما أستخدمه في هذا الموقع، وكل بوت أعلاه مضبوط على Allow: /. أريد أن يُستشهد بي، وأفضّل أن أُقتبس على أن أُحمى.

2. خارج التدريب، داخل الإجابات. احظر GPTBot وClaudeBot وGoogle-Extended. واسمح لـ OAI-SearchBot وChatGPT-User وClaude-SearchBot وClaude-User وPerplexityBot. يناسب الناشرين الذين يبيعون أرشيفهم أو يخشون إعادة الاستخدام، ومع ذلك يريدون الظهور حين يسأل أحدهم.

3. باب مغلق. احظرها كلها. افعل ذلك فقط إذا لم تكن لظهورك في الذكاء الاصطناعي أي قيمة، مثل منتج أبحاث مدفوع يُباع عبر مكالمة مبيعات. كل الآخرين يبدّلون قابلية الاكتشاف بشعور بالتحكم.

بالنسبة لعميل وكالة أو نشاط محلي، يكون الخيار 1 أو 2 صحيحاً في الغالب. أما الإعداد 3 فنادراً ما يكون قراراً فكّر فيه أحد فعلاً.

الملف للخيار 2

أضف هذه الأسطر إلى ملف robots.txt الحالي. لا تستبدل الملف، فسطر خريطة الموقع وقواعد Googlebot وBingbot يجب أن تبقى.

# Training: opted out
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# Search and live answers: allowed
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

إن كنت لا تريد التعديل يدوياً، ففي مولّد robots.txt للذكاء الاصطناعي مفتاح لكل بوت، ويعطيك الأسطر الجاهزة للصق.

تأكد أنه يعمل فعلاً

1. افتح https://yourdomain.com/robots.txt في المتصفح. يجب أن يُحمَّل نصاً عادياً من جذر النطاق، مرة لكل نطاق فرعي.
2. مرّر موقعك عبر أداة فحص وصول زواحف الذكاء الاصطناعي لترى أي البوتات تسمح لها قواعدك بالدخول.
3. انتظر. تقول OpenAI إن أنظمتها قد تستغرق نحو 24 ساعة للتكيّف بعد تحديث robots.txt.
4. تأكد أن جدار الحماية أو شبكة CDN لا يحظران البوتات رغم ذلك. كتابة Allow في robots.txt لا تنفع إن كانت قاعدة حماية من البوتات تعيد 403 للزاحف نفسه. هذا أول ما سأبحث عنه حين يسمح موقع لبوتات الذكاء الاصطناعي ومع ذلك لا يحصل على اقتباسات.

ما لا ينبغي فعله

• لا تحظر بعنوان IP. تحذّر وثائق Anthropic من أن حظر عناوين IP قد لا يضمن الاستبعاد بشكل موثوق، لأنه قد يمنع البوت من قراءة robots.txt أصلاً.
• لا تعامل robots.txt كأنه أمان. إنه طلب تحترمه البوتات المعروفة حسنة السلوك. أما الكاشطات التي تتجاهله فتحتاج إلى قواعد على مستوى الخادم.
• لا تستخدم robots.txt لإخراج صفحات من Google. هذه مهمة noindex.
• Crawl-delay ليس معياراً. تقول Anthropic إن ClaudeBot يدعمه. لا تفترض أن كل البوتات تفعل.

ملف آخر يستحق النشر

بعد أن تفتح الأبواب، أخبر البوتات أين الصفحات الجيدة. لهذا وُجد llms.txt، وفي مقالي عمّا إذا كان يحرّك الاقتباسات فعلاً ما أتوقعه منه. ولتعرف إن كان كل هذا يؤتي ثماره، قِس حركة زيارات البحث بالذكاء الاصطناعي.