AI क्रॉलर के लिए robots.txt: क्या खोलें, क्या रोकें

ChatGPT के जवाबों से गायब होने वाली ज़्यादातर साइटों ने यह खुद किया है। किसी ने AI स्क्रेपिंग की सुर्खी पढ़ी, robots.txt में Disallow: / नियमों का पूरा ब्लॉक चिपका दिया, और उन बॉट को भी बाहर कर दिया जो ग्राहक के सवाल पूछने पर पेज उठाते हैं।

ठीक करने में दस मिनट लगते हैं, बशर्ते आप जानते हों कि हर AI कंपनी एक से ज़्यादा बॉट चलाती है और उनके काम अलग-अलग हैं।

विषय-सूची

ट्रेनिंग बॉट और जवाब देने वाले बॉट एक चीज़ नहीं हैं

आज हर बड़ी AI कंपनी अपनी क्रॉलिंग को मक़सद के हिसाब से बाँटती है। यह लिखने से पहले मैंने हर कंपनी का अपना दस्तावेज़ देखा।

इस तालिका के बारे में दो बातें। Google-Extended की अपनी user agent स्ट्रिंग नहीं है, इसलिए वह आपके सर्वर लॉग में कभी नहीं दिखता। और ChatGPT-User अपवाद है: पेज इंसान ने माँगा है, इसलिए OpenAI के अनुसार वह robots.txt बिल्कुल न माने।

फ़ैसला: तीन सेटअप

1. खुला दरवाज़ा। सब कुछ अनुमति दें। इस साइट पर मैं यही चलाता हूँ, ऊपर का हर बॉट Allow: / पर है। मैं चाहता हूँ कि मुझे उद्धृत किया जाए, और सुरक्षित रहने से ज़्यादा मुझे उद्धृत होना पसंद है।

2. ट्रेनिंग से बाहर, जवाबों में मौजूद। GPTBot, ClaudeBot और Google-Extended रोकें। OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User और PerplexityBot को अनुमति दें। यह उन प्रकाशकों के लिए ठीक है जो अपना आर्काइव बेचते हैं या दोबारा इस्तेमाल से डरते हैं, फिर भी चाहते हैं कि सवाल पूछे जाने पर वे दिखें।

3. बंद दरवाज़ा। सबको रोक दें। यह तभी करें जब AI में दिखने की आपके लिए कोई कीमत न हो, जैसे सेल्स कॉल से बिकने वाला पेड रिसर्च प्रोडक्ट। बाकी सब लोग खोजे जाने की क्षमता देकर नियंत्रण का एहसास खरीद रहे हैं।

एजेंसी के क्लाइंट या स्थानीय कारोबार के लिए लगभग हमेशा 1 या 2 सही रहता है। सेटअप 3 शायद ही कभी ऐसा फ़ैसला होता है जिसके बारे में किसी ने सचमुच सोचा हो।

विकल्प 2 के लिए फ़ाइल

ये पंक्तियाँ अपने मौजूदा robots.txt में जोड़ें। फ़ाइल को बदलें नहीं, क्योंकि आपकी sitemap वाली पंक्ति और Googlebot व Bingbot के नियम बने रहने चाहिए।

# Training: opted out
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# Search and live answers: allowed
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

अगर हाथ से नहीं बदलना चाहते, तो AI robots.txt जनरेटर में हर बॉट के लिए एक टॉगल है और वह चिपकाने के लिए तैयार पंक्तियाँ दे देता है।

जाँचें कि यह सचमुच काम करता है

1. ब्राउज़र में https://आपकाडोमेन.com/robots.txt खोलें। यह डोमेन की रूट से सादे टेक्स्ट के रूप में लोड होना चाहिए, हर सबडोमेन के लिए एक बार।
2. अपनी साइट को AI क्रॉलर एक्सेस चेकर में चलाएँ और देखें कि आपके नियम किन बॉट को अंदर आने देते हैं।
3. इंतज़ार करें। OpenAI के अनुसार robots.txt अपडेट के बाद उसके सिस्टम को बदलाव अपनाने में करीब 24 घंटे लग सकते हैं।
4. देखें कि आपका फ़ायरवॉल या CDN फिर भी बॉट को तो नहीं रोक रहा। अगर बॉट-सुरक्षा का कोई नियम उसी क्रॉलर को 403 लौटाता है, तो robots.txt में Allow लिखने से कुछ नहीं होता। जब कोई साइट AI बॉट को «अनुमति» देती है और फिर भी उद्धरण नहीं मिलते, तो मैं सबसे पहले यही जगह देखूँगा।

क्या न करें

• IP पते से न रोकें। Anthropic का दस्तावेज़ चेतावनी देता है कि IP ब्लॉकिंग से ऑप्ट-आउट भरोसेमंद ढंग से नहीं हो सकता, क्योंकि इससे बॉट आपकी robots.txt पढ़ ही नहीं पाएगा।
• robots.txt को सुरक्षा न समझें। यह एक अनुरोध है जिसे नाम बताने वाले, शिष्ट बॉट मानते हैं। इसे अनदेखा करने वाले स्क्रेपर के लिए सर्वर-साइड नियम चाहिए।
• Google से पेज हटाने के लिए robots.txt का इस्तेमाल न करें। वह noindex का काम है।
• Crawl-delay मानक नहीं है। Anthropic कहता है कि ClaudeBot इसे सपोर्ट करता है। यह न मान लें कि हर बॉट करता है।

एक और फ़ाइल जो प्रकाशित करने लायक है

दरवाज़े खुल जाएँ तो बॉट को बताएँ कि अच्छे पेज कहाँ हैं। इसी के लिए llms.txt है, और क्या यह उद्धरण सचमुच बढ़ाता है पर मेरे लेख में है कि मैं इससे क्या उम्मीद रखता हूँ। यह सब काम कर रहा है या नहीं, यह जानने के लिए अपना AI सर्च ट्रैफ़िक मापें।