GPTBot, OAI-SearchBot और ChatGPT-User में फ़र्क
OpenAI के ये तीनों बॉट अलग-अलग काम करते हैं। OAI-SearchBot खोज के लिए पेज पढ़ता है, GPTBot ऐसी सामग्री जुटाता है जो मॉडल की ट्रेनिंग में इस्तेमाल हो सकती है, और ChatGPT-User कुछ मामलों में उपयोगकर्ता के कहने पर वेबसाइट खोलता है। OpenAI की सूची में अब OAI-AdsBot भी है। वह उन पेजों को जाँचता है जो ChatGPT में विज्ञापन के लिए भेजे गए हैं; खोज या ट्रेनिंग से उसका कोई संबंध नहीं। इसलिए हर बॉट की पहुँच का फ़ैसला अलग से लें।
ChatGPT Search में मौजूदगी चाहिए तो खोज क्रॉलर की पहुँच देखें। GPTBot की विज़िट यह साबित नहीं करती कि पेज खोज में शामिल हुआ, उद्धृत हुआ या वास्तव में ट्रेनिंग में इस्तेमाल हुआ। लॉग में सिर्फ़ अनुरोध दर्ज होता है; उसके बाद पेज का क्या हुआ, यह नहीं।
पूरी पहुँच जाँचें
अपने डेवलपर से robots.txt, रीडायरेक्ट, सर्वर के जवाब और फ़ायरवॉल या CDN के नियम जाँचने को कहें। robots.txt में अनुमति होने पर भी सुरक्षा जाँच या 403 का जवाब बॉट को रोक सकता है। पेज आपके ब्राउज़र में खुल जाता है, तो इससे यह तय नहीं हो जाता कि बॉट भी उसे पढ़ पा रहा है।
curl से किसी बॉट का User-Agent भेजकर देखा जा सकता है कि सर्वर उस नाम पर क्या जवाब देता है, पर इससे अनुरोध भेजने वाले की असली पहचान साबित नहीं होती। अनुरोध सचमुच OpenAI के क्रॉलर से आया या नहीं, यह आधिकारिक दस्तावेज़ में दिए IP पतों और निर्देशों से जाँचें।
खोज का नतीजा अलग जाँचें
नियम बदलने के बाद देखें कि नए अनुरोधों पर सर्वर कौन-सी सामग्री लौटा रहा है। खोज के जवाबों में पेज दिखता है या नहीं, यह अलग जाँच है। ChatGPT-User के मामले में robots.txt का व्यवहार दूसरे बॉट से अलग हो सकता है, इसलिए नियम लगाने से पहले OpenAI के दस्तावेज़ पढ़ लें। और पहुँच ठीक हो जाने भर से जवाब में लिंक आने की गारंटी नहीं मिलती।
स्रोत और आगे की जानकारी
अपडेट: · प्रकाशित: · geo-rank.ai संपादकीय टीम द्वारा जाँचा गया · हम कैसे जाँचते हैं