GPTBot, OAI-SearchBot और ChatGPT-User में फर्क
OpenAI के इन तीन बॉट का काम अलग है। OAI-SearchBot खोज के लिए पेज पढ़ता है। GPTBot ऐसी सामग्री जुटाता है जो मॉडल की ट्रेनिंग में इस्तेमाल हो सकती है। ChatGPT-User कुछ मामलों में उपयोगकर्ता के अनुरोध पर वेबसाइट खोलता है। इसलिए साइट पर इनकी पहुँच के बारे में अलग-अलग फैसला लें।
ChatGPT Search में मौजूदगी चाहिए तो खोज क्रॉलर की पहुँच देखें। GPTBot की विज़िट यह साबित नहीं करती कि पेज खोज में शामिल हुआ, उद्धृत हुआ या वास्तव में प्रशिक्षण में इस्तेमाल हुआ। लॉग अनुरोध दर्ज करता है, उसके बाद का उपयोग नहीं।
पूरी पहुँच जाँचें
अपने डेवलपर से robots.txt, रीडायरेक्ट, सर्वर के जवाब और फ़ायरवॉल या CDN के नियम जाँचने को कहें। robots.txt में अनुमति होने पर भी सुरक्षा जाँच या 403 का जवाब बॉट को रोक सकता है। आपके ब्राउज़र में पेज खुलना इस बात का प्रमाण नहीं है कि बॉट भी उसे पढ़ सकता है।
curl से किसी बॉट का User-Agent भेजकर देखा जा सकता है कि सर्वर उस नाम पर क्या जवाब देता है। इससे अनुरोध भेजने वाले की असली पहचान साबित नहीं होती। वास्तविक OpenAI क्रॉलर की पहचान जाँचते समय आधिकारिक दस्तावेज़ में दिए IP पतों और निर्देशों का इस्तेमाल करें।
खोज का नतीजा अलग जाँचें
नियम बदलने के बाद देखें कि नए अनुरोधों पर सर्वर कौन-सी सामग्री लौटा रहा है। खोज के जवाबों में पेज दिखाई देता है या नहीं, इसकी अलग जाँच करें। ChatGPT-User के लिए robots.txt का व्यवहार दूसरे बॉट से अलग हो सकता है; नियम लगाने से पहले OpenAI के दस्तावेज़ पढ़ें। पहुँच ठीक होने से जवाब में लिंक आने की गारंटी नहीं मिलती।
स्रोत और आगे की जानकारी
संबंधित गाइड
प्रकाशित: · geo-rank.ai संपादकीय टीम द्वारा जाँचा गया · हम कैसे जाँचते हैं