JavaScript वाली साइट पर क्रॉलर क्या पढ़ सकता है?
ब्राउज़र में पेज पूरा दिखता है, पर हो सकता है कि सर्वर से सबसे पहले मिले HTML में लगभग कुछ न हो। ऐसे पेज पर टेक्स्ट और बाकी हिस्से JavaScript बाद में जोड़ता है। इससे यह नतीजा न निकालें कि सर्च इंजन साइट पढ़ ही नहीं सकता। Google JavaScript चला सकता है, लेकिन सब क्रॉलरों की क्षमता एक जैसी नहीं होती।
ब्राउज़र में दिख रहे पेज को सर्वर के HTML से मिलाएँ
पहले तय करें कि पेज की कौन-सी जानकारी ग्राहक के लिए ज़रूरी है: शीर्षक, सेवा का विवरण, कीमत की शर्तें, सेवा का इलाका और लिंक। डेवलपर से जाँच करवाएँ कि यह जानकारी सर्वर के HTML में मौजूद है या बाद में जुड़ती है। HTML सहेजने के लिए यह कमांड काफ़ी है:
curl -L https://example.com/service/ -o page.html
सहेजी गई फ़ाइल में पेज का असली टेक्स्ट खोजें। सिर्फ़ स्क्रिप्ट का नाम मिले तो वह काफ़ी नहीं। सर्वर का स्टेटस कोड और रीडायरेक्ट भी देखें: 403 का मतलब हो सकता है कि पहुँच रोकी गई है, 429 का कि अनुरोधों की सीमा पार हो गई। ये दोनों उस स्थिति से अलग समस्याएँ हैं जहाँ सर्वर 200 लौटाता है, पर सामग्री पढ़ने के लिए JavaScript चलाना पड़ता है। परीक्षण में User-Agent बदल देने से आपका अनुरोध असली क्रॉलर का अनुरोध नहीं बन जाता।
ज़रूरत के हिसाब से सुधारें
स्टैटिक जनरेशन या सर्वर पर रेंडरिंग से पेज का मुख्य सार्वजनिक टेक्स्ट सर्वर के पहले जवाब में ही मिल सकता है। फ़ॉर्म और कैलकुलेटर JavaScript पर चलते रह सकते हैं। पूरी साइट दोबारा बनाना हमेशा ज़रूरी नहीं।
सुधार के बाद सर्वर के HTML और ब्राउज़र के पेज को फिर से मिलाएँ। टेक्स्ट, अंदरूनी लिंक और मुख्य पेज का पता बताने वाला canonical URL जाँचें। जिस सर्च इंजन की बात है, उसका पेज जाँचने वाला टूल और सर्वर लॉग भी देखें। इससे इतना पता चलेगा कि जाँच के समय पेज पढ़ा जा सकता था या नहीं। आगे किसी AI जवाब में उसका लिंक आएगा, इसकी गारंटी इससे नहीं मिलती।
स्रोत और आगे की जानकारी
प्रकाशित: · geo-rank.ai संपादकीय टीम द्वारा जाँचा गया · हम कैसे जाँचते हैं