दो फ़ाइलें, दो अलग काम
Sitemap उन पेजों की सूची है जिनके बारे में आप Google को बताना चाहते हैं। robots.txt क्रॉलर के लिए एक नोट है कि कौन से URL देख सकते हैं। लोग इन दोनों को मिला देते हैं, और यह गड़बड़ी साइट को सर्च से छिपा सकती है।
robots.txt क्या है और क्या नहीं
Google robots.txt को ऐसी फ़ाइल बताता है जो क्रॉलर को बताती है कि वे आपकी साइट पर कौन से URL देख सकते हैं, मुख्य रूप से अनुरोधों से साइट पर बोझ न पड़े इसलिए। यह पेज को Google से बाहर रखने का तरीका नहीं है। ब्लॉक किया पेज बिना विवरण के भी नतीजों में आ सकता है, और disallow किया पेज इंडेक्स हो सकता है अगर दूसरी साइटें उससे लिंक करें। पेज को सर्च से बाहर रखने के लिए noindex या पासवर्ड सुरक्षा इस्तेमाल करें।
यह सुरक्षा का औज़ार भी नहीं है: जो क्रॉलर इसे नहीं मानते वे इससे बंधे नहीं, इसलिए निजी पेजों की सुरक्षा के लिए इस पर भरोसा न करें। और अपने पेजों के लिए ज़रूरी स्क्रिप्ट या स्टाइल फ़ाइलें ब्लॉक न करें, क्योंकि इससे Google पेज को ठीक से समझ नहीं पाता।
Sitemap क्या है और क्या नहीं
Google sitemap को XML, RSS या Atom फ़ीड, या हर पंक्ति में एक पूरे URL वाली सादी टेक्स्ट फ़ाइल के रूप में मानता है। एक sitemap में 50,000 URL तक या 50 MB अनकम्प्रेस्ड हो सकते हैं, और वह UTF-8 होनी चाहिए। इसे साइट की रूट में रखें। Google priority और changefreq मान को अनदेखा करता है, और lastmod तभी इस्तेमाल करता है जब तारीखें लगातार सही हों।
sitemap जमा करना एक संकेत है। Google उसे डाउनलोड करने या उसके हर URL को क्रॉल करने का वादा नहीं करता, इसलिए sitemap खोज में मदद करता है पर इंडेक्सिंग तय नहीं करता।
कैसे जमा करें
Search Console की Sitemaps रिपोर्ट इस्तेमाल करें, या robots.txt में पूरे पते के साथ Sitemap पंक्ति जोड़ें। अगर आपकी साइट किसी प्लेटफ़ॉर्म या प्लगइन से बनी है तो वह शायद sitemap खुद बनाता है; ब्राउज़र में पता खोलकर जाँच लें।
छोटी साइट के लिए सुरक्षित डिफ़ॉल्ट (हमारी सलाह)
- आपके असली पेजों वाला एक sitemap, ताज़ा रखा हुआ।
- छोटा robots.txt जो सब कुछ अनुमति दे और sitemap की ओर इशारा करे।
- जब तक कारण पता न हो, कोई Disallow पंक्ति नहीं।
- अगर डेवलपर बनाते समय पूरी साइट ब्लॉक करने को कहे, तो लॉन्च के दिन उसे हटवाएं, और खुद जाँचें।
यह पोस्ट कैसे बनी: AI ने इसे नीचे दिए आधिकारिक पेजों से ड्राफ़्ट किया, हर आँकड़ा उन्हीं पेजों से मिलाया गया, और Reveaxa टीम ने छापने से पहले इसे मंज़ूर किया। हमारी अपनी सलाह पर साफ़ लिखा है कि वह हमारी सलाह है। स्रोत बदले तो हम पोस्ट और उसकी तारीख़ बदलते हैं।
Reveaxa guide reference: RVX-B-robots-txt-and-sitemap-for-small-sites