साइटमैप और robots नियम कैसे जाँचें
साइटमैप और उसके ओरिजिन का robots.txt टेक्स्ट पेस्ट करें. देखें कि चुना गया क्रॉलर उन नियमों के तहत सूची के किन URL पर रिक्वेस्ट भेज सकता है. रिपोर्ट मैच करने वाला नियम और दोहराए गए URL दिखाती है. किसी खास क्रॉलर के समूह को वाइल्डकार्ड समूह से प्राथमिकता मिलती है. समान विशिष्टता वाले नियमों में Allow को प्राथमिकता मिलती है.
उदाहरण
Disallow: /private/ वाइल्डकार्ड समूह के लिए /private/draft को रोकता है. Allow: /private/public$ ठीक उसी पाथ को अनुमति देता है, जब यह सबसे विशिष्ट मैच हो.
नतीजे का इस्तेमाल करने से पहले
यह स्थानीय नियमों की जाँच है, लाइव क्रॉल या इंडेक्सिंग का निर्णय नहीं. यह HTTP रिस्पॉन्स, noindex, कैनॉनिकल टैग, JavaScript या पहुँच की पाबंदियाँ नहीं जाँचता. साइटमैप इंडेक्स के हर चाइल्ड साइटमैप को पहले अलग से खोलना चाहिए. सभी इनपुट URL का ओरिजिन एक ही होना चाहिए. किसी URL से संपर्क नहीं किया जाता.
अपडेट किया गया
इस पेज का संदर्भ दें
ToolOctopus. “साइटमैप और robots नियमों की जाँच.” अपडेट किया गया 7 अक्टूबर 2026. https://tooloctopus.com/hi/साइटमैप-और-robots-नियमों-की-जाँच.
अगर आपके निर्देशों में ज़रूरी हो, तो पेज देखने की तारीख भी जोड़ें.
संदर्भों का प्रारूप बनाने के लिए Frank Bennett की citeproc-js लाइब्रेरी और Citation Style Language की शैलियों का इस्तेमाल होता है. लाइसेंस और सोर्स कोड.