इस्तेमाल कैसे करें
robots.txt जनरेटर एक यूज़र एजेंट समूह लिखता है और एक्सपोर्ट से पहले पाथ का सिंटैक्स जांचता है। रोकने वाले पाथ की सूची खाली रखने पर चुने गए एजेंट की क्रॉलिंग पर कोई रोक नहीं रहती।
उदाहरण
/private/ के लिए Disallow लाइन, संबंधित क्रॉलर से इस शुरुआत वाले पाथ का अनुरोध न करने को कहती है।
नतीजे का इस्तेमाल करने से पहले
robots.txt सार्वजनिक है और उसका पालन स्वैच्छिक है। यह निजी फ़ाइलों की सुरक्षा नहीं करता और खोज परिणामों से हटने की गारंटी नहीं देता। इसे साइट की रूट डायरेक्टरी में प्रकाशित करें; एक्सेस नियंत्रण और इंडेक्सिंग के निर्देश अलग फैसले हैं।
इस पेज का संदर्भ दें
ToolOctopus. “robots.txt जनरेटर.” अपडेट किया गया 7 अक्टूबर 2026. https://tooloctopus.com/hi/robots-txt-जनरेटर.
अगर आपके निर्देशों में ज़रूरी हो, तो पेज देखने की तारीख भी जोड़ें.
संदर्भों का प्रारूप बनाने के लिए Frank Bennett की citeproc-js लाइब्रेरी और Citation Style Language की शैलियों का इस्तेमाल होता है. लाइसेंस और सोर्स कोड.