איך משתמשים
מחולל robots.txt יוצר קבוצת user-agent אחת ובודק את תחביר הנתיבים לפני הייצוא. רשימת איסורים ריקה משאירה את הסריקה ללא הגבלות עבור הסורק שנבחר.
דוגמה
שורת Disallow עבור /private/ מבקשת מסורקים תואמים שלא לבקש נתיבים שמתחילים בקידומת הזאת.
לפני השימוש בתוצאה
קובץ robots.txt גלוי לציבור, והציות לו נתון לבחירת הסורקים. הוא אינו מגן על קבצים פרטיים ואינו מבטיח הסרה מתוצאות החיפוש. פרסמו אותו בשורש האתר; בקרת גישה והוראות לאינדוקס דורשות הגדרות נפרדות.
עודכן
ציטוט העמוד
ToolOctopus. “מחולל robots.txt.” עודכן 7 באוקטובר 2026. https://tooloctopus.com/he/מחולל-robots-txt.
אם ההנחיות דורשות זאת, יש להוסיף תאריך גישה.
הציטוטים מעוצבים באמצעות citeproc-js של Frank Bennett וסגנונות Citation Style Language. רישיון וקוד מקור.