Jak to działa
Generator robots.txt zapisuje jedną grupę user-agent i sprawdza składnię ścieżek przed eksportem. Pusta lista Disallow nie ogranicza przeszukiwania witryny przez wybranego robota.
Przykład
Wiersz Disallow dla /private/ prosi pasujące roboty, aby nie wysyłały żądań do ścieżek zaczynających się od tego prefiksu.
Zanim użyjesz wyniku
Plik robots.txt jest publiczny, a przestrzeganie jego reguł jest dobrowolne. Nie chroni prywatnych plików ani nie gwarantuje usunięcia z wyników wyszukiwania. Opublikuj go w katalogu głównym witryny; kontrola dostępu i dyrektywy indeksowania to osobne kwestie.
Aktualizacja
Jak cytować tę stronę
ToolOctopus. “Generator robots.txt.” Aktualizacja 7 października 2026. https://tooloctopus.com/pl/generator-robots-txt.
Dodaj datę dostępu, jeśli wymagają tego Twoje wytyczne.
Cytowania są formatowane za pomocą biblioteki citeproc-js autorstwa Franka Bennetta oraz stylów Citation Style Language. Licencja i kod źródłowy.