Generator robots.txt

Buat file robots.txt dengan grup user-agent, path yang diblokir, dan sitemap opsional.

Di perangkat Anda · Tanpa akun

Generator robots.txt memproses masukan Anda di browser ini. Masukan dan hasil tidak disertakan dalam analitik. Daftar alat terbaru menyimpan nama alat, jumlah kunjungan, dan waktu kunjungan terakhir. Daftar alat tersimpan hanya menyimpan namanya. Penyimpanan draf bersifat opsional dan tetap berada di perangkat ini; hapus teks tersimpan melalui kontrol draf. Memuat teks dari URL bersifat opsional dan menghubungi server tersebut; server dapat melihat URL itu dan alamat IP Anda. Tindakan opsional “Gunakan di” menyimpan data yang akan diteruskan dalam tab ini. Alat berikutnya menghapus data itu saat dibuka dan mengabaikannya jika sudah lebih dari satu menit.

Salin tautan menyertakan masukan yang Anda pilih untuk dibagikan dalam alamat tautan. Siapa pun yang memiliki tautan itu dapat membuka kembali masukan tersebut. File dan hasil yang dihasilkan tidak disertakan. Alat kata sandi dan kunci hanya membagikan pengaturan.

Bahasa Indonesia

Path yang dilarang, satu per baris

Opsi tambahan

User-agent

URL sitemap (opsional)

Hasil

Lainnya

Pintasan keyboard

Tentang tautan dan reset

Tautan memuat input dan pengaturan Anda. Siapa pun yang memiliki tautan dapat melihatnya, jadi jangan sertakan teks pribadi. File dan hasil yang dibuat tidak disertakan; pengacakan akan dijalankan ulang.

Reset memuat ulang alat dengan nilai awalnya serta melepaskan file yang terbuka dan kontrol perangkat. Draf tersimpan tetap ada di perangkat ini sampai Anda menghapusnya.

Cara menggunakan

Generator robots.txt menulis satu grup user-agent dan memeriksa sintaks path sebelum ekspor. Daftar disallow yang kosong membiarkan crawler yang dipilih mengakses path tanpa pembatasan.

Berikutnya: Generator meta tag

Contoh

Baris Disallow untuk /private/ meminta crawler yang cocok agar tidak mengakses path dengan awalan tersebut.

Sebelum menggunakan hasil

Robots.txt bersifat publik dan kepatuhannya sukarela. File ini tidak melindungi file pribadi atau menjamin penghapusan dari hasil pencarian. Publikasikan di direktori utama situs; kontrol akses dan arahan pengindeksan perlu ditentukan secara terpisah.

Diperbarui 7 Oktober 2026

Kutip halaman ini

Gaya sitasi

ToolOctopus. “Generator robots.txt.” Diperbarui 7 Oktober 2026. https://tooloctopus.com/id/generator-robots-txt.

Tambahkan tanggal akses jika pedoman yang Anda ikuti mewajibkannya.

Format sitasi menggunakan citeproc-js buatan Frank Bennett dan gaya Citation Style Language. Lisensi dan kode sumber.