Pemeriksa akses crawler pada sitemap dan robots

Periksa URL sitemap berdasarkan aturan robots yang ditempel.

Di perangkat Anda · Tanpa akun

Pemeriksa akses crawler pada sitemap dan robots memproses masukan Anda di browser ini. Masukan dan hasil tidak disertakan dalam analitik. Daftar alat terbaru menyimpan nama alat, jumlah kunjungan, dan waktu kunjungan terakhir. Daftar alat tersimpan hanya menyimpan namanya. Penyimpanan draf bersifat opsional dan tetap berada di perangkat ini; hapus teks tersimpan melalui kontrol draf. Memuat teks dari URL bersifat opsional dan menghubungi server tersebut; server dapat melihat URL itu dan alamat IP Anda. Tindakan opsional “Gunakan di” menyimpan data yang akan diteruskan dalam tab ini. Alat berikutnya menghapus data itu saat dibuka dan mengabaikannya jika sudah lebih dari satu menit.

Salin tautan menyertakan masukan yang Anda pilih untuk dibagikan dalam alamat tautan. Siapa pun yang memiliki tautan itu dapat membuka kembali masukan tersebut. File dan hasil yang dihasilkan tidak disertakan. Alat kata sandi dan kunci hanya membagikan pengaturan.

Bahasa Indonesia

Data masukan

robots.txt untuk origin sitemap

Opsi dan file di perangkat ini

Token produk crawler

Buka file teks di perangkat ini

Pengaturan opsional hanya berlaku di tab ini.

Hasil

Lainnya

Pintasan keyboard

Tentang tautan dan reset

Tautan memuat input dan pengaturan Anda. Siapa pun yang memiliki tautan dapat melihatnya, jadi jangan sertakan teks pribadi. File dan hasil yang dibuat tidak disertakan; pengacakan akan dijalankan ulang.

Reset memuat ulang alat dengan nilai awalnya serta melepaskan file yang terbuka dan kontrol perangkat. Draf tersimpan tetap ada di perangkat ini sampai Anda menghapusnya.

Cara memeriksa akses crawler pada sitemap dan robots

Tempel sitemap dan teks robots.txt untuk origin-nya guna melihat URL mana yang boleh diminta crawler pilihan Anda menurut aturan tersebut. Laporan menunjukkan aturan yang cocok dan URL duplikat. Grup crawler tertentu lebih diprioritaskan daripada grup wildcard. Jika tingkat kekhususannya sama, aturan Allow diutamakan.

Berikutnya: Pengurai URL

Contoh

Disallow: /private/ memblokir /private/draft untuk grup wildcard. Allow: /private/public$ mengizinkan tepat path tersebut jika menjadi kecocokan paling spesifik.

Sebelum menggunakan hasil

Alat ini memeriksa aturan secara lokal, bukan melakukan perayapan langsung atau menentukan status pengindeksan. Respons HTTP, noindex, tag canonical, JavaScript, dan pembatasan akses tidak diperiksa. Indeks sitemap harus dibuka sebagai sitemap anak satu per satu terlebih dahulu. Semua URL masukan harus berasal dari satu origin. Tidak ada URL yang diakses.

Berikutnya: Pemformat XML

Diperbarui 7 Oktober 2026

Kutip halaman ini

Gaya sitasi

ToolOctopus. “Pemeriksa akses crawler pada sitemap dan robots.” Diperbarui 7 Oktober 2026. https://tooloctopus.com/id/pemeriksa-akses-crawler-pada-sitemap-dan-robots.

Tambahkan tanggal akses jika pedoman yang Anda ikuti mewajibkannya.

Format sitasi menggunakan citeproc-js buatan Frank Bennett dan gaya Citation Style Language. Lisensi dan kode sumber.