Cum funcționează verificarea sitemap și robots.txt
Lipește un sitemap și textul robots.txt pentru originea sa ca să vezi ce URL-uri din listă poate solicita crawlerul selectat conform acelor reguli. Raportul identifică regula aplicabilă și duplicatele. Grupurile pentru crawlere specifice au prioritate față de grupul cu wildcard; la același grad de specificitate, regulile Allow au prioritate.
Exemplu
Disallow: /private/ blochează /private/draft pentru grupul cu wildcard. Allow: /private/public$ permite exact acea cale când este regula aplicabilă cea mai specifică.
Înainte de a folosi rezultatul
Este o verificare locală a regulilor, nu o accesare live de către un crawler sau un verdict privind indexarea. Nu verifică răspunsuri HTTP, noindex, etichete canonical, JavaScript sau restricții de acces. Pentru un index de sitemap-uri, deschide mai întâi fiecare sitemap individual. Toate URL-urile introduse trebuie să aibă aceeași origine; niciun URL nu este accesat.
Actualizat
Citează această pagină
ToolOctopus. “Verificare sitemap și robots.txt.” Actualizat 7 octombrie 2026. https://tooloctopus.com/ro/verificare-sitemap-și-robots-txt.
Adaugă data accesării dacă instrucțiunile tale de citare o cer.
Citările sunt formatate cu citeproc-js, creat de Frank Bennett, și cu stiluri Citation Style Language. Licență și cod sursă.