So funktioniert die Prüfung von Sitemap und robots.txt
Füge eine Sitemap und den robots.txt-Text ihres Ursprungs ein. Du siehst, welche aufgeführten URLs der gewählte Crawler nach diesen Regeln abrufen darf. Der Bericht zeigt die jeweils passende Regel und doppelte URLs. Spezifische Crawler-Gruppen haben Vorrang vor der Wildcard-Gruppe. Bei gleicher Spezifität hat eine Allow-Regel Vorrang.
Beispiel
Disallow: /private/ sperrt /private/draft für die Wildcard-Gruppe. Allow: /private/public$ erlaubt genau diesen Pfad, wenn diese Regel der spezifischste Treffer ist.
Hinweise zum Ergebnis
Das Tool prüft Regeln lokal. Es führt keinen Live-Crawl durch und bewertet nicht die Indexierung. HTTP-Antworten, noindex, Canonical-Tags, JavaScript und Zugriffsbeschränkungen werden nicht geprüft. Bei Sitemap-Indizes musst du zuerst die einzelnen enthaltenen Sitemaps öffnen. Alle eingegebenen URLs müssen denselben Ursprung haben. Keine URL wird aufgerufen.
Aktualisiert
Diese Seite zitieren
ToolOctopus. “Sitemap und robots.txt prüfen.” Aktualisiert 7. Oktober 2026. https://tooloctopus.com/de/sitemap-und-robots-txt-prüfen.
Ergänze ein Abrufdatum, wenn deine Vorgaben das verlangen.
Die Quellenangaben werden mit citeproc-js von Frank Bennett und Zitierstilen der Citation Style Language formatiert. Lizenz und Quellcode.