Robots.txt-Generator

Erstelle eine robots.txt-Datei mit einer User-agent-Gruppe, gesperrten Pfaden und einer optionalen Sitemap.

Auf deinem Gerät · Ohne Konto

Robots.txt-Generator verarbeitet deine Eingaben in diesem Browser. Eingaben und Ergebnisse werden nicht in Analysedaten erfasst. Zuletzt verwendete Tools speichern Tool-Namen, Besuchszahlen und den Zeitpunkt des letzten Besuchs. Gespeicherte Tools speichern nur ihre Namen. Das Speichern von Entwürfen ist optional und erfolgt auf diesem Gerät; gespeicherten Text kannst du über die Entwurfsfunktionen löschen. Das optionale Laden von Text über eine URL stellt eine Verbindung zum jeweiligen Server her; der Server sieht die URL und deine IP-Adresse. Die optionale Aktion „Verwenden in“ speichert Daten zur Übergabe in diesem Tab. Das nächste Tool entfernt sie beim Öffnen und ignoriert sie, wenn mehr als eine Minute vergangen ist.

„Link kopieren“ nimmt die von dir zum Teilen ausgewählten Eingaben in die Adresse auf. Alle mit diesem Link können sie erneut öffnen. Dateien und erzeugte Ergebnisse sind nicht enthalten. Passwort- und Schlüssel-Tools teilen nur Einstellungen.

Deutsch

Gesperrte Pfade, einer pro Zeile

Weitere Optionen

User-agent

Sitemap-URL (optional)

Dein Ergebnis

Mehr

Tastenkürzel

Über Links und Zurücksetzen

Links enthalten deine Eingaben und Einstellungen. Wer den Link hat, kann sie sehen. Lass private Texte deshalb weg. Dateien und erzeugte Ergebnisse sind nicht enthalten; Zufallsauswahlen werden erneut ausgeführt.

Beim Zurücksetzen wird das Tool mit den Ausgangswerten neu geladen. Offene Dateien und Gerätesteuerungen werden freigegeben. Gespeicherte Entwürfe bleiben auf diesem Gerät, bis du sie löschst.

So funktioniert es

Der Robots.txt-Generator erstellt eine User-agent-Gruppe und prüft die Pfadsyntax vor dem Export. Bleibt die Disallow-Liste leer, darf der ausgewählte Crawler alle Pfade crawlen.

Als Nächstes: Meta-Tag-Generator

Beispiel

Eine Disallow-Zeile für /private/ bittet passende Crawler, keine Pfade mit diesem Präfix abzurufen.

Hinweise zum Ergebnis

Robots.txt ist öffentlich, und die Befolgung ist freiwillig. Die Datei schützt keine privaten Dateien und garantiert keine Entfernung aus Suchergebnissen. Veröffentliche sie im Stammverzeichnis der Website. Zugriffsschutz und Indexierungsanweisungen müssen separat festgelegt werden.

Aktualisiert 7. Oktober 2026

Diese Seite zitieren

Zitierstil

ToolOctopus. “Robots.txt-Generator.” Aktualisiert 7. Oktober 2026. https://tooloctopus.com/de/robots-txt-generator.

Ergänze ein Abrufdatum, wenn deine Vorgaben das verlangen.

Die Quellenangaben werden mit citeproc-js von Frank Bennett und Zitierstilen der Citation Style Language formatiert. Lizenz und Quellcode.