Fonctionnement
Le générateur écrit un seul groupe user-agent et vérifie la syntaxe des chemins avant l’exportation. Une liste Disallow vide laisse l’exploration sans restriction pour le robot sélectionné.
Exemple
Une ligne Disallow pour /private/ demande aux robots concernés de ne pas envoyer de requêtes vers les chemins commençant par ce préfixe.
Avant d’utiliser le résultat
Le fichier robots.txt est public et son respect est volontaire. Il ne protège pas les fichiers privés et ne garantit pas leur retrait des résultats de recherche. Publiez-le à la racine du site ; le contrôle d’accès et les directives d’indexation se règlent séparément.
Mis à jour
Citer cette page
ToolOctopus. “Générateur de robots.txt.” Mis à jour 7 octobre 2026. https://tooloctopus.com/fr/générateur-de-robots-txt.
Ajoutez une date de consultation si vos consignes l’exigent.
Les références sont mises en forme avec citeproc-js, de Frank Bennett, et les styles Citation Style Language. Licence et code source.