Cómo funciona
El generador de robots.txt escribe un grupo user-agent y comprueba la sintaxis de las rutas antes de exportar. Una lista Disallow vacía deja el rastreo sin restricciones para el agente seleccionado.
Ejemplo
Una línea Disallow para /private/ pide a los rastreadores correspondientes que no soliciten rutas con ese prefijo.
Antes de usar el resultado
Robots.txt es público y su cumplimiento es voluntario. No protege archivos privados ni garantiza que se eliminen resultados de búsqueda. Publícalo en la raíz del sitio; el control de acceso y las directivas de indexación son decisiones aparte.
Actualizado
Citar esta página
ToolOctopus. “Generador de robots.txt.” Actualizado 7 de octubre de 2026. https://tooloctopus.com/es/generador-de-robots-txt.
Añade la fecha de consulta si tus instrucciones lo requieren.
Las citas se formatean con citeproc-js, de Frank Bennett, y estilos de Citation Style Language. Licencia y código fuente.