Como funciona
O gerador de robots.txt cria um grupo user-agent e verifica a sintaxe dos caminhos antes de exportar. Uma lista Disallow vazia deixa o rastreamento sem restrições para o agente selecionado.
Exemplo
Uma linha Disallow para /private/ solicita aos rastreadores correspondentes que não acessem caminhos com esse prefixo.
Antes de usar o resultado
O robots.txt é público e seu cumprimento é voluntário. Ele não protege arquivos privados nem garante a remoção dos resultados de busca. Publique-o na raiz do site; o controle de acesso e as diretivas de indexação são decisões separadas.
Atualizado
Como citar esta página
ToolOctopus. “Gerador de robots.txt.” Atualizado 7 de outubro de 2026. https://tooloctopus.com/pt/gerador-de-robots-txt.
Inclua a data de acesso se as suas instruções exigirem.
As citações são formatadas com citeproc-js, de Frank Bennett, e estilos da Citation Style Language. Licença e código-fonte.