Gerador de robots.txt
Cria um ficheiro robots.txt para o teu site de graça. Adiciona grupos de user-agent com regras allow e disallow, define um crawl-delay e liga o teu sitemap, depois copia ou descarrega o ficheiro. Tudo corre no teu browser, sem nada ser enviado para servidores.
Um caminho por linha, por exemplo /admin
User-agent: * Disallow:
Como usar
- 1Define o user-agent e os caminhos a permitir ou bloquear.
- 2Adiciona mais grupos ou o URL do teu sitemap se precisares.
- 3Copia ou descarrega o robots.txt gerado.
Para que serve
- Bloquear os crawlers em pastas de admin ou privadas.
- Indicar o teu sitemap aos motores de busca.
- Definir regras diferentes para bots diferentes.
- Criar um robots.txt inicial para um site novo.
Perguntas frequentes
A ferramenta é gratuita?
Sim. É totalmente gratuita e sem limites de utilização.
Onde coloco o ficheiro robots.txt?
Carrega-o na raiz do teu domínio para ficar acessível em https://teudominio.com/robots.txt. É o único sítio onde os crawlers o procuram.
O que significa um Disallow vazio?
Uma linha 'Disallow:' em branco permite tudo para esse user-agent. Para bloquear um caminho, adiciona-o depois de Disallow, como '/admin'.
O robots.txt garante que uma página fica privada?
Não. Pede aos crawlers que se comportam bem para não rastrearem um caminho, mas não esconde nem protege a página. Usa autenticação ou noindex para conteúdo realmente privado.
Preciso de conta?
Não. A ferramenta funciona logo, sem registo nem início de sessão.