Generador de robots.txt
Crea gratis un archivo robots.txt para tu sitio web. Añade grupos de user-agent con reglas allow y disallow, define un crawl-delay y enlaza tu sitemap, luego copia o descarga el archivo. Todo se ejecuta en tu navegador, sin enviar nada a servidores.
Una ruta por línea, por ejemplo /admin
User-agent: * Disallow:
Cómo usar
- 1Define el user-agent y las rutas a permitir o bloquear.
- 2Añade más grupos o la URL de tu sitemap si lo necesitas.
- 3Copia o descarga el robots.txt generado.
Para qué sirve
- Bloquear a los rastreadores en carpetas de administración o privadas.
- Indicar tu sitemap a los motores de búsqueda.
- Definir reglas distintas para distintos bots.
- Crear un robots.txt inicial para un sitio nuevo.
Preguntas frecuentes
¿La herramienta es gratuita?
Sí. Es completamente gratuita y sin límites de uso.
¿Dónde pongo el archivo robots.txt?
Súbelo a la raíz de tu dominio para que esté disponible en https://tudominio.com/robots.txt. Es el único lugar donde lo buscan los rastreadores.
¿Qué significa un Disallow vacío?
Una línea 'Disallow:' en blanco permite todo para ese user-agent. Para bloquear una ruta, añádela después de Disallow, como '/admin'.
¿El robots.txt garantiza que una página quede privada?
No. Pide a los rastreadores que se portan bien que no rastreen una ruta, pero no oculta ni protege la página. Usa autenticación o noindex para contenido realmente privado.
¿Necesito una cuenta?
No. La herramienta funciona al instante, sin registro ni inicio de sesión.