Générateur de robots.txt
Créez gratuitement un fichier robots.txt pour votre site web. Ajoutez des groupes de user-agent avec des règles allow et disallow, définissez un crawl-delay et reliez votre sitemap, puis copiez ou téléchargez le fichier. Tout s'exécute dans votre navigateur, sans rien envoyer aux serveurs.
Un chemin par ligne, par exemple /admin
User-agent: * Disallow:
Comment l'utiliser
- 1Définissez le user-agent et les chemins à autoriser ou bloquer.
- 2Ajoutez d'autres groupes ou l'URL de votre sitemap si besoin.
- 3Copiez ou téléchargez le robots.txt généré.
À quoi ça sert
- Empêcher les robots d'explorer les dossiers d'administration ou privés.
- Indiquer votre sitemap aux moteurs de recherche.
- Définir des règles différentes pour différents robots.
- Créer un robots.txt de départ pour un nouveau site.
Questions fréquentes
L'outil est-il gratuit ?
Oui. Il est entièrement gratuit et sans limite d'utilisation.
Où placer le fichier robots.txt ?
Mettez-le à la racine de votre domaine pour qu'il soit accessible à https://votredomaine.com/robots.txt. C'est le seul endroit où les robots le cherchent.
Que signifie un Disallow vide ?
Une ligne 'Disallow:' vide autorise tout pour ce user-agent. Pour bloquer un chemin, ajoutez-le après Disallow, comme '/admin'.
Le robots.txt garantit-il qu'une page reste privée ?
Non. Il demande aux robots respectueux de ne pas explorer un chemin, mais ne masque ni ne protège la page. Utilisez l'authentification ou noindex pour un contenu vraiment privé.
Ai-je besoin d'un compte ?
Non. L'outil fonctionne immédiatement, sans inscription ni connexion.