Generatore di robots.txt
Crea gratis un file robots.txt per il tuo sito web. Aggiungi gruppi di user-agent con regole allow e disallow, imposta un crawl-delay e collega la tua sitemap, poi copia o scarica il file. Tutto viene eseguito nel tuo browser, senza inviare nulla ai server.
Un percorso per riga, ad esempio /admin
User-agent: * Disallow:
Come si usa
- 1Imposta lo user-agent e i percorsi da consentire o bloccare.
- 2Aggiungi altri gruppi o l'URL della tua sitemap se serve.
- 3Copia o scarica il robots.txt generato.
A cosa serve
- Bloccare i crawler nelle cartelle di amministrazione o private.
- Indicare la tua sitemap ai motori di ricerca.
- Definire regole diverse per bot diversi.
- Creare un robots.txt iniziale per un nuovo sito.
Domande frequenti
Lo strumento è gratuito?
Sì. È completamente gratuito e senza limiti di utilizzo.
Dove metto il file robots.txt?
Caricalo nella radice del tuo dominio in modo che sia raggiungibile su https://tuodominio.com/robots.txt. È l'unico posto in cui i crawler lo cercano.
Cosa significa un Disallow vuoto?
Una riga 'Disallow:' vuota consente tutto per quello user-agent. Per bloccare un percorso, aggiungilo dopo Disallow, come '/admin'.
Il robots.txt garantisce che una pagina resti privata?
No. Chiede ai crawler corretti di non scansionare un percorso, ma non nasconde né protegge la pagina. Usa l'autenticazione o noindex per contenuti davvero privati.
Mi serve un account?
No. Lo strumento funziona subito, senza registrazione né accesso.