robots.txt-Generator
Erstelle kostenlos eine robots.txt-Datei für deine Website. Füge User-agent-Gruppen mit Allow- und Disallow-Regeln hinzu, setze ein Crawl-delay und verlinke deine Sitemap, dann kopiere oder lade die Datei herunter. Alles läuft in deinem Browser, es wird nichts an Server gesendet.
Ein Pfad pro Zeile, zum Beispiel /admin
User-agent: * Disallow:
So funktioniert's
- 1Lege den User-agent und die zu erlaubenden oder zu sperrenden Pfade fest.
- 2Füge bei Bedarf weitere Gruppen oder deine Sitemap-URL hinzu.
- 3Kopiere die erzeugte robots.txt oder lade sie herunter.
Wofür es nützlich ist
- Crawler von Admin- oder privaten Ordnern fernhalten.
- Suchmaschinen auf deine Sitemap hinweisen.
- Unterschiedliche Regeln für verschiedene Bots festlegen.
- Eine erste robots.txt für eine neue Website erstellen.
Häufige Fragen
Ist das Tool kostenlos?
Ja. Es ist völlig kostenlos und ohne Nutzungslimit.
Wohin gehört die robots.txt-Datei?
Lade sie in das Stammverzeichnis deiner Domain, damit sie unter https://deinedomain.de/robots.txt erreichbar ist. Nur dort suchen Crawler danach.
Was bedeutet ein leeres Disallow?
Eine leere 'Disallow:'-Zeile erlaubt alles für diesen User-agent. Um einen Pfad zu sperren, füge ihn nach Disallow hinzu, etwa '/admin'.
Garantiert robots.txt, dass eine Seite privat bleibt?
Nein. Es bittet brave Crawler, einen Pfad nicht zu crawlen, verbirgt oder schützt die Seite aber nicht. Nutze Authentifizierung oder noindex für wirklich private Inhalte.
Brauche ich ein Konto?
Nein. Das Tool funktioniert sofort, ohne Registrierung oder Anmeldung.