Генератор robots.txt
Бесплатно создайте файл robots.txt для вашего сайта. Добавьте группы user-agent с правилами allow и disallow, задайте crawl-delay и укажите карту сайта, затем скопируйте или скачайте файл. Всё работает в вашем браузере, ничего не отправляется на серверы.
Один путь на строку, например /admin
User-agent: * Disallow:
Как пользоваться
- 1Задайте user-agent и пути, которые разрешить или запретить.
- 2При необходимости добавьте другие группы или URL карты сайта.
- 3Скопируйте или скачайте созданный robots.txt.
Для чего это нужно
- Закрыть от роботов админ-папки или приватные разделы.
- Указать поисковым системам вашу карту сайта.
- Задать разные правила для разных ботов.
- Создать начальный robots.txt для нового сайта.
Частые вопросы
Инструмент бесплатный?
Да. Он полностью бесплатный и без ограничений по использованию.
Куда поместить файл robots.txt?
Загрузите его в корень домена, чтобы он был доступен по адресу https://vashdomen.com/robots.txt. Только там роботы его ищут.
Что означает пустой Disallow?
Пустая строка 'Disallow:' разрешает всё для этого user-agent. Чтобы закрыть путь, добавьте его после Disallow, например '/admin'.
Гарантирует ли robots.txt, что страница останется приватной?
Нет. Он просит добросовестных роботов не сканировать путь, но не скрывает и не защищает страницу. Для действительно приватного содержимого используйте аутентификацию или noindex.
Нужен ли мне аккаунт?
Нет. Инструмент работает сразу, без регистрации и входа.