Генератор robots.txt

Пишет robots.txt из агентов, путей и карты сайта. Теги страницы остаются в метатегах

Что делает страница

robots.txt говорит обходчику, что можно забирать. Страница пишет строки из полей. Заголовок и Open Graph остаются в метатегах.

Как пользоваться

  1. Агенты начинают с *. Разрешить, Запретить и Карты сайта — по одному пути или URL на строку. Задержка обхода необязательна.
  2. Преобразовать выполняется один раз. Показать пример ставит Агенты на *, Разрешить на /, Запретить на /admin и /search, оставляет Задержку обхода пустой и ставит Карты сайта на https://example.com/sitemap.xml.
  3. Результат: User-agent: *, Allow: /, Disallow: /admin, Disallow: /search, Sitemap: https://example.com/sitemap.xml.
  4. Очистить всё возвращает Агенты к * и очищает остальные поля и результат. Копировать результат копирует текст.

Правила и границы

Пустые строки в поле пропускаются. Сначала все агенты, затем каждый Allow, затем каждый Disallow, затем Crawl-delay, если в поле цифры, затем каждая Sitemap. Задержка не из целого числа останавливается с ошибкой. Одни агенты без разрешения, запрета, задержки и карты сайта тоже останавливаются. Имена в выводе остаются User-agent, Allow, Disallow, Crawl-delay и Sitemap.

Где это нужно

  • Закрыть /admin и /search, остальное оставить открытым.
  • Добавить один URL карты сайта.
  • Скопировать пять строк в файл robots.txt.

Вопросы

Почему в примере нет Crawl-delay?

Показать пример оставляет это поле пустым, поэтому строка не пишется.

Это пишет hreflang?

Нет. Только robots.txt.