Генератор и валидатор Robots.txt

Создавайте правила сканера, добавляйте директивы карты сайта и проверяйте синтаксис robots.txt локально перед публикацией файла в корне вашего веб-сайта.

Готово

Результаты проверки

  • Создайте или вставьте содержимое robots.txt, затем проверьте его.

Создание правил сканера

Создавайте директивы User-agent, Allow, Disallow, Sitemap и необязательные директивы Host, не запоминая форматирование robots.txt.

Проверка синтаксиса

Проверяйте распространенные ошибки, такие как отсутствующие user-agents, относительные URL-адреса карты сайта, неправильные пути, повторяющиеся правила и неподдерживаемые имена директив.

Приватная локальная обработка

Генератор и валидатор работают в вашем браузере. Содержимое Robots.txt не загружается на серверы Convertr.

FAQ: конвертер файлов Convertr

Загружается ли мой файл robots.txt для проверки?

Нет. Генерация и проверка выполняются в вашем браузере с помощью JavaScript. Текст, который вы вводите, не отправляется на серверы Convertr.

Где следует разместить robots.txt?

Разместите robots.txt в корне хоста, к которому он применяется, например, https://example.com/robots.txt.

Удаляет ли robots.txt страницы из Google?

Нет. Robots.txt контролирует доступ сканера. Используйте директивы noindex на странице или удалите страницу, если вам нужно деиндексирование.

Сопутствующие инструменты разработчика

Генератор XML-карты сайта Создать валидный sitemap.xml из списка URL. Проверка HTTP-заголовков Проверьте перенаправления, коды состояния и заголовки ответа. Форматирование XML Форматируйте и проверяйте XML-файлы и фрагменты карты сайта. Кодировщик и декодировщик URL Кодируйте URL-адреса, строки запросов и компоненты URL. Генератор URL-слагов Создайте читаемые URL-пути для страниц и сообщений. Проверка Open Graph Предварительный просмотр того, как страницы и карты сайта отображаются на платформах социальных сетей. Генератор Cron-выражений Создание и проверка запланированных заданий для краулера или обслуживания.

Генератор Robots.txt

Создайте и проверьте базовые группы robots.txt, правила Allow и Disallow, задержки сканирования и ссылки на карту сайта.

Ввод
группы пользовательских агентов, правила путей и URL-адреса карты сайта.
Вывод
копируемый текст robots.txt со структурной диагностикой.
Реальные ограничения
robots.txt носит рекомендательный характер, поддержка сканеров различается, правила представляют собой префиксы путей, чувствительные к регистру, и он не может самостоятельно удалить уже проиндексированный URL.
Конфиденциальность и обработка данных
Группы user-agent, правила путей и URL-адреса карты сайта обрабатываются в этой вкладке браузера. Convertr не получает и не хранит их; закрытие или перезагрузка страницы очищает рабочее состояние, если только инструмент явно не предлагает локальную загрузку.

Как использовать этот инструмент

  1. Укажите группы пользовательских агентов, правила путей и URL-адреса карты сайта в элементах управления инструмента.
  2. Выберите настройки, которые влияют на копируемый текст robots.txt с структурной диагностикой, а затем запустите инструмент.
  3. Проверьте копируемый текст robots.txt со структурной диагностикой перед копированием или загрузкой.

Распространенные причины сбоев

Недействительные URL-адреса карты сайта, конфликтующие пустые группы, неподдерживаемые директивы или отсутствующий пользовательский агент вызывают предупреждения.

Полезный пример

Создайте группу * user-agent, которая запрещает /admin/ и указывает URL карты сайта для продакшена.