Генератор и валидатор Robots.txt

Создавайте правила сканера, добавляйте директивы карты сайта и проверяйте синтаксис robots.txt локально перед публикацией файла в корне вашего веб-сайта.

Готово

Результаты проверки

  • Создайте или вставьте содержимое robots.txt, затем проверьте его.

Создание правил сканера

Создавайте директивы User-agent, Allow, Disallow, Sitemap и необязательные директивы Host, не запоминая форматирование robots.txt.

Синтаксис валидация

Проверяйте распространенные ошибки, такие как отсутствующие user-agents, относительные URL-адреса карты сайта, неправильные пути, повторяющиеся правила и неподдерживаемые имена директив.

Приватная локальная обработка

Генератор и валидатор работают в вашем браузере. Содержимое Robots.txt не загружается на серверы Convertr.

Часто задаваемые вопросы

Загружается ли мой файл robots.txt для проверки?

No. Генерация и валидация выполняются в вашем браузере с помощью JavaScript. Текст, который вы вводят, не отправляется на серверы конверта.

Где я должен разместить robots.txt?

Разместите robots.txt в корне хоста, к которому он применяется, например, https://example.com/robots.txt.

Удаляет ли robots.txt страницы из Google?

Нет. Robots.txt контролирует доступ сканера. Используйте директивы noindex на странице или удалите страницу, если вам нужно деиндексирование.

Сопутствующие инструменты разработчика

Генератор sitemap.xml онлайн Создать валидный sitemap.xml из списка URL. HTTP чельники Проверьте перенаправления, коды состояния и заголовки ответа. Форматирование XML Форматируйте и проверяйте XML-файлы и фрагменты карты сайта. Кодировщик и декодировщик URL Кодируйте URL-адреса, строки запросов и компоненты URL. URL Slug генератор Создайте читаемые URL-путы для страниц и сообщений. Проверка Open Graph Предварительный просмотр того, как страницы и карты сайта отображаются на платформах социальных сетей. Cron Expression генератор Создание и утверждение запланированных рабочих мест для роулера или обслуживания.

Робот.txt генератор

Создайте и подтверждайте базовые группы robots.txt, правила разрешения и отмены, задержки в переходе и ссылки на карту сайта.

Ввод
Группы пользователя-агента, правила маршрута и URL-адреса Sitemap.
Вывод
копируемый текст robots.txt с структурными диагностиками.
Реальные ограничения
robots.txt является консультативным, поддержка скаулеров варьируется, правила являются случайно чувствительными дорожными префиксами, и он не может самостоятельно удалить уже индексированный URL.
Приватность и обработка данных
Группы пользователя-агента, правила маршрута и URL-адреса локальной карты обрабатываются в этой таблице браузера. конвертер не получает или хранит его; закрытие или перезагрузка страницы очищает состояние работы, если инструмент явно не предлагает местное загрузку.

Как использовать этот инструмент

  1. Обеспечить группы пользователя-агента, правила маршрута и URL-адреса на карте сайта в контролерах инструментов.
  2. Выберите настройки, которые влияют на копируемый текст robots.txt с структурными диагностиками, а затем запускайте инструмент.
  3. Обзор копируемого текста robots.txt с структурными диагностиками перед копированием или загрузкой.

Общие способы неудачи

Невалидные URL-адреса на локальной карте, конфликтные белые группы, не поддерживаемые указания или пропавший пользовательский агент вызывают предупреждения.

Полезный пример

Создайте группу * пользователь-агент, которая отключает /admin/ и называет URL сетевой карты производства.