Генератор и валидатор Robots.txt

Создавайте правила сканера, добавляйте директивы карты сайта и проверяйте синтаксис robots.txt локально перед публикацией файла в корне вашего веб-сайта.

Готовый

Результаты проверки

  • Создайте или вставьте содержимое robots.txt, затем проверьте его.

Создание правил сканера

Создавайте директивы User-agent, Allow, Disallow, Sitemap и необязательные директивы Host, не запоминая форматирование robots.txt.

Syntax validation

Проверяйте распространенные ошибки, такие как отсутствующие user-agents, относительные URL-адреса карты сайта, неправильные пути, повторяющиеся правила и неподдерживаемые имена директив.

Приватная локальная обработка

Генератор и валидатор работают в вашем браузере. Содержимое Robots.txt не загружается на серверы Convertr.

Frequently asked questions

Загружается ли мой файл robots.txt для проверки?

No. Generation and validation run in your browser with JavaScript. The text you enter is not sent to Convertr servers.

Где я должен разместить robots.txt?

Разместите robots.txt в корне хоста, к которому он применяется, например, https://example.com/robots.txt.

Удаляет ли robots.txt страницы из Google?

Нет. Robots.txt контролирует доступ сканера. Используйте директивы noindex на странице или удалите страницу, если вам нужно деиндексирование.

Сопутствующие инструменты разработчика

HTTP Headers Checker Inspect redirects, status codes, and response headers. XML Formatter Форматируйте и проверяйте XML-файлы и фрагменты карты сайта. Кодировщик и декодировщик URL Кодируйте URL-адреса, строки запросов и компоненты URL. URL Slug Generator Create readable URL paths for pages and posts. HTML Entity Encoder Escape and decode HTML-sensitive characters. Cron Expression Generator Build and validate scheduled crawler or maintenance jobs.