Генератор та валідатор Robots.txt

Створіть правила сканера, додайте директиви карти сайту та перевірте синтаксис robots.txt локально перед публікацією файлу в корені вашого сайту.

Готово

Результати валідації

  • Згенеруйте або вставте вміст robots.txt, а потім підтвердьте його.

Генерація правил сканера

Створюйте директиви User-agent, Allow, Disallow, Sitemap і необов'язкову Host без запам'ятовування форматування robots.txt.

Перевірка синтаксису

Перевірте поширені помилки, такі як відсутні user-agent, відносні URL-адреси sitemap, неправильні шляхи, дубльовані правила та непідтримувані назви директив.

Приватна локальна обробка

Генератор і валідатор працюють у вашому браузері. Вміст Robots.txt не завантажується на сервери Convertr.

Поширені запитання

Чи завантажено файл robots.txt для валідації?

Ні. Генерація та перевірка виконуються у вашому браузері за допомогою JavaScript. Введений вами текст не надсилається на сервери Convertr.

Де слід розмістити robots.txt?

Помістіть robots.txt у корінь хоста, до якого він застосовується, наприклад, https://example.com/robots.txt.

Чи robots.txt видаляє сторінки з Google?

Ні. Robots.txt контролює доступ пошукових роботів. Використовуйте директиви noindex на сторінці або видаліть сторінку, якщо вам потрібно деіндексувати.

Пов'язані інструменти розробника

Генератор XML-карти сайту Створіть дійсний файл sitemap.xml зі списку URL-адрес. HTTP заголовків перевірка Перевірте перенаправлення, статусні коди та заголовки відповіді. Форматування XML Форматувати і валідувати XML-файли та фрагменти Sitemap. URL-кодувальник та декодувальник Кодуйте URL, рядки запиту та компоненти URL. Генератор URL-слагів Створення читабельних URL-шляхів для сторінок і статей. Перевірка Open Graph Переглянути, як сторінки та карти сайту відображаються на платформах соціальних мереж. Генератор Cron-виразів Створюйте та перевіряйте заплановані завдання краулера або обслуговування.

Генератор Robots.txt

Створіть та перевірте базові групи robots.txt, правила дозволу та заборони, затримки сканування та посилання на мапу сайту.

Вхід
групи користувацьких агентів, правила шляхів та URL-адреси sitemap.
Вихід
текст robots.txt, який можна скопіювати, зі структурною діагностикою.
Реальні обмеження
robots.txt є рекомендаційним, підтримка пошукових роботів варіюється, правила є чутливими до регістру префіксами шляхів, і він не може самостійно видалити вже проіндексовану URL-адресу.
Конфіденційність та обробка даних
групи user-agent, правила шляхів та URL-адреси sitemap обробляються в цій вкладці браузера. Convertr не отримує або зберігає їх; закриття або перезавантаження сторінки очищає робочий стан, якщо інструмент явно не пропонує локальне завантаження.

Як використовувати цей інструмент

  1. Надайте групи user-agent, правила шляхів та URL-адреси Sitemap в елементах керування інструменту.
  2. Виберіть налаштування, які впливають на текст robots.txt, який можна скопіювати, зі структурною діагностикою, а потім запустіть інструмент.
  3. Переглянути текст robots.txt, який можна скопіювати, з структурною діагностикою перед копіюванням або завантаженням.

Поширені режими збою

Недійсні URL-адреси карти сайту, конфліктні порожні групи, непідтримувані директиви або відсутній агент користувача викликають попередження.

Корисний приклад

Створіть групу user-agent *, яка забороняє /admin/ і вказує URL-адресу виробничої карти сайту.