Робот.txt генератор і валідатор

Створіть правила перегляду, додайте керівництво на карті сайтів і валідуйте синтакс robots.txt локально перед публікацією файлу в корені вашого сайту.

Готово

Результати валідації

  • Використовуйте або вставте вміст robots.txt, а потім підтверджуйте його.

Роль Crawler Rule Generation

Створення Користувача-агента, дозволяти, відключити, Sitemap, і факультативні керівництва хостингу без пам'яті робот.txt форматування.

Сінтакс валідація

Перевірте найпоширеніші помилки, такі як відсутні агенти користувачів, URL-адреси релативних сайтів, пошкоджені шляхи, правила подвійного перегляду та ненадійні імена директиви.

Приватна локальна обробка

Генератор і валідатор працюють у вашому браузері. вміст Robots.txt не завантажується на сервери Convertr.

Поширені запитання

Чи завантажено файл robots.txt для валідації?

No. Генерація і валідація працюють у вашому браузері з JavaScript. текст, який ви вводять, не надсилається на сервери Convertr.

Де можна знайти робот.txt?

Покладіть robots.txt на коріння хостингу, до якого він застосовується, наприклад, https://example.com/robots.dpt.

Робот.txt видаляє сторінки з Google?

No. Robots.txt контролює доступ переглядача. використовуйте інструкції noindex на сторінці або видаліть сторінку, якщо вам потрібно деіндексувати.

Інструменти розробника

XML Карта генератора Створіть дійсний файл sitemap.xml з списку URL-адресів. HTTP Headers перевірка Перевірте перенаправлення, статусні коди та заголовки відповіді. XML Форматизатор Формувати і завірити XML-файли та снайппети Sitemap. URL кодирування та декодер Включити URL, запитні смуги та компоненти URL. URL Слюг генератор Створення читальних URL-пауків для сторінок і статей. Відкритий графічний перевірка Переглянути, як сторінки і сайтове з'являються на соціальних мережах. Крон експрес генератор Створення та затвердження запланованих робочих місць або роботи з обслуговування.

Робот.txt генератор

Створення та валідація базових груп robots.txt, дозволяти і виключати правила, переглядати затримки, а також посилання на карту сайту.

Вхід
Групи користувачів-агентів, правила маршруту та URL-адреси Sitemap.
Вихід
Копіювальний текст robots.txt з структурною діагностикою.
Реальні обмеження
robots.txt є консультативним, підтримка переглядача варіюється, правила є випадково-чутливими дорожньо-провідними префіксами, і вона не може самостійно видаляти вже індексувану URL.
конфіденційність та обробка даних
Групи користувача-агента, правила маршруту та URL-адреси Sitemap обробляються в цій таблиці браузера.Converter не отримує або зберігає її; закриття або перезавантаження сторінки очищає стан роботи, якщо інструмент виражено пропонує місцевий завантаження.

Як використовувати цей інструмент

  1. Надання груп користувача-агента, правил шляху та URL-адресів Sitemap в інструментах контролів.
  2. Виберіть налаштування, які впливають на копіювальний текст robots.txt з структурною діагностикою, а потім запустити інструмент.
  3. Переглянути копіювальний текст robots.txt з структурною діагностикою перед копією або завантаженням.

Загальні способи невдачі

Недійсні URL-адреси сайтової карти, конфліктні вільні групи, непомічені напрямки або відсутній агент користувача виробляють попередження.

Корисний приклад

Створіть групу * користувача-агента, яка розпускає /admin/ і називає URL-адресу виробничої локальної карти.