Robots.txt генератор и валидатор

Създайте правила за обхождане, добавете директиви за картата на сайта и валидирайте синтаксиса на robots.txt локално, преди да публикувате файла в корена на вашия уебсайт.

Готов

Резултати от валидирането

  • Генерирайте или поставете съдържание на robots.txt, след което го валидирайте.

Генериране на правила за обхождане

Създайте директиви User-agent, Allow, Disallow, Sitemap и незадължителна Host, без да запаметявате форматирането на robots.txt.

Валидиране на синтаксиса

Проверете за често срещани грешки, като липсващи потребителски агенти, относителни URL адреси на картата на сайта, неправилно форматирани пътища, дублиращи се правила и неподдържани имена на директиви.

Частна локална обработка

Генераторът и валидаторът работят във вашия браузър. Съдържанието на Robots.txt не се качва на сървърите на Convertr.

Често задавани въпроси

Качен ли е моят robots.txt файл за валидиране?

Не. Генерирането и валидирането се изпълняват във вашия браузър с JavaScript. Текстът, който въвеждате, не се изпраща до сървърите на Convertr.

Къде трябва да поставя robots.txt?

Поставете robots.txt в корена на хоста, за който се отнася, като например https://example.com/robots.txt.

Премахва ли robots.txt страници от Google?

Не. Robots.txt контролира достъпа на обхождащите роботи. Използвайте директиви noindex на страницата или премахнете страницата, ако имате нужда от деиндексиране.

Свързани инструменти за разработчици

XML Sitemap генератор Създайте валиден sitemap.xml файл от списък с URL адреси. HTTP Headers Checker за проверка Инспектиране на пренасочвания, кодове за състояние и заглавки на отговори. XML форматиране Форматирайте и валидирайте XML файлове и фрагменти от картата на сайта. URL Кодиране и Декодиране Кодира URL адреси, низове на заявки и URL компоненти. URL слъг генератор Създаване на четливи URL пътища за страници и публикации. Open Graph проверка Преглед как страниците и картите на сайта се показват в социалните медийни платформи. Генератор на Cron изрази Изграждане и валидиране на планирани задачи за обхождане или поддръжка.

Robots.txt генератор

Създайте и валидирайте основни robots.txt групи, правила Allow и Disallow, закъснения за обхождане и препратки към карти на сайта.

Вход
групи потребителски агенти, правила за пътища и URL адреси на картата на сайта.
Изход
копируем robots.txt текст със структурна диагностика.
Реални ограничения
robots.txt е препоръчителен, поддръжката от обхождащи програми варира, правилата са чувствителни към регистъра на буквите префикси за пътища и не може сам да премахне вече индексиран URL.
Поверителност и обработка на данни
групи потребителски агенти, правила за пътя и URL адреси на карта на сайта се обработват в този раздел на браузъра. Convertr не получава или съхранява данните; затварянето или презареждането на страницата изчиства работното състояние, освен ако инструментът изрично предлага локално изтегляне.

Как да използваме този инструмент

  1. Осигурете групи потребителски агенти, правила за пътища и URL адреси на картата на сайта в контролите на инструмента.
  2. Изберете настройките, които засягат копируемия robots.txt текст със структурна диагностика, след което изпълнете инструмента.
  3. Прегледайте копируемия robots.txt текст със структурни диагностики, преди да го копирате или изтеглите.

Често срещани режими на отказ

Невалидни URL адреси на sitemap, конфликтни празни групи, неподдържани директиви или липсващ потребителски агент генерират предупреждения.

Полезен пример

Създайте група потребителски агенти *, която забранява /admin/ и посочва URL на производствената карта на сайта.