Robots.txt Генератор и Валидатор

Създайте правила за обхождане, добавете директиви за картата на сайта и валидирайте синтаксиса на robots.txt локално, преди да публикувате файла в корена на вашия уебсайт.

Готови

Резултати от валидирането

  • Генерирайте или поставете съдържание на robots.txt, след което го валидирайте.

Генериране на правила за обхождане

Създайте директиви User-agent, Allow, Disallow, Sitemap и незадължителна Host, без да запаметявате форматирането на robots.txt.

Валидиране на синтаксиса

Проверете за често срещани грешки, като липсващи потребителски агенти, относителни URL адреси на картата на сайта, неправилно форматирани пътища, дублиращи се правила и неподдържани имена на директиви.

Частна локална обработка

Генераторът и валидаторът работят във вашия браузър. Съдържанието на Robots.txt не се качва на сървърите на Convertr.

Често задавани въпроси

Качен ли е моят robots.txt файл за валидиране?

Не. Генерирането и валидирането се изпълняват във вашия браузър с JavaScript. Текстът, който въвеждате, не се изпраща до сървърите на Convertr.

Къде трябва да поставя robots.txt?

Поставете robots.txt в корена на хоста, за който се отнася, като например https://example.com/robots.txt.

Премахва ли robots.txt страници от Google?

Не. Robots.txt контролира достъпа на обхождащите роботи. Използвайте директиви noindex на страницата или премахнете страницата, ако имате нужда от деиндексиране.

Свързани инструменти за разработчици

XML Sitemap генератор Създайте валиден файл на www.sites.xml от списък с URL адреси. HTTP Headers Checker за проверка Инспектиране на пренасочвания, кодове за състояние и главни отговори. XML форматиране Форматирайте и валидирайте XML файлове и фрагменти от картата на сайта. URL Кодиране и Декодиране Кодира URL адреси, низове на заявки и URL компоненти. URL Слюг генератор Създаване на прочетени URL пътища за страници и публикации. Отворени графични чекери Предвидете как страници и локални карти се появяват на платформи в социалните медии. Cron Expression генератор Изграждане и валидиране на планирани роулер или работа за поддръжка.

Робот.txt генератор

Създаване и валидиране на основните robots.txt групи, правилата за разрешаване и деактивиране, забавянето на разглеждането и референциите за локална карта.

Вход
потребителски агенти групи, правила на пътя и URL-то на локалната карта.
Изход
копие на robots.txt текст с структурна диагноза.
Реални ограничения
robots.txt е съветващ, помощта за разширяване варира, правилата са случайно чувствителни пътни префикси и не може да премахне вече индексиран URL от само себе си.
Личност и обработка на данни
потребител-агент групи, правила на пътя и URL адреси на локалната карта се обработват в тази таблица браузър. конверторът не получава или съхранява; затварянето или презареждането на страницата изчиства работното състояние, освен ако инструментът изрично предлага локално изтегляне.

Как да използваме този инструмент

  1. Осигурете потребителски агентни групи, правила за пътеки и URL адреси на локалната карта в контролите на инструментите.
  2. Изберете настройките, които засягат копирания robots.txt текст с структурна диагноза, а след това изпълнете инструмента.
  3. Преглед на копирания robots.txt текст с структурни диагностики преди да го копирате или изтеглите.

Общ начин на неуспех

Невалидни URL адреси на локалната карта, конфликтни бели групи, неподходящи директиви или липсващ потребителски агент произвеждат предупреждения.

Полезен пример

Създайте * група потребителски агенти, която разделя /admin/ и назначава URL-то на производствената локална карта.