Robots.txt Генератор и Валидатор

Създайте правила за обхождане, добавете директиви за картата на сайта и валидирайте синтаксиса на robots.txt локално, преди да публикувате файла в корена на вашия уебсайт.

Готови

Резултати от валидирането

  • Генерирайте или поставете съдържание на robots.txt, след което го валидирайте.

Генериране на правила за обхождане

Създайте директиви User-agent, Allow, Disallow, Sitemap и незадължителна Host, без да запаметявате форматирането на robots.txt.

Валидиране на синтаксиса

Проверете за често срещани грешки, като липсващи потребителски агенти, относителни URL адреси на картата на сайта, неправилно форматирани пътища, дублиращи се правила и неподдържани имена на директиви.

Частна локална обработка

Генераторът и валидаторът работят във вашия браузър. Съдържанието на Robots.txt не се качва на сървърите на Convertr.

Frequently asked questions

Качен ли е моят robots.txt файл за валидиране?

Не. Генерирането и валидирането се изпълняват във вашия браузър с JavaScript. Текстът, който въвеждате, не се изпраща до сървърите на Convertr.

Къде трябва да поставя robots.txt?

Поставете robots.txt в корена на хоста, за който се отнася, като например https://example.com/robots.txt.

Премахва ли robots.txt страници от Google?

Не. Robots.txt контролира достъпа на обхождащите роботи. Използвайте директиви noindex на страницата или премахнете страницата, ако имате нужда от деиндексиране.

Свързани инструменти за разработчици

HTTP Headers Checker Inspect redirects, status codes, and response headers. XML Formatter Форматирайте и валидирайте XML файлове и фрагменти от картата на сайта. URL Кодиране и Декодиране Кодира URL адреси, низове на заявки и URL компоненти. URL Slug Generator Create readable URL paths for pages and posts. HTML Entity Encoder Екраниране и декодиране на HTML-чувствителни символи. Cron Expression Generator Build and validate scheduled crawler or maintenance jobs.