Генератор и проверавач датотеке Robots.txt

Креирај правила за претраживаче, додај директиве за мапу сајта и провери синтаксу robots.txt локално пре објављивања датотеке у корену веб-сајта.

Спреман

Резултати провере

  • Генеришите или налепите садржај robots.txt, а затим га валидирајте.

Генерисање правила за паука

Направите User-agent, Allow, Disallow, Sitemap и опционе Host директиве без памћења robots.txt форматирања.

Валидација синтаксе

Проверите уобичајене грешке као што су недостајући user-agent, релативни URL-ови у sitemap-у, неисправне путање, дуплирана правила и неподржана имена директива.

Приватна локална обрада

Генератор и валидатор раде у вашем прегледачу. Садржај Robots.txt се не отпрема на Convertr сервере.

Често постављана питања

Да ли се моја robots.txt датотека отпрема ради провере?

Не. Генерисање и валидација се изводе у вашем прегледачу помоћу JavaScript-а. Текст који унесете не шаље се на Convertr сервере.

Где треба да поставим robots.txt?

Поставите robots.txt у корен хоста на који се односи, на пример https://example.com/robots.txt.

Да ли robots.txt уклања странице из Google-а?

Не. Robots.txt контролише приступ паука. Користите noindex директиве на страници или уклоните страницу ако вам је потребно уклањање из индекса.

Повезани алати за програмере

XML генератор мапе сајта Направите важећу sitemap.xml датотеку од листе URL адреса. HTTP заглавља провера Прегледај преусмеравања, статусне кодове и заглавља одговора. XML форматирање Форматирај и валидирај XML датотеке и исечке мапе сајта. URL кодер и декодер Кодирај URL-ове, упитне стрингове и URL компоненте. Генератор URL слаг-ова Креирај читљиве URL путање за странице и објаве. Open Graph провера Прегледај како се странице и мапе сајта појављују на друштвеним мрежама. Генератор Cron израза Направите и потврдите заказане послове пузања или одржавања.

Генератор датотеке Robots.txt

Направите и потврдите основне robots.txt групе, Allow и Disallow правила, кашњења пузања и референце на мапу сајта.

Улаз
групе корисничких агената, правила путање и URL-ови мапе сајта.
Излаз
копирабилни robots.txt текст са структуралним дијагностикама.
Стварна ограничења
robots.txt је саветодавни, подршка за crawler варира, правила су префикси путање осетљиви на велика и мала слова, и сам не може да уклони већ индексирани URL.
Приватност и руковање подацима
групе корисничких агената, правила путање и URL-ови мапе сајта се обрађују у овом језичку прегледача. Convertr их не прима нити чува; затварање или поновно учитавање странице брише радно стање, осим ако алат изричито не понуди локално преузимање.

Како користити овај алат

  1. У контролама алата обезбедите групе корисничких агената, правила путање и URL-ове мапе сајта.
  2. Изаберите подешавања која утичу на robots.txt текст који се може копирати са структурном дијагностиком, а затим покрените алатку.
  3. Прегледајте robots.txt текст који се може копирати са структурном дијагностиком пре копирања или преузимања.

Уобичајени начини неуспеха

Неважеће URL адресе мапе сајта, конфликтне празне групе, неподржане директиве или недостајући кориснички агент производе упозорења.

Користан пример

Направите * групу корисничких агената која забрањује /admin/ и именује URL мапе сајта за продукцију.