Роботс.ткст генератор и валидатор

Креирајте правила прегледача, додајте упутства за локалне мапе и валидирајте синтакс robots.txt локално пре објављивања датотеке на корену вашег сајта.

Спремно

Резултати валидације

  • Генерирајте или пастете садржај robots.txt, а затим га валидирајте.

Crawler Rule Generation

Изградите кориснички агент, Дозволите, Деслоирајте, Сајтмап и опционалне хостинг упутства без меморисања robots.txt форматирање.

Синтакс валидација

Проверите уобичајене грешке као што су недостајући кориснички агенти, релативни URL-а локалне мапе, погрешне путеве, дуплиране правила и неподржене директивне имена.

Приватна локална обрада

Генератор и валидатор раде у вашем претраживачу. садржај Роботс.ткст се не преузима на сервере Конвертер.

Често постављана питања

Да ли је мој robots.txt датотека преузета за валидацију?

No. Generiranje i validacija se odvija u vašem pregledniku sa JavaScriptom. tekst koji unesete ne šalje se na servera Convertr.

Gde bi trebalo da stavim robots.txt?

Поставите robots.txt на корен хоста који се примењује, као што је https://example.com/robots.dpt.

Da li robots.txt uklanja stranice sa Googlea?

No. Robots.txt контролише приступ прегледачу. користите упутства за неиндекс на страници или уклоните страницу ако вам је потребно деиндексирање.

Релевантне алате програмера

КСМЛ карте генератор Креирајте важећи сајт.кмл датотеку из URL листе. HTTP Headers Checker - преглед Инспекција преусмеравања, код стања и наслов одговора. XML форматирање Форматирање и валидација КСМЛ датотека и сниппета сајтова. URL кодирач и декодер Укључите URL адресе, траке за претрагу и компоненте URL-а. УРЛ Слуг генератор Креирајте читаве УРЛ путеве за странице и поруке. Отворени графички чекер Прегледајте како се странице и сајтовимапс појављују на друштвеним медијским платформама. Крон Екпресион Генератор Изградите и валидирате планиране раднике или одржавање.

Роботс.ткст генератор

Изградите и валидирате основне robots.txt групе, дозволите и деактивирајте правила, кашњења у прегледању и референце за локалне мапе.

улаз
кориснички агентни групи, правила пута и URL-а за локацију.
излаз
копирајуће robots.txt текст са структурним дијагнозама.
Реалне ограничења
robots.txt је саветовање, подршка за прегледање варира, правила су случај-осетљиви путеви префикси, а не може сами уклонити већ индексиран УРЛ.
Приватност и обрада података
кориснички агентни групи, правила пута и URL-а локалне мапе обрађују се у овој табели претраживача. конвертер га не прима или чува; затварање или преузети страницу очисти радну ситуацију осим ако алат изричито не нуди локално преузимање.

Како користити овај алат

  1. Обезбедите групе корисника-агента, правила пута и URL локације у алатним контролима.
  2. Изаберите подешавања које утичу на копирајуће robots.txt текст са структурним дијагнозама, а затим покрените алат.
  3. Прегледајте копирајуће robots.txt текст са структурним дијагнозама пре него што га копирате или преузмете.

Уобичајени режими неуспјеха

Неважећи УРЛ локалне мапе, конфликтне беле групе, неподржљиве упутства или недостајући кориснички агент производе упозорења.

Корисни пример

Креирајте * корисничку агент групу која деализује /админ/ и именова URL локалне мапе производње.