Generátor a validátor Robots.txt

Vytvořte pravidla pro procházení, přidejte direktivy mapy stránek a ověřte syntaxi robots.txt lokálně před publikováním souboru v kořenovém adresáři vašeho webu.

Připraveno

Výsledky ověření

  • Vygenerujte nebo vložte obsah robots.txt a poté jej ověřte.

Generování pravidel pro procházení

Vytvořte direktivy User-agent, Allow, Disallow, Sitemap a volitelné direktivy Host bez nutnosti pamatovat si formátování robots.txt.

Ověření syntaxe

Zkontrolujte běžné chyby, jako jsou chybějící user-agenty, relativní adresy URL mapy stránek, nesprávně vytvořené cesty, duplicitní pravidla a nepodporované názvy direktiv.

Soukromé místní zpracování

Generátor a validátor běží ve vašem prohlížeči. Obsah Robots.txt není nahráván na servery Convertr.

Často kladené otázky

Je můj soubor robots.txt nahrán k ověření?

Ne. Generování a ověřování probíhá ve vašem prohlížeči pomocí JavaScriptu. Text, který zadáte, není odeslán na servery Convertr.

Kam mám umístit robots.txt?

Umístěte robots.txt do kořenového adresáře hostitele, na který se vztahuje, například https://example.com/robots.txt.

Odstraňuje robots.txt stránky z Googlu?

Ne. Robots.txt řídí přístup pro procházení. Použijte direktivy noindex na stránce nebo stránku odstraňte, pokud potřebujete zrušit indexování.

Související vývojářské nástroje

Generátor XML Sitemap Vytvořte platný soubor sitemap.xml ze seznamu URL. Kontrola HTTP hlaviček Zkontrolujte přesměrování, stavové kódy a hlavičky odpovědí. Formátovač XML Formátujte a ověřujte soubory XML a úryvky map stránek. Kodér a dekodér URL Kódujte URL, řetězce dotazů a komponenty URL. Generátor URL slugů Vytvořte čitelné URL cesty pro stránky a příspěvky. Kontrola Open Graph Náhled, jak se stránky a sitemapy zobrazují na platformách sociálních médií. Generátor cron výrazů Vytvořte a validujte plánované crawlery nebo údržbu.

Robots.txt generátor

Vytvořte a validujte základní skupiny robots.txt, pravidla Allow a Disallow, prodlevy pro procházení a reference na sitemap.

Vstup
Skupiny uživatelských agentů, pravidla cest a adresy URL sitemap.
Výstup
Kopírovatelný text robots.txt se strukturálními diagnostikami.
Skutečná omezení
robots.txt je poradní, podpora prohledávačů se liší, pravidla jsou předpony cest citlivé na velikost písmen a nemůže samo odstranit již indexovanou adresu URL.
Soukromí a nakládání s daty
skupiny uživatelských agentů, pravidla cest a adresy URL sitemap jsou zpracovávány v této kartě prohlížeče. Convertr je nepřijímá ani neukládá; zavření nebo obnovení stránky vymaže pracovní stav, pokud nástroj výslovně nenabízí místní stažení.

Jak tento nástroj používat

  1. Poskytněte skupiny uživatelských agentů, pravidla cest a URL mapy webu v ovládacích prvcích nástroje.
  2. Vyberte nastavení, která ovlivňují kopírovatelný text robots.txt se strukturálními diagnostikami, poté spusťte nástroj.
  3. Zkontrolujte kopírovatelný text robots.txt se strukturální diagnostikou před kopírováním nebo stažením.

Běžné způsoby selhání

Neplatné URL adresy sitemap, konfliktní prázdné skupiny, nepodporované direktivy nebo chybějící user-agent vytvářejí varování.

Užitečný příklad

Vytvořte skupinu uživatelských agentů *, která zakazuje /admin/ a uvádí URL sitemap produkce.