Generátor a validátor Robots.txt

Vytvořte pravidla pro procházení, přidejte direktivy mapy stránek a ověřte syntaxi robots.txt lokálně před publikováním souboru v kořenovém adresáři vašeho webu.

Připraveno

Výsledky ověření

  • Vygenerujte nebo vložte obsah robots.txt a poté jej ověřte.

Generování pravidel pro procházení

Vytvořte direktivy User-agent, Allow, Disallow, Sitemap a volitelné direktivy Host bez nutnosti pamatovat si formátování robots.txt.

Ověření syntaxe

Zkontrolujte běžné chyby, jako jsou chybějící user-agenty, relativní adresy URL mapy stránek, nesprávně vytvořené cesty, duplicitní pravidla a nepodporované názvy direktiv.

Soukromé místní zpracování

Generátor a validátor běží ve vašem prohlížeči. Obsah Robots.txt není nahráván na servery Convertr.

Často kladené otázky

Je můj soubor robots.txt nahrán k ověření?

Ne. Generování a ověřování probíhá ve vašem prohlížeči pomocí JavaScriptu. Text, který zadáte, není odeslán na servery Convertr.

Kam mám umístit robots.txt?

Umístěte robots.txt do kořenového adresáře hostitele, na který se vztahuje, například https://example.com/robots.txt.

Odstraňuje robots.txt stránky z Googlu?

Ne. Robots.txt řídí přístup pro procházení. Použijte direktivy noindex na stránce nebo stránku odstraňte, pokud potřebujete zrušit indexování.

Související vývojářské nástroje

XML Sitemap Generátor Vytvořte platný soubor sitemap.xml z seznamu URL. HTTP Headers Čekáče Kontrolujte přesměrování, kódy stavu a odpovědi. Formátovač XML Formátujte a ověřujte soubory XML a úryvky map stránek. Kodér a dekodér URL Kódujte URL, řetězce dotazů a komponenty URL. URL generátor Vytvořte si přečitelné URL trasy pro stránky a příspěvky. Otevřený Graph Checker Předvídejte, jak se stránky a sitemapy zobrazují na platformách sociálních médií. Cron Expression Generátor Vytvořte a validujte plánované crawlery nebo údržbu.

Robots.txt generátor

Vytvořte a validujte základní skupiny robots.txt, pravidla povolení a odvolání, zpoždění v průzkumu a reference na mapu lokality.

Vstup
Uživatelské agenti skupiny, pravidla trasy a adresy URL.
Výstup
Kopírování robots.txt text s strukturálními diagnostiky.
Reálné omezení
robots.txt je poradní, podpora pro prohlížeče se liší, pravidla jsou případově citlivé cesty předpisu a nemůže odstranit již indexovaný URL sám o sobě.
Soukromí a zpracování údajů
uživatelské agenti skupiny, pravidla trasy a adresy URL se zpracovávají v této tabulce prohlížeče. konvertor to nepřijímá ani neukládá; zavření nebo přenosu stránky vyčistí stav práce, pokud nástroj výslovně neposkytuje místní stahování.

Jak tento nástroj používat

  1. Poskytněte uživatelské agenty skupiny, pravidla trasy a adresy URL v mapě lokality v nástrojových kontrolách.
  2. Vyberte nastavení, které ovlivňují kopírovatelný text robots.txt s strukturálními diagnostikami a pak spustit nástroj.
  3. Přezkoumá kopírovatelný text robots.txt s strukturálními diagnostiky před kopírovaním nebo stažením.

Společné způsoby selhání

Nevýhodné adresy URL, konfliktní blankové skupiny, nepodporované pokyny nebo chybějící uživatelský agent vytvářejí varování.

Užitečný příklad

Vytvořte skupinu uživatelských agentů, která odvolává /admin/ a jmenuje URL lokality produkce.