Generátor a validátor Robots.txt

Vytvořte pravidla pro procházení, přidejte direktivy mapy stránek a ověřte syntaxi robots.txt lokálně před publikováním souboru v kořenovém adresáři vašeho webu.

Připraveno

Výsledky ověření

  • Vygenerujte nebo vložte obsah robots.txt a poté jej ověřte.

Generování pravidel pro procházení

Vytvořte direktivy User-agent, Allow, Disallow, Sitemap a volitelné direktivy Host bez nutnosti pamatovat si formátování robots.txt.

Ověření syntaxe

Zkontrolujte běžné chyby, jako jsou chybějící user-agenty, relativní adresy URL mapy stránek, nesprávně vytvořené cesty, duplicitní pravidla a nepodporované názvy direktiv.

Soukromé místní zpracování

Generátor a validátor běží ve vašem prohlížeči. Obsah Robots.txt není nahráván na servery Convertr.

Frequently asked questions

Je můj soubor robots.txt nahrán k ověření?

Ne. Generování a ověřování probíhá ve vašem prohlížeči pomocí JavaScriptu. Text, který zadáte, není odeslán na servery Convertr.

Kam mám umístit robots.txt?

Umístěte robots.txt do kořenového adresáře hostitele, na který se vztahuje, například https://example.com/robots.txt.

Odstraňuje robots.txt stránky z Googlu?

Ne. Robots.txt řídí přístup pro procházení. Použijte direktivy noindex na stránce nebo stránku odstraňte, pokud potřebujete zrušit indexování.

Související vývojářské nástroje

HTTP Headers Checker Inspect redirects, status codes, and response headers. Formátovač XML Formátujte a ověřujte soubory XML a úryvky map stránek. Kodér a dekodér URL Kódujte URL, řetězce dotazů a komponenty URL. URL Slug Generator Create readable URL paths for pages and posts. HTML Entity Encoder Escape a dekódujte znaky citlivé na HTML. Cron Expression Generator Build and validate scheduled crawler or maintenance jobs.