Robots.txt Generator & Validator

Vytvárajte pravidlá pre crawlery, pridávajte direktívy máp stránok a validujte syntax robots.txt lokálne pred publikovaním súboru v koreňovom adresári vašej webovej stránky.

Pripravený

Výsledky validácie

  • Vygenerujte alebo vložte obsah robots.txt a potom ho validujte.

Generovanie pravidiel pre crawlery

Vytvorte direktívy User-agent, Allow, Disallow, Sitemap a voliteľné direktívy Host bez toho, aby ste si museli pamätať formátovanie robots.txt.

Validácia syntaxe

Skontrolujte bežné chyby, ako sú chýbajúce user-agenty, relatívne adresy URL máp stránok, nesprávne cesty, duplicitné pravidlá a nepodporované názvy direktív.

Súkromné lokálne spracovanie

Generátor a validátor bežia vo vašom prehliadači. Obsah Robots.txt sa nenahráva na servery Convertr.

Frequently asked questions

Bol môj súbor robots.txt nahraný na validáciu?

Nie. Generovanie a validácia bežia vo vašom prehliadači pomocou JavaScriptu. Text, ktorý zadáte, sa neposiela na servery Convertr.

Kam mám umiestniť robots.txt?

Umiestnite robots.txt do koreňového adresára hostiteľa, na ktorý sa vzťahuje, napríklad https://example.com/robots.txt.

Odstráni robots.txt stránky z Google?

Nie. Robots.txt riadi prístup crawlera. Použite direktívy noindex na stránke alebo odstráňte stránku, ak potrebujete deindexáciu.

Súvisiace nástroje pre vývojárov

HTTP Headers Checker Inspect redirects, status codes, and response headers. XML Formatter Formátujte a validujte súbory XML a úryvky máp stránok. URL Encoder & Decoder Kódujte URL, reťazce dotazov a komponenty URL. URL Slug Generator Create readable URL paths for pages and posts. HTML Entity Encoder Escape a dekódujte znaky citlivé na HTML. Cron Expression Generator Build and validate scheduled crawler or maintenance jobs.