Robots.txt generátor a validátor

Vytvárajte pravidlá pre prehľadávače, pridávajte direktívy máp stránok a validujte syntax robots.txt lokálne pred publikovaním súboru v koreňovom adresári vašej webovej stránky.

Pripravený

Výsledky validácie

  • Vygenerujte alebo vložte obsah robots.txt a potom ho validujte.

Generovanie pravidiel pre crawlery

Vytvorte direktívy User-agent, Allow, Disallow, Sitemap a voliteľné direktívy Host bez toho, aby ste si museli pamätať formátovanie robots.txt.

Validácia syntaxe

Skontrolujte bežné chyby, ako sú chýbajúce user-agenty, relatívne adresy URL máp stránok, nesprávne cesty, duplicitné pravidlá a nepodporované názvy direktív.

Súkromné lokálne spracovanie

Generátor a validátor bežia vo vašom prehliadači. Obsah Robots.txt sa nenahráva na servery Convertr.

Často kladené otázky

Bol môj súbor robots.txt nahraný na validáciu?

Nie. Generovanie a validácia bežia vo vašom prehliadači pomocou JavaScriptu. Text, ktorý zadáte, sa neposiela na servery Convertr.

Kam mám umiestniť robots.txt?

Umiestnite robots.txt do koreňového adresára hostiteľa, na ktorý sa vzťahuje, napríklad https://example.com/robots.txt.

Odstráni robots.txt stránky z Google?

Nie. Robots.txt riadi prístup crawlera. Použite direktívy noindex na stránke alebo odstráňte stránku, ak potrebujete deindexáciu.

Súvisiace nástroje pre vývojárov

Generátor XML Sitemap Vytvorte platný súbor sitemap.xml zo zoznamu URL adries. HTTP hlavičiek kontrola Skontrolujte presmerovania, kódy stavu a hlavičky odpovedí. XML formátovanie Formátujte a validujte súbory XML a úryvky máp stránok. URL kódovač a dekodér Kódujte URL, reťazce dotazov a komponenty URL. Generátor URL slugs Vytvorte čitateľné URL cesty pre stránky a príspevky. Kontrola Open Graph Ukážka, ako sa stránky a mapy stránok zobrazujú na platformách sociálnych médií. Generátor Cron výrazov Vytvorte a validujte plánované crawler alebo údržbové práce.

Robots.txt generátor

Vytvorte a validujte základné skupiny robots.txt, pravidlá Allow a Disallow, oneskorenia prehľadávania a odkazy na sitemapy.

Vstup
Skupiny user-agentov, pravidlá ciest a URL sitemap.
Výstup
Kopírovateľný text robots.txt so štrukturálnou diagnostikou.
Skutočné obmedzenia
robots.txt je odporúčací, podpora prehľadávačov sa líši, pravidlá sú cesty citlivé na veľkosť písmen a nemôže sám odstrániť už indexované URL.
Súkromie a spracovanie údajov
skupiny user-agent, pravidlá ciest a adresy URL sitemap sa spracúvajú v tejto karte prehliadača. Convertr neprijíma ani neukladá; zatvorenie alebo obnovenie stránky vymaže pracovný stav, pokiaľ nástroj výslovne neponúka lokálne stiahnutie.

Ako používať tento nástroj

  1. Poskytnite skupiny user-agent, pravidlá ciest a adresy URL sitemap v ovládacích prvkoch nástroja.
  2. Vyberte nastavenia, ktoré ovplyvňujú kopírovaný text robots.txt so štrukturálnou diagnostikou a potom spustite nástroj.
  3. Preskúmajte kopírovateľný text robots.txt so štrukturálnou diagnostikou pred kopírovaním alebo stiahnutím.

Bežné režimy zlyhania

Neplatné URL adresy sitemap, konfliktné prázdne skupiny, nepodporované direktívy alebo chýbajúci užívateľský agent vytvárajú varovania.

Užitočný príklad

Vytvorte skupinu * používateľského agenta, ktorá zakazuje /admin/ a uvádza URL sitemapy produkcie.