Robots.txt generátor a validátor

Vytvárajte pravidlá pre crawlery, pridávajte direktívy máp stránok a validujte syntax robots.txt lokálne pred publikovaním súboru v koreňovom adresári vašej webovej stránky.

Pripravený

Výsledky validácie

  • Vygenerujte alebo vložte obsah robots.txt a potom ho validujte.

Generovanie pravidiel pre crawlery

Vytvorte direktívy User-agent, Allow, Disallow, Sitemap a voliteľné direktívy Host bez toho, aby ste si museli pamätať formátovanie robots.txt.

Validácia syntaxe

Skontrolujte bežné chyby, ako sú chýbajúce user-agenty, relatívne adresy URL máp stránok, nesprávne cesty, duplicitné pravidlá a nepodporované názvy direktív.

Súkromné lokálne spracovanie

Generátor a validátor bežia vo vašom prehliadači. Obsah Robots.txt sa nenahráva na servery Convertr.

Často kladené otázky

Bol môj súbor robots.txt nahraný na validáciu?

Nie. Generovanie a validácia bežia vo vašom prehliadači pomocou JavaScriptu. Text, ktorý zadáte, sa neposiela na servery Convertr.

Kam mám umiestniť robots.txt?

Umiestnite robots.txt do koreňového adresára hostiteľa, na ktorý sa vzťahuje, napríklad https://example.com/robots.txt.

Odstráni robots.txt stránky z Google?

Nie. Robots.txt riadi prístup crawlera. Použite direktívy noindex na stránke alebo odstráňte stránku, ak potrebujete deindexáciu.

Súvisiace nástroje pre vývojárov

XML Sitemap generátor Vytvorte platný súbor sitemap.xml z zoznamu URL. HTTP hlavice kontrolátor Skontrolujte redirecty, kódy stavu a hlavné odpovede. XML formátovanie Formátujte a validujte súbory XML a úryvky máp stránok. URL kódovanie & decoder Kódujte URL, reťazce dotazov a komponenty URL. URL generátor Vytvorte čitateľné URL cesty pre stránky a príspevky. Kontrola Open Graph Ukážka, ako sa stránky a mapy stránok zobrazujú na platformách sociálnych médií. Cron Expression generátor Vytvorte a validujte plánované crawler alebo údržbové práce.

Robots.txt generátor

Vytvorte a validujte základné skupiny robots.txt, pravidlá povoliť a odovzdať, zpoždenie prehľadávania a referencie na mapy lokalít.

Vstup
Skupiny užívateľa-agentov, pravidlá trasy a adresy URL lokality.
Výstup
Kopírovaný robots.txt text s štrukturálnou diagnostikou.
Skutočné obmedzenia
robots.txt je poradenský, podpory prehľadávača sa líšia, pravidlá sú prípadovo citlivé cesty predpísania a nemôže odstrániť už indexovaný URL sám o sebe.
Súkromie a spracovanie údajov
Používateľ-agent skupiny, pravidlá cesty a adresy URL lokality sú spracované v tejto tabuľke prehliadača. konvertor neprijíma ani ukladá; zatváranie alebo prekladanie stránky vyčistí stav práce, pokiaľ nástroj výslovne ponúka lokálne stiahnutie.

Ako používať tento nástroj

  1. Poskytnite skupiny používateľa-agent, pravidlá trasy a adresy URL lokality v ovládacích prvkoch nástroja.
  2. Vyberte nastavenia, ktoré ovplyvňujú kopírovaný text robots.txt so štrukturálnou diagnostikou a potom spustite nástroj.
  3. Preskúmať kopírovaný robots.txt text s štrukturálnou diagnostikou pred kopírovaním alebo stiahnutím.

Spoločný spôsob zlyhania

Nevyliečené adresy URL, konfliktujúce sa skupiny, nepodporované smernice alebo chýbajúci užívateľský agent vytvárajú varovanie.

Užitočný príklad

Vytvorte skupinu * užívateľského agenta, ktorá odovzdáva /admin/ a menuje URL lokality produkcie.