Generator in preverjevalnik Robots.txt

Ustvarite pravila za pajke, dodajte direktive zemljevida spletnega mesta in preverite sintakso robots.txt lokalno, preden objavite datoteko v korenu vašega spletnega mesta.

Pripravljeno

Rezultati preverjanja

  • Ustvarite ali prilepite vsebino robots.txt, nato pa jo preverite.

Ustvarjanje pravil za pajke

Zgradite direktive User-agent, Allow, Disallow, Sitemap in izbirno Host, ne da bi si zapomnili oblikovanje robots.txt.

Preverjanje sintakse

Preverite pogoste napake, kot so manjkajoči uporabniški agenti, relativni URL-ji zemljevida spletnega mesta, nepravilne poti, podvojena pravila in nepodprta imena direktiv.

Zasebna lokalna obdelava

Generator in preverjevalnik se izvajata v vašem brskalniku. Vsebina Robots.txt ni naložena na strežnike Convertr.

Pogosto zastavljena vprašanja

Ali je moja datoteka robots.txt naložena za preverjanje?

Ne. Ustvarjanje in preverjanje se izvajata v vašem brskalniku z JavaScript. Besedilo, ki ga vnesete, ni poslano na strežnike Convertr.

Kam naj postavim robots.txt?

Postavite robots.txt v koren gostitelja, na katerega se nanaša, na primer https://example.com/robots.txt.

Ali robots.txt odstrani strani iz Googla?

Ne. Robots.txt nadzoruje dostop pajkov. Uporabite direktive noindex na strani ali odstranite stran, če potrebujete odstranitev iz indeksa.

Sorodna orodja za razvijalce

XML zemljevid mesta generator Ustvarite veljavno datoteko sitemap.xml iz seznama URL-jev. Preverjanje glav HTTP Preverite preusmeritve, kode stanja in glave odgovora. Oblikovalnik XML Formatirajte in preverite datoteke XML in izrezke zemljevida spletnega mesta. Kodirnik in dekodirnik URL-jev Kodirajte URL-je, nize poizvedb in komponente URL-jev. Generator URL-slugov Ustvarite bralne URL poti za strani in sporočila. Preverjevalnik Open Graph Predoglejte si, kako se strani in zemljevidi spletnih mest prikazujejo na platformah družabnih medijev. Generator Cron izrazov Ustvarite in potrjujte načrtovana opravila pajkov ali vzdrževanja.

Generator datoteke robots.txt

Ustvarite in validirajte osnovne skupine robots.txt, pravila Allow in Disallow, zamude pri pajkanju in reference na zemljevid mesta.

Vhod
Skupine uporabniških agentov, pravila poti in URL-ji zemljevida spletišča.
Izhod
Kopirno besedilo robots.txt s strukturno diagnostiko.
Resnične omejitve
robots.txt je svetovalen, podpora pajkov se razlikuje, pravila so občutljiva na velikost črk kot predpone poti in ne more sam odstraniti že indeksiranega URL-ja.
Zasebnost in ravnanje s podatki
skupine uporabniških agentov, pravila poti in URL-ji zemljevida spletišča se obdelujejo v tem zavihku brskalnika. Convertr ga ne prejme ali shrani; zapiranje ali ponovno nalaganje strani očisti delovno stanje, razen če orodje izrecno ponuja lokalni prenos.

Kako uporabljati to orodje

  1. Navedite skupine uporabniških agentov, pravila poti in URL-je zemljevida spletnega mesta v kontrolnikih orodja.
  2. Izberite nastavitve, ki vplivajo na kopirljivo besedilo robots.txt s strukturno diagnostiko, nato pa zaženite orodje.
  3. Preglejte besedilo robots.txt, ki ga je mogoče kopirati, s strukturno diagnostiko, preden ga kopirate ali prenesete.

Pogosti načini napak

Neveljavni URL-ji zemljevida spletnega mesta, konfliktne prazne skupine, nepodprte direktive ali manjkajoč uporabniški agent povzročajo opozorila.

Koristni primer

Ustvarite skupino uporabniških agentov *, ki prepove /admin/ in navede URL produkcijskega zemljevida spletišča.