Generator & Validator Robots.txt

Ustvarite pravila za pajke, dodajte direktive zemljevida spletnega mesta in preverite sintakso robots.txt lokalno, preden objavite datoteko v korenu vašega spletnega mesta.

pripravljena

Rezultati preverjanja

  • Ustvarite ali prilepite vsebino robots.txt, nato pa jo preverite.

Ustvarjanje pravil za pajke

Zgradite direktive User-agent, Allow, Disallow, Sitemap in izbirno Host, ne da bi si zapomnili oblikovanje robots.txt.

Preverjanje sintakse

Preverite pogoste napake, kot so manjkajoči uporabniški agenti, relativni URL-ji zemljevida spletnega mesta, nepravilne poti, podvojena pravila in nepodprta imena direktiv.

Zasebna lokalna obdelava

Generator in preverjevalnik se izvajata v vašem brskalniku. Vsebina Robots.txt ni naložena na strežnike Convertr.

Pogosto zastavljena vprašanja

Ali je moja datoteka robots.txt naložena za preverjanje?

Ne. Ustvarjanje in preverjanje se izvajata v vašem brskalniku z JavaScript. Besedilo, ki ga vnesete, ni poslano na strežnike Convertr.

Kam naj postavim robots.txt?

Postavite robots.txt v koren gostitelja, na katerega se nanaša, na primer https://example.com/robots.txt.

Ali robots.txt odstrani strani iz Googla?

Ne. Robots.txt nadzoruje dostop pajkov. Uporabite direktive noindex na strani ali odstranite stran, če potrebujete odstranitev iz indeksa.

Sorodna orodja za razvijalce

XML kartica generator Ustvarite veljavno datoteko sitemap.xml iz seznama URL-jev. HTTP naslovniki preverjanje Preverite preusmeritve, kodo stanja in naslovnike odziva. Oblikovalnik XML Formatirajte in preverite datoteke XML in izrezke zemljevida spletnega mesta. Kodirnik & Dekodirnik URL Kodirajte URL-je, nize poizvedb in komponente URL-jev. URL Slug Generator za napajanje Ustvarite bralne URL poti za strani in sporočila. Preverjevalnik Open Graph Predoglejte si, kako se strani in zemljevidi spletnih mest prikazujejo na platformah družabnih medijev. Cron izraz generator Ustvarite in potrjujete načrtovane crawlerje ali vzdrževanje delovnih mest.

Robots.txt Generatorji

Ustvarite in potrdite osnovne skupine robots.txt, dovoljenje in razveljavitev pravil, zamude v crawl in reference za zemljevid mesta.

Vhod
Uporabniške skupine agentov, pravila poti in URL-ji sitemap.
Izhod
Kopiranje robots.txt besedilo z strukturno diagnostiko.
Resnične omejitve
robots.txt je svetovalna, podpora za brskanje se razlikuje, pravila so primerno občutljive poti predhodne nastavitve in ne more samodejno odstraniti že indeksirane URL-ja.
Zasebnost in obdelava podatkov
Uporabniške skupine agentov, pravila poti in URL-ji lokacijskega zemljevida se obdelujejo v tej zavihki brskalnika. Converter ne prejme ali shrani; zapiranje ali ponovno naložitev strani očisti delovni status, razen če orodje izrecno ponuja lokalno prenos.

Kako uporabljati to orodje

  1. Ponuja skupine uporabnikov-agenta, pravila poti in URL-je sitemap v kontrolnikih orodja.
  2. Izberite nastavitve, ki vplivajo na kopirljivo robots.txt besedilo s strukturno diagnozo, nato pa izvajajo orodje.
  3. Pregled kopirati robots.txt besedilo z strukturno diagnostiko pred kopiranje ali prenos.

Skupni načini neuspeha

Nevarni URL-ji v spletnem zemljevidu, konflikti bele skupine, nepodprte smernice ali pomanjkanje uporabniškega agenta povzročajo opozorila.

Koristni primer

Ustvarite skupino uporabnikov-agenta, ki razkriva /admin/ in imenuje URL lokacijskega zemljevida proizvodnje.