Generator & Validator Robots.txt

Ustvarite pravila za pajke, dodajte direktive zemljevida spletnega mesta in preverite sintakso robots.txt lokalno, preden objavite datoteko v korenu vašega spletnega mesta.

pripravljena

Rezultati preverjanja

  • Ustvarite ali prilepite vsebino robots.txt, nato pa jo preverite.

Ustvarjanje pravil za pajke

Zgradite direktive User-agent, Allow, Disallow, Sitemap in izbirno Host, ne da bi si zapomnili oblikovanje robots.txt.

Preverjanje sintakse

Preverite pogoste napake, kot so manjkajoči uporabniški agenti, relativni URL-ji zemljevida spletnega mesta, nepravilne poti, podvojena pravila in nepodprta imena direktiv.

Zasebna lokalna obdelava

Generator in preverjevalnik se izvajata v vašem brskalniku. Vsebina Robots.txt ni naložena na strežnike Convertr.

Frequently asked questions

Ali je moja datoteka robots.txt naložena za preverjanje?

Ne. Ustvarjanje in preverjanje se izvajata v vašem brskalniku z JavaScript. Besedilo, ki ga vnesete, ni poslano na strežnike Convertr.

Kam naj postavim robots.txt?

Postavite robots.txt v koren gostitelja, na katerega se nanaša, na primer https://example.com/robots.txt.

Ali robots.txt odstrani strani iz Googla?

Ne. Robots.txt nadzoruje dostop pajkov. Uporabite direktive noindex na strani ali odstranite stran, če potrebujete odstranitev iz indeksa.

Sorodna orodja za razvijalce

HTTP Headers Checker Inspect redirects, status codes, and response headers. Oblikovalnik XML Formatirajte in preverite datoteke XML in izrezke zemljevida spletnega mesta. Kodirnik & Dekodirnik URL Kodirajte URL-je, nize poizvedb in komponente URL-jev. URL Slug Generator Create readable URL paths for pages and posts. Kodirnik HTML entitet Pobegnite in dekodirajte znake, občutljive na HTML. Cron Expression Generator Build and validate scheduled crawler or maintenance jobs.