Robots.txt-generator og -validator

Lag crawler-regler, legg til sitemap-direktiver, og valider robots.txt-syntaks lokalt før du publiserer filen på nettstedets rot.

Klar

Valideringsresultat

  • Generer eller lim inn robots.txt-innhold, og valider det deretter.

Generering av crawler-regler

Bygg brukeragent, Allow, Disallow, Sitemap og valgfrie Host-direktiver uten å memorere robots.txt-formatering.

Syntaksvalidering

Sjekk vanlige feil som manglende brukeragenter, relative sitemap-URL-er, feilformede stier, dupliserte regler og ikke-støttede direktivnavn.

Privat lokal behandling

Generatoren og validatoren kjører i nettleseren din. Robots.txt-innhold lastes ikke opp til Convertr-servere.

Ofte stilte spørsmål

Er min robots.txt-fil lastet opp for validering?

Generering og validering kjører i nettleseren din med JavaScript. Teksten du skriver inn sendes ikke til Convertr-server.

Hvor skal jeg plassere robots.txt?

Plasser robots.txt i rota til verten det gjeld, til dømes https://example.com/robots.txt.

Fjerner robots.txt sider fra Google?

Nei. Robots.txt kontrollerer crawler-tilgang. Bruk noindex-direktiver på siden eller fjern siden hvis du trenger deindeksering.

Relaterte utviklerverktøy

XML Sitemap-generator Skap en gyldig sitemap.xml-fil fra en URL-liste. HTTP-headerkontroll Inspiser omdirigeringer, statuskoder og responshoder. XML-formaterar Formater og valider XML-filer og sitemap-utdrag. URL-kodar og -dekodar Kod URL-er, spørrestrenger og URL-komponenter. URL-sluggenerator Opprett lesbare URL-stier for sider og innlegg. Open Graph-kontroll Forhåndsvisning av hvordan sider og sitemaps vises på sosiale medieplattformer. Generator for cron-uttrykk Bygg og valider planlagte crawler- eller vedlikeholdsjobber.

Generator for robots.txt

Bygg og valider grunnleggende robots.txt-grupper, Tillat- og Avvis-regler, krypeforsinkelser og sitemap-referanser.

Inndata
Brukeragentgrupper, stiregler og sitemap-URLs.
Utdata
Kopierbar robots.txt-tekst med strukturell diagnostikk.
Reelle begrensninger
robots.txt er rådgivende, crawler-støtte varierer, regler er skille mellom store og små bokstaver for stiprefikser, og det kan ikke fjerne en allerede indeksert URL av seg selv.
Personvern og databehandling
Bruker-agentgrupper, veiledning og sitemap URLs behandles i denne nettleserkortet. Convertr mottar eller lagrer den; lukking eller omlasting av siden renser arbeidsstaten med mindre verktøyet uttrykkelig tilbyr en lokal nedlasting.

Hvordan bruke dette verktøyet

  1. Angi brukeragentgrupper, sti-regler og sitemap-URL-er i verktøykontrollene.
  2. Velg innstillingene som påvirker kopierbar robots.txt tekst med strukturell diagnostikk, og kjør deretter verktøyet.
  3. Se gjennom kopierbar robots.txt-tekst med strukturell diagnostikk før kopiering eller nedlasting.

Vanlige feiltyper

Ugyldige sitemap-URL-er, motstridende blanke grupper, ustøttede direktiver eller en manglende brukeragent produserer advarsler.

Nyttig eksempel

Lag en * brukeragentgruppe som nekter /admin/ og navngir produksjonssitemap-URL-en.