Robots.txt Generator og Validator

Skap crawlerregler, legg til sitemap-direktiver og validerer robots.txt syntax lokalt før du publiserer filen på nettstedet ditt roten.

Klar

Validering resultat

  • Generere eller paste robots.txt innhold, og deretter validerer det.

Crawler Rule Generasjon

Bygg brukeragent, tillate, avlyse, Sitemap og valgfrie Host-direktiver uten å memorere robots.txt formatering.

Syntax Validering

Sjekk vanlige feil som savnede brukere, relative sitemap URL-er, feilformede veier, duplikatregler og ustøttet direktivnavne.

Privat lokal behandling

Generatoren og validatoren kjører i nettleseren din. Robots.txt innhold lastes ikke opp til Convertr-server.

Ofte stilte spørsmål

Er min robots.txt-fil lastet opp for validering?

Generasjon og validering kjører i nettleseren din med JavaScript. teksten du skriver inn sendes ikke til Convertr-server.

Hvor skal jeg plassere robots.txt?

Plasser robots.txt på roten av vertsen det gjelder, for eksempel https://example.com/robots.dxt.

Robots.txt fjerner sider fra Google?

No. Robots.txt kontrollerer crawler tilgang. Bruk noindex retningslinjer på siden eller fjerne siden hvis du trenger deindexing.

Relaterte utviklerverktøy

XML-kort generator Skap en gyldig sitemap.xml-fil fra en URL-liste. HTTP Headers sjekker Sjekk omdirigeringer, statuskoder og responsheader. XML formater Formatere og validerer XML-filer og sitemap snippets. URL-koder og dekoder Inkode URLer, spørrelinjer og URL-komponenter. URL slug generator Skap lesbare URL-veier for sider og innlegg. Åpne grafikk sjekker Forhåndsvisning av hvordan sider og sitemapper vises på sosiale medier plattformer. Cron uttrykk generator Bygg og valider planlagte crawler eller vedlikeholdsarbeider.

Robots.txt generator

Bygg og validere grunnleggende robots.txt-grupper, Tillat og avlyse regler, crawl forsinkelser, og sitemap referanser.

Inndata
Bruker-agentgrupper, veiledning og sitemap URLs.
Resultat
Kopibar robots.txt tekst med strukturell diagnostikk.
Faktiske begrensninger
robots.txt er rådgivende, crawler-støtte varierer, regler er tilfellefølsomme veiledning forhåndsregler, og det kan ikke fjerne en allerede indeksert URL av seg selv.
Personvern og databehandling
Bruker-agentgrupper, veiledning og sitemap URLs behandles i denne nettleserkortet. Converter mottar eller lagrer den; lukking eller omlasting av siden renser arbeidsstaten med mindre verktøyet uttrykkelig tilbyr en lokal nedlasting.

Hvordan bruke dette verktøyet

  1. Gi brukeragentgrupper, veiledning og sitemap URL-er i verktøykontroller.
  2. Velg innstillingene som påvirker kopierbar robots.txt tekst med strukturell diagnostikk, og kjør deretter verktøyet.
  3. Se på kopibar robots.txt tekst med strukturell diagnostikk før kopiering eller nedlasting.

Vanlige feiltyper

Invalid sitemap URLer, konfliktende hvite grupper, ustøttet retningslinjer eller en savnet brukeragent produserer advarsler.

Nyttig eksempel

Skap en * brukeragentgruppe som avgir /admin/ og navngir produksjonssittemapens URL.