Robots.txt Generator og Validator

Opret crawler-regler, tilføj sitemap-direktiver, og valider robots.txt-syntaks lokalt, før du udgiver filen i din hjemmesides rod.

Parat

Valideringsresultater

  • Generer eller indsæt robots.txt-indhold, og valider det derefter.

Generering af crawler-regler

Opbyg User-agent, Allow, Disallow, Sitemap og valgfri Host-direktiver uden at huske robots.txt-formatering.

Syntaksvalidering

Tjek for almindelige fejl såsom manglende user-agents, relative sitemap-URL'er, misdannede stier, dublerede regler og ikke-understøttede direktivnavne.

Privat lokal behandling

Generatoren og validatoren kører i din browser. Robots.txt-indhold uploades ikke til Convertr-servere.

Ofte stillede spørgsmål

Er min robots.txt-fil uploadet til validering?

Nej. Generering og validering kører i din browser med JavaScript. Den tekst, du indtaster, sendes ikke til Convertr-servere.

Hvor skal jeg placere robots.txt?

Placer robots.txt i roden af den host, den gælder for, f.eks. https://example.com/robots.txt.

Fjerner robots.txt sider fra Google?

Nej. Robots.txt styrer crawler-adgang. Brug noindex-direktiver på siden, eller fjern siden, hvis du har brug for deindeksering.

Relaterede udviklerværktøjer

XML-sitemapgenerator Opret en gyldig sitemap.xml-fil fra en URL-liste. HTTP-headertjekker Inspicer omdirigeringer, statuskoder og responshoveder. XML-formatering Formater og valider XML-filer og sitemap-snippets. URL-koder og -afkoder Kod URL'er, query strings og URL komponenter. URL-sluggenerator Opret læsbare URL-stier til sider og indlæg. Grafikkontrol med Open Graph Checker Forhåndsvisning af, hvordan sider og sitemap vises på sociale medier. Cron-udtryksgenerator Opbygge og validere planlagte crawler- eller vedligeholdelsesjob.

Robots.txt-generator

Opbyg og valider grundlæggende robots.txt-grupper, Tillad- og Afvis-regler, crawl-forsinkelser og sitemap-referencer.

Indtastning
Brugeragentgrupper, stiregler og sitemap-URL'er.
Udgang
Kopierbar robots.txt-tekst med strukturel diagnostik.
Virkelige begrænsninger
robots.txt er vejledende, crawler-understøttelse varierer, regler er store/små bogstaver-følsomme sti-præfikser, og det kan ikke selv fjerne en allerede indekseret URL.
Privatliv og databehandling
Brugeren-agentgrupper, vejregler og sitemap URL'er behandles i denne browser-tab. Convertr modtager eller gemmer det; lukning eller omladning af siden renses arbejdsstedet, medmindre værktøjet udtrykkeligt tilbyder en lokal download.

Hvordan man bruger dette værktøj

  1. Angiv brugeragentgrupper, stiregler og sitemap-URL'er i værktøjets kontroller.
  2. Vælg de indstillinger, der påvirker kopierbar robots.txt-tekst med strukturel diagnostik, og kør derefter værktøjet.
  3. Gennemgå kopierbar robots.txt-tekst med strukturel diagnostik før kopiering eller download.

Almindelige fejltilstande

Ugyldige sitemap-URL'er, modstridende blanke grupper, ikke-understøttede direktiver eller en manglende brugeragent producerer advarsler.

Nyttigt eksempel

Opret en *-brugeragentgruppe, der ikke tillader /admin/ og navngiver produktions-sitemap-URL'en.