Robots.txt Generator og Validator

Opret crawler-regler, tilføj sitemap-direktiver, og valider robots.txt-syntaks lokalt, før du udgiver filen i din hjemmesides rod.

Parat

Valideringsresultater

  • Generer eller indsæt robots.txt-indhold, og valider det derefter.

Generering af crawler-regler

Opbyg User-agent, Allow, Disallow, Sitemap og valgfri Host-direktiver uden at huske robots.txt-formatering.

Syntaksvalidering

Tjek for almindelige fejl såsom manglende user-agents, relative sitemap-URL'er, misdannede stier, dublerede regler og ikke-understøttede direktivnavne.

Privat lokal behandling

Generatoren og validatoren kører i din browser. Robots.txt-indhold uploades ikke til Convertr-servere.

Ofte stillede spørgsmål

Er min robots.txt-fil uploadet til validering?

No. Generation og validering kører i din browser med JavaScript. Den tekst, du indtaster, sendes ikke til Convertr-servere.

Hvor skal jeg placere robots.txt?

Placer robots.txt i roden af den host, den gælder for, f.eks. https://example.com/robots.txt.

Fjerner robots.txt sider fra Google?

Nej. Robots.txt styrer crawler-adgang. Brug noindex-direktiver på siden, eller fjern siden, hvis du har brug for deindeksering.

Relaterede udviklerværktøjer

XML-snitskort generator Skab en gyldig sitemap.xml-fil fra en URL-liste. HTTP afhænger Inspektion af omdirigeringer, statuskoder og responshovedere. XML formater Formater og valider XML-filer og sitemap-snippets. Udstyret med URL Encoder & Decoder Kod URL'er, query strings og URL komponenter. URL slug generator Skab læsbare URL-vej for sider og indlæg. Grafikkontrol med Open Graph Checker Forhåndsvisning af, hvordan sider og sitemap vises på sociale medier. Cron udtryk generator Opbygge og validere planlagte crawler- eller vedligeholdelsesjob.

Robots.txt generator

Opbygge og validere grundlæggende robots.txt grupper, Tillade og Aflad regler, crawl forsinkelser og sitemap referencer.

Indtastning
Brugeragentgrupper, vejregler og sitemap URL'er.
Udgang
Kopierbar robots.txt tekst med strukturel diagnostik.
Virkelige begrænsninger
robots.txt er rådgivende, crawler support varierer, reglerne er tilfældig-sensitive vej forhåndsbestemmelser, og det kan ikke fjerne en allerede indekseret URL af sig selv.
Privatliv og databehandling
Brugeren-agentgrupper, vejregler og sitemap URL'er behandles i denne browser-tab. Converter modtager eller gemmer det; lukning eller omladning af siden renses arbejdsstedet, medmindre værktøjet udtrykkeligt tilbyder en lokal download.

Hvordan man bruger dette værktøj

  1. Giv brugeren-agentgrupper, vejregler og sitemap URL'er i værktøjskontrollerne.
  2. Vælg de indstillinger, der påvirker kopiable robots.txt tekst med strukturel diagnostik, og køre værktøjet.
  3. Læs kopibar robots.txt tekst med strukturel diagnostik før kopiering eller downloading.

Vanlige fejlmoder

Invalid sitemap URL'er, konfliktløse blande grupper, ustøttet retningslinjer eller en manglende brugeragent producerer advarsler.

Nyttig eksempel

Skab en * brugeragentgruppe, der fjerner /admin/ og navngiver produktions sitemap URL.