Robots.txt Generator & Validator

Opret crawler-regler, tilføj sitemap-direktiver, og valider robots.txt-syntaks lokalt, før du udgiver filen i din hjemmesides rod.

Parat

Valideringsresultater

  • Generer eller indsæt robots.txt-indhold, og valider det derefter.

Generering af crawler-regler

Opbyg User-agent, Allow, Disallow, Sitemap og valgfri Host-direktiver uden at huske robots.txt-formatering.

Syntaksvalidering

Tjek for almindelige fejl såsom manglende user-agents, relative sitemap-URL'er, misdannede stier, dublerede regler og ikke-understøttede direktivnavne.

Privat lokal behandling

Generatoren og validatoren kører i din browser. Robots.txt-indhold uploades ikke til Convertr-servere.

Frequently asked questions

Er min robots.txt-fil uploadet til validering?

No. Generation og validering kører i din browser med JavaScript. Den tekst, du indtaster, sendes ikke til Convertr-servere.

Hvor skal jeg placere robots.txt?

Placer robots.txt i roden af den host, den gælder for, f.eks. https://example.com/robots.txt.

Fjerner robots.txt sider fra Google?

Nej. Robots.txt styrer crawler-adgang. Brug noindex-direktiver på siden, eller fjern siden, hvis du har brug for deindeksering.

Relaterede udviklerværktøjer

HTTP Headers Checker Inspect redirects, status codes, and response headers. XML Formatter Formater og valider XML-filer og sitemap-snippets. URL Encoder & Decoder Kod URL'er, query strings og URL komponenter. URL Slug Generator Create readable URL paths for pages and posts. HTML Entity Encoder Escape og dekod HTML-følsomme tegn. Cron Expression Generator Build and validate scheduled crawler or maintenance jobs.