Robots.txt-generator och -validator

Skapa crawlerregler, lägg till webbplatskartadirektiv och validera robots.txt-syntax lokalt innan du publicerar filen i din webbplats rot.

Klar

Valideringsresultat

  • Generera eller klistra in robots.txt-innehåll och validera det sedan.

Generering av crawler-regler

Bygg User-agent, Allow, Disallow, Sitemap och valfria Host-direktiv utan att memorera robots.txt-formatering.

Syntaxvalidering

Kontrollera vanliga misstag som saknade användaragenter, relativa webbplatskartors URL:er, felaktiga sökvägar, dubbla regler och ogiltiga direktivnamn.

Privat lokal bearbetning

Generatorn och validatorn körs i din webbläsare. Robots.txt-innehåll laddas inte upp till Convertr-servrar.

Vanliga frågor

Är min robots.txt-fil uppladdad för validering?

Nej. Generering och validering körs i din webbläsare med JavaScript. Texten du anger skickas inte till Convertrs servrar.

Var ska jag placera robots.txt?

Placera robots.txt i roten av den värd den gäller för, till exempel https://example.com/robots.txt.

Tar robots.txt bort sidor från Google?

Nej. Robots.txt styr crawleråtkomst. Använd noindex-direktiv på sidan eller ta bort sidan om du behöver avindexera.

Relaterade utvecklarverktyg

XML Sitemap-generator Skapa en giltig sitemap.xml-fil från en URL-lista. HTTP-huvudkontroll Inspektera omdirigeringar, statuskoder och svarshuvuden. XML Formaterare Formatera och validera XML-filer och sitemap-utdrag. URL-kodare och -avkodare Inkodar URL, fråge strängar och URL-komponenter. URL-sluggenerator Skapa läsbara URL-vägar för sidor och inlägg. Open Graph-kontroll Förhandsgranska hur sidor och sitemaps visas på sociala medieplattformar. Generator för cron-uttryck Bygg och validera planerade crawler- eller underhållsarbeten.

Robots.txt-generator

Bygg och validera grundläggande robots.txt-grupper, Allow- och Disallow-regler, crawl-fördröjningar och sitemap-referenser.

Inmatning
Användaragentgrupper, sökvägsregler och webbplatskartans URL:er.
Utdata
Kopierbar robots.txt-text med strukturell diagnostik.
Verkliga begränsningar
robots.txt är rådgivande, crawler-stöd varierar, reglerna är skiftlägeskänsliga sökvägsprefix och det kan inte ta bort en redan indexerad URL av sig själv.
Integritet och datahantering
Användaragentgrupper, vägregler och platsmapp URL-adresser behandlas i denna webbläsarkiv. Convertr inte får eller lagrar det; stängning eller omlastning av sidan klarar arbetsstaten såvida verktyget uttryckligen inte erbjuder en lokal nedladdning.

Hur man använder detta verktyg

  1. Ange användaragentgrupper, sökvägsregler och webbplatskartors URL:er i verktygskontrollerna.
  2. Välj inställningarna som påverkar kopierbar robots.txt-text med strukturell diagnostik, kör sedan verktyget.
  3. Granska kopierbar robots.txt-text med strukturell diagnostik innan du kopierar eller laddar ner den.

Vanliga feltillstånd

Ogiltiga webbplatskartors URL:er, motstridiga tomma grupper, direktiv som inte stöds eller en saknad användaragent ger varningar.

Användbart exempel

Skapa en * användaragentgrupp som inte tillåter /admin/ och namnger produktionssitemapens URL.