Robots.txt Generator & Validerare

Skapa crawlerregler, lägg till webbplatskartadirektiv och validera robots.txt-syntax lokalt innan du publicerar filen i din webbplats rot.

Redo

Valideringsresultat

  • Generera eller klistra in robots.txt-innehåll och validera det sedan.

Generering av crawler-regler

Bygg User-agent, Allow, Disallow, Sitemap och valfria Host-direktiv utan att memorera robots.txt-formatering.

Syntaxvalidering

Kontrollera vanliga misstag som saknade användaragenter, relativa platskartor URL-adresser, felformade vägar, dubbelregler och okomplicerade direktivnamn.

Privat lokal bearbetning

Generatorn och validatorn körs i din webbläsare. Robots.txt-innehåll laddas inte upp till Convertr-servrar.

Vanliga frågor

Är min robots.txt-fil uppladdad för validering?

Nej. Generering och validering körs i din webbläsare med JavaScript. Texten du anger skickas inte till Convertrs servrar.

Var ska jag placera robots.txt?

Placera robots.txt i roten av den värd den gäller för, till exempel https://example.com/robots.txt.

Tar robots.txt bort sidor från Google?

Nej. Robots.txt styr crawleråtkomst. Använd noindex-direktiv på sidan eller ta bort sidan om du behöver avindexera.

Relaterade utvecklarverktyg

XML-kort generator Skapa en giltig sitemap.xml-fil från en URL-lista. HTTP för Chelnici Kontrollera omdirigeringar, statuskoder och svarhuvud. XML Formaterare Formatera och validera XML-filer och sitemap-utdrag. URL Kodare & Avkodare Inkodar URL, fråge strängar och URL-komponenter. URL slug generator Skapa läsbara URL-vägar för sidor och inlägg. Open Graph-kontroll Förhandsgranska hur sidor och sitemaps visas på sociala medieplattformar. Cron uttrycksgenerator Bygg och validera planerade crawler- eller underhållsarbeten.

Robots.txt generator

Bygg och validera grundläggande robots.txt-grupper, Tillåt och avlägsna regler, crawl förseningar och sitemap referenser.

Inmatning
Användaragentgrupper, vägregler och platsmapp URL-adresser.
Utdata
Kopierbar robots.txt text med strukturell diagnostik.
Verkliga begränsningar
robots.txt är rådgivande, crawler support varierar, reglerna är fallsensitiva vägsprefix och det kan inte ta bort en redan indexerad URL av sig själv.
Integritet och databehandling
Användaragentgrupper, vägregler och platsmapp URL-adresser behandlas i denna webbläsarkiv. Converter inte får eller lagrar det; stängning eller omlastning av sidan klarar arbetsstaten såvida verktyget uttryckligen inte erbjuder en lokal nedladdning.

Hur man använder detta verktyg

  1. Ge användar-agentsgrupper, vägregler och platskartor URL i verktygskontrollen.
  2. Välj inställningarna som påverkar kopierbar robots.txt text med strukturell diagnostik, kör sedan verktyget.
  3. Översikt av kopierbar robots.txt text med strukturell diagnostik innan du kopierar eller laddar ner den.

Vanliga misslyckande lägen

Invaliderade webbplatsmapp URL, konflikterande vita grupper, okomplicerade riktlinjer eller en saknad användaragent ger varningar.

Användbar exempel

Skapa en * användaragentgrupp som avlägsnar /admin/ och namngår produktionssitmappens URL.