Robots.txt generaator ja valideerija

Loo indekseerimisreegleid, lisa saidikaardi direktiive ja valideeri robots.txt süntaksit lokaalselt enne faili avaldamist oma veebisaidi juurkataloogis.

Valmis

Valideerimise tulemused

  • Genereeri või kleebi robots.txt sisu, seejärel valideeri see.

Indekseerimisreeglite genereerimine

Koosta User-agent, Allow, Disallow, Sitemap ja valikuline Host direktiiv ilma robots.txt vormingut meelde jätmata.

Süntaksi valideerimine

Kontrolli tavalisi vigu, nagu puuduvad user-agentid, suhtelised saidikaardi URL-id, valesti vormistatud teed, duplikaatreeglid ja mittetoetatud direktiivide nimed.

Privaatne kohalik töötlemine

Generaator ja valideerija töötavad sinu brauseris. Robots.txt sisu ei laadita Convertr serveritesse.

Korduma kippuvad küsimused

Kas minu robots.txt fail on valideerimiseks üles laaditud?

Ei. Genereerimine ja valideerimine toimuvad sinu brauseris JavaScriptiga. Sinu sisestatud teksti ei saadeta Convertr serveritesse.

Kuhu ma peaksin robots.txt paigutama?

Paiguta robots.txt hosti juurkataloogi, millele see kehtib, näiteks https://example.com/robots.txt.

Kas robots.txt eemaldab lehed Google'ist?

Ei. Robots.txt kontrollib indekseerija juurdepääsu. Kasuta lehel noindex direktiive või eemalda leht, kui sa pead indekseerimise tühistama.

Seotud arendajatööriistad

XML saidikaardi generaator Loo kehtiv sitemap.xml fail URL-ide loendist. HTTP päiste kontroll Kontrolli ümbersuunamisi, olekukoode ja vastuse päiseid. XML Vormindaja Vorminda ja valideeri XML-faile ja saidikaardi fragmente. URL kodeerija ja dekodeerija Kodeerige URL-id, päringustringid ja URL-i komponendid. URL Slug generaator Loe loetavaid URL-i teid lehekülgedele ja postitustele. Open Graphi kontrollija Vaadake, kuidas lehed ja saidikaardid sotsiaalmeedia platvormidel kuvatakse. Croni avaldise generaator Ehita ja valideeri ajastatud roomiku- või hooldustöid.

Robots.txt generaator

Ehita ja valideeri põhilisi robots.txt rühmi, luba ja keela reegleid, roomamisviivitusi ja saidikaardi viiteid.

Sisend
Kasutaja-agendi rühmad, teekondade reeglid ja sitemap URL-id.
Väljund
Kopeeritav robots.txt tekst koos struktuurdiagnostika.
Tegelikud piirangud
robots.txt on soovituslik, roomaja tugi varieerub, reeglid on tõstutundlikud teede eesliited ja see ei saa juba indekseeritud URL-i ise eemaldada.
Privaatsus ja andmete töötlemine
kasutaja-agendi rühmad, teereeglid ja saidikaardi URL-id töödeldakse selles brauseri vahekaardil. Convertr ei saa ega salvesta seda; lehe sulgemine või uuesti laadimine puhastab tööseisundi, kui tööriist ei paku selgelt kohalikku allalaadimist.

Kuidas seda tööriista kasutada

  1. Paku kasutaja-agendi rühmitusi, teekonna reegleid ja saidikaardi URL-e tööriista juhtelementides.
  2. Valige seaded, mis mõjutavad kopeeritavat robots.txt teksti koos struktuuridiagnostikaga, seejärel käivitage tööriist.
  3. Vaadake kopeeritavat robots.txt teksti struktuurdiagnoosidega enne selle kopeerimist või allalaadimist.

Levinud ebaõnnestumise viisid

Vigased saidikaardi URL-id, konfliktsed tühjad rühmad, toetamata juhised või puuduv kasutajaagent tekitab hoiatusi.

Kasulik näide

Loo * kasutaja-agendi rühm, mis keelab /admin/ ja nimetab tootmise saidikaardi URL-i.