Robots.txt generaator ja valideerija

Loo indekseerimisreegleid, lisa saidikaardi direktiive ja valideeri robots.txt süntaksit lokaalselt enne faili avaldamist oma veebisaidi juurkataloogis.

Valmis

Valideerimise tulemused

  • Genereeri või kleebi robots.txt sisu, seejärel valideeri see.

Indekseerimisreeglite genereerimine

Koosta User-agent, Allow, Disallow, Sitemap ja valikuline Host direktiiv ilma robots.txt vormingut meelde jätmata.

Süntaksi valideerimine

Kontrolli tavalisi vigu, nagu puuduvad user-agentid, suhtelised saidikaardi URL-id, valesti vormistatud teed, duplikaatreeglid ja mittetoetatud direktiivide nimed.

Privaatne kohalik töötlemine

Generaator ja valideerija töötavad sinu brauseris. Robots.txt sisu ei laadita Convertr serveritesse.

Korduma kippuvad küsimused

Kas minu robots.txt fail on valideerimiseks üles laaditud?

Ei. Genereerimine ja valideerimine toimuvad sinu brauseris JavaScriptiga. Sinu sisestatud teksti ei saadeta Convertr serveritesse.

Kuhu ma peaksin robots.txt paigutama?

Paiguta robots.txt hosti juurkataloogi, millele see kehtib, näiteks https://example.com/robots.txt.

Kas robots.txt eemaldab lehed Google'ist?

Ei. Robots.txt kontrollib indekseerija juurdepääsu. Kasuta lehel noindex direktiive või eemalda leht, kui sa pead indekseerimise tühistama.

Seotud arendajatööriistad

XML Sitesimärgi generaator Looge kehtiv sitemap.xml faili URL-i loendist. HTTP pead kontrolli Kontrollige redirectid, staatuskodid ja vastus pealkiri. XML Vormindaja Vorminda ja valideeri XML-faile ja saidikaardi fragmente. URL kodeerija ja dekodeerija Kodeerige URL-id, päringustringid ja URL-i komponendid. URL Slug generaator Looge lugeda URL-i teed lehekülgedele ja postitustele. Open Graphi kontrollija Vaadake, kuidas lehed ja saidikaardid sotsiaalmeedia platvormidel kuvatakse. Cron väljendus generaator Ehita ja kinnitada kavandatud ratturite või hooldusteenuste tööd.

Robots.txt põhineb

Ehita ja kinnitada põhilisi robots.txt rühmi, lubada ja kustutada reeglid, crawl viivitusi ja sitemap viiteid.

Sisend
Kasutaja-agendi rühmad, teekondade reeglid ja sitemap URL-id.
Väljund
Kopeeritav robots.txt tekst koos struktuurdiagnostika.
Tegelik piirangud
robots.txt on nõuandev, krümeerijuhtimine on erinev, reeglid on juhtumi tundlikud teekondade eelistused ja see ei saa juba indekseeritud URL-i ise eemaldada.
Privaatsus ja andmete töötlemine
kasutaja-agendi rühmad, teed reeglid ja siitmapi URL-id töödeldakse selles brauseri tabis. konverter ei saa ega salvestada seda; sulgemine või uuesti laadimine lehe puhastab töötingimust, kui tööriist ei paku selgelt kohalikku allalaadimist.

Kuidas seda tööriista kasutada

  1. Pakkuge kasutaja-agendi rühmitusi, teekondade reegleid ja saidi kaardile URL-d tööriista kontrollides.
  2. Valige rakendused, mis mõjutavad kopeeritavat robots.txt teksti struktuurdiagnostika ja seejärel tööriista käivitada.
  3. Vaadake kopeeritavat robots.txt teksti struktuurdiagnoosidega enne selle kopeerimist või allalaadimist.

Ühine ebaõnnestumismudel

Ebaseaduslikud saidi kaardilehted, konflikti valged rühmad, toetatavad juhised või puuduv kasutaja agent toodab hoiatusi.

Kasulik näide

Looge kasutaja-agendi rühm, mis lahendab /admin/ ja nimetatakse tootmisseadme URL.