Robots.txt-generaattori ja -validaattori

Luo indeksointisääntöjä, lisää sivukarttadirektiivejä ja validoi robots.txt-syntaksi paikallisesti ennen tiedoston julkaisemista verkkosivustosi juureen.

Valmis

Validointitulokset

  • Luo tai liitä robots.txt-sisältö ja validoi se sitten.

Indeksointisääntöjen luonti

Rakenna User-agent-, Allow-, Disallow-, Sitemap- ja valinnainen Host-direktiivi ilman, että sinun tarvitsee muistaa robots.txt-muotoilua.

Syntaksin validointi

Tarkista yleiset virheet, kuten puuttuvat user-agentit, suhteelliset sivukarttojen URL-osoitteet, virheelliset polut, päällekkäiset säännöt ja ei-tuetut direktiivien nimet.

Yksityinen paikallinen käsittely

Generaattori ja validoija toimivat selaimessasi. Robots.txt-sisältöä ei ladata Convertr-palvelimille.

Usein kysytyt kysymykset

Onko robots.txt-tiedostoni ladattu validointia varten?

Ei. Luonti ja validointi suoritetaan selaimessasi JavaScriptillä. Syöttämääsi tekstiä ei lähetetä Convertr-palvelimille.

Minne minun pitäisi sijoittaa robots.txt?

Sijoita robots.txt sen isännän juureen, johon se koskee, kuten https://example.com/robots.txt.

Poistaako robots.txt sivuja Googlesta?

Ei. Robots.txt hallitsee indeksoijan pääsyä. Käytä noindex-direktiivejä sivulla tai poista sivu, jos haluat poistaa sen indeksoinnin.

Liittyvät kehittäjätyökalut

XML sivumappi generaattori Luo voimassa oleva sitemap.xml-tiedosto URL-listalta. HTTP-päällikköjen tarkastus Tarkista uudelleenohjaus, tilan koodit ja vastauspäälliköt. XML-muotoilija Muotoile ja validoi XML-tiedostoja ja sivukarttojen katkelmia. URL-kooderi ja -dekooderi Koodaa URL-osoitteet, kyselymerkkijonot ja URL-komponentit. URLn tuotevoimakkuus Luo lukemattomia URL-tietä sivuille ja viesteille. Open Graph -tarkistaja Esikatsele, miltä sivut ja sivustokartat näyttävät sosiaalisen median alustoilla. Cron Expression Generator -tuotantokone Rakenna ja validoi aikataulutetut kaappaajat tai ylläpitotehtävät.

Robots.txt -tuotantokone

Rakenna ja validoi perus robots.txt-ryhmät, sallia ja poistaa säännöt, kaavio viivästyy ja sivustokartat viittaukset.

Syöte
Käyttäjäagenttien ryhmät, reitin säännöt ja sivumappi URL-osoitteet.
Tuloste
Kopioitavaa robots.txt-tekstistä rakenteellisten diagnoosien kanssa.
Todelliset rajoitukset
robots.txt on neuvoa, selaimen tuki vaihtelee, säännöt ovat tapauksellisesti herkät reitin etuudet, ja se ei voi poistaa jo indeksoitua URLtä itsessään.
Yksityisyys ja tietojen käsittely
käyttäjäagenttien ryhmät, reitin säännöt ja sivustokartat URL-osoitteet käsitellään tässä selaimen taulukossa. muunnin ei saa tai tallentaa sitä; sivun sulkeminen tai uudelleen lataaminen puhdistaa työskentelytapaa, ellei työkalu nimenomaisesti tarjoa paikallista latausta.

Miten käyttää tätä työkalua

  1. Tarjoa käyttäjäagenttien ryhmät, reitin säännöt ja sivumaperin URL-osoitteet työkalun ohjauksissa.
  2. Valitse asetukset, jotka vaikuttavat kopioitavaan robots.txt-teksteen rakenteelliseen diagnoosiin ja käynnistä sitten työkalu.
  3. Tarkista kopioitava robots.txt teksti rakenteellisten diagnoosien kanssa ennen kopiointia tai lataamista.

Yleiset epäonnistumismodit

Vaaralliset sivumaperin URL-osoitteet, ristiriidassa olevat tyhjiöryhmät, tuottamattomat ohjeet tai puuttuva käyttäjäagentti tuottaa varoituksia.

Hyödyllinen esimerkki

Luo * käyttäjäagenttiryhmä, joka poistaa /admin/ ja nimittää tuotannon sivumaperin URLn.