Robots.txt-generaattori ja -validaattori

Luo indeksointisääntöjä, lisää sivukarttadirektiivejä ja validoi robots.txt-syntaksi paikallisesti ennen tiedoston julkaisemista verkkosivustosi juureen.

Valmis

Validointitulokset

  • Luo tai liitä robots.txt-sisältö ja validoi se sitten.

Indeksointisääntöjen luonti

Rakenna User-agent-, Allow-, Disallow-, Sitemap- ja valinnainen Host-direktiivi ilman, että sinun tarvitsee muistaa robots.txt-muotoilua.

Syntaksin validointi

Tarkista yleiset virheet, kuten puuttuvat user-agentit, suhteelliset sivukarttojen URL-osoitteet, virheelliset polut, päällekkäiset säännöt ja ei-tuetut direktiivien nimet.

Yksityinen paikallinen käsittely

Generaattori ja validoija toimivat selaimessasi. Robots.txt-sisältöä ei ladata Convertr-palvelimille.

Usein kysytyt kysymykset

Onko robots.txt-tiedostoni ladattu validointia varten?

Ei. Luonti ja validointi suoritetaan selaimessasi JavaScriptillä. Syöttämääsi tekstiä ei lähetetä Convertr-palvelimille.

Minne minun pitäisi sijoittaa robots.txt?

Sijoita robots.txt sen isännän juureen, johon se koskee, kuten https://example.com/robots.txt.

Poistaako robots.txt sivuja Googlesta?

Ei. Robots.txt hallitsee indeksoijan pääsyä. Käytä noindex-direktiivejä sivulla tai poista sivu, jos haluat poistaa sen indeksoinnin.

Liittyvät kehittäjätyökalut

XML-sivukarttageneraattori Luo kelvollinen sitemap.xml-tiedosto URL-luettelosta. HTTP-otsakkeiden tarkistus Tarkista uudelleenohjaukset, tilakoodit ja vastausotsikot. XML-muotoilija Muotoile ja validoi XML-tiedostoja ja sivukarttojen katkelmia. URL-kooderi ja -dekooderi Koodaa URL-osoitteet, kyselymerkkijonot ja URL-komponentit. URL-polun osan generaattori Luo luettavia URL-polun tunnuksia sivuille ja julkaisuille. Open Graph -tarkistaja Esikatsele, miltä sivut ja sivustokartat näyttävät sosiaalisen median alustoilla. Cron-lausekegeneraattori Rakenna ja validoi aikataulutetut kaappaajat tai ylläpitotehtävät.

Robots.txt-generaattori

Rakenna ja validoi perus robots.txt-ryhmät, Salli- ja Estä-säännöt, indeksointiviiveet ja sivustokarttaviittaukset.

Syöte
Käyttäjäagenttiryhmät, polkusäännöt ja sivukartta-URL-osoitteet.
Tulos
Kopioitavaa robots.txt-tekstiä rakenteellisten diagnoosien kanssa.
Todelliset rajoitukset
robots.txt on neuvoa-antava, indeksoijan tuki vaihtelee, säännöt ovat kirjainkoosta riippuvia polun etuliitteitä, eikä se voi yksinään poistaa jo indeksoitua URL-osoitetta.
Yksityisyys ja tietojen käsittely
käyttäjäagenttiryhmät, polkusäännöt ja sivustokarttojen URL-osoitteet käsitellään tässä selaimen välilehdessä. Convertr ei vastaanota tai tallenna sitä; sivun sulkeminen tai uudelleenlataaminen tyhjentää työtilan, ellei työkalu nimenomaisesti tarjoa paikallista latausta.

Kuinka käyttää tätä työkalua

  1. Anna käyttäjäagenttiryhmät, polkusäännöt ja sivustokartan URL-osoitteet työkalun ohjaimissa.
  2. Valitse asetukset, jotka vaikuttavat kopioitavaan robots.txt-tekstiin rakenteellisella diagnostiikalla, ja käynnistä sitten työkalu.
  3. Tarkista kopioitava robots.txt-teksti rakenteellisten diagnostiikkojen kanssa ennen kopiointia tai lataamista.

Yleiset virhetilat

Virheelliset sivukartta-URL-osoitteet, ristiriitaiset tyhjät ryhmät, tukemattomat direktiivit tai puuttuva käyttäjäagentti tuottavat varoituksia.

Hyödyllinen esimerkki

Luo * käyttäjäagenttiryhmä, joka estää /admin/-polun ja nimeää tuotannon sivukartan URL-osoitteen.