Robots.txt generatorius ir validatorius

Kurkite žiniatinklio naršymo taisykles, pridėkite svetainės schemos direktyvas ir patvirtinkite robots.txt sintaksę lokaliai prieš paskelbdami failą savo svetainės šakniniame kataloge.

Paruošta nuskaityti

Validavimo rezultatai

  • Sugeneruokite arba įklijuokite robots.txt turinį, tada patikrinkite jį.

Crawl taisyklių generavimas

Sukurkite User-agent, Allow, Disallow, Sitemap ir pasirinktines Host direktyvas, neįsimindami robots.txt formatavimo.

Sintaksės tikrinimas

Patikrinkite dažnas klaidas, tokias kaip trūkstami user-agent, santykiniai sitemap URL, netinkami keliai, pasikartojančios taisyklės ir nepalaikomi direktyvų pavadinimai.

Privatus vietinis apdorojimas

Generatorius ir validatorius veikia jūsų naršyklėje. Robots.txt turinys nėra įkeliamas į Convertr serverius.

Dažniausiai užduodami klausimai

Ar mano robots.txt failas įkeltas patvirtinimui?

Generavimas ir patvirtinimas veikia jūsų naršyklėje su JavaScript. Jūsų įvestas tekstas nėra siunčiamas į Convertr serverius.

Kur turėčiau patalpinti robots.txt?

Patalpinkite robots.txt pagrindiniame prieglobos kataloge, kuriam jis taikomas, pvz., https://example.com/robots.txt.

Ar robots.txt pašalina puslapius iš Google?

Ne. Robots.txt kontroliuoja tik naršymo robotų prieigą. Jei norite pašalinti puslapį iš indekso, naudokite noindex direktyvas puslapyje arba pašalinkite puslapį.

Susiję kūrėjo įrankiai

XML svetainės struktūros generatorius Sukurkite galiojančią sitemap.xml failą iš URL sąrašo. HTTP antraščių tikrintuvas Peržiūrėkite peradresavimus, būsenos kodus ir atsakymo antraštes. XML formatuotojas Formatuokite ir patikrinkite XML failus ir sitemap fragmentus. URL koduotojas ir dekoduotojas Užkoduokite URL, užklausų eilutes ir URL komponentus. URL Slug generatorius Sukurkite skaitomus URL maršrutus puslapiams ir pranešimams. Open Graph tikrintuvas Peržiūrėkite, kaip puslapiai ir svetainių žemėlapiai atrodo socialinės žiniasklaidos platformose. Cron išraiškos generatorius Sukurkite ir patvirtinkite numatytus crawler arba priežiūros darbus.

Robots.txt generatorius

Sukurkite ir patvirtinkite pagrindines robots.txt grupes, leidimo ir išjungimo taisykles, naršymo vėlavimus ir svetainės žemėlapio nuorodas.

Įvestis
Naudotojo agento grupės, kelio taisyklės ir svetainės žemėlapio URL.
Išvestis
Kopijuojamas robots.txt tekstas su struktūrinėmis diagnozėmis.
Svarbūs apribojimai
robots.txt yra patariamasis, naršyklių palaikymas skiriasi, taisyklės yra nuo didžiųjų raidžių priklausomi kelio prefiksai, ir jis negali pats pašalinti jau indeksuoto URL.
Privatumas ir duomenų tvarkymas
vartotojo agento grupės, kelių taisyklės ir svetainės žemėlapio URL yra apdorojami šiame naršyklės skirtuke. Convertr nepriima ir nesaugo jų; uždarius arba perkrovus puslapį išvaloma darbinė būsena, nebent įrankis aiškiai siūlo vietinį atsisiuntimą.

Kaip naudoti šį įrankį

  1. Pateikite naudotojo agento grupes, kelių taisykles ir svetainės žemėlapio URL įrankio valdikliuose.
  2. Pasirinkite nustatymus, kurie paveikia kopijuojamą robots.txt tekstą su struktūrinėmis diagnozėmis, tada paleiskite įrankį.
  3. Peržiūrėkite kopijuojamą robots.txt tekstą su struktūrine diagnostika prieš kopijuodami ar atsisiųsdami.

Dažnos nesėkmių priežastys

Netinkami svetainės žemėlapio URL, prieštaringos tuščios grupės, nepalaikomos direktyvos arba trūkstamas vartotojo agentas sukelia įspėjimus.

Praktinis pavyzdys

Sukurkite * vartotojo agento grupę, kuri draudžia /admin/ ir nurodo gamybinės svetainės žemėlapio URL.