Robots.txt generatorius ir validatorius

Kurkite žiniatinklio naršymo taisykles, pridėkite svetainės schemos direktyvas ir patvirtinkite robots.txt sintaksę lokaliai prieš paskelbdami failą savo svetainės šakniniame kataloge.

Paruošta nuskaityti

Validavimo rezultatai

  • Sugeneruokite arba įklijuokite robots.txt turinį, tada patikrinkite jį.

Naršyklės taisyklių generavimas

Sukurkite User-agent, Allow, Disallow, Sitemap ir pasirinktines Host direktyvas, neįsimindami robots.txt formatavimo.

Sintaksės validavimas

Patikrinkite dažnas klaidas, tokias kaip trūkstami user-agent, santykiniai sitemap URL, netinkami keliai, pasikartojančios taisyklės ir nepalaikomi direktyvų pavadinimai.

Privatus vietinis apdorojimas

Generatorius ir validatorius veikia jūsų naršyklėje. Robots.txt turinys nėra įkeliamas į Convertr serverius.

Dažniausiai užduodami klausimai

Ar mano robots.txt failas įkeltas patvirtinimui?

Generavimas ir patvirtinimas veikia naršyklėje JavaScript. Įveskite tekstą neleidžiama siųsti į konvertuojamus serverius.

Kur turėčiau patalpinti robots.txt?

Patalpinkite robots.txt pagrindiniame prieglobos kataloge, kuriam jis taikomas, pvz., https://example.com/robots.txt.

Ar robots.txt pašalina puslapius iš Google?

Ne. Robots.txt kontroliuoja žiniatinklio naršyklės prieigą. Naudokite noindex direktyvas puslapyje arba pašalinkite puslapį, jei jums reikia deindeksavimo.

Susiję kūrėjo įrankiai

XML Sitemap generatorius Sukurkite galiojančią sitemap.xml failą iš URL sąrašo. HTTP vadovas Peržiūrėkite redirectus, status kodus ir atsakymo vadovas. XML Formatuotojas Formatuokite ir patikrinkite XML failus ir sitemap fragmentus. URL koduotojas ir dekoduotojas Užkoduokite URL, užklausų eilutes ir URL komponentus. URL Slug generatorius Sukurkite skaityti URL maršrutus puslapiams ir pranešimams. Open Graph tikrintuvas Peržiūrėkite, kaip puslapiai ir svetainių žemėlapiai atrodo socialinės žiniasklaidos platformose. Cron ekspresijos generatorius Sukurkite ir patvirtinkite numatytus crawler arba priežiūros darbus.

Robots.txt generatorius

Sukurkite ir patvirtinkite pagrindines robots.txt grupes, leidimo ir išjungimo taisykles, naršymo vėlavimus ir svetainės žemėlapio nuorodas.

Įvestis
Vartotojo agento grupės, maršruto taisyklės ir svetainės žemėlapio URL.
Išvestis
Kopijuojamas robots.txt tekstas su struktūrinėmis diagnozėmis.
Svarbūs apribojimai
robots.txt yra patariamas, naršyklės palaikymas skiriasi, taisyklės yra atvejai jautrios kelių prefiksai, ir jis negali pašalinti jau indeksuojamo URL savaime.
Privatumas ir duomenų tvarkymas
Vartotojo agento grupės, kelių taisyklės ir svetainės žemėlapio URL yra apdorojami šioje naršyklės skirtuke. konverteris nepriima ar saugo; uždarant arba perkelti puslapį išvaloma darbo būklė, nebent įrankis aiškiai siūlo vietinį atsisiuntimą.

Kaip naudoti šį įrankį

  1. Teikti naudotojo agento grupes, kelių taisykles ir svetainės žemėlapio URL įrankio kontrolės.
  2. Pasirinkite nustatymus, kurie paveikia kopijuojamą robots.txt tekstą su struktūrinėmis diagnozėmis, tada paleiskite įrankį.
  3. Apžvelgti kopijuojamą robots.txt tekstą su struktūrinėmis diagnozėmis prieš kopijuodami arba atsisiųskdami jį.

Dažnos nesėkmių priežastys

Neįgalios svetainės žemėlapio URL, konfliktų tuščios grupės, nepalaikomos gairės arba trūkstamas vartotojo agentas sukelia įspėjimus.

Praktinis pavyzdys

Sukurkite * vartotojo agento grupę, kuri išjungia /admin/ ir pavadina gamybos svetainės žemėlapio URL.