Robots.txt Generátor és Ellenőrző

Crawler szabályok létrehozása, sitemap direktívák hozzáadása és a robots.txt szintaxis helyi validálása a fájl weboldal gyökerébe történő közzététele előtt.

Kész

Érvényesítési eredmények

  • Generáljon vagy illesszen be robots.txt tartalmat, majd érvényesítse azt.

Crawler szabály generálás

Építsen User-agent, Allow, Disallow, Sitemap és opcionális Host direktívákat anélkül, hogy megjegyezné a robots.txt formázását.

Szintaxis érvényesítés

Ellenőrizze a gyakori hibákat, például a hiányzó user-agenteket, a relatív sitemap URL-eket, a hibás útvonalakat, a duplikált szabályokat és a nem támogatott direktíva neveket.

Privát helyi feldolgozás

A generátor és az érvényesítő a böngészőjében fut. A robots.txt tartalom nem kerül feltöltésre a Convertr szervereire.

Frequently asked questions

Fel van töltve a robots.txt fájlom validálásra?

Nem. A generálás és a validálás a böngészőben fut JavaScripttel. A beírt szöveg nem kerül elküldésre a Convertr szervereire.

Hova kell elhelyeznem a robots.txt fájlt?

Helyezze a robots.txt fájlt annak a hostnak a gyökerébe, amelyre vonatkozik, például https://example.com/robots.txt.

A robots.txt eltávolítja az oldalakat a Google-ből?

Nem. A robots.txt a crawler hozzáférését szabályozza. Használjon noindex direktívákat az oldalon, vagy távolítsa el az oldalt, ha indexelés megszüntetésére van szüksége.

Kapcsolódó fejlesztői eszközök

HTTP Headers Checker Inspect redirects, status codes, and response headers. XML Formázó XML fájlok és sitemap részletek formázása és érvényesítése. URL Kódoló és Dekódoló Kódolja az URL-eket, a lekérdezési karakterláncokat és az URL-összetevőket. URL Slug Generator Create readable URL paths for pages and posts. HTML entitás kódoló HTML-érzékeny karakterek kódolása és dekódolása. Cron Expression Generator Build and validate scheduled crawler or maintenance jobs.