Robots.txt Generátor és Ellenőrző

Crawler szabályok létrehozása, sitemap direktívák hozzáadása és a robots.txt szintaxis helyi validálása a fájl weboldal gyökerébe történő közzététele előtt.

Kész

Érvényesítési eredmények

  • Generáljon vagy illesszen be robots.txt tartalmat, majd érvényesítse azt.

Crawler szabály generálás

Építsen User-agent, Allow, Disallow, Sitemap és opcionális Host direktívákat anélkül, hogy megjegyezné a robots.txt formázását.

Szintaxis érvényesítés

Ellenőrizze a gyakori hibákat, például a hiányzó user-agenteket, a relatív sitemap URL-eket, a hibás útvonalakat, a duplikált szabályokat és a nem támogatott direktíva neveket.

Privát helyi feldolgozás

A generátor és az érvényesítő a böngészőjében fut. A robots.txt tartalom nem kerül feltöltésre a Convertr szervereire.

Gyakran ismételt kérdések

Fel van töltve a robots.txt fájlom validálásra?

Nem. A generálás és a validálás a böngészőben fut JavaScripttel. A beírt szöveg nem kerül elküldésre a Convertr szervereire.

Hova kell elhelyeznem a robots.txt fájlt?

Helyezze a robots.txt fájlt annak a hostnak a gyökerébe, amelyre vonatkozik, például https://example.com/robots.txt.

A robots.txt eltávolítja az oldalakat a Google-ből?

Nem. A robots.txt a crawler hozzáférését szabályozza. Használjon noindex direktívákat az oldalon, vagy távolítsa el az oldalt, ha indexelés megszüntetésére van szüksége.

Kapcsolódó fejlesztői eszközök

XML Sitemap generátor Hozzon létre egy érvényes sitemap.xml fájlt egy URL-listából. HTTP fejhallgató ellenőrzés Ellenőrizze az átirányításokat, a státus kódokat és a válasz címkéket. XML Formázó XML fájlok és sitemap részletek formázása és érvényesítése. URL Kódoló és Dekódoló Kódolja az URL-eket, a lekérdezési karakterláncokat és az URL-összetevőket. URL Slug Generátor Hozzon létre olvasható URL-útvonalakat az oldalak és a bejegyzések számára. Open Graph ellenőrző Tekintse meg, hogyan jelennek meg az oldalak és a webhelytérképek a közösségi média platformokon. Cron kifejezés generátor Építsen és érvényesítse a tervezett crawler vagy karbantartási munkákat.

Robots.txt generátor

Hozzon létre és validáljon alapvető robots.txt csoportokat, engedélyezze és törölje a szabályokat, késik a böngészés, és a webhely térképek hivatkozásait.

Bemenet
Felhasználói ügynök csoportok, útvonal szabályok és webhely térkép URL-ek.
Kimenet
Másolható robots.txt szöveg strukturális diagnosztikával.
Valódi korlátozások
robots.txt tanácsadó, a böngésző támogatás változik, a szabályok eseti érzékeny út előírások, és nem tudja eltávolítani egy már indexelt URL-t maga.
Adatvédelem és adatkezelés
A felhasználói ügynök csoportok, útvonal szabályok és a webhely térkép URL-jei ebben a böngészőben feldolgozva vannak.A konverter nem kapja meg vagy tárolja azt; az oldal bezárása vagy újratöltése tisztítja a működési állapotot, kivéve, ha az eszköz kifejezetten helyi letöltést kínál.

Hogyan használjuk ezt az eszközt

  1. A felhasználói ügynök csoportok, út szabályok és a helyszíni térkép URL-jei az eszköz vezérlőkben.
  2. Válassza ki azokat a beállításokat, amelyek a másolható robots.txt szövegre vonatkoznak strukturális diagnosztikákkal, majd futtatja az eszközt.
  3. A másolható robots.txt szöveg strukturális diagnosztikával felülvizsgálja, mielőtt másolja vagy letölti.

Gyakori hibák

A webhely térképek érvénytelen URL-jei, a konfliktusos, tiszta csoportok, támogatatlan iránymutatások vagy egy hiányzó felhasználói ügynök figyelmeztetéseket adnak.

Gyakorlati példa

Hozzon létre egy * felhasználói ügynök csoportot, amely lemond /admin/ és nevezi a termelési webhely térkép URL-jét.