Robots.txt Generátor és Ellenőrző

Crawler szabályok létrehozása, sitemap direktívák hozzáadása és a robots.txt szintaxis helyi validálása a fájl weboldal gyökerébe történő közzététele előtt.

Kész

Érvényesítési eredmények

  • Generáljon vagy illesszen be robots.txt tartalmat, majd érvényesítse azt.

Crawler szabály generálás

Építsen User-agent, Allow, Disallow, Sitemap és opcionális Host direktívákat anélkül, hogy megjegyezné a robots.txt formázását.

Szintaxis-ellenőrzés

Ellenőrizze a gyakori hibákat, például a hiányzó user-agenteket, a relatív sitemap URL-eket, a hibás útvonalakat, a duplikált szabályokat és a nem támogatott direktíva neveket.

Privát helyi feldolgozás

A generátor és az érvényesítő a böngészőjében fut. A robots.txt tartalom nem kerül feltöltésre a Convertr szervereire.

Gyakran ismételt kérdések

Fel van töltve a robots.txt fájlom validálásra?

Nem. A generálás és a validálás a böngészőben fut JavaScripttel. A beírt szöveg nem kerül elküldésre a Convertr szervereire.

Hova kell elhelyeznem a robots.txt fájlt?

Helyezze a robots.txt fájlt annak a hostnak a gyökerébe, amelyre vonatkozik, például https://example.com/robots.txt.

A robots.txt eltávolítja az oldalakat a Google-ből?

Nem. A robots.txt a crawler hozzáférését szabályozza. Használjon noindex direktívákat az oldalon, vagy távolítsa el az oldalt, ha indexelés megszüntetésére van szüksége.

Kapcsolódó fejlesztői eszközök

XML webhelytérkép-generátor Hozzon létre egy érvényes sitemap.xml fájlt egy URL-listából. HTTP fejhallgató ellenőrzés Ellenőrizze az átirányításokat, a státuszkódokat és a válaszfejléceket. XML Formázó XML fájlok és sitemap részletek formázása és érvényesítése. URL Kódoló és Dekódoló Kódolja az URL-eket, a lekérdezési karakterláncokat és az URL-összetevőket. URL Slug Generátor Hozzon létre olvasható URL-útvonalakat az oldalak és a bejegyzések számára. Open Graph ellenőrző Tekintse meg, hogyan jelennek meg az oldalak és a webhelytérképek a közösségi média platformokon. Cron kifejezés generátor Építsen és érvényesítse a tervezett crawler vagy karbantartási munkákat.

Robots.txt generátor

Hozzon létre és érvényesítsen alapvető robots.txt csoportokat, Engedélyezés és Tiltás szabályokat, kúszási késleltetéseket és webhelytérkép-hivatkozásokat.

Bemenet
Felhasználói ügynök csoportok, útvonal szabályok és webhelytérkép URL-ek.
Kimenet
Másolható robots.txt szöveg strukturális diagnosztikával.
Valódi korlátozások
A robots.txt tanácsadó jellegű, a böngésző támogatása változó, a szabályok kis- és nagybetűérzékeny útvonal-előtagok, és önmagában nem tud eltávolítani egy már indexelt URL-t.
Adatvédelem és adatkezelés
A felhasználói ügynök csoportok, útvonal szabályok és webhelytérkép URL-ek feldolgozása ebben a böngészőlapon történik. A Convertr nem kapja meg vagy tárolja azokat; az oldal bezárása vagy újratöltése törli a munkamenet állapotát, kivéve, ha az eszköz kifejezetten helyi letöltést kínál.

Hogyan használjuk ezt az eszközt

  1. Adja meg a felhasználói ügynök csoportokat, útvonal szabályokat és webhelytérkép URL-eket az eszköz vezérlőiben.
  2. Válassza ki a másolható robots.txt szöveget strukturális diagnosztikával érintő beállításokat, majd futtassa az eszközt.
  3. Tekintse át a másolható robots.txt szöveget szerkezeti diagnosztikával, mielőtt másolja vagy letölti.

Gyakori hibák

Az érvénytelen webhelytérkép URL-ek, az ütköző üres csoportok, a nem támogatott utasítások vagy a hiányzó felhasználói ügynök figyelmeztetéseket generál.

Gyakorlati példa

Hozzon létre egy * felhasználói ügynök csoportot, amely tiltja a /admin/ elérését és megadja a termelési webhelytérkép URL-jét.