Generator i validator robots.txt

Stvorite pravila za crawler, dodajte smjernice za sitemap i provjerite sintaksu robots.txt lokalno prije objavljivanja datoteke u korijenu vaše web stranice.

Spremno

Rezultati validacije

  • Generirajte ili zalijepite sadržaj robots.txt, a zatim ga potvrdite.

Generiranje pravila za crawler

Izgradite korisnički agent, Allow, Disallow, Sitemap i opcionalne Host direktive bez pamćenja formatiranja robots.txt.

Provjera sintakse

Provjerite uobičajene pogreške poput nedostajućih korisničkih agenata, relativnih URL-ova sitemapa, neispravnih putanja, dupliciranih pravila i nepodržanih naziva direktiva.

Privatna lokalna obrada

Generator i validator rade u vašem pregledniku. Sadržaj Robots.txt se ne prenosi na Convertr poslužitelje.

Često postavljana pitanja

Je li moja robots.txt datoteka prenesena za provjeru valjanosti?

Ne. Generiranje i validacija izvode se u vašem pregledniku s JavaScriptom. Tekst koji unesete ne šalje se na poslužitelje Convertr.

Gdje trebam staviti robots.txt?

Postavite robots.txt u korijen domaćina na koji se odnosi, kao što je https://example.com/robots.txt.

Robots.txt uklanja stranice iz Googlea?

Ne. Robots.txt kontrolira pristup crawlerima. Koristite noindex direktive na stranici ili uklonite stranicu ako želite deindeksirati.

Povezani razvojni alati

XML generator karte web-mjesta Stvorite valjan sitemap.xml datoteku s popisa URL-a. Provjera HTTP zaglavlja Provjerite preusmjeravanja, statusne kodove i zaglavlja odgovora. XML oblikovatelj Oblikuj i validiraj XML datoteke i isječke sitemapa. URL koder i dekoder Kodiraj URL-ove, upitne nizove i URL komponente. Generator čitljivih URL adresa Stvorite čitljive URL putanje za stranice i postove. Open Graph provjera Pregledajte kako se stranice i sitemapovi pojavljuju na društvenim medijima. Generator Cron izraza Izgradite i validirajte planirane poslove za crawler ili održavanje.

Robots.txt generator

Izgradite i validirajte osnovne robots.txt grupe, pravila Allow i Disallow, odgode indeksiranja i reference na sitemap.

Ulaz
Korisničke grupe agenata, pravila putanja i URL-ovi sitemapa.
Izlaz
Kopiraj robots.txt tekst sa strukturnim dijagnozama.
Stvarna ograničenja
robots.txt je savjetodavan, podrška za pretraživače varira, pravila su osjetljiva na velika i mala slova u prefiksima putanje i ne može sam ukloniti već indeksirani URL.
Privatnost i obrada podataka
Korisnički agenti, pravila putanja i URL-ovi sitemapa obrađuju se u ovoj kartici preglednika. Convertr ih ne prima niti pohranjuje; zatvaranje ili ponovno učitavanje stranice briše radno stanje osim ako alat izričito nudi lokalno preuzimanje.

Kako koristiti ovaj alat

  1. Pružite grupe korisničkih agenata, pravila putanja i URL-ove sitemapa u kontrolama alata.
  2. Odaberite postavke koje utječu na kopirajući robots.txt tekst sa strukturnim dijagnostikama, a zatim pokrenite alat.
  3. Pregledajte kopirajući robots.txt tekst sa strukturnim dijagnostikama prije kopiranja ili preuzimanja.

Uobičajeni načini kvara

Nevažeći URL-ovi sitemapa, sukobljene prazne grupe, nepodržane direktive ili nedostajući korisnički agent proizvode upozorenja.

Korisni primjer

Stvorite grupu korisničkih agenata * koja zabranjuje /admin/ i imenuje URL karte web-lokacije produkcije.