Robots.txt Generator i Validator

Stvorite pravila crawler, dodajte smjernice sitemap i validirate sintazu robots.txt lokalno prije objavljivanja datoteke na korijenu vaše web stranice.

Spremno

Rezultati validacije

  • Generirajte ili prilepite sadržaj robots.txt, a zatim ga potvrdite.

Crawler Rule generacija

Izgradite korisnički agent, omogućiti, isključiti, Sitemap i opcionalne smjernice domaćina bez memorizacije robots.txt formatacije.

Sinteza validacija

Provjerite uobičajene pogreške kao što su nedostajući korisnički agenti, relativni URL-ovi sitemap, pogrešne staze, duplikirane pravila i nepodrženi imen direktiva.

privatna lokalna obrada

Generator i validator rade u vašem pregledniku. sadržaj Robots.txt se ne prenosi na servera Convertr.

Često postavljana pitanja

Je li moj robots.txt datoteka preuzeta za validaciju?

Generacija i validacija rade u vašem pregledniku s JavaScriptom. tekst koji unesete ne šalje se na servera Convertr.

Gdje trebam staviti robots.txt?

Stavite robots.txt na korijen domaćina koji se primjenjuje na, kao što je https://example.com/robots.d.

Robots.txt uklanja stranice iz Googlea?

No. Robots.txt kontrolira pristup crawleru. koristite smjernice noindex na stranici ili uklonite stranicu ako želite deindexirati.

Povezani razvojni alati

XML kartica generator Stvorite valjan sitemap.xml datoteku s popisa URL-a. HTTP čelnici Provjerite redirect, status kode i naslovnice odgovora. XML formater Formatiranje i validiranje XML datoteka i sitemap snippets. Uslovi za kodiranje i dekodiranje Uklanjanje URL-a, upitnih redova i komponenti URL-ova. URL slug generator Stvorite čitljive URL staze za stranice i postove. Otvoreni grafički kontrolor Pregledajte kako se stranice i sitemapovi pojavljuju na društvenim medijima. Cron izražavanje generator Izgraditi i validirati planirane radove za crawler ili održavanje.

Robots.txt generator

Izgradite i validirati osnovne robots.txt skupine, dozvoliti i isključiti pravila, crawl odgode, i sitemap reference.

Uvod
Korisničke skupine agenta, pravila putovanja i URL-ovi sitemap.
Izlazak
Kopirati robots.txt tekst s strukturnim dijagnoza.
Prava ograničenja
robots.txt je savjetodavna, podrška za pretraživanje varira, pravila su slučajno osjetljiva staza predviđanja, a ne može ukloniti već indeksiranu URL-a sama po sebi.
Privatnost i obrada podataka
U tom pregledniku se obrađuju korisnički agenti, pravila putovanja i URL-ovi sitemap.Converter ne primaju ili pohranjuju; zatvaranje ili ponovna preuzimanja stranice očisti radni status osim ako alat izričito nudi lokalnu preuzimanje.

Kako koristiti ovaj alat

  1. Pružite korisničke skupine agenta, pravila putovanja i URL-ove sitemap u kontrolama alata.
  2. Odaberite postavke koje utječu na kopirati robots.txt tekst s strukturnim dijagnostikama, a zatim pokrenuti alat.
  3. Pregledati kopirajući robots.txt tekst s strukturnim dijagnostikama prije kopiranja ili preuzimanja.

Uobičajeni načini neuspjeha

Nevažeći URL-ovi sitemap, sukobni bijeli grupovi, nepodržene smjernice ili nestali korisnički agent proizvode upozorenja.

Korisni primjer

Stvorite skupinu korisnika koji otpušta /admin/ i naziva URL lokacijsku karticu proizvodnje.