Robots.txt ģenerators un validators

Izveidojiet rāpuļu noteikumus, pievienojiet vietnes kartes direktīvas un validējiet robots.txt sintaksi lokāli pirms faila publicēšanas savas vietnes saknē.

Gatavs

Validācijas rezultāti

  • Ģenerējiet vai ielīmējiet robots.txt saturu, pēc tam validējiet to.

Rāpuļu noteikumu ģenerēšana

Izveidojiet User-agent, Allow, Disallow, Sitemap un izvēles Host direktīvas, neiegaumējot robots.txt formatējumu.

Sintakses validācija

Pārbaudiet biežākās kļūdas, piemēram, trūkstošus lietotāju aģentus, relatīvus vietnes kartes URL, nepareizi formatētus ceļus, dublētus noteikumus un neatbalstītus direktīvu nosaukumus.

Privāta lokāla apstrāde

Ģenerators un validators darbojas jūsu pārlūkprogrammā. Robots.txt saturs netiek augšupielādēts Convertr serveros.

Frequently asked questions

Vai mans robots.txt fails ir augšupielādēts validācijai?

Nē. Ģenerēšana un validācija darbojas jūsu pārlūkprogrammā ar JavaScript. Jūsu ievadītais teksts netiek nosūtīts uz Convertr serveriem.

Kur man jāievieto robots.txt?

Ievietojiet robots.txt resursdatora saknē, uz kuru tas attiecas, piemēram, https://example.com/robots.txt.

Vai robots.txt noņem lapas no Google?

Nē. Robots.txt kontrolē rāpuļu piekļuvi. Izmantojiet noindex direktīvas lapā vai noņemiet lapu, ja jums ir nepieciešama deindeksācija.

Saistīti izstrādātāju rīki

HTTP Headers Checker Inspect redirects, status codes, and response headers. XML formatētājs Formatējiet un validējiet XML failus un vietnes kartes fragmentus. URL kodētājs un dekodētājs Kodējiet URL, vaicājumu virknes un URL komponentus. URL Slug Generator Create readable URL paths for pages and posts. HTML entītiju kodētājs Ekrānējiet un atkodējiet HTML jutīgus simbolus. Cron Expression Generator Build and validate scheduled crawler or maintenance jobs.