Robots.txt ģenerators un validators

Izveidojiet rāpuļu noteikumus, pievienojiet vietnes kartes direktīvas un validējiet robots.txt sintaksi lokāli pirms faila publicēšanas savas vietnes saknē.

Gatavs

Validācijas rezultāti

  • Ģenerējiet vai ielīmējiet robots.txt saturu, pēc tam validējiet to.

Rāpuļu noteikumu ģenerēšana

Izveidojiet User-agent, Allow, Disallow, Sitemap un izvēles Host direktīvas, neiegaumējot robots.txt formatējumu.

Sintakses validācija

Pārbaudiet biežākās kļūdas, piemēram, trūkstošus lietotāju aģentus, relatīvus vietnes kartes URL, nepareizi formatētus ceļus, dublētus noteikumus un neatbalstītus direktīvu nosaukumus.

Privāta lokāla apstrāde

Ģenerators un validators darbojas jūsu pārlūkprogrammā. Robots.txt saturs netiek augšupielādēts Convertr serveros.

Biežāk uzdotie jautājumi

Vai mans robots.txt fails ir augšupielādēts validācijai?

Nē. Ģenerēšana un validācija darbojas jūsu pārlūkprogrammā ar JavaScript. Jūsu ievadītais teksts netiek nosūtīts uz Convertr serveriem.

Kur man jāievieto robots.txt?

Ievietojiet robots.txt resursdatora saknē, uz kuru tas attiecas, piemēram, https://example.com/robots.txt.

Vai robots.txt noņem lapas no Google?

Nē. Robots.txt kontrolē rāpuļu piekļuvi. Izmantojiet noindex direktīvas lapā vai noņemiet lapu, ja jums ir nepieciešama deindeksācija.

Saistīti izstrādātāju rīki

XML Sitemap ģenerators Izveidojiet validētu sitemap.xml failu no URL saraksta. HTTP galvaskoka pārbaude Pārbaudiet rediģētus, statusa kodi un atbildes virsrakstus. XML formatētājs Formatējiet un validējiet XML failus un vietnes kartes fragmentus. URL kodētājs un dekodētājs Kodējiet URL, vaicājumu virknes un URL komponentus. URL Slug ģenerators Izveidojiet lasāmus URL ceļus lapām un ziņām. Open Graph pārbaudītājs Priekšskatiet, kā lapas un vietņu kartes parādās sociālo mediju platformās. Cron ekspresijas ģenerators Iegūto un validētu plānotās crawler vai uzturēšanas darbus.

Robots.txt ģenerators

Izveidojiet un validējiet pamatroboots.txt grupas, atļauj un izslēdz noteikumus, pārraides kavējumus un vietnes kartes atsauces.

Ievade
Lietotāja aģenta grupas, ceļa noteikumi un sitemap URL.
Izvade
Kopējams robots.txt teksts ar strukturālo diagnozi.
Reālie ierobežojumi
robots.txt ir konsultants, crawler atbalsts atšķiras, noteikumi ir gadījuma jutīgi ceļu prefixes, un tas nevar noņemt jau indeksoto URL pats par sevi.
Privātuma un datu apstrāde
lietotāja aģenta grupas, ceļa noteikumi un vietnes kartes URL tiek apstrādāti šajā pārlūkprogrammas tabulā. konvertētājs to nesaņem vai glabā; lapas slēgšana vai pārslodze izskaidro darba stāvokli, ja vien rīks skaidri piedāvā vietējo lejupielādi.

Kā izmantot šo rīku

  1. Iegūt lietotāju aģentu grupas, ceļa noteikumus un vietnes kartes URL rīku kontrolēs.
  2. Izvēlieties iestatījumus, kas ietekmē kopējamu robots.txt tekstu ar strukturālo diagnozi, tad izlaidiet rīku.
  3. Pārskatiet kopējamu robots.txt tekstu ar strukturālo diagnozi pirms tā kopēšanas vai lejupielādes.

Kopīgas neveiksmes režīms

Neesošas vietnes kartes URL, konfliktu balto grupu, nepieņemtas vadlīnijas vai pazudušais lietotāja aģents rada brīdinājumus.

Noderīgs piemērs

Izveidojiet * lietotāju aģenta grupu, kas izslēdz /admin/ un nosaukums ražošanas vietnes kartes URL.