Robots.txt ģenerators un validators

Izveidojiet rāpuļu noteikumus, pievienojiet vietnes kartes direktīvas un validējiet robots.txt sintaksi lokāli pirms faila publicēšanas savas vietnes saknē.

Gatavs

Validācijas rezultāti

  • Ģenerējiet vai ielīmējiet robots.txt saturu, pēc tam validējiet to.

Rāpuļu noteikumu ģenerēšana

Izveidojiet User-agent, Allow, Disallow, Sitemap un izvēles Host direktīvas, neiegaumējot robots.txt formatējumu.

Sintakses validācija

Pārbaudiet biežākās kļūdas, piemēram, trūkstošus lietotāju aģentus, relatīvus vietnes kartes URL, nepareizi formatētus ceļus, dublētus noteikumus un neatbalstītus direktīvu nosaukumus.

Privāta lokāla apstrāde

Ģenerators un validators darbojas jūsu pārlūkprogrammā. Robots.txt saturs netiek augšupielādēts Convertr serveros.

Biežāk uzdotie jautājumi

Vai mans robots.txt fails ir augšupielādēts validācijai?

Nē. Ģenerēšana un validācija darbojas jūsu pārlūkprogrammā ar JavaScript. Jūsu ievadītais teksts netiek nosūtīts uz Convertr serveriem.

Kur man jāievieto robots.txt?

Ievietojiet robots.txt resursdatora saknē, uz kuru tas attiecas, piemēram, https://example.com/robots.txt.

Vai robots.txt noņem lapas no Google?

Nē. Robots.txt kontrolē rāpuļu piekļuvi. Izmantojiet noindex direktīvas lapā vai noņemiet lapu, ja jums ir nepieciešama deindeksācija.

Saistīti izstrādātāju rīki

XML vietņu kartes ģenerators Izveidojiet validētu sitemap.xml failu no URL saraksta. HTTP galveņu pārbaude Pārbaudiet novirzīšanas, statusa kodus un atbildes galvenes. XML formatētājs Formatējiet un validējiet XML failus un vietnes kartes fragmentus. URL kodētājs un dekodētājs Kodējiet URL, vaicājumu virknes un URL komponentus. URL Slug ģenerators Izveidojiet lasāmus URL ceļus lapām un ziņām. Open Graph pārbaude Priekšskatiet, kā lapas un vietņu kartes parādās sociālo mediju platformās. Cron izteiksmes ģenerators Izveidojiet un validējiet plānotos crawler vai uzturēšanas darbus.

Robots.txt ģenerators

Izveidojiet un validējiet pamata robots.txt grupas, Allow un Disallow noteikumus, pārmeklēšanas aizkaves un vietnes kartes atsauces.

Ievade
Lietotāja aģenta grupas, ceļa noteikumi un vietnes karte URL.
Izvade
Kopējams robots.txt teksts ar strukturālajām diagnozēm.
Reālie ierobežojumi
robots.txt ir ieteikums, pārlūkprogrammu atbalsts atšķiras, noteikumi ir reģistrjutīgi ceļa prefiksi, un tas pats par sevi nevar noņemt jau indeksētu URL.
Privātums un datu apstrāde
lietotāja aģenta grupas, ceļa noteikumi un vietnes kartes URL tiek apstrādāti šajā pārlūkprogrammas cilnē. Convertr to nesaņem vai neuzglabā; lapas aizvēršana vai pārlādēšana notīra darba stāvokli, ja vien rīks nepārprotami nepiedāvā vietējo lejupielādi.

Kā izmantot šo rīku

  1. Norādiet lietotāja aģentu grupas, ceļa noteikumus un vietnes kartes URL rīka vadīklās.
  2. Izvēlieties iestatījumus, kas ietekmē kopējamu robots.txt tekstu ar strukturālām diagnostikām, tad palaidiet rīku.
  3. Pārskatiet kopējamu robots.txt tekstu ar strukturālām diagnozēm pirms tā kopēšanas vai lejupielādes.

Biežākie atteices veidi

Nederīgas vietnes kartes URL, konfliktējošas tukšas grupas, neatbalstītas direktīvas vai trūkstošs lietotāja aģents rada brīdinājumus.

Noderīgs piemērs

Izveidojiet * lietotāja aģenta grupu, kas aizliedz /admin/ un nosauc ražošanas vietnes kartes URL.