Robots.txt-gerð og -staðfesting

Skapaðu skriðreglur, bættu við sitemap vísunum og staðfestu robots.txt setningafræði staðbundið áður en þú birtir skrána á rót vefsíðunnar.

Tilbúið

Staðfestingarniðurstöður

  • Búðu til eða límdu inn robots.txt efni og staðfestu það síðan.

Myndun crawler reglna

Byggðu User-agent, Allow, Disallow, Sitemap og valfrjálsar Host leiðbeiningar án þess að leggja robots.txt snið á minnið.

Setningafræðistaðfesting

Athugaðu algeng mistök eins og vantar notanda-umboð, hlutfallslegar síðukorts URLs, misgerðar slóðir, tvöfaldar reglur og óstudd stefnuheiti.

Einka staðbundin vinnsla

Myndarinn og staðfestirinn keyra í vafranum þínum. Robots.txt efni er ekki hlaðið upp á Convertr-þjóna.

Algengar spurningar

Er robots.txt skráin mín hlaðin upp til staðfestingar?

Nei. Framleiðsla og staðfesting keyrir í vafranum þínum með JavaScript. Textinn sem þú slærð inn er ekki sendur til Convertr-þjóna.

Hvar á ég að setja robots.txt?

Settu robots.txt í rót þess hýsils sem það á við, til dæmis https://example.com/robots.txt.

Fjarlægir robots.txt síður úr Google?

Nei. Robots.txt stjórnar aðgangi skriðdýra. Notaðu noindex fyrirmæli á síðunni eða fjarlægðu síðuna ef þú þarft afskráningu.

Tengd forritaraverkfæri

XML-vefkortagerð Búðu til gilt sitemap.xml skjal úr URL lista. HTTP hausa athugun Skoða endurbeiningar, stöðukóða og svörunarhausa. XML-sniðmátari Sníða og staðfesta XML skrár og sitemap brot. URL-kóðari og -afkóðari Kóða URLs, fyrirspurnarstrengi og URL hluti. URL-slug-rafall Skapaðu læsilegar URL slóðir fyrir síður og færslur. Opna grafíkathugun Forskoða hvernig síður og síðukort birtast á samfélagsmiðlum. Cron segðaforrit Byggðu og staðfestu áætluð skrið- eða viðhaldsstörf.

Robots.txt-framleiðandi

Byggðu og staðfestu grunn robots.txt hópa, Leyfa og Banna reglur, skriðtöf og síðukorttilvísanir.

Inntak
Notanda-þjónahópar, slóðareglur og veftré-URLs.
Úttak
Afritanlegur robots.txt texti með byggingargreiningu.
Raunverulegar takmarkanir
robots.txt er ráðgefandi, skriðilstuðningur er mismunandi, reglur eru hástafanæmar slóðarforskeyti og það getur ekki fjarlægt þegar skráð URL af sjálfu sér.
Persónuvernd og gagnameðferð
notandi-agents hópur, leiðarreglur og síthluta URLs eru meðhöndlað í þessari blaðamaður. Convertr fær ekki eða lagrar það; lokað eða endurlasting síðu fer ljóst vinnu stefnumót ef tól er sérstaklega til að bjóða upp á staðbundna niðurstöður.

Hvernig á að nota þetta tól

  1. Bjóða upp á notanda-þjónahópa, slóðareglur og síðukortslén URLs í verkfærastýringunum.
  2. Veldu stillingarnar sem hafa áhrif á afritanlegan robots.txt texta með byggingarfræðilegum greiningum, keyrðu síðan tólið.
  3. Farðu yfir afritanlegan robots.txt texta með byggingargreiningu áður en þú afritar eða hleður honum niður.

Algengar bilunarleiðir

Ógildar sitemap URLs, árekstrar tómir hópar, óstuddar leiðbeiningar eða vantar notandaumboð framkallar viðvaranir.

Gagnlegt dæmi

Búðu til * notanda-umferðarhóp sem bannar /admin/ og nefnir framleiðslu sitemap URL.