Robots.txt og Valíður

Skapa kröfur, bæta staðfestingarnar og velgjandi robots.txt syntax loksins áður en þú birtist skripinn á rjótu vefsíðu þína.

Tilbúið

Valíðsresultálar

  • Gerðu eða fastaðu robots.txt efni og staðfesttu þá það.

Crawler Rule Generation

Byggja notandi-agents, leyfa, fjarlægja, Sitemap og valsemi Host leiðbeiningar án þess að minnast robots.txt formata.

Syntax staðfesting

Skoðað algeng mistök eins og saknar notandi-agents, samræmi síthússlutningar URLs, misformed leiðir, duplicate reglur, og óþekktar stefnu nafn.

Sjálfstæðar staðbundna meðferð

Gerendur og validerin virkar í browsera þinni. Robots.txt efni er ekki hlaðið upp á Convertr serveri.

Algengar spurningar

Er robots.txt faili minn uppað fyrir staðfestingu?

N. Generation og validering fer í bréfum með JavaScript. Text sem þú veitir er ekki send til Convertr servera.

Hvar á ég að setja robots.txt?

Staða robots.txt á rjóta veitingastaðila sem það er við, svo sem https://example.com/robots.Txt.

Er robots.txt að fjarlægja síður frá Google?

No. Robots.txt stjórnar aðgang að skreytingu. notu noindex leiðbeininga á síðu eða fjarlægja síðu ef þú þarft deindexing.

Meðal viðtalið hugbúnaður

XML síðmappur Skapa gildi sitemap.xml skrif frá URL listanum. HTTP header að skoða Verið endurreikningar, tilstandskód og svörhólar. XML formater Formater og staðfestur XML skrif og sitemap snippets. Hugbúnaður og Decoder Hugbúnað URLs, spurningarstrengir og URL hluti. Sjöfli í slug generator Skapa lesandi URL leiðir fyrir síður og postar. Öppna grafíkur Vegna þess að síður og sitemap eru sýnt á félagslegum fjölmiðlum. Cron útskýrunarhólf Byggja og staðfest áætlað skreyting eða viðhalda vinnu.

Robots.txt aðgerðir

Byggja og staðfestur grundvallar robots.txt hópur, leyfa og fjarlægja reglur, skreytingar hættu, og sitemap references.

inntök
Notandi-agents hópur, leiðreglur og sitemap URLs.
útgang
Robots.txt texta með byggðfræðilegum ákvarðanum.
Reyndar takmörk
robots.txt er ráðgjöf, skreytingar stuðning er mismunandi, reglur eru tilfinnilega sennandi leiðsreglur og það getur ekki fjarlægð þegar indexed URL af sjálfum sér.
Privátverkefni og gögn meðferð
notandi-agents hópur, leiðarreglur og síthluta URLs eru meðhöndlað í þessari blaðamaður. Converter fær ekki eða lagrar það; lokað eða endurlasting síðu fer ljóst vinnu stefnumót ef tól er sérstaklega til að bjóða upp á staðbundna niðurstöður.

Hvernig á að nota þetta verkfæri

  1. Tilboð notandagendarmúður, leiðsreglur og sitemap URLs í vöru stjórnun.
  2. Veldu settun sem áhrif á kopíbar robots.txt texti með byggðfræðilegum rannsóknum, þá hlaða þennan tól.
  3. Sjáðu kopíbar robots.txt texta með byggðfræðilegar ákvarðanir áður en þú kopiar eða hlaða það.

Alþjóðlegur mismunandi leiðir

Invalid sitemap URLs, samskipta hvítum hópum, óhyggðri leiðbeiningar eða misnotandi notandagjanda framleiðir varningar.

Vinnleg dæmi

Skapa * notandi-agents hóp sem fjarlægir /admin/ og nafnun framleiðslu sitemap URL.