Die werk van Robots.txt Generator en Validator

Maak kruiperreëls, voeg webkaartdirektiewe by en valideer robots.txt-sintaks plaaslik voordat jy die lêer by jou webwerf se wortel publiseer.

Gereed

Validasie resultate

  • Maak of paste die robots.txt inhoud, dan valideer dit.

Kruiperreëlgenerering

Bou gebruikersagent, toelaat, weier, Sitemap en opsionele Host-riglyne sonder om robots.txt-formatering te memoriseer.

Sintaksisvalidasie

Kontroleer algemene foute soos ontbrekende gebruikersagente, relatiewe webkaart-URL's, foutiewe paaie, duplikaatreëls en onondersteunde direktiefname.

Privaat plaaslike verwerking

Die generator en validator loop in jou blaaier. Die inhoud van Robots.txt word nie na die Convertr-bediener opgelaai nie.

Gereelde vrae

Is my robots.txt-lêer vir validering opgelaai?

Nee. Generering en validering loop in jou blaaier met JavaScript. Die teks wat jy invoer, word nie na Convertr-bediener gestuur nie.

Waar moet ek die robots.txt plaas?

Plaas robots.txt aan die wort van die host wat dit toepas, soos https://example.com/robots.txt.

Verwyder robots.txt bladsye van Google?

Nee. Robots.txt beheer kruipertoegang. Gebruik noindex-aanwysings op die bladsy of verwyder die bladsy as jy deïndeksering nodig het.

Verwante ontwikkelaarnutsgoed

XML-werfkaartgenerator Maak 'n geldige sitemap.xml-lêer van 'n URL-lys. HTTP-hoofde-kontroleerder Inspekteer herleidings, statuskodes en reaksiehoofde. XML-formateerder Formateer en valideer XML-lêers en webkaart-knipsels. URL-kodeerder en -dekodeerder Enkodeer URL's, navraagstringe en URL-komponente. URL-sluggenerator Maak leesbare URL-roetes vir bladsye en plasings. Open Graph-nagaan Voorskou hoe bladsye en webkaarte op sosiale media-platforms verskyn. Die Cron Expression Generator Bou en valideer geskeduleerde kruiper- of onderhoudswerk.

Die Robots.txt generator

Bou en valideer basiese robots.txt-groepe, Toelaat- en Verbied-reëls, kruipvertragings en webkaartverwysings.

Invoer
Gebruikersagentgroepe, padregels en sitemap URL's.
Uitgang
Kopieerbare robots.txt-teks met strukturele diagnostiek.
Werklike beperkings
robots.txt is raadgewend, kruiperondersteuning verskil, reëls is hooflettergevoelige padvoorvoegsels, en dit kan nie 'n reeds geïndekseerde URL op sy eie verwyder nie.
Privaatheid en datahantering
gebruikersagentgroepe, padregels en sitemap URL's word verwerk in hierdie browser-kaart. Convertr ontvang dit nie of sal dit nie opslaan; sluit of herloei die bladsy verduidelik die werkstatuut tenzij die gereedskap uitdruklik 'n lokaal download bied nie.

Hoe om hierdie instrument te gebruik

  1. Gee gebruikersagentgroepe, padreëls en sitemap-URL's in die instrumentbeheers.
  2. Kies die instellings wat kopieerbare robots.txt-teks met strukturele diagnostiek beïnvloed, en voer dan die gereedskap uit.
  3. Kyk na kopieerbare robots.txt-teks met strukturele diagnostiek voordat jy dit kopieer of aflaai.

Algemene mislukkingsmodusse

Ongeldige sitemap-URL's, botsende leë groepe, onondersteunde riglyne of 'n ontbrekende gebruikersagent lewer waarskuwings.

Nuttige voorbeeld

Skep 'n * gebruikeragent-groep wat /admin/ verbied en die produksie-sitemap-URL noem.