Die werk van Robots.txt Generator en Validator

Maak 'n crawler regels, voeg sitemap-direkte toe en valideer die robots.txt syntax lokaal voordat jy die bestand op jou webwerf se wortel publiseer.

Gereed

Validasie resultate

  • Maak of paste die robots.txt inhoud, dan valideer dit.

Die Crawler-regule

Maak gebruikersagent, toelaat, ontbind, Sitemap, en optiewe Host-direkte sonder om robots.txt vorm te memoriseer.

Syntax Validasie

Check die gewone fouten soos ontbrekende gebruikersagent, relatiewe sitemap URL's, verkeerde pads, duplikatregels en ondersteuningsvrije direktiwenaam.

Privë lokale verwerking

Die generator en validator loop in jou browser. die inhoud van Robots.txt word nie op die Convertr-servers gedownload nie.

Gereelde vrae

Is my robots.txt-bestand vir validasie gehaald?

No. Generasie en validasie loop in jou browser met JavaScript. Die teks wat jy ingedeel, word nie na Convertr-servers gestuur nie.

Waar moet ek die robots.txt plaas?

Plaas robots.txt aan die wort van die host wat dit toepas, soos https://example.com/robots.dxt.

Is robots.txt die bladsye van Google verwyder?

No. Robots.txt beheer die toegang tot die rouler. gebruik noindex-direkte op die bladsy of verwyder die bladsie as jy deindexing nodig het.

Verhoogde ontwerper gereedskap

XML-kaart generator Maak 'n geldig sitemap.xml-bestand van 'n URL-liste. HTTP hoofdoeleer Inspekteer redirect, status kode en reaksie header. XML-formatier Format en valideer XML-bestande en sitemap snippets. Die URL en die decoder Inkood URL's, vrae-strings en URL-komponente. Die URL-genaat Maak leesbare URL-routes vir bladsye en berichten. Open grafiek Checkers Voorafgaar hoe bladsye en sitemaps op sosiale media-platforms verskyn. Die Cron Expression Generator Maak en valideer geplande rocker of onderhoudswerk.

Die robot.txt generator

Maak en valideer die basiese robots.txt-groepe, toelaat en ontbind regels, skroei vertraag, en sitemap verwysings.

Invoer
Gebruikersagentgroepe, padregels en sitemap URL's.
Uitgang
Kopieerbare robots.txt teks met struktuurdiagnose.
Real beperkings
robots.txt is raadsel, die crawler ondersteuning variër, regels is gevalle-sensitive pad voorfeiwe, en dit kan nie 'n reeds geïndekteerde URL by sy eie verwijder nie.
Privaciteit en data verwerking
gebruikersagentgroepe, padregels en sitemap URL's word verwerk in hierdie browser-kaart. Converter ontvang dit nie of sal dit nie opslaan; sluit of herloei die bladsy verduidelik die werkstatuut tenzij die gereedskap uitdruklik 'n lokaal download bied nie.

Hoe om hierdie instrument te gebruik

  1. Gee gebruikersagentgroepe, padregels en sitemap URL's in die instrument beheers.
  2. Kies die instellings wat verskilbare robots.txt teks met strukturele diagnose beïnvloed, en voer dan die werktuig.
  3. Die verskaffbare robots.txt teks met strukturele diagnose te oorweeg voordat dit kopieer of downloadeer.

Die algemene mislukingsmodus

Onvalide sitemap URL's, conflicting wit groepen, ondersteunings nie, of 'n misgebruiker agente vervaardig waarschuwings.

Gebruiklike voorbeeld

Maak 'n * gebruikersagent groep wat /admin/ ontkoppel en die produksie sitemap URL noem.