Robots.txt Generator en Validator

Maak crawler regels, voeg sitemap richtlijnen toe en valideer de robots.txt syntax lokaal voordat u het bestand publiceert in uw website root.

Klaar

Validatieresultaten

  • Genereer of plak robots.txt inhoud en valideer het vervolgens.

Crawler regel generatie

Bouw User-agent, Allow, Disallow, Sitemap en optionele Host richtlijnen zonder de robots.txt formattering te onthouden.

Syntax validatie

Controleer veelvoorkomende fouten zoals ontbrekende user-agents, relatieve sitemap URL's, verkeerd gevormde paden, dubbele regels en niet-ondersteunde richtlijnnamen.

Privé lokale verwerking

De generator en validator draaien in uw browser. Robots.txt inhoud wordt niet geüpload naar Convertr servers.

Veelgestelde vragen

Wordt mijn robots.txt bestand geüpload voor validatie?

Nee. Generatie en validatie worden uitgevoerd in uw browser met JavaScript. De tekst die u invoert, wordt niet naar Convertr servers verzonden.

Waar moet ik robots.txt plaatsen?

Plaats robots.txt in de root van de host waarop het van toepassing is, zoals https://example.com/robots.txt.

Verwijdert robots.txt pagina's van Google?

Nee. Robots.txt beheert de crawler toegang. Gebruik noindex richtlijnen op de pagina of verwijder de pagina als u de indexering ongedaan moet maken.

Gerelateerde ontwikkelaarstools

XML kaart generator Creëer een geldig sitemap.xml bestand uit een URL-lijst. HTTP voor de kleed Controleer redirect, statuscodes en responshebbers. XML formater Formatteer en valideer XML bestanden en sitemap fragmenten. URL en decoder Encodeer URL's, queryreeksen en URL-componenten. URL slug generator Creëer leesbare URL-paden voor pagina's en berichten. De grafische controleer Bekijk hoe pagina's en sitemaps verschijnen op sociale mediaplatforms. Cron expressie generator Buiten en valideren van geplande crawler of onderhoudswerkzaamheden.

Robots.txt generator

Maak en valideren van de basisgroepen robots.txt, Toegeeft en ontheft regels, crawl vertragingen en sitemap verwijzingen.

Invoer
Gebruikersagentengroepen, padregels en sitemap URL's.
Uitvoer
Kopieerbaar robots.txt met structurele diagnoses.
Echte beperkingen
robots.txt is adviserende, crawler ondersteuning varieert, regels zijn case-sensitive route prefixes en het kan niet verwijderen een al geïndiceerde URL door zichzelf.
Privaciteit en gegevensbehandeling
gebruiker-agentgroepen, padregels en site map URL's worden verwerkt in deze browser tab. Converter ontvangt of opslaat het niet; het sluiten of herladen van de pagina helpt de werkomstand te verduidelijken tenzij het gereedschap uitdrukkelijk een lokale download biedt.

Hoe deze tool te gebruiken

  1. Geef gebruikersagentengroepen, padregels en sitemap URL's in de toolcontrole.
  2. Selecteer de instellingen die het kopiabele robots.txt-tekst met structurele diagnoses beïnvloeden, en voer vervolgens het gereedschap uit.
  3. Bekijk kopieerbaar robots.txt met structurele diagnoses voordat u het kopiëren of downloaden.

Gemeenschappelijke mislukkingsmodi

Onbeleefde site-kaart URL's, conflictvol blanke groepen, niet ondersteunde richtlijnen of een ontbrekende gebruikersagent produceren waarschuwingen.

nuttig voorbeeld

Creëer een * gebruikersagentgroep die /admin/ afleent en de productietapp URL noemt.