Robots.txt Generator en Validator

Maak crawlerregels, voeg sitemaprichtlijnen toe en valideer de robots.txt-syntax lokaal voordat je het bestand publiceert in de root van je website.

Klaar

Validatieresultaten

  • Genereer of plak robots.txt inhoud en valideer het vervolgens.

Crawler regel generatie

Bouw User-agent, Allow, Disallow, Sitemap en optionele Host richtlijnen zonder de robots.txt formattering te onthouden.

Syntax validatie

Controleer veelvoorkomende fouten zoals ontbrekende user-agents, relatieve sitemap URL's, verkeerd gevormde paden, dubbele regels en niet-ondersteunde richtlijnnamen.

Privé lokale verwerking

De generator en validator draaien in uw browser. Robots.txt inhoud wordt niet geüpload naar Convertr servers.

Veelgestelde vragen

Wordt mijn robots.txt-bestand geüpload voor validatie?

Nee. Generatie en validatie worden uitgevoerd in uw browser met JavaScript. De tekst die u invoert, wordt niet naar Convertr servers verzonden.

Waar moet ik robots.txt plaatsen?

Plaats robots.txt in de root van de host waarop het van toepassing is, zoals https://example.com/robots.txt.

Verwijdert robots.txt pagina's van Google?

Nee. Robots.txt beheert de crawler toegang. Gebruik noindex richtlijnen op de pagina of verwijder de pagina als u de indexering ongedaan moet maken.

Gerelateerde ontwikkelaarstools

XML-sitemapgenerator Creëer een geldig sitemap.xml bestand uit een URL-lijst. HTTP-headerscontrole Inspecteer omleidingen, statuscodes en responsheaders. XML-formatter Formatteer en valideer XML bestanden en sitemap fragmenten. URL-encoder en -decoder Encodeer URL's, queryreeksen en URL-componenten. URL-sluggenerator Creëer leesbare URL-paden voor pagina's en berichten. Open Graph-controle Bekijk hoe pagina's en sitemaps verschijnen op sociale mediaplatforms. Cron-expressiegenerator Bouw en valideer geplande crawler- of onderhoudstaken.

Generator voor robots.txt

Maak en valideer basis robots.txt-groepen, Allow- en Disallow-regels, crawlvertragingen en sitemapverwijzingen.

Invoer
Gebruikersagentengroepen, padregels en sitemap URL's.
Uitvoer
Kopieerbare robots.txt-tekst met structurele diagnoses.
Echte beperkingen
robots.txt is adviserend, crawler-ondersteuning varieert, regels zijn hoofdlettergevoelige padprefixen en het kan een reeds geïndexeerde URL niet zelf verwijderen.
Privacy en gegevensverwerking
gebruiker-agentgroepen, padregels en site map URL's worden verwerkt in deze browser tab. Convertr ontvangt of opslaat het niet; het sluiten of herladen van de pagina helpt de werkomstand te verduidelijken tenzij het gereedschap uitdrukkelijk een lokale download biedt.

Hoe deze tool te gebruiken

  1. Geef gebruikersagentgroepen, padregels en sitemap-URL's op in de toolbesturing.
  2. Selecteer de instellingen die de kopieerbare robots.txt-tekst met structurele diagnoses beïnvloeden, en voer vervolgens het gereedschap uit.
  3. Bekijk kopieerbare robots.txt-tekst met structurele diagnoses voordat u deze kopieert of downloadt.

Veelvoorkomende foutmodi

Ongeldige sitemap-URL's, conflicterende lege groepen, niet-ondersteunde richtlijnen of een ontbrekende user-agent geven waarschuwingen.

Nuttig voorbeeld

Maak een *-user-agentgroep die /admin/ weigert en de productie-sitemap-URL noemt.