Robots.txt Generator und Validator

Erstellen Sie Crawler-Regeln, fügen Sie Sitemap-Direktiven hinzu und validieren Sie die robots.txt-Syntax lokal, bevor Sie die Datei im Stammverzeichnis Ihrer Website veröffentlichen.

Bereit

Validierungsergebnisse

  • Generieren oder fügen Sie robots.txt-Inhalte ein und validieren Sie sie dann.

Crawler-Regelgenerierung

Erstellen Sie User-Agent-, Allow-, Disallow-, Sitemap- und optionale Host-Direktiven, ohne sich die robots.txt-Formatierung merken zu müssen.

Syntaxvalidierung

Überprüfen Sie häufige Fehler wie fehlende User-Agents, relative Sitemap-URLs, fehlerhafte Pfade, doppelte Regeln und nicht unterstützte Direktiven-Namen.

Private lokale Verarbeitung

Der Generator und Validator laufen in Ihrem Browser. Robots.txt-Inhalte werden nicht auf Convertr-Server hochgeladen.

Häufig gestellte Fragen

Wird meine robots.txt-Datei zur Validierung hochgeladen?

Nein. Generierung und Validierung laufen in Ihrem Browser mit JavaScript. Der eingegebene Text wird nicht an Convertr-Server gesendet.

Wo soll ich robots.txt platzieren?

Platzieren Sie robots.txt im Stammverzeichnis des Hosts, für den sie gilt, z. B. https://example.com/robots.txt.

Entfernt robots.txt Seiten von Google?

Nein. Robots.txt steuert den Crawler-Zugriff. Verwenden Sie noindex-Direktiven auf der Seite oder entfernen Sie die Seite, wenn Sie die Deindexierung benötigen.

Verwandte Entwickler-Tools

XML-Seitenkarte Generator Erstellen Sie eine gültige sitemap.xml-Datei aus einer URL-Liste. HTTP-Header-Checker Leiten Sie Weiterleitungen, Statuscodes und Antwortheader ein. XML-Formatter Formatieren und validieren Sie XML-Dateien und Sitemap-Snippets. URL-Encoder & Decoder Codieren Sie URLs, Abfragezeichenfolgen und URL-Komponenten. URL-Slug-Generator Erstellen Sie lesbare URL-Pfade für Seiten und Beiträge. Grafische Kontrolle von Otvoreni Vorschau, wie Seiten und Sitemaps auf Social-Media-Plattformen erscheinen. Cron-Expression Generator Erstellen und validieren Sie geplante Crawler- oder Wartungsjobs.

Robots.txt-Generator

Erstellen und validieren Sie grundlegende robots.txt-Gruppen, Bereitstellung und Entfernung Regeln, Crawl-Verzögerungen und Sitemap-Referenzen.

Eingabe
User-Agent-Gruppen, Path-Regeln und Sitemap-URLs.
Ausgabe
Kopierbar robots.txt Text mit strukturellen Diagnosen.
Reale Einschränkungen
robots.txt ist beraterlich, die Crawler-Support variiert, Regeln sind Fallsensitive-Path Prefix und es kann nicht eine bereits indexierte URL selbst entfernen.
Datenschutz und Datenverarbeitung
User-agent-Gruppen, Path-Regeln und Sitemap-URLs werden in dieser Browserkarte verarbeitet. Converter erhält es nicht oder speichert es; Schließen oder neu laden die Seite klärt den Arbeitsstatus, es sei denn, das Tool explizit eine lokale Download bietet.

Wie man dieses Tool verwendet

  1. Bereitstellung von User-Agent-Gruppen, Path-Regeln und Sitemap-URLs in den Tool-Controls.
  2. Wählen Sie die Einstellungen, die kopierbar robots.txt Text mit strukturellen Diagnosen beeinflussen, und führen Sie dann das Tool aus.
  3. Überprüfen Sie kopierbares robots.txt Text mit strukturellen Diagnosen vor Kopieren oder Herunterladen.

Einheitliche Versagenmodes

Invalid Sitemap URLs, konfliktende weiße Gruppen, ununterstützte Richtlinien oder ein fehlendes Benutzer-Agent produzieren Warnungen.

nützliches Beispiel

Erstellen Sie eine * User-Agent-Gruppe, die /admin/ entlastet und die Produktionssitemap URL nennt.