Robots.txt Generator und Validator

Erstellen Sie Crawler-Regeln, fügen Sie Sitemap-Direktiven hinzu und validieren Sie die robots.txt-Syntax lokal, bevor Sie die Datei im Stammverzeichnis Ihrer Website veröffentlichen.

Bereit

Validierungsergebnisse

  • Generieren oder fügen Sie robots.txt-Inhalte ein und validieren Sie sie dann.

Crawler-Regelgenerierung

Erstellen Sie User-Agent-, Allow-, Disallow-, Sitemap- und optionale Host-Direktiven, ohne sich die robots.txt-Formatierung merken zu müssen.

Syntaxvalidierung

Überprüfen Sie häufige Fehler wie fehlende User-Agents, relative Sitemap-URLs, fehlerhafte Pfade, doppelte Regeln und nicht unterstützte Direktiven-Namen.

Private lokale Verarbeitung

Der Generator und Validator laufen in Ihrem Browser. Robots.txt-Inhalte werden nicht auf Convertr-Server hochgeladen.

Häufig gestellte Fragen

Wird meine robots.txt-Datei zur Validierung hochgeladen?

Nein. Generierung und Validierung laufen in Ihrem Browser mit JavaScript. Der eingegebene Text wird nicht an Convertr-Server gesendet.

Wo soll ich robots.txt platzieren?

Platzieren Sie robots.txt im Stammverzeichnis des Hosts, für den sie gilt, z. B. https://example.com/robots.txt.

Entfernt robots.txt Seiten von Google?

Nein. Robots.txt steuert den Crawler-Zugriff. Verwenden Sie noindex-Direktiven auf der Seite oder entfernen Sie die Seite, wenn Sie die Deindexierung benötigen.

Verwandte Entwickler-Tools

XML-Sitemap-Generator Erstellen Sie eine gültige sitemap.xml-Datei aus einer URL-Liste. HTTP-Header-Checker Leiten Sie Weiterleitungen, Statuscodes und Antwortheader ein. XML-Formatter Formatieren und validieren Sie XML-Dateien und Sitemap-Snippets. URL-Encoder & Decoder Codieren Sie URLs, Abfragezeichenfolgen und URL-Komponenten. URL-Slug-Generator Erstellen Sie lesbare URL-Pfade für Seiten und Beiträge. Grafische Kontrolle von Otvoreni Vorschau, wie Seiten und Sitemaps auf Social-Media-Plattformen erscheinen. Cron-Expression Generator Erstellen und validieren Sie geplante Crawler- oder Wartungsjobs.

Robots.txt-Generator

Erstellen und validieren Sie grundlegende robots.txt-Gruppen, Allow- und Disallow-Regeln, Crawl-Verzögerungen und Sitemap-Referenzen.

Eingabe
User-Agent-Gruppen, Path-Regeln und Sitemap-URLs.
Ausgabe
Kopierbarer robots.txt-Text mit strukturellen Diagnosen.
Reale Einschränkungen
robots.txt ist beratend, die Crawler-Unterstützung variiert, Regeln sind groß-/kleinschreibungsabhängige Pfadpräfixe und es kann keine bereits indexierte URL selbstständig entfernen.
Datenschutz und Datenverarbeitung
User-agent-Gruppen, Path-Regeln und Sitemap-URLs werden in dieser Browserkarte verarbeitet. Convertr erhält es nicht oder speichert es; Schließen oder neu laden die Seite klärt den Arbeitsstatus, es sei denn, das Tool explizit eine lokale Download bietet.

So verwenden Sie dieses Tool

  1. Bereitstellung von User-Agent-Gruppen, Pfadregeln und Sitemap-URLs in den Tool-Steuerelementen.
  2. Wählen Sie die Einstellungen, die den kopierbaren robots.txt-Text mit strukturellen Diagnosen beeinflussen, und führen Sie dann das Tool aus.
  3. Überprüfen Sie kopierbaren robots.txt-Text mit strukturellen Diagnosen, bevor Sie ihn kopieren oder herunterladen.

Häufige Fehlermodi

Ungültige Sitemap-URLs, widersprüchliche leere Gruppen, nicht unterstützte Direktiven oder ein fehlender Benutzer-Agent erzeugen Warnungen.

Nützliches Beispiel

Erstellen Sie eine *-User-Agent-Gruppe, die /admin/ verbietet und die Produktions-Sitemap-URL benennt.