Générateur & Validateur Robots.txt

Créez des règles d'exploration, ajoutez des directives de plan de site et validez la syntaxe robots.txt localement avant de publier le fichier à la racine de votre site Web.

Prêt

Résultats de la validation

  • Générez ou collez le contenu de robots.txt, puis validez-le.

Génération de règles d'exploration

Créez des directives User-agent, Allow, Disallow, Sitemap et Host facultatives sans mémoriser le formatage robots.txt.

Validation de la syntaxe

Vérifiez les erreurs courantes telles que les agents utilisateurs manquants, les URL de plan de site relatives, les chemins mal formés, les règles en double et les noms de directives non pris en charge.

Traitement local privé

Le générateur et le validateur s'exécutent dans votre navigateur. Le contenu de Robots.txt n'est pas téléchargé sur les serveurs Convertr.

Questions fréquemment posées

Mon fichier robots.txt est-il téléchargé pour validation ?

Non. La génération et la validation s'exécutent dans votre navigateur avec JavaScript. Le texte que vous entrez n'est pas envoyé aux serveurs Convertr.

Où dois-je placer robots.txt ?

Placez robots.txt à la racine de l'hôte auquel il s'applique, tel que https://example.com/robots.txt.

Est-ce que robots.txt supprime des pages de Google ?

Non. Robots.txt contrôle l'accès de l'explorateur. Utilisez des directives noindex sur la page ou supprimez la page si vous avez besoin de désindexation.

Outils de développement connexes

Générateur XML Créer un fichier sitemap.xml valide à partir d'une liste URL. HTTP Checker Inspecter les redirects, les codes de statut et les titres de réponse. Formateur XML Formatez et validez les fichiers XML et les extraits de plan de site. Encodeur & Décodeur URL Encodez les URL, les chaînes de requête et les composants d'URL. Générateur URL Slug Créer des voies URL lisibles pour les pages et les posts. Vérificateur Open Graph Prévisualisez l'apparence des pages et des sitemaps sur les plateformes de médias sociaux. Générateur de l'expression Cron Construire et valider des emplois de crawler ou de maintenance prévus.

Générateur Robots.txt

Créer et valider les groupes de base robots.txt, les règles d'autorisation et de désactivation, les retards de crawl et les références sur la carte de site.

Entrée
Groupes d'agent utilisateur, règles de route et URLs de site-map.
Sortie
Copier robots.txt avec des diagnostics structurels.
Les limites réelles
robots.txt est conseillant, le support de crawler varie, les règles sont des préfixes de chemin sensibles au cas et il ne peut pas supprimer une URL déjà indexée par lui-même.
Confidentialité et traitement des données
Les groupes d'agent utilisateur, les règles de route et les URL de la carte de site sont traités dans cette rubrique. Converter ne reçoit pas ou ne le stockera pas; fermer ou récharger la page clarifie l'état de fonctionnement sauf si l'outil offre explicitement un téléchargement local.

Comment utiliser cet outil

  1. Fournir des groupes d'agent utilisateur, les règles de route et les URL de la carte de site dans les contrôles d'outils.
  2. Choisissez les paramètres qui affectent le texte robots.txt copiable avec des diagnostics structurels, puis exécutez l'outil.
  3. Vérifier le texte robots.txt copiable avec des diagnostics structurels avant de le copier ou de le télécharger.

Modes communs d'échec

Les URL de la carte de site invalide, les groupes blancs conflictuels, les directives non soutenues ou un agent utilisateur manquant produisent des alertes.

Exemple utile

Créez un groupe d'agent utilisateur * qui désactifie /admin/ et nomme l'URL de la carte de site de production.