Générateur & Validateur Robots.txt

Créez des règles d'exploration, ajoutez des directives de plan de site et validez la syntaxe robots.txt localement avant de publier le fichier à la racine de votre site Web.

Prêt

Résultats de la validation

  • Générez ou collez le contenu de robots.txt, puis validez-le.

Génération de règles d'exploration

Créez des directives User-agent, Allow, Disallow, Sitemap et Host facultatives sans mémoriser le formatage robots.txt.

Validation de la syntaxe

Vérifiez les erreurs courantes telles que les agents utilisateurs manquants, les URL de plan de site relatives, les chemins mal formés, les règles en double et les noms de directives non pris en charge.

Traitement local privé

Le générateur et le validateur s'exécutent dans votre navigateur. Le contenu de Robots.txt n'est pas téléchargé sur les serveurs Convertr.

Questions fréquemment posées

Mon fichier robots.txt est-il téléchargé pour validation ?

Non. La génération et la validation s'exécutent dans votre navigateur avec JavaScript. Le texte que vous entrez n'est pas envoyé aux serveurs Convertr.

Où dois-je placer robots.txt ?

Placez robots.txt à la racine de l'hôte auquel il s'applique, tel que https://example.com/robots.txt.

Est-ce que robots.txt supprime des pages de Google ?

Non. Robots.txt contrôle l'accès de l'explorateur. Utilisez des directives noindex sur la page ou supprimez la page si vous avez besoin de désindexation.

Outils de développement connexes

Générateur de sitemap XML Créez un fichier sitemap.xml valide à partir d'une liste d'URL. Vérificateur d'en-têtes HTTP Inspecter les redirections, les codes de statut et les en-têtes de réponse. Formateur XML Formatez et validez les fichiers XML et les extraits de plan de site. Encodeur & Décodeur URL Encodez les URL, les chaînes de requête et les composants d'URL. Générateur de slugs d’URL Créer des chemins d'URL lisibles pour les pages et les articles. Vérificateur Open Graph Prévisualisez l'apparence des pages et des sitemaps sur les plateformes de médias sociaux. Générateur d'expression Cron Construire et valider des tâches de crawler ou de maintenance planifiées.

Générateur Robots.txt

Créez et validez des groupes robots.txt de base, les règles Allow et Disallow, les délais d'exploration et les références de sitemap.

Entrée
Groupes d'agent utilisateur, règles de chemin et URLs de sitemap.
Sortie
Texte robots.txt copiable avec diagnostics structurels.
Limitations réelles
robots.txt est consultatif, la prise en charge des robots d'exploration varie, les règles sont des préfixes de chemin sensibles à la casse et il ne peut pas supprimer une URL déjà indexée par lui-même.
Confidentialité et traitement des données
Les groupes d'agent utilisateur, les règles de route et les URL de la carte de site sont traités dans cette rubrique. Convertr ne reçoit pas ou ne le stockera pas; fermer ou récharger la page clarifie l'état de fonctionnement sauf si l'outil offre explicitement un téléchargement local.

Comment utiliser cet outil

  1. Fournissez des groupes d'agents utilisateurs, des règles de chemin et des URL de sitemap dans les contrôles de l'outil.
  2. Choisissez les paramètres qui affectent le texte robots.txt copiable avec des diagnostics structurels, puis exécutez l'outil.
  3. Vérifier le texte robots.txt copiable avec des diagnostics structurels avant de le copier ou de le télécharger.

Modes d’échec courants

Les URL de sitemap invalides, les groupes vides conflictuels, les directives non prises en charge ou un agent utilisateur manquant produisent des avertissements.

Exemple utile

Créez un groupe d'agents utilisateurs * qui interdit /admin/ et nomme l'URL du sitemap de production.