Generador y validador de Robots.txt

Crea reglas de rastreo, añade directivas de sitemap y valida la sintaxis de robots.txt localmente antes de publicar el archivo en la raíz de tu sitio web.

Listo

Resultados de la validación

  • Genera o pega el contenido de robots.txt y, a continuación, valídalo.

Generación de reglas de rastreo

Crea directivas User-agent, Allow, Disallow, Sitemap y Host opcionales sin memorizar el formato de robots.txt.

Validación de sintaxis

Comprueba errores comunes como la falta de user-agents, URLs de sitemap relativas, rutas mal formadas, reglas duplicadas y nombres de directivas no admitidos.

Procesamiento local privado

El generador y el validador se ejecutan en tu navegador. El contenido de robots.txt no se sube a los servidores de Convertr.

Preguntas frecuentes

¿Se ha subido mi archivo robots.txt para su validación?

No. La generación y la validación se ejecutan en tu navegador con JavaScript. El texto que introduces no se envía a los servidores de Convertr.

¿Dónde debo colocar robots.txt?

Coloca robots.txt en la raíz del host al que se aplica, como https://example.com/robots.txt.

¿Robots.txt elimina páginas de Google?

No. Robots.txt controla el acceso del rastreador. Utiliza directivas noindex en la página o elimina la página si necesitas desindexarla.

Herramientas de desarrollo relacionadas

Generador de Sitemap XML Crea un archivo sitemap.xml válido a partir de una lista de URL. Verificador de Encabezados HTTP Inspecciona redirecciones, códigos de estado y encabezados de respuesta. Formateador XML Formatea y valida archivos XML y fragmentos de sitemap. Codificador y decodificador de URL Codifica URLs, cadenas de consulta y componentes de URL. Generador de slugs de URL Crear rutas de URL legibles para páginas y publicaciones. Comprobador de Open Graph Obtenga una vista previa de cómo aparecen las páginas y los sitemaps en las plataformas de redes sociales. Generador de Expresiones Cron Crear y validar trabajos programados de rastreo o mantenimiento.

Generador de Robots.txt

Construye y valida los grupos básicos de robots.txt, las reglas de autorización y desaceleración, los retrasos de crawl y las referencias de sitemap.

Entrada
Grupos de agentes de usuario, reglas de ruta y URLs de sitemap.
Salida
Robots.txt con diagnósticos estructurales.
Las limitaciones reales
robots.txt es consultivo, el soporte de crawler varía, las reglas son prefixes sensibles al caso y no puede eliminar por sí mismo una URL ya indexada.
Privacidad y tratamiento de datos
Los grupos de agentes de usuario, las reglas de ruta y las URL de sitemap se procesan en esta tabla del navegador.Converter no lo recibe ni lo almacena; cerrar o recargar la página desliza el estado de trabajo a menos que la herramienta ofrece explícitamente una descarga local.

Cómo utilizar esta herramienta

  1. Proporcionar grupos de agentes de usuario, reglas de ruta y URLs de sitemap en los controles de herramientas.
  2. Seleccione las configuraciones que afectan al texto robots.txt cópiable con diagnósticos estructurales, luego ejecuta la herramienta.
  3. Revisa el texto copiable robots.txt con diagnósticos estructurales antes de copiar o descargarlo.

Modos comunes de fracaso

URLs de mapa de sitio invalid, grupos blancos conflictos, directivas no apoyadas o un agente de usuario desaparecido producen advertencias.

Un ejemplo útil

Crea un grupo de agentes de usuario que desaloca /admin/ y nombra la URL de la sitemap de producción.