Generador y validador de Robots.txt

Crea reglas de rastreo, añade directivas de sitemap y valida la sintaxis de robots.txt localmente antes de publicar el archivo en la raíz de tu sitio web.

Listo

Resultados de la validación

  • Genera o pega el contenido de robots.txt y, a continuación, valídalo.

Generación de reglas de rastreo

Crea directivas User-agent, Allow, Disallow, Sitemap y Host opcionales sin memorizar el formato de robots.txt.

Validación de sintaxis

Comprueba errores comunes como la falta de user-agents, URLs de sitemap relativas, rutas mal formadas, reglas duplicadas y nombres de directivas no admitidos.

Procesamiento local privado

El generador y el validador se ejecutan en tu navegador. El contenido de robots.txt no se sube a los servidores de Convertr.

Preguntas frecuentes

¿Se ha subido mi archivo robots.txt para su validación?

No. La generación y la validación se ejecutan en tu navegador con JavaScript. El texto que introduces no se envía a los servidores de Convertr.

¿Dónde debo colocar robots.txt?

Coloca robots.txt en la raíz del host al que se aplica, como https://example.com/robots.txt.

¿Robots.txt elimina páginas de Google?

No. Robots.txt controla el acceso del rastreador. Utiliza directivas noindex en la página o elimina la página si necesitas desindexarla.

Herramientas de desarrollo relacionadas

Generador de mapas del sitio XML Crea un archivo sitemap.xml válido a partir de una lista de URL. Verificador de Encabezados HTTP Inspecciona redirecciones, códigos de estado y encabezados de respuesta. Formateador XML Formatea y valida archivos XML y fragmentos de sitemap. Codificador y decodificador de URL Codifica URLs, cadenas de consulta y componentes de URL. Generador de slugs de URL Crear rutas de URL legibles para páginas y publicaciones. Comprobador de Open Graph Obtenga una vista previa de cómo aparecen las páginas y los sitemaps en las plataformas de redes sociales. Generador de Expresiones Cron Crear y validar trabajos programados de rastreo o mantenimiento.

Generador de Robots.txt

Construye y valida grupos básicos de robots.txt, reglas Allow y Disallow, retrasos de rastreo y referencias de sitemap.

Entrada
Grupos de agentes de usuario, reglas de ruta y URLs de sitemap.
Salida
Texto de robots.txt copiable con diagnósticos estructurales.
Limitaciones reales
robots.txt es consultivo, el soporte del rastreador varía, las reglas son prefijos de ruta sensibles a mayúsculas y no puede eliminar por sí mismo una URL ya indexada.
Privacidad y tratamiento de datos
Los grupos de agentes de usuario, las reglas de ruta y las URL de sitemap se procesan en esta tabla del navegador.Convertr no lo recibe ni lo almacena; cerrar o recargar la página desliza el estado de trabajo a menos que la herramienta ofrece explícitamente una descarga local.

Cómo utilizar esta herramienta

  1. Proporciona grupos de agente de usuario, reglas de ruta y URLs de sitemap en los controles de la herramienta.
  2. Elige la configuración que afecta al texto robots.txt copiable con diagnósticos estructurales, luego ejecuta la herramienta.
  3. Revisa el texto copiable robots.txt con diagnósticos estructurales antes de copiar o descargarlo.

Modos comunes de fallo

URLs de mapa del sitio no válidas, grupos en blanco conflictivos, directivas no compatibles o un agente de usuario faltante producen advertencias.

Ejemplo útil

Crea un grupo de agente de usuario * que desautoriza /admin/ y nombra la URL del sitemap de producción.