Gerador e Validador de Robots.txt

Crie regras de crawler, adicione diretivas de sitemap e valide a sintaxe robots.txt localmente antes de publicar o ficheiro na raiz do seu website.

Preparar

Resultados da validação

  • Gere ou cole o conteúdo robots.txt e, em seguida, valide-o.

Geração de regras de crawler

Crie diretivas User-agent, Allow, Disallow, Sitemap e Host opcionais sem memorizar a formatação robots.txt.

Validação de sintaxe

Verifique erros comuns, como user-agents em falta, URLs de sitemap relativos, caminhos malformados, regras duplicadas e nomes de diretivas não suportados.

Processamento local privado

O gerador e o validador são executados no seu navegador. O conteúdo robots.txt não é carregado para os servidores Convertr.

Perguntas frequentes

O meu ficheiro robots.txt é carregado para validação?

Não. A geração e a validação são executadas no seu navegador com JavaScript. O texto que introduz não é enviado para os servidores Convertr.

Onde devo colocar o robots.txt?

Coloque o robots.txt na raiz do host ao qual se aplica, como https://example.com/robots.txt.

O robots.txt remove páginas do Google?

Não. O Robots.txt controla o acesso do crawler. Use diretivas noindex na página ou remova a página se precisar de desindexação.

Ferramentas de desenvolvedor relacionadas

XML Sitemap Generador Crie um arquivo de sitemap.xml válido a partir de uma lista de URL. Checker de cabeças HTTP Verifique redirecionamentos, códigos de estado e cabeçalhos de resposta. Formatador XML Formate e valide ficheiros XML e snippets de sitemap. Codificador e Descodificador de URL Codifique URLs, strings de consulta e componentes de URL. URL de um Slug Generator Crie URLs leíveis para páginas e posts. Verificador Open Graph Visualize como as páginas e sitemaps aparecem nas plataformas de mídia social. Cron Expressão Generador Construir e validar trabalhos de rastreamento ou manutenção programados.

O robots.txt gerador

Construa e valida os grupos básicos robots.txt, as regras de autorização e desligamento, os atrasos de rastreamento e as referências do sitemap.

Entrada
Grupos de agentes do usuário, regras de rota e URLs de sitemap.
Saída
Cópias robots.txt com diagnósticos estruturais.
Limitações reais
robots.txt é aconselhante, o suporte para rastreadores varia, as regras são prefixos de caminho sensíveis ao caso e não pode remover um URL já indexado por si só.
Privacidade e tratamento de dados
Os grupos de agentes do usuário, as regras de caminho e os URLs do sitemap são processados nesta tabela do navegador.Converter não o recebe ou armazenará; fechar ou recarregar a página limpa o estado de trabalho, a menos que a ferramenta explicitamente ofereça uma download local.

Como usar essa ferramenta

  1. Fornecer grupos de agentes do usuário, regras de caminho e URLs de sitemap nos controles de ferramentas.
  2. Escolha as configurações que afetam o texto robots.txt cópiável com diagnósticos estruturais, e execute a ferramenta.
  3. Revise o texto cópiável robots.txt com diagnósticos estruturais antes de copiar ou baixar.

Modos de falha comuns

URLs de sitemap invalidos, grupos brancos conflitantes, diretrizes não suportadas ou um agente de usuário desaparecido produz alertas.

Exemplo útil

Crie um * grupo de agentes do usuário que desligue /admin/ e nomee o URL da página de produção.