Gerador e validador de Robots.txt

Crie regras de crawler, adicione diretivas de sitemap e valide a sintaxe robots.txt localmente antes de publicar o ficheiro na raiz do seu website.

Pronto

Resultados da validação

  • Gere ou cole o conteúdo robots.txt e, em seguida, valide-o.

Geração de regras de crawler

Crie diretivas User-agent, Allow, Disallow, Sitemap e Host opcionais sem memorizar a formatação robots.txt.

Validação de sintaxe

Verifique erros comuns, como user-agents em falta, URLs de sitemap relativos, caminhos malformados, regras duplicadas e nomes de diretivas não suportados.

Processamento local privado

O gerador e o validador são executados no seu navegador. O conteúdo robots.txt não é carregado para os servidores Convertr.

Perguntas frequentes

O meu ficheiro robots.txt é carregado para validação?

Não. A geração e a validação são executadas no seu navegador com JavaScript. O texto que introduz não é enviado para os servidores Convertr.

Onde devo colocar o robots.txt?

Coloque o robots.txt na raiz do host ao qual se aplica, como https://example.com/robots.txt.

O robots.txt remove páginas do Google?

Não. O Robots.txt controla o acesso do crawler. Use diretivas noindex na página ou remova a página se precisar de desindexação.

Ferramentas de desenvolvedor relacionadas

Gerador de sitemap XML Crie um arquivo de sitemap.xml válido a partir de uma lista de URL. Verificador de cabeçalhos HTTP Verifique redirecionamentos, códigos de estado e cabeçalhos de resposta. Formatador XML Formate e valide arquivos XML e trechos de sitemap. Codificador e Decodificador de URL Codifique URLs, strings de consulta e componentes de URL. Gerador de slug para URLs Crie caminhos de URL legíveis para páginas e publicações. Verificador de Open Graph Visualize como as páginas e sitemaps aparecem nas plataformas de mídia social. Gerador de expressões cron Construir e validar trabalhos de rastreamento ou manutenção programados.

Gerador de robots.txt

Construa e valide grupos básicos de robots.txt, regras Allow e Disallow, atrasos de rastreamento e referências de sitemap.

Entrada
Grupos de user-agent, regras de caminho e URLs de sitemap.
Saída
Texto robots.txt copiável com diagnósticos estruturais.
Limitações reais
robots.txt é consultivo, o suporte a rastreadores varia, as regras são prefixos de caminho sensíveis a maiúsculas/minúsculas e não pode remover uma URL já indexada por si só.
Privacidade e tratamento de dados
Os grupos de agentes do usuário, as regras de caminho e os URLs do sitemap são processados nesta tabela do navegador.Convertr não o recebe ou armazenará; fechar ou recarregar a página limpa o estado de trabalho, a menos que a ferramenta explicitamente ofereça uma download local.

Como usar esta ferramenta

  1. Forneça grupos de user-agent, regras de caminho e URLs de sitemap nos controles da ferramenta.
  2. Escolha as configurações que afetam o texto robots.txt copiável com diagnósticos estruturais, e execute a ferramenta.
  3. Revise o texto copiável robots.txt com diagnósticos estruturais antes de copiar ou baixar.

Modos de falha comuns

URLs de sitemap inválidos, grupos em branco conflitantes, diretivas não suportadas ou um agente de usuário ausente produz alertas.

Exemplo útil

Crie um grupo de * user-agent que desautoriza /admin/ e nomeia o URL do sitemap de produção.