Robots.txt Generador i Validador
Crea regles de crawler, afegeix directives de sitemap i valida la sintaxi de robots.txt localment abans de publicar el fitxer a l'arrel del teu lloc web.
Resultats de validació
- Genereu o enganxeu contingut robots.txt i després valideu-lo.
Generació de regles de crawler
Construeix directives d'User-agent, Allow, Disallow, Sitemap i Host opcionals sense memoritzar el format de robots.txt.
Validació de sintaxi
Verifiqueu errors comuns com ara agents d'usuari absents, URL de sitemap relatives, camins malformats, regles duplicades i noms de directiva no admesos.
Processament local privat
El generador i el validador s'executen al teu navegador. El contingut de Robots.txt no es carrega als servidors de Convertr.
Preguntes freqüents
El meu fitxer robots.txt s'ha carregat per a la validació?
No. La generació i la validació es fan al teu navegador amb JavaScript. El text que introdueixes no s'envia als servidors de Convertr.
On puc posar robots.txt?
Posar robots.txt a la arrel de l'host que s'aplica, com https://example.com/robots.txt.
Robots.txt esborra pàgines de Google?
No. Robots.txt controla l'accés dels rastrejadors. Utilitzeu directives noindex a la pàgina o elimineu la pàgina si necessiteu desindexar-la.
Eines de desenvolupador relacionades
El generador de robots.txt
Construeix i valida grups bàsics de robots.txt, regles d'Allow i Disallow, retards de rastreig i referències de sitemap.
- Entrada
- Grups d'agent d'usuari, regles de ruta i URLs del sitemap.
- Sortida
- Robots.txt text copiable amb diagnòstics estructurals.
- Les limitacions reals
- robots.txt és aconsellable, el suport de crawler varia, les regles són prefixs sensibles al cas i no pot eliminar una URL ja indexada per si mateixa.
- Privacitat i tractament de dades
- Els grups d'agent d'usuari, les regles de ruta i les URL de la mapes de llocs es processen en aquesta taula del navegador. Convertr no el rep ni l'emmagatzema; tancar o rellotjar la pàgina aclareix l'estat de treball llevat que l'eina ofereix explícitament una descàrrega local.
Com utilitzar aquesta eina
- Proporcioneu grups d’agent d’usuari, regles de ruta i URLs del mapa del lloc als controls de l’eina.
- Selecciona les configuracions que afecten el text robots.txt copiable amb diagnòstics estructurals, i després executa l'eina.
- Revisa el text robots.txt copiable amb diagnòstics estructurals abans de copiar o descarregar-lo.
Modes de fallada comuns
URLs del mapa del lloc invàlides, grups en blanc conflictius, directives no admeses o un agent d'usuari absent produeixen advertències.
Exemple útil
Crea un grup d'agent d'usuari * que no permet /admin/ i anomena l'URL del mapa del lloc de producció.