Robots.txt Generador i Validador
Crea les regles de crawler, afegeix directrius de la mapes de llocs i valida la síntaxa robots.txt localment abans de publicar el fitxer a la seva arrel del lloc web.
Resultats de validació
- Generar o plegar contingut robots.txt, i després validar-lo.
El Crawler Rule generació
Construir l'agent d'usuari, permetre, desactivar, Sitemap i directives de host opcionals sense memoritzar el format de robots.txt.
Validació de síntesi
Verificar errors comuns com ara els agents d'usuari desapareguts, les URL de la pàgina web relativa, els camins malformats, les regles duplicades i els noms directius no recolzats.
Processament local privat
El generador i el validador es mouen en el seu navegador. el contingut de Robots.txt no es carrega als servidors de Convertr.
Preguntes freqüents
El meu fitxer robots.txt s'ha carregat per a la validació?
No. Generació i validació es fa en el seu navegador amb JavaScript. El text que introdueix no s'envia a servidors de conversió.
On puc posar robots.txt?
Posar robots.txt a la arrel de l'host que s'aplica, com https://example.com/robots.d.
Robots.txt esborra pàgines de Google?
No. Robots.txt controla l'accés al crawler. Utilitza les directrius noindex a la pàgina o esborra la pàgina si necessita de desindexar.
Tools de desenvolupador relacionats
El generador de robots.txt
Construir i validar els grups bàsics de robots.txt, les regles d'Autorització i Desautorització, els retards de crawl i les referències de la pàgina web.
- Entrada
- Grups d'agent d'usuari, regles de ruta i URLs de la pàgina web.
- Exposició
- Robots.txt text copiable amb diagnòstics estructurals.
- Les limitacions reals
- robots.txt és aconsellable, el suport de crawler varia, les regles són prefixs sensibles al cas i no pot eliminar una URL ja indexada per si mateixa.
- Privacitat i tractament de dades
- Els grups d'agent d'usuari, les regles de ruta i les URL de la mapes de llocs es processen en aquesta taula del navegador. Converter no el rep ni l'emmagatzema; tancar o rellotjar la pàgina aclareix l'estat de treball llevat que l'eina ofereix explícitament una descàrrega local.
Com utilitzar aquesta eina
- Proporcionar grups d'agent d'usuari, regles de ruta i URLs de la mapes de llocs en els controls d’eines.
- Selecciona les configuracions que afecten el text robots.txt copiable amb diagnòstics estructurals, i després executa l'eina.
- Revisa el text robots.txt copiable amb diagnòstics estructurals abans de copiar o descarregar-lo.
Modes comuns d'insuccions
URLs de la pàgina web invalides, grups blancs conflictius, directives no recolzades o un agent d'usuari desaparegut produeixen alertes.
Exemple útil
Crea un grup d'agent d'usuari * que desallotja /admin/ i nomena l'URL de la pàgina web de producció.