Robots.txt 生成器和验证器
在发布文件到网站根目录之前，在本地创建爬虫规则、添加站点地图指令并验证robots.txt语法。
就绪
验证结果
- 生成或粘贴 robots.txt 内容，然后验证它。
爬虫规则生成
构建 User-agent、Allow、Disallow、Sitemap 和可选的 Host 指令，而无需记住 robots.txt 格式。
语法验证
检查常见错误，例如缺少 user-agents、相对站点地图 URL、格式错误的路径、重复规则和不支持的指令名称。
私有本地处理
生成器和验证器在您的浏览器中运行。Robots.txt 内容不会上传到 Convertr 服务器。
常见问题解答
我的 robots.txt 文件是否已上传以进行验证？
不会。生成和验证在您的浏览器中使用 JavaScript 运行。您输入的文本不会发送到 Convertr 服务器。
我应该将 robots.txt 放在哪里？
将 robots.txt 放在其适用的主机的根目录中，例如 https://example.com/robots.txt。
robots.txt 是否会从 Google 中删除页面？
否。Robots.txt 控制爬虫访问。如果您需要取消索引，请在页面上使用 noindex 指令或删除该页面。
Robots.txt 生成器
构建并验证基本的robots.txt组、允许和禁止规则、爬取延迟以及站点地图引用。
- 输入
- 用户代理组、路径规则和网站地图URL.
- 输出
- 可复制的 robots.txt 文本及结构诊断.
- 实际限制
- robots.txt 是建议性的，爬虫支持各不相同，规则是区分大小写的路径前缀，它不能自行删除已索引的 URL。
- 隐私与数据处理
- 用户代理组、路径规则和网站地图 URL 在此浏览器选项卡中处理,转换器不会收到或存储;关闭或重新加载页面会清除工作状态,除非该工具明确提供本地下载。
如何使用此工具
- 在工具控件中提供用户代理组、路径规则和站点地图 URL。
- 选择可复制的 robots.txt 文本与结构诊断的设置,然后运行工具。
- 在复制或下载之前查看带有结构诊断的可复制 robots.txt 文本。
常见故障模式
无效的站点地图 URL、冲突的空白组、不支持的指令或缺少用户代理会产生警告。
有用的例子
创建一个 * 用户代理组，禁止访问 /admin/ 并指定生产站点地图 URL。