Robots.txt 生成器和验证器
创建浏览器规则,添加网站地图指南,并在发布文件之前本地验证 robots.txt 合成。
就绪
验证结果
- 生成或粘贴 robots.txt 内容，然后验证它。
爬虫规则生成
构建 User-agent、Allow、Disallow、Sitemap 和可选的 Host 指令，而无需记住 robots.txt 格式。
合成验证
检查常见错误，例如缺少 user-agents、相对站点地图 URL、格式错误的路径、重复规则和不支持的指令名称。
私有本地处理
生成器和验证器在您的浏览器中运行。Robots.txt 内容不会上传到 Convertr 服务器。
常见问题解答
我的 robots.txt 文件是否已上传以进行验证？
编号: 创建和验证在您的浏览器中运行,使用 JavaScript. 您输入的文本不会发送到转换服务器。
我应该将 robots.txt 放在哪里？
将 robots.txt 放在其适用的主机的根目录中，例如 https://example.com/robots.txt。
robots.txt 是否会从 Google 中删除页面？
否。Robots.txt 控制爬虫访问。如果您需要取消索引，请在页面上使用 noindex 指令或删除该页面。
机器人.txt 发电机
建立和验证基本的 robots.txt 组,允许和删除规则,浏览延迟,以及地图参考。
- 输入
- 用户代理组、路径规则和网站地图URL.
- 输出
- 可复制的 robots.txt 文本与结构诊断.
- 真正的限制
- robots.txt 是建议,浏览器支持有所不同,规则是案例敏感的路径预定,它不能自行删除已索引的 URL。
- 隐私与数据处理
- 用户代理组、路径规则和网站地图 URL 在此浏览器选项卡中处理,转换器不会收到或存储;关闭或重新加载页面会清除工作状态,除非该工具明确提供本地下载。
如何使用此工具
- 提供用户代理组、路径规则和网站地图 URL 在工具控制器中。
- 选择可复制的 robots.txt 文本与结构诊断的设置,然后运行工具。
- 查看可复制的 robots.txt 文本与结构诊断,然后复制或下载它。
常见的失败模式
错误的网站地图URL、冲突的白色群体、未支持的指南或缺失的用户代理人会产生警告。
有用的例子
创建一个 * 用户代理组,将 /admin/ 解除并命名生产地图 URL。