Robots.txt 生成器和验证器
Create crawler rules, add sitemap directives, and validate robots.txt syntax locally before publishing the file at your website root.
就绪
验证结果
- 生成或粘贴 robots.txt 内容，然后验证它。
爬虫规则生成
构建 User-agent、Allow、Disallow、Sitemap 和可选的 Host 指令，而无需记住 robots.txt 格式。
Syntax validation
检查常见错误，例如缺少 user-agents、相对站点地图 URL、格式错误的路径、重复规则和不支持的指令名称。
私有本地处理
生成器和验证器在您的浏览器中运行。Robots.txt 内容不会上传到 Convertr 服务器。
Frequently asked questions
我的 robots.txt 文件是否已上传以进行验证？
No. Generation and validation run in your browser with JavaScript. The text you enter is not sent to Convertr servers.
我应该将 robots.txt 放在哪里？
将 robots.txt 放在其适用的主机的根目录中，例如 https://example.com/robots.txt。
robots.txt 是否会从 Google 中删除页面？
否。Robots.txt 控制爬虫访问。如果您需要取消索引，请在页面上使用 noindex 指令或删除该页面。
相关开发者工具
HTTP Headers Checker
Inspect redirects, status codes, and response headers.
XML 格式化工具
格式化和验证 XML 文件和站点地图片段。
URL 编码器和解码器
编码 URL、查询字符串和 URL 组件。
URL Slug Generator
Create readable URL paths for pages and posts.
HTML Entity Encoder
Escape and decode HTML-sensitive characters.
Cron Expression Generator
Build and validate scheduled crawler or maintenance jobs.