Robots.txt Generator & Đánh giá

Tạo các quy tắc crawler, thêm hướng dẫn sitemap và xác nhận syntax robots.txt tại địa phương trước khi xuất bản tệp trên root của trang web của bạn.

Sẵn sàng

Kết quả xác nhận

  • Tạo hoặc dán nội dung robots.txt, sau đó xác nhận nó.

Crawler Rule Generation (liên kết sửa đổi)

Xây dựng người dùng-agent, cho phép, tháo rời, Sitemap, và tùy chọn hướng dẫn Host mà không ghi nhớ định dạng robots.txt.

Syntax xác nhận

Kiểm tra các lỗi phổ biến như thiếu nhân viên người dùng, URL sitemap tương đối, đường lối bị hư cấu, quy tắc lặp lại và tên hướng dẫn không được hỗ trợ.

Xử lý cục bộ riêng tư

Các máy phát và xác thực chạy trong trình duyệt của bạn. nội dung Robots.txt không được tải lên máy chủ Convertr.

Câu hỏi thường gặp

Tệp robots.txt của tôi đã được tải lên để xác minh?

No. Generation and validation run in your browser with JavaScript. văn bản bạn nhập không được gửi đến máy chủ Convertr.

Tôi nên đặt robots.txt ở đâu?

Đặt robots.txt ở gốc của host nó áp dụng, chẳng hạn như https://example.com/robots.dxt.

Robots.txt có xóa các trang từ Google không?

Không. Robots.txt kiểm soát truy cập crawler. Sử dụng các hướng dẫn noindex trên trang hoặc xóa trang nếu bạn cần deindexing.

Công cụ dành cho nhà phát triển liên quan

XML Sitemap Generator Tính năng Tạo một tệp sitemap.xml có hiệu lực từ danh sách URL. HTTP Headers kiểm tra Kiểm tra các hướng dẫn, mã trạng thái và tiêu đề phản ứng. XML định dạng Định dạng và xác thực các tệp XML và sitemap snippets. Công cụ mã hóa và giải mã URL Mã URL, thanh truy vấn và các thành phần URL. Công cụ tạo đường dẫn URL Tạo các đường URL có thể đọc cho các trang và bài đăng. Trình kiểm tra Open Graph Xem trước cách các trang và sơ đồ trang web xuất hiện trên các nền tảng mạng xã hội. Cron Expression Generator Tính năng Xây dựng và xác nhận các công việc crawler hoặc bảo trì được lên kế hoạch.

Máy phát điện Robots.txt

Xây dựng và xác thực các nhóm robots.txt cơ bản, Quy tắc cho phép và tắt, chậm trễ crawl, và tham chiếu sitemap.

Đầu vào
Nhóm người dùng-các nhân viên, quy tắc đường và URL sitemap.
Đầu ra
Mô tả robots.txt với chẩn đoán cấu trúc.
Giới hạn thực tế
robots.txt là lời khuyên, hỗ trợ crawler khác nhau, các quy tắc là tiền định đường trường hợp nhạy cảm, và nó không thể loại bỏ một URL đã được chỉ mục bởi chính nó.
Quyền riêng tư và xử lý dữ liệu
Nhóm người dùng-các nhân viên, quy tắc đường và URL của bản đồ trang được xử lý trong tab trình duyệt này. Converter không nhận hoặc lưu trữ nó; đóng cửa hoặc tải lại trang làm sạch trạng thái hoạt động trừ khi công cụ này cung cấp một tải xuống địa phương.

Cách sử dụng công cụ này

  1. Cung cấp các nhóm người dùng-các nhân viên, quy tắc đường và URL sitemap trong các điều khiển công cụ.
  2. Chọn các thiết lập ảnh hưởng đến văn bản robots.txt có thể sao chép với chẩn đoán cấu trúc, sau đó chạy công cụ.
  3. Xem lại văn bản có thể sao chép robots.txt với chẩn đoán cấu trúc trước khi sao chặn hoặc tải xuống nó.

Các lỗi thường gặp

URL sitemap bị hư hỏng, các nhóm không có sự xung đột, hướng dẫn không được hỗ trợ hoặc một đại lý người dùng thiếu phát hành cảnh báo.

Ví dụ thực tế

Tạo một * user-agent group mà tháo /admin/ và đặt tên URL sitemap sản xuất.