Robots.txt Generator & Đánh giá

Tạo các quy tắc crawler, thêm hướng dẫn sitemap và xác nhận syntax robots.txt tại địa phương trước khi xuất bản tệp trên root của trang web của bạn.

Sẵn sàng

Kết quả xác thực

  • Tạo hoặc dán nội dung robots.txt, sau đó xác thực nó.

Tạo quy tắc cho crawler

Xây dựng các chỉ thị User-agent, Allow, Disallow, Sitemap và tùy chọn Host mà không cần ghi nhớ định dạng robots.txt.

Xác thực cú pháp

Kiểm tra các lỗi phổ biến như thiếu tác nhân người dùng, URL sơ đồ trang web tương đối, đường dẫn sai cú pháp, quy tắc trùng lặp và tên chỉ thị không được hỗ trợ.

Xử lý cục bộ riêng tư

Trình tạo và trình xác thực chạy trong trình duyệt của bạn. Nội dung Robots.txt không được tải lên máy chủ Convertr.

Câu hỏi thường gặp

Tệp robots.txt của tôi đã được tải lên để xác minh?

Không. Tạo và xác thực chạy trong trình duyệt của bạn bằng JavaScript. Văn bản bạn nhập không được gửi đến máy chủ Convertr.

Tôi nên đặt robots.txt ở đâu?

Đặt robots.txt ở thư mục gốc của máy chủ mà nó áp dụng, chẳng hạn như https://example.com/robots.txt.

Robots.txt có xóa các trang từ Google không?

Không. Robots.txt kiểm soát quyền truy cập của trình thu thập dữ liệu. Sử dụng chỉ thị noindex trên trang hoặc xóa trang nếu bạn cần loại khỏi chỉ mục.

Công cụ dành cho nhà phát triển liên quan

Trình tạo Sitemap XML Tạo tệp sitemap.xml hợp lệ từ danh sách URL. HTTP Headers kiểm tra Kiểm tra chuyển hướng, mã trạng thái và tiêu đề phản hồi. Trình định dạng XML Định dạng và xác thực các tệp XML và sitemap snippets. Công cụ mã hóa và giải mã URL Mã URL, thanh truy vấn và các thành phần URL. Công cụ tạo đường dẫn URL Tạo các đường URL có thể đọc cho các trang và bài đăng. Trình kiểm tra Open Graph Xem trước cách các trang và sơ đồ trang web xuất hiện trên các nền tảng mạng xã hội. Trình tạo biểu thức Cron Xây dựng và xác nhận các công việc crawler hoặc bảo trì được lên kế hoạch.

Trình tạo Robots.txt

Xây dựng và xác thực các nhóm robots.txt cơ bản, quy tắc Allow và Disallow, độ trễ thu thập dữ liệu và tham chiếu sơ đồ trang web.

Đầu vào
Nhóm tác nhân người dùng, quy tắc đường dẫn và URL sơ đồ trang web.
Đầu ra
Văn bản robots.txt có thể sao chép với chẩn đoán cấu trúc.
Giới hạn thực tế
robots.txt chỉ mang tính tư vấn, hỗ trợ trình thu thập dữ liệu khác nhau, các quy tắc là tiền tố đường dẫn phân biệt chữ hoa chữ thường và nó không thể tự xóa một URL đã được lập chỉ mục.
Quyền riêng tư và xử lý dữ liệu
Nhóm user-agent, quy tắc đường dẫn và URL sơ đồ trang được xử lý trong tab trình duyệt này. Convertr không nhận hoặc lưu trữ nó; đóng hoặc tải lại trang sẽ xóa trạng thái làm việc trừ khi công cụ cung cấp tải xuống cục bộ.

Cách sử dụng công cụ này

  1. Cung cấp các nhóm tác nhân người dùng, quy tắc đường dẫn và URL sơ đồ trang web trong các điều khiển công cụ.
  2. Chọn các cài đặt ảnh hưởng đến văn bản robots.txt có thể sao chép với chẩn đoán cấu trúc, sau đó chạy công cụ.
  3. Xem lại văn bản robots.txt có thể sao chép với chẩn đoán cấu trúc trước khi sao chép hoặc tải xuống.

Các lỗi thường gặp

URL sơ đồ trang web không hợp lệ, nhóm trống xung đột, chỉ thị không được hỗ trợ hoặc thiếu tác nhân người dùng tạo ra cảnh báo.

Ví dụ thực tế

Tạo một nhóm user-agent * không cho phép /admin/ và đặt tên URL sitemap sản xuất.