Robots.txt Generator dan Validator

Buat aturan crawler, tambahkan direktif peta situs, dan validasi sintaks robots.txt secara lokal sebelum menerbitkan file di root situs web Anda.

Siap

Hasil validasi

  • Hasilkan atau tempel konten robots.txt, lalu validasi.

Pembuatan aturan crawler

Bangun direktif User-agent, Allow, Disallow, Sitemap, dan Host opsional tanpa menghafal format robots.txt.

Validasi sintaks

Periksa kesalahan umum seperti user-agent yang hilang, URL peta situs relatif, jalur yang salah format, aturan duplikat, dan nama direktif yang tidak didukung.

Pemrosesan lokal pribadi

Generator dan validator berjalan di browser Anda. Konten Robots.txt tidak diunggah ke server Convertr.

Pertanyaan yang Sering Diajukan

Apakah file robots.txt saya diunggah untuk validasi?

Tidak. Pembuatan dan validasi berjalan di browser Anda dengan JavaScript. Teks yang Anda masukkan tidak dikirim ke server Convertr.

Di mana saya harus menempatkan robots.txt?

Tempatkan robots.txt di root host yang berlaku untuknya, seperti https://example.com/robots.txt.

Apakah robots.txt menghapus halaman dari Google?

Tidak. Robots.txt mengontrol akses crawler. Gunakan direktif noindex pada halaman atau hapus halaman jika Anda memerlukan penghapusan indeks.

Alat pengembang terkait

XML kartu generator Buat file sitemap.xml yang valid dari daftar URL. HTTP Headers yang diperiksa Pemeriksaan redirect, kode status, dan headers respons. Formatter XML Format dan validasi file XML dan cuplikan peta situs. URL dan Decoder Encode URL, string kueri, dan komponen URL. URL untuk Slug Generator Mencipta URL yang dapat dibaca untuk halaman dan posting. Pemeriksa Open Graph Pratinjau bagaimana halaman dan peta situs muncul di platform media sosial. Cron Ekspresi Generator Membangun dan mengevaluasi pekerjaan crawler atau penyelenggaraan yang direncanakan.

Pengembangan Robots.txt Generator

Membangun dan mengevaluasi kelompok dasar robots.txt, Peraturan izin dan penghapusan, keterlambatan crawl, dan referensi sitemap.

Pengantar
Kelompok agen pengguna, aturan jalur, dan URL sitemap.
output
Robots.txt teks dengan diagnosis struktural.
Pembatasan yang nyata
robots.txt adalah saran, dukungan crawler bervariasi, aturan adalah prefix jalan sensitif kasus, dan tidak dapat menghapus URL yang sudah diindeks sendiri.
Privasi dan pengendalian data
kelompok agen pengguna, aturan jalur, dan URL sitemap diproses dalam tab browser ini. Converter tidak menerima atau menyimpannya; menutup atau mengisi ulang halaman akan memudahkan kondisi kerja kecuali alat tersebut secara eksplisit menawarkan download lokal.

Bagaimana cara menggunakan alat ini

  1. Menyediakan kelompok agen pengguna, aturan jalur, dan URL sitemap dalam kontrol alat.
  2. Pilih pengaturan yang mempengaruhi teks robots.txt yang dapat disalin dengan diagnosis struktur, lalu jalankan alat tersebut.
  3. Periksa teks robots.txt yang dapat disalin dengan diagnosis struktur sebelum menyalin atau men-downloadnya.

Modus kegagalan umum

URL sitemap yang tidak sah, kelompok kosong yang bertentangan, garis panduan yang tidak didukung, atau agen pengguna yang hilang menghasilkan peringatan.

Contoh yang berguna

Buat * user-agent group yang menyingkirkan /admin/ dan menamakan URL sitemap produksi.