Robots.txt Generator dan Validator

Buat aturan crawler, tambahkan direktif peta situs, dan validasi sintaks robots.txt secara lokal sebelum menerbitkan file di root situs web Anda.

Siap

Hasil validasi

  • Hasilkan atau tempel konten robots.txt, lalu validasi.

Pembuatan aturan crawler

Bangun direktif User-agent, Allow, Disallow, Sitemap, dan Host opsional tanpa menghafal format robots.txt.

Validasi sintaks

Periksa kesalahan umum seperti user-agent yang hilang, URL peta situs relatif, jalur yang salah format, aturan duplikat, dan nama direktif yang tidak didukung.

Pemrosesan lokal pribadi

Generator dan validator berjalan di browser Anda. Konten Robots.txt tidak diunggah ke server Convertr.

Pertanyaan yang Sering Diajukan

Apakah file robots.txt saya diunggah untuk validasi?

Tidak. Pembuatan dan validasi berjalan di browser Anda dengan JavaScript. Teks yang Anda masukkan tidak dikirim ke server Convertr.

Di mana saya harus menempatkan robots.txt?

Tempatkan robots.txt di root host yang berlaku untuknya, seperti https://example.com/robots.txt.

Apakah robots.txt menghapus halaman dari Google?

Tidak. Robots.txt mengontrol akses crawler. Gunakan direktif noindex pada halaman atau hapus halaman jika Anda memerlukan penghapusan indeks.

Alat pengembang terkait

Generator Peta Situs XML Buat file sitemap.xml yang valid dari daftar URL. Pemeriksa Header HTTP Periksa redirect, kode status, dan header respons. Formatter XML Format dan validasi file XML dan cuplikan peta situs. Encoder & Decoder URL Encode URL, string kueri, dan komponen URL. Generator Slug URL Mencipta URL yang dapat dibaca untuk halaman dan posting. Pemeriksa Open Graph Pratinjau bagaimana halaman dan peta situs muncul di platform media sosial. Cron Ekspresi Generator Membangun dan mengevaluasi pekerjaan crawler atau penyelenggaraan yang direncanakan.

Pengembangan Robots.txt Generator

Bangun dan validasi grup dasar robots.txt, aturan Izinkan dan Tolak, penundaan perayapan, dan referensi peta situs.

Pengantar
Kelompok agen pengguna, aturan jalur, dan URL sitemap.
output
Teks robots.txt yang dapat disalin dengan diagnosis struktural.
Pembatasan yang nyata
robots.txt bersifat advisori, dukungan crawler bervariasi, aturan adalah prefiks jalur yang peka huruf besar/kecil, dan tidak dapat menghapus URL yang sudah diindeks dengan sendirinya.
Privasi dan pengendalian data
kelompok agen pengguna, aturan jalur, dan URL peta situs diproses dalam tab browser ini. Convertr tidak menerima atau menyimpannya; menutup atau memuat ulang halaman akan menghapus status kerja kecuali alat tersebut secara eksplisit menawarkan unduhan lokal.

Bagaimana cara menggunakan alat ini

  1. Sediakan grup agen pengguna, aturan jalur, dan URL sitemap di kontrol alat.
  2. Pilih pengaturan yang mempengaruhi teks robots.txt yang dapat disalin dengan diagnosis struktur, lalu jalankan alat tersebut.
  3. Periksa teks robots.txt yang dapat disalin dengan diagnostik struktural sebelum menyalin atau mengunduhnya.

Mode kegagalan umum

URL sitemap yang tidak valid, grup kosong yang bertentangan, arahan yang tidak didukung, atau agen pengguna yang hilang menghasilkan peringatan.

Contoh yang berguna

Buat grup * user-agent yang melarang /admin/ dan menamai URL peta situs produksi.