Robots.txt Oluşturucu ve Doğrulayıcı

Tarayıcı kuralları oluşturun, site haritası yönergeleri ekleyin ve dosyayı web sitenizin kökünde yayınlamadan önce robots.txt sözdizimini yerel olarak doğrulayın.

Hazır

Doğrulama sonuçları

  • Robots.txt içeriği oluşturun veya yapıştırın, ardından doğrulayın.

Tarayıcı kuralı oluşturma

Robots.txt biçimlendirmesini ezberlemeden Kullanıcı Aracısı, İzin Ver, İzin Verme, Site Haritası ve isteğe bağlı Host yönergeleri oluşturun.

Sözdizimi doğrulama

Eksik kullanıcı aracıları, göreli site haritası URL'leri, hatalı yollar, yinelenen kurallar ve desteklenmeyen yönerge adları gibi yaygın hataları kontrol edin.

Özel yerel işleme

Oluşturucu ve doğrulayıcı tarayıcınızda çalışır. Robots.txt içeriği Convertr sunucularına yüklenmez.

Sıkça sorulan sorular

Robots.txt dosyam doğrulama için yüklendi mi?

Hayır. Oluşturma ve doğrulama, JavaScript ile tarayıcınızda çalışır. Girdiğiniz metin Convertr sunucularına gönderilmez.

Robots.txt'yi nereye yerleştirmeliyim?

Robots.txt'yi, uygulandığı ana makinenin köküne yerleştirin, örneğin https://example.com/robots.txt.

Robots.txt sayfaları Google'dan kaldırır mı?

Hayır. Robots.txt, tarayıcı erişimini kontrol eder. Sayfada noindex yönergelerini kullanın veya dizinden çıkarma gerekiyorsa sayfayı kaldırın.

İlgili geliştirici araçları

XML Site Haritası Oluşturucu Bir URL listesinden geçerli bir sitemap.xml dosyası oluşturun. HTTP Başlıkları Kontrolü Yönlendirmeleri, durum kodlarını ve yanıt başlıklarını inceleyin. XML Biçimlendirici XML dosyalarını ve site haritası parçacıklarını biçimlendirin ve doğrulayın. URL Kodlayıcı ve Kod Çözücü URL'leri, sorgu dizelerini ve URL bileşenlerini kodlayın. URL Slug Oluşturucu Sayfa ve yazı için okunabilir URL yolları oluşturun. Open Graph Denetleyicisi Sayfaların ve site haritalarının sosyal medya platformlarında nasıl göründüğünü önizleyin. Cron İfade Oluşturucu Planlanan crawler veya bakım işleri oluşturun ve doğrulayın.

Robots.txt Oluşturucu

Temel robots.txt grupları oluşturun ve doğrulayın, İzin Ver ve İzin Verme kuralları, tarama gecikmeleri ve site haritası referansları.

Giriş
Kullanıcı aracı grupları, yol kuralları ve site haritası URL'leri.
Çıktı
Yapısal tanılarla kopyalanabilir robots.txt metni.
Gerçek Sınırlamalar
robots.txt tavsiye niteliğindedir, tarayıcı desteği değişir, kurallar büyük/küçük harfe duyarlı yol önekleridir ve zaten indekslenmiş bir URL'yi kendisi kaldıramaz.
Gizlilik ve veri işleme
Kullanıcı aracısı grupları, yol kuralları ve site haritası URL'leri bu tarayıcı sekmesinde işlenir. Convertr bunu almaz veya saklamaz; sayfanın kapatılması veya yeniden yüklenmesi, araç açıkça yerel bir indirme sunmadığı sürece çalışma durumunu temizler.

Bu aracı nasıl kullanacağınız

  1. Araç kontrollerinde kullanıcı aracı grupları, yol kuralları ve site haritası URL'leri sağlayın.
  2. Yapısal tanılamalarla kopyalanabilir robots.txt metnini etkileyen ayarları seçin, ardından aracı çalıştırın.
  3. Kopyalanabilir robots.txt metnini yapısal tanılamalarla inceleyin, kopyalamadan veya indirmeden önce.

Ortak arıza modları

Geçersiz site haritası URL'leri, çakışan boş gruplar, desteklenmeyen yönergeler veya eksik bir kullanıcı aracısı uyarılar üretir.

Faydalı örnek

/admin/ dizinine izin vermeyen ve üretim site haritası URL'sini adlandıran bir * kullanıcı aracı grubu oluşturun.