Robots.txt Oluşturucu ve Doğrulayıcı

Tarayıcı kuralları oluşturun, site haritası yönergeleri ekleyin ve dosyayı web sitenizin kökünde yayınlamadan önce robots.txt sözdizimini yerel olarak doğrulayın.

Hazır

Doğrulama sonuçları

  • Robots.txt içeriği oluşturun veya yapıştırın, ardından doğrulayın.

Tarayıcı kuralı oluşturma

Robots.txt biçimlendirmesini ezberlemeden Kullanıcı Aracısı, İzin Ver, İzin Verme, Site Haritası ve isteğe bağlı Host yönergeleri oluşturun.

Sözdizimi doğrulama

Eksik kullanıcı aracıları, göreli site haritası URL'leri, hatalı yollar, yinelenen kurallar ve desteklenmeyen yönerge adları gibi yaygın hataları kontrol edin.

Özel yerel işleme

Oluşturucu ve doğrulayıcı tarayıcınızda çalışır. Robots.txt içeriği Convertr sunucularına yüklenmez.

Sıkça sorulan sorular

Robots.txt dosyam doğrulama için yüklendi mi?

Hayır. Oluşturma ve doğrulama, JavaScript ile tarayıcınızda çalışır. Girdiğiniz metin Convertr sunucularına gönderilmez.

Robots.txt'yi nereye yerleştirmeliyim?

Robots.txt'yi, uygulandığı ana makinenin köküne yerleştirin, örneğin https://example.com/robots.txt.

Robots.txt sayfaları Google'dan kaldırır mı?

Hayır. Robots.txt, tarayıcı erişimini kontrol eder. Sayfada noindex yönergelerini kullanın veya dizinden çıkarma gerekiyorsa sayfayı kaldırın.

İlgili geliştirici araçları

XML Sitemap Generatörü Bir URL listesinden geçerli bir sitemap.xml dosyası oluşturun. HTTP Başlıkları Kontrolü Değiştiricileri, durum kodlarını ve yanıt başlıklarını kontrol edin. XML Biçimlendirici XML dosyalarını ve site haritası parçacıklarını biçimlendirin ve doğrulayın. URL Kodlayıcı ve Kod Çözücü URL'leri, sorgu dizelerini ve URL bileşenlerini kodlayın. URL Slug Generatör Sayfa ve yazı için okunabilir URL yolları oluşturun. Open Graph Denetleyicisi Sayfaların ve site haritalarının sosyal medya platformlarında nasıl göründüğünü önizleyin. Cron Ekspresyon Generatörü Planlanan crawler veya bakım işleri oluşturun ve doğrulayın.

Robots.txt Generatör

Temel robots.txt grupları oluşturun ve doğrulayın, izin verme ve kaldırma kuralları, tarama gecikmeleri ve sitemap referansları.

Giriş
Kullanıcı ajan grupları, yol kuralları ve sitemap URL'leri.
Çıktı
Kopyalanabilir robots.txt metin ile yapısal teşhis.
Gerçek Sınırlamalar
robots.txt tavsiye edilir, tarayıcı desteği değişir, kurallar durum hassas yolu önizlemeleridir ve zaten indekslenen bir URL'yi kendisi kaldıramaz.
Gizlilik ve veri işleme
Kullanıcı-agent grupları, yol kuralları ve sitemap URL'leri bu tarayıcı sekmesinde işlenir. dönüştürücü almaz veya depolamaz; sayfanın kapatılması veya yeniden yüklemesi, aracın açıkça yerel bir indirme sunmadığı sürece çalışma durumunu temizler.

Bu aracı nasıl kullanırız

  1. Kullanıcı ajan grupları, yol kuralları ve sitemap URL'leri araç kontrollerinde sağlar.
  2. Yapısal teşhis ile kopyalanabilir robots.txt metni etkileyen ayarları seçin, sonra aracı çalıştırın.
  3. Kopyalanabilir robots.txt metni yapısal teşhis ile incelemek veya kopyalamadan önce.

• Ortak başarısızlık modları

Geçersiz sitemap URL'leri, çatışan boş gruplar, desteklenmemiş yönergeler veya eksik bir kullanıcı aracı uyarılar üretir.

Faydalı örnek

* kullanıcı ajan grubu oluşturun /admin/ devre dışı bırakır ve üretim sitemap URL'sini adlandırır.