Generator i walidator Robots.txt

Twórz reguły crawlera, dodawaj dyrektywy map witryn i sprawdzaj poprawność składni robots.txt lokalnie przed opublikowaniem pliku w katalogu głównym Twojej witryny.

Gotowy

Wyniki walidacji

  • Wygeneruj lub wklej zawartość robots.txt, a następnie sprawdź jej poprawność.

Generowanie reguł crawlera

Buduj dyrektywy User-agent, Allow, Disallow, Sitemap i opcjonalną Host bez zapamiętywania formatowania robots.txt.

Walidacja składni

Sprawdzaj typowe błędy, takie jak brakujące user-agent, względne adresy URL map witryn, nieprawidłowe ścieżki, zduplikowane reguły i nieobsługiwane nazwy dyrektyw.

Prywatne przetwarzanie lokalne

Generator i walidator działają w Twojej przeglądarce. Zawartość Robots.txt nie jest przesyłana na serwery Convertr.

Frequently asked questions

Czy mój plik robots.txt jest przesyłany do walidacji?

Nie. Generowanie i walidacja odbywają się w Twojej przeglądarce za pomocą JavaScript. Wprowadzony tekst nie jest wysyłany na serwery Convertr.

Gdzie powinienem umieścić robots.txt?

Umieść robots.txt w katalogu głównym hosta, do którego się odnosi, np. https://example.com/robots.txt.

Czy robots.txt usuwa strony z Google?

Nie. Robots.txt kontroluje dostęp crawlera. Użyj dyrektyw noindex na stronie lub usuń stronę, jeśli potrzebujesz deindeksacji.

Powiązane narzędzia dla programistów

HTTP Headers Checker Inspect redirects, status codes, and response headers. Formater XML Formatuj i sprawdzaj poprawność plików XML i fragmentów map witryn. Koder i dekoder URL Koduj adresy URL, ciągi zapytań i komponenty URL. URL Slug Generator Create readable URL paths for pages and posts. Koder Encji HTML Eskaluj i dekoduj znaki wrażliwe na HTML. Cron Expression Generator Build and validate scheduled crawler or maintenance jobs.