Generator i walidator Robots.txt

Twórz reguły crawlera, dodawaj dyrektywy map witryn i sprawdzaj poprawność składni robots.txt lokalnie przed opublikowaniem pliku w katalogu głównym Twojej witryny.

Gotowy

Wyniki walidacji

  • Wygeneruj lub wklej zawartość robots.txt, a następnie sprawdź jej poprawność.

Generowanie reguł crawlera

Buduj dyrektywy User-agent, Allow, Disallow, Sitemap i opcjonalną Host bez zapamiętywania formatowania robots.txt.

Walidacja składni

Sprawdzaj typowe błędy, takie jak brakujące user-agent, względne adresy URL map witryn, nieprawidłowe ścieżki, zduplikowane reguły i nieobsługiwane nazwy dyrektyw.

Prywatne przetwarzanie lokalne

Generator i walidator działają w Twojej przeglądarce. Zawartość Robots.txt nie jest przesyłana na serwery Convertr.

Często zadawane pytania

Czy mój plik robots.txt jest przesyłany do walidacji?

Nie. Generowanie i walidacja odbywają się w Twojej przeglądarce za pomocą JavaScript. Wprowadzony tekst nie jest wysyłany na serwery Convertr.

Gdzie powinienem umieścić robots.txt?

Umieść robots.txt w katalogu głównym hosta, do którego się odnosi, np. https://example.com/robots.txt.

Czy robots.txt usuwa strony z Google?

Nie. Robots.txt kontroluje dostęp crawlera. Użyj dyrektyw noindex na stronie lub usuń stronę, jeśli potrzebujesz deindeksacji.

Powiązane narzędzia dla programistów

Generator map witryn XML Utwórz prawidłowy plik sitemap.xml z listy adresów URL. Sprawdzanie nagłówków HTTP Sprawdź redyrekcje, kody stanu i nagłówki odpowiedzi. Formater XML Formatuj i sprawdzaj poprawność plików XML i fragmentów map witryn. Koder i dekoder URL Koduj adresy URL, ciągi zapytań i komponenty URL. Generator slugów URL Tworzenie czytelnych ścieżek URL dla stron i postów. Narzędzie do sprawdzania Open Graph Podglądaj, jak strony i mapy witryn wyglądają na platformach mediów społecznościowych. Generator wyrażeń Cron Tworzenie i weryfikacja planowanych prac crawler lub konserwacji.

Generator robots.txt

Twórz i waliduj podstawowe grupy robots.txt, reguły Allow i Disallow, opóźnienia indeksowania i odniesienia do mapy witryny.

Wejście
Grupy user-agent, reguły ścieżek i adresy URL map witryny.
Wyjście
Kopiowalny tekst robots.txt z diagnostyką strukturalną.
Prawdziwe ograniczenia
robots.txt ma charakter doradczy, obsługa przez roboty jest różna, reguły są prefiksami ścieżek uwzględniającymi wielkość liter i nie może samodzielnie usunąć już zaindeksowanego adresu URL.
Prywatność i przetwarzanie danych
Grupy agentów użytkownika, reguły ścieżek i adresy URL mapy witryny są przetwarzane w tej karcie przeglądarki. Convertr nie otrzymuje ani nie przechowuje go; zamknięcie lub ponowne załadowanie strony czyści stan roboczy, chyba że narzędzie wyraźnie oferuje lokalne pobranie.

Jak używać tego narzędzia

  1. Podaj grupy agentów użytkownika, reguły ścieżek i adresy URL mapy witryny w kontrolkach narzędzia.
  2. Wybierz ustawienia, które wpływają na kopiowalny tekst robots.txt z diagnostyką strukturalną, a następnie uruchom narzędzie.
  3. Przejrzyj kopiowalny tekst robots.txt z diagnostyką strukturalną przed skopiowaniem lub pobraniem.

Typowe tryby awarii

Nieprawidłowe adresy URL mapy witryny, konfliktowe puste grupy, nieobsługiwane dyrektywy lub brakujący agent użytkownika generują ostrzeżenia.

Przydatny przykład

Utwórz grupę * user-agent, która zabrania dostępu do /admin/ i podaje adres URL mapy witryny produkcyjnej.