Generator i walidator Robots.txt

Twórz reguły crawlera, dodawaj dyrektywy map witryn i sprawdzaj poprawność składni robots.txt lokalnie przed opublikowaniem pliku w katalogu głównym Twojej witryny.

Gotowy

Wyniki walidacji

  • Wygeneruj lub wklej zawartość robots.txt, a następnie sprawdź jej poprawność.

Generowanie reguł crawlera

Buduj dyrektywy User-agent, Allow, Disallow, Sitemap i opcjonalną Host bez zapamiętywania formatowania robots.txt.

Walidacja składni

Sprawdzaj typowe błędy, takie jak brakujące user-agent, względne adresy URL map witryn, nieprawidłowe ścieżki, zduplikowane reguły i nieobsługiwane nazwy dyrektyw.

Prywatne przetwarzanie lokalne

Generator i walidator działają w Twojej przeglądarce. Zawartość Robots.txt nie jest przesyłana na serwery Convertr.

Często zadawane pytania

Czy mój plik robots.txt jest przesyłany do walidacji?

Nie. Generowanie i walidacja odbywają się w Twojej przeglądarce za pomocą JavaScript. Wprowadzony tekst nie jest wysyłany na serwery Convertr.

Gdzie powinienem umieścić robots.txt?

Umieść robots.txt w katalogu głównym hosta, do którego się odnosi, np. https://example.com/robots.txt.

Czy robots.txt usuwa strony z Google?

Nie. Robots.txt kontroluje dostęp crawlera. Użyj dyrektyw noindex na stronie lub usuń stronę, jeśli potrzebujesz deindeksacji.

Powiązane narzędzia dla programistów

generator karty XML Tworzenie ważnego pliku sitemap.xml z listy URL. HTTP Headers sprawdzający Sprawdź redyrekcje, kody stanu i nagłówki odpowiedzi. Formater XML Formatuj i sprawdzaj poprawność plików XML i fragmentów map witryn. Koder i dekoder URL Koduj adresy URL, ciągi zapytań i komponenty URL. Url generator Tworzenie czytelnych ścieżek URL dla stron i postów. Narzędzie do sprawdzania Open Graph Podglądaj, jak strony i mapy witryn wyglądają na platformach mediów społecznościowych. Cron wyrażenia generator Tworzenie i weryfikacja planowanych prac crawler lub konserwacji.

Generator robots.txt

Tworzenie i weryfikacja podstawowych grup robots.txt, zasady Umożliwienia i Wyłączenia, opóźnienia w przeglądzie i odniesienia do mapy witryny.

Wejście
Grupy użytkownika-agenta, zasady ścieżki i adresy URL mapy.
Wyjście
Kopiowalny robots.txt tekst z diagnostyką strukturalną.
Prawdziwe ograniczenia
robots.txt jest doradczy, obsługa przeglądarki różni się, zasady są prefixami drogi wrażliwych na przypadki i nie może samodzielnie usunąć już indeksowanego adresu URL.
Prywatność i przetwarzanie danych
grupy agentów użytkownika, zasady ścieżek i adresy URL mapy witryny są przetwarzane w tej karcie przeglądarki. konwerter nie otrzymuje ani nie przechowuje; zamknięcie lub ponowne pobieranie strony wyjaśnia stan pracy, chyba że narzędzie wyraźnie oferuje lokalne pobranie.

Jak wykorzystać ten narzędzie

  1. Dostarczanie grup agentów użytkownika, zasad ścieżek i adresów URL mapy witryny w kontrolkach narzędzi.
  2. Wybierz ustawienia, które wpływają na kopiowalny tekst robots.txt z diagnostykami strukturalnymi, a następnie uruchom narzędzie.
  3. Przegląd kopiowalnego tekstu robots.txt z diagnostykami strukturalnymi przed kopiowaniem lub pobieraniem go.

Wspólne tryby niepowodzenia

Nieprawidłowe adresy URL mapy witryny, konfliktowe grupy niewidoczne, nieoparte wytyczne lub brakujący agent użytkownika generują ostrzeżenia.

Przykład przydatny

Tworzenie grupy * użytkownika-agenta, która usuwa /admin/ i nazwa adres URL mapy produkcyjnej.