Generatore e validatore Robots.txt

Crea regole di crawler, aggiungi direttive di sitemap e valida la sintassi di robots.txt localmente prima di pubblicare il file nella root del tuo sito web.

Pronto

Risultati della validazione

  • Genera o incolla il contenuto di robots.txt, quindi convalidalo.

Generazione di regole del crawler

Crea direttive User-agent, Allow, Disallow, Sitemap e Host opzionali senza memorizzare la formattazione di robots.txt.

Validazione della sintassi

Controlla errori comuni come user-agent mancanti, URL di sitemap relativi, percorsi non validi, regole duplicate e nomi di direttive non supportati.

Elaborazione locale privata

Il generatore e il validatore vengono eseguiti nel tuo browser. Il contenuto di Robots.txt non viene caricato sui server di Convertr.

Domande frequenti

Il mio file robots.txt viene caricato per la validazione?

No. La generazione e la validazione vengono eseguite nel tuo browser con JavaScript. Il testo che inserisci non viene inviato ai server di Convertr.

Dove devo posizionare robots.txt?

Posiziona robots.txt nella root dell'host a cui si applica, ad esempio https://example.com/robots.txt.

Robots.txt rimuove le pagine da Google?

No. Robots.txt controlla l'accesso del crawler. Utilizza le direttive noindex sulla pagina o rimuovi la pagina se hai bisogno di deindicizzazione.

Strumenti di sviluppo correlati

Generatore di sitemap XML Crea un file sitemap.xml valido da un elenco di URL. Controllo delle intestazioni HTTP Controlla i reindirizzamenti, i codici di stato e gli headers di risposta. Formatter XML Formatta e valida file XML e frammenti di sitemap. Codificatore e decodificatore URL Codifica URL, stringhe di query e componenti URL. Generatore di slug URL Crea percorsi URL leggibili per pagine e post. Controllo Open Graph Visualizza in anteprima come pagine e sitemap appaiono sulle piattaforme di social media. Generatore di espressioni Cron Costruisci e convalida lavori di crawler o manutenzione pianificati.

Generatore di Robots.txt

Crea e convalida gruppi di base robots.txt, regole Allow e Disallow, ritardi di scansione e riferimenti alla sitemap.

Introduzione
Gruppi di agenti utente, regole di percorso e URL di sitemap.
Formato di uscita
Testo robots.txt copiabile con diagnostica strutturale.
Le limitazioni reali
robots.txt è consultivo, il supporto dei crawler varia, le regole sono prefissi di percorso sensibili al maiuscolo/minuscolo e non può rimuovere da solo un URL già indicizzato.
Privacy e trattamento dei dati
I gruppi di agenti utente, le regole di percorso e gli URL della mappa del sito sono elaborati in questa scheda del browser. Convertr non riceve o lo memorizza; chiudere o ricaricare la pagina esclude lo stato di funzionamento a meno che l'outil non fornisca esplicitamente una download locale.

Come utilizzare questo strumento

  1. Fornire gruppi di agenti utente, regole di percorso e URL di sitemap nei controlli degli strumenti.
  2. Scegli le impostazioni che influenzano il testo copiabile di robots.txt con diagnostica strutturale, quindi esegui lo strumento.
  3. Esamina il testo copiabile di robots.txt con diagnostica strutturale prima di copiarlo o scaricarlo.

Modalità di errore comuni

URL della mappa del sito non validi, gruppi vuoti in conflitto, direttive non supportate o un agente utente mancante producono avvisi.

Un esempio utile

Crea un gruppo * di user-agent che non permette /admin/ e nomina l'URL della sitemap di produzione.