Generatore e validatore Robots.txt

Crea regole di crawler, aggiungi direttive di sitemap e valida la sintassi di robots.txt localmente prima di pubblicare il file nella root del tuo sito web.

Pronto

Risultati della validazione

  • Genera o incolla il contenuto di robots.txt, quindi convalidalo.

Generazione di regole del crawler

Crea direttive User-agent, Allow, Disallow, Sitemap e Host opzionali senza memorizzare la formattazione di robots.txt.

Validazione della sintassi

Controlla errori comuni come user-agent mancanti, URL di sitemap relativi, percorsi non validi, regole duplicate e nomi di direttive non supportati.

Elaborazione locale privata

Il generatore e il validatore vengono eseguiti nel tuo browser. Il contenuto di Robots.txt non viene caricato sui server di Convertr.

Domande frequenti

Il mio file robots.txt viene caricato per la validazione?

No. La generazione e la validazione vengono eseguite nel tuo browser con JavaScript. Il testo che inserisci non viene inviato ai server di Convertr.

Dove devo posizionare robots.txt?

Posiziona robots.txt nella root dell'host a cui si applica, ad esempio https://example.com/robots.txt.

Robots.txt rimuove le pagine da Google?

No. Robots.txt controlla l'accesso del crawler. Utilizza le direttive noindex sulla pagina o rimuovi la pagina se hai bisogno di deindicizzazione.

Strumenti di sviluppo correlati

Generatore XML Sitemap Creare un file valid sitemap.xml da una lista URL. HTTP Headers di controllo Controlla i reindirizzamenti, i codici di stato e gli headers di risposta. Formatter XML Formatta e valida file XML e frammenti di sitemap. Codificatore e decodificatore URL Codifica URL, stringhe di query e componenti URL. Il nuovo URL Slug Generator Creare strade URL leggibili per pagine e post. Controllo Open Graph Visualizza in anteprima come pagine e sitemap appaiono sulle piattaforme di social media. Generatore di espressione Cron Costruire e valutare i lavori di crawler o di manutenzione pianificati.

Generatore di robot.txt

Crea e valida i gruppi di base robots.txt, le regole per consentire e disattivare, i ritardi del crawl e le referenze della mappa del sito.

Introduzione
Gruppi di agenti utente, regole di percorso e URL di sitemap.
Formato di uscita
Codificabile robots.txt testo con diagnosi strutturali.
Le limitazioni reali
robots.txt è consigliabile, il supporto per i crawler varia, le regole sono precedenti di percorso sensibile al caso e non può rimuovere da solo un URL già indicato.
Privacy e trattamento dei dati
I gruppi di agenti utente, le regole di percorso e gli URL della mappa del sito sono elaborati in questa scheda del browser. Converter non riceve o lo memorizza; chiudere o ricaricare la pagina esclude lo stato di funzionamento a meno che l'outil non fornisca esplicitamente una download locale.

Come utilizzare questo strumento

  1. Fornire gruppi di agenti utente, regole di percorso e URL di sitemap nei controlli degli strumenti.
  2. Scegli le impostazioni che influenzano il testo copiabile robots.txt con diagnosi strutturali, quindi eseguire l'output.
  3. Rispettare il testo copiabile robots.txt con diagnosi strutturali prima di copiarlo o scaricarlo.

Modalità comuni di fallimento

URL invalidità della mappa del sito, gruppi di conflitto, linee guida non supportate o un agente utente mancante produce avvertimenti.

Un esempio utile

Crea un * gruppo di agenti utente che disattivano /admin/ e nominano l'URL della mappa del sito di produzione.