Generator și validator Robots.txt

Creează reguli de crawler, adaugă directive sitemap și validează sintaxa robots.txt local înainte de a publica fișierul la rădăcina site-ului tău web.

Gata

Rezultate validare

  • Generează sau lipește conținut robots.txt, apoi validează-l.

Generare reguli crawler

Construiește directive User-agent, Allow, Disallow, Sitemap și Host opționale fără a memora formatarea robots.txt.

Validare sintaxă

Verifică greșeli comune, cum ar fi lipsa user-agent-ilor, URL-uri sitemap relative, căi deformate, reguli duplicate și nume de directive neacceptate.

Procesare locală privată

Generatorul și validatorul rulează în browserul tău. Conținutul Robots.txt nu este încărcat pe serverele Convertr.

Întrebări frecvente

Este fișierul meu robots.txt încărcat pentru validare?

Nu. Generarea și validarea rulează în browserul tău cu JavaScript. Textul pe care îl introduci nu este trimis către serverele Convertr.

Unde ar trebui să plasez robots.txt?

Plasează robots.txt la rădăcina gazdei căreia i se aplică, cum ar fi https://example.com/robots.txt.

Elimină robots.txt pagini din Google?

Nu. Robots.txt controlează accesul crawler-ului. Folosește directive noindex pe pagină sau elimină pagina dacă ai nevoie de deindexare.

Instrumente de dezvoltare conexe

Generator de sitemap XML Creați un fișier sitemap.xml valid dintr-o listă URL. Verificator antete HTTP Verifică redirecționările, codurile de stare și anteturile de răspuns. Instrument de formatare XML Formatează și validează fișiere XML și fragmente sitemap. Codificator și decodificator URL Encodați URL-uri, șiruri de interogare și componente URL. Generator de slug-uri URL Creați căi URL citibile pentru pagini și postări. Verificator Open Graph Previzualizați cum apar paginile și sitemapurile pe platformele de social media. Generator de expresie Cron Construiți și validați lucrările de crawler sau de întreținere planificate.

Generator robots.txt

Construiește și validează grupuri de bază robots.txt, reguli Allow și Disallow, întârzieri de crawl și referințe la sitemap.

Intrare
Grupuri de user-agent, reguli de cale și URL-uri de sitemap.
Ieșire
Text robots.txt copiabil cu diagnosticări structurale.
Limitări reale
robots.txt este consultativ, suportul pentru crawler variază, regulile sunt prefixe de cale sensibile la caz și nu poate elimina un URL deja indexat în sine.
Confidențialitatea și gestionarea datelor
Grupurile de agent utilizator, regulile de cale și URL-urile sitemap sunt procesate în această filă de browser. Convertr nu le primește sau stochează; închiderea sau reîncărcarea paginii șterge starea de lucru, cu excepția cazului în care instrumentul oferă explicit o descărcare locală.

Cum să utilizați acest instrument

  1. Furnizați grupuri de user-agent, reguli de cale și URL-uri de sitemap în controalele instrumentului.
  2. Alegeți setările care afectează textul copiabil robots.txt cu diagnosticele structurale, apoi rulați instrumentul.
  3. Revizuirea textului copiabil robots.txt cu diagnosticele structurale înainte de a-l copia sau descărca.

Moduri comune de eșec

URL-urile invalide ale sitemap-ului, grupuri goale conflictuale, directive neacceptate sau un agent utilizator lipsă produc avertismente.

Exemplu util

Creați un grup de agenți de utilizator * care interzice /admin/ și numește URL-ul sitemapului de producție.