Generator și validator Robots.txt

Creează reguli de crawler, adaugă directive sitemap și validează sintaxa robots.txt local înainte de a publica fișierul la rădăcina site-ului tău web.

Gata

Rezultate validare

  • Generează sau lipește conținut robots.txt, apoi validează-l.

Generare reguli crawler

Construiește directive User-agent, Allow, Disallow, Sitemap și Host opționale fără a memora formatarea robots.txt.

Validare sintaxă

Verifică greșeli comune, cum ar fi lipsa user-agent-ilor, URL-uri sitemap relative, căi deformate, reguli duplicate și nume de directive neacceptate.

Procesare locală privată

Generatorul și validatorul rulează în browserul tău. Conținutul Robots.txt nu este încărcat pe serverele Convertr.

Întrebări frecvente

Este fișierul meu robots.txt încărcat pentru validare?

Nu. Generarea și validarea rulează în browserul tău cu JavaScript. Textul pe care îl introduci nu este trimis către serverele Convertr.

Unde ar trebui să plasez robots.txt?

Plasează robots.txt la rădăcina gazdei căreia i se aplică, cum ar fi https://example.com/robots.txt.

Elimină robots.txt pagini din Google?

Nu. Robots.txt controlează accesul crawler-ului. Folosește directive noindex pe pagină sau elimină pagina dacă ai nevoie de deindexare.

Instrumente de dezvoltare conexe

Generator de cărți XML Creați un fișier valid sitemap.xml dintr-o listă URL. HTTP și CELNIC Verificați redirecționările, codurile de stare și șirurile de răspuns. Instrument de formatare XML Formatează și validează fișiere XML și fragmente sitemap. Codificator și decodificator URL Encodați URL-uri, șiruri de interogare și componente URL. Url pentru Slug Generator Creați căi URL citibile pentru pagini și postări. Verificator Open Graph Previzualizați cum apar paginile și sitemapurile pe platformele de social media. Generator de expresie Cron Construiți și validați lucrările de crawler sau de întreținere planificate.

Generator de robot.txt

Construiți și validați grupurile de bază robots.txt, reguli de autorizare și dezactivare, întârzieri de crawl și referințe pe sitemap.

Intrare
Grupuri de agenți utilizatori, reguli de drum și URL-uri de sitemap.
Ieșire
Text robots.txt cu diagnostic structural.
Limitări reale
robots.txt este consultativ, suportul pentru crawler variază, regulile sunt prefixe de cale sensibile la caz și nu poate elimina un URL deja indexat în sine.
Privacitatea și prelucrarea datelor
Grupurile de agent-utilizator, regulile de cale și URL-urile sitemap sunt prelucrate în această pagină de browser. Converter nu primește sau stocă; închiderea sau redistribuirea paginii clarifică starea de lucru, cu excepția cazului în care instrumentul oferă explicit o descărcare locală.

Cum să utilizați acest instrument

  1. Furnizați grupuri de agenți utilizatori, reguli de cale și URL-uri de sitemap în controlurile de instrumente.
  2. Alegeți setările care afectează textul copiabil robots.txt cu diagnosticele structurale, apoi rulați instrumentul.
  3. Revizuirea textului copiabil robots.txt cu diagnosticele structurale înainte de a-l copia sau descărca.

Moduri comune de eșec

URL-urile invalide ale sitemapului, grupurile în conflict, directivele neînsoțite sau un agent de utilizator dispărut produc avertismentele.

Exemplu util

Creați un grup de agenți * care dezactiva /admin/ și numește URL-ul sitemapului de producție.