Robots.txt sortzailea eta balioztatzailea

Sortu arakatzailearen arauak, gehitu gune-mapen zuzentarauak eta balioztatu robots.txt sintaxia lokalean fitxategia zure webgunearen erroan argitaratu aurretik.

Prest

Balioztatze-emaitzak

  • Sortu edo itsatsi robots.txt edukia, eta balioztatu.

Arakatzaileen arauen sorrera

Eraiki Erabiltzaile-agente, Baimendu, Ez baimendu, Gune-mapa eta Ostalariaren aukerako zuzentarauak robots.txt formatua memorizatu gabe.

Sintaxia balioztatzea

Egiaztatu ohiko akatsak, hala nola, erabiltzaile-agenteak falta diren, gune-mapen URL erlatiboak, okerreko bideak, bikoiztutako arauak eta onartzen ez diren zuzentarau-izenak.

Tokiko tratamendu pribatua

Sorgailua eta baliozkotzailea zure arakatzailean exekutatzen dira. Robots.txt edukia ez da Convertr zerbitzarietara kargatzen.

Maiz egiten diren galderak

Nire robots.txt fitxategia kargatu al da baliozkotzeko?

Ez. Sorkuntza eta baliozkotzea zure arakatzailean exekutatzen da JavaScript-ekin. Sartzen duzun testua ez da Convertr zerbitzarietara bidaltzen.

Non jarri behar dut robots.txt?

Jarri robots.txt aplikatzen zaion ostalariaren erroan, adibidez, https://example.com/robots.txt.

Robots.txt-ek orriak kentzen al ditu Google-tik?

Ez. Robots.txt-ek arakatzaileen sarbidea kontrolatzen du. Erabili noindex zuzentarauak orrialdean edo kendu orria desindexatu behar baduzu.

Lotutako garatzaile-tresnak

XML gune-mapen sortzailea Sortu baliozko sitemap.xml fitxategi bat URL zerrenda batetik. HTTP goiburuen egiaztatzailea Ikuskatu birzuzenketak, egoera kodeak eta erantzunen goiburuak. XML formateatzailea Formateatu eta baliozkotu XML fitxategiak eta sitemapen zatiak. URL kodetzailea eta deskodetzailea Kodetu URLak, kontsulta-kateak eta URL osagaiak. URL slug sortzailea Sortu orrialde eta argitalpenetarako URL bideak irakurgarriak. Open Graph egiaztatzailea Aurreikusi orriak eta gune-mapak sare sozialetako plataformetan nola agertzen diren. Cron adierazpenen sortzailea Eraiki eta balioztatu programatutako arakatzaile edo mantentze lanak.

Robots.txt sortzailea

Eraiki eta balioztatu oinarrizko robots.txt taldeak, Baimendu eta Ez baimendu arauak, arakatzeko atzerapenak eta gune-mapen erreferentziak.

Sarrera
Erabiltzaile-agente taldeak, bide-arauak eta gune-mapen URLak.
Irteera
Robots.txt testu kopiagarria egitura-diagnostikoarekin.
Benetako mugak
robots.txt aholkularia da, arakatzaileen laguntza aldatu egiten da, arauek maiuskulak eta minuskulak bereizten dituzte bide-aurrizkiak eta ezin du berez indexatutako URL bat kendu.
Pribatutasuna eta datuen tratamendua
erabiltzaile-agente taldeak, bide-arauak eta gune-mapen URLak arakatzailearen fitxa honetan prozesatzen dira. Convertre-k ez du jasotzen edo gordetzen; orria ixteak edo berriro kargatzeak lan-egoera garbitzen du tresnak deskarga lokala esplizituki eskaintzen ez badu.

Tresna hau nola erabili

  1. Eman erabiltzaile-agente taldeak, bide-arauak eta gune-mapen URLak tresna-kontroletan.
  2. Aukeratu kopiagarria den robots.txt testua egitura-diagnostikoekin eragiten duten ezarpenak, eta exekutatu tresna.
  3. Berrikusi kopiatu daitekeen robots.txt testua egitura-diagnostikoekin kopiatu edo deskargatu aurretik.

Ohiko hutsegite moduak

Gune-mapen URL baliogabeak, talde huts gatazkatsuak, onartzen ez diren zuzentarauak edo falta den erabiltzaile-agente batek abisuak sortzen ditu.

Adibide erabilgarria

Sortu * erabiltzaile-agente talde bat /admin/ ukatzen duena eta ekoizpen gune-maparen URLa izendatzen duena.