로봇.txt 유전자 및 유효성

crawler 규칙을 만들고, sitemap 지침을 추가하고, 로봇.txt 시나락을 로컬로 확인하여 웹 사이트의 뿌리에 파일을 게시합니다.

준비 완료

Validation 결과

  • robots.txt 콘텐츠를 생성하거나 붙여 넣고, 그 후에 확인합니다.

크롤러 룰 세대

사용자 에이전트, 허용, 해제, 사이트지도 및 로봇.txt 형식을 기억하지 않고 선택적인 호스트 지침을 구축합니다.

Syntax 통증

실종된 사용자 에이전트, 상대적 사이트지도 URL, 잘못된 경로, 복제 규칙 및 지원되지 않은 지침 이름과 같은 일반적인 오류를 확인합니다.

개인용 지역 처리

생성기 및 검증기는 브라우저에서 실행됩니다.Robots.txt 콘텐츠는 Convertr 서버에 업로드되지 않습니다.

자주 묻는 질문

내 robots.txt 파일이 유효성을 위해 업로드되었습니까?

No. 생성 및 유효화는 JavaScript를 사용하여 브라우저에서 실행됩니다. 입력하는 텍스트는 Convertr 서버에 보내지 않습니다.

robots.txt 어디에 넣어야합니까?

robots.txt를 호스트의 뿌리에 넣어, 예를 들어 https://example.com/robots.dxt.

robots.txt는 Google에서 페이지를 제거합니까?

No. Robots.txt는 crawler 액세스를 제어합니다. noindex 지침을 사용하거나 페이지를 제거하려면 deindexing이 필요합니다.

관련 개발자 도구

XML 시트 맵 발전기 유효한 sitemap.xml 파일을 URL 목록에서 만들 수 있습니다. HTTP 헤드웨어 체크 리디렉트, 상태 코드 및 응답 헤더를 검사합니다. XML 형식 XML 파일 및 시트 맵 스니프셋을 형성하고 검증합니다. URL 코더 & 디코더 URL, 쿼리 스트립 및 URL 구성 요소를 인코드합니다. URL 슬러그 발전기 페이지 및 게시물에 대한 읽을 수있는 URL 경로를 만듭니다. 오픈 그래프 체커 소셜 미디어 플랫폼에서 페이지와 사이트지도가 어떻게 나타나는지 예측하십시오. 크론 표현 발전기 계획된 크래머 또는 유지 보수 작업을 구축하고 확인합니다.

로봇.txt 유전자

기본 robots.txt 그룹을 구축하고 확인, 허용 및 삭제 규칙, 서클 지연 및 사이트지도 참조.

입장
사용자 에이전트 그룹, 경로 규칙 및 사이트지도 URL.
출력
복사 가능한 robots.txt 텍스트 구조 진단.
실제 제한
robots.txt는 조언, crawler 지원이 다양하고, 규칙은 사례 민감한 경로 사전화이며, 이미 인덱스 된 URL을 제거 할 수 없습니다.
개인정보 및 데이터 처리
사용자 에이전트 그룹, 경로 규칙 및 사이트지도 URL은 이 브라우저 탭에서 처리됩니다.Converter는 수신하거나 저장하지 않습니다; 페이지를 닫거나 다시 업로드하면 도구가 명시적으로 현지 다운로드를 제공하지 않는 한 작업 상태가 정해집니다.

이 도구를 어떻게 사용해야 하는지

  1. 사용자 에이전트 그룹, 경로 규칙 및 도구 컨트롤에 사이트지도 URL을 제공합니다.
  2. 구조적 진단을 사용하여 복사 가능한 robots.txt 텍스트에 영향을 미치는 설정을 선택한 다음 도구를 실행합니다.
  3. 복사할 수 있는 robots.txt 텍스트를 구조적 진단으로 검토하거나 복사하거나 다운로드하기 전에.

일반적인 실패 모드

무효 사이트지도 URL, 갈등하는 빈 그룹, 지원되지 않은 지침 또는 실종 된 사용자 에이전트가 경고를 생성합니다.

유용한 예제

* 사용자 에이전트 그룹을 만들고 /admin/를 해제하고 생산 사이트지도 URL을 지정합니다.