Robots.txt 생성기 및 검사기
크롤러 규칙을 만들고, 사이트맵 지침을 추가하고, 웹사이트 루트에 파일을 게시하기 전에 robots.txt 구문을 로컬로 확인합니다.
검증 결과
- robots.txt 콘텐츠를 생성하거나 붙여 넣고, 그 후에 확인합니다.
크롤러 규칙 생성
robots.txt 형식을 기억하지 않고 User-agent, Allow, Disallow, Sitemap 및 선택적 Host 지시문을 구축합니다.
구문 검증
누락된 사용자 에이전트, 상대적 사이트맵 URL, 잘못된 경로, 중복 규칙 및 지원되지 않는 지시문 이름과 같은 일반적인 실수를 확인합니다.
비공개 로컬 처리
생성기 및 검증기는 브라우저에서 실행됩니다.Robots.txt 콘텐츠는 Convertr 서버에 업로드되지 않습니다.
자주 묻는 질문
내 robots.txt 파일이 유효성을 위해 업로드되었습니까?
아니요. 생성 및 유효성 검사는 JavaScript를 사용하여 브라우저에서 실행됩니다. 입력하는 텍스트는 Convertr 서버로 전송되지 않습니다.
robots.txt 어디에 넣어야합니까?
robots.txt를 호스트의 뿌리에 넣어, 예를 들어 https://example.com/robots.dxt.
robots.txt는 Google에서 페이지를 제거합니까?
아니요. Robots.txt는 크롤러 액세스를 제어합니다. 색인 해제가 필요한 경우 페이지에 noindex 지시문을 사용하거나 페이지를 제거하십시오.
관련 개발자 도구
Robots.txt 생성기
기본 robots.txt 그룹을 구축하고 검증, 허용 및 금지 규칙, 크롤링 지연 및 사이트맵 참조.
- 입력
- 사용자 에이전트 그룹, 경로 규칙 및 사이트맵 URL.
- 출력
- 구조적 진단이 포함된 복사 가능한 robots.txt 텍스트.
- 실제 제한
- robots.txt는 권고 사항이며, 크롤러 지원은 다양하고, 규칙은 대소문자를 구분하는 경로 접두사이며, 이미 색인된 URL을 자체적으로 제거할 수 없습니다.
- 개인정보 및 데이터 처리
- 사용자 에이전트 그룹, 경로 규칙 및 사이트맵 URL이 이 브라우저 탭에서 처리됩니다. Convertr는 이를 수신하거나 저장하지 않습니다. 페이지를 닫거나 다시 로드하면 도구가 명시적으로 로컬 다운로드를 제공하지 않는 한 작업 상태가 지워집니다.
이 도구를 어떻게 사용해야 하는지
- 도구 컨트롤에 사용자 에이전트 그룹, 경로 규칙 및 사이트맵 URL을 제공합니다.
- 구조적 진단과 함께 복사 가능한 robots.txt 텍스트에 영향을 미치는 설정을 선택한 다음 도구를 실행합니다.
- 복사 가능한 robots.txt 텍스트를 구조적 진단과 함께 검토한 후 복사하거나 다운로드하세요.
일반적인 실패 모드
잘못된 사이트맵 URL, 충돌하는 빈 그룹, 지원되지 않는 지시문 또는 누락된 사용자 에이전트는 경고를 생성합니다.
유용한 예제
* 사용자 에이전트 그룹을 생성하여 /admin/을 금지하고 프로덕션 사이트맵 URL을 지정합니다.