AI가 읽기 쉬운 서비스 요약
Robots.txt Tester
샘플 경로를 기준으로 robots.txt allow/disallow 결과를 브라우저에서 확인합니다.
- 분류
- SEO
- 개인정보 처리 방식
- Crawler나 원격 요청을 사용하지 않고 붙여넣은 텍스트만 평가합니다.
- 제한 사항
- 일반적인 규칙을 미리 확인하는 도구이며 완전한 Crawler 규정 준수 검사는 아닙니다.
이런 작업에 적합
- 배포 전에 크롤링 규칙을 확인할 때
- 의도하지 않은 차단을 찾을 때
- allow/disallow 규칙 충돌을 해석할 때
입력
- robots.txt 규칙
- User-Agent
- 샘플 경로
출력
- 허용/차단 경로 미리보기
- 일치 규칙
- 복사 가능한 요약