Robots.txt: 크롤링, 색인, 접근 제어 구분하기

정확한 URL에 규칙 적용하기

예제의 일반 그룹은 /internal-search/를 차단하고 /internal-search/help/를 허용합니다. 경로는 설명용입니다. Sitemap은 발견할 주소를 알릴 뿐 색인을 명령하지 않습니다. 해당 크롤러에 더 구체적인 그룹이 적용되는지 확인합니다.

User-agent: *
Disallow: /internal-search/
Allow: /internal-search/help/
Sitemap: https://example.com/sitemap.xml

목적에 맞는 제어 선택하기

• 비공개 리소스는 서버 측 인증과 권한 검사가 필요합니다. robots.txt에 적는 것은 보호가 아닙니다.
• 공개 페이지를 색인에서 제외하려면 크롤러가 noindex를 읽어야 합니다. 크롤링 차단이 이를 막을 수 있습니다.
• 불필요한 수집만 구체적으로 제한하고 렌더링에 필요한 리소스는 접근 가능하게 둡니다.

실제 응답 확인하기

올바른 프로토콜, 호스트와 포트의 루트 파일, 정확한 URL, 대소문자와 그룹을 확인합니다. Search Console의 robots.txt 보고서와 URL 검사를 활용합니다. 검색 결과의 변화에는 재수집이 필요할 수 있습니다.

1차 자료

• Google Search Central — Introduction to robots.txt [EN]
• Google — Robots.txt specification [EN]
• Google Search Central — noindex [EN]

{
    "response_status": 200,
    "html_link": "<span onclick=\"navigate()\">Item</span>",
    "rendered_text": true,
    "script_failure_test": true
}