참고 자료 · 31

유용한 페이지의 크롤링 및 인덱싱 문제를 진단합니다.

수정하기 전에 링크, HTTP 응답, 지시문, 캐노니컬, 검색 콘솔 증거를 연결합니다.

업데이트됨 · 11 min

사람이 없는 가상의 게시 관측실. 호박색 조명의 어두운 사무실에 모니터와 네트워크 장비가 있다. AI로 생성한 편집용 일러스트

이 가이드가 달성하는 목표

  • 유용한 페이지 선택
  • 검색 테스트
  • 문제점 진단
  • 재테스트

빠른 확인

  • HTML 링크를 통해 해당 페이지에 도달할 수 있습니까?
  • 방문자와 크롤러가 어떤 응답을 받습니까?
  • robots.txt, noindex 및 canonical 태그 신호가 일관성이 있습니까?
  • 해당 페이지가 고유한 가치를 제공합니까?
  • 수정 후 URL 검사 결과는 무엇입니까?

단계별 방법

  1. 1

    우선순위 설정

    의도, 선호하는 canonical 태그 및 최종 변경 사항이 포함된 중요한 URL 목록을 작성합니다. 독립적인 가치가 없는 필터 및 페이지는 제외합니다.

    결과물: URL별 우선순위가 지정된 목록 및 가설

  2. 2

    검색 경로 테스트

    진입 페이지에서 HTML 링크를 따라가 사이트맵과 비교합니다. 사이트맵에 있는 URL이라도 크롤링되지 않거나 색인되지 않은 상태일 수 있습니다.

    결과물: 경로, 고립된 페이지 및 사이트맵 누락

  3. 3

    응답 확인

    HTTP 상태, 리디렉션, 가용성, 렌더링 및 필수 리소스 확인. robots.txt 규칙 및 noindex 지시문을 별도로 검사합니다.

    결과물: 응답 및 지시문 기록

  4. 4

    정규화 선택 검사

    선언된 정규화 페이지, 내부 링크, 사이트맵 및 검색 엔진이 선택한 페이지를 비교합니다. 정규화 선호도는 절대적인 명령이 아니라 신호입니다.

    결과물: 버전 클러스터 및 모순

  5. 5

    관찰 내용 종합

    인덱싱 보고서, URL 검사 및 서버 로그(사용 가능한 경우)를 비교합니다. 검색, 크롤링, 렌더링, 정규화 선택 및 인덱싱을 별도로 구분합니다.

    결과물: 날짜별 진단 및 신뢰도 수준

  6. 6

    수정 및 검증

    확인된 원인을 수정하고, 페이지 및 링크를 다시 테스트하고, 유용한 변경 사항을 제출하고 진행 상황을 모니터링합니다. 색인 생성 마감일을 약속하지 마십시오.

    결과물: 증거 수정 및 후속 조치

관리 지표

지표측정 대상첫 번째 조치
탐색HTML 링크를 통해 접근하는 우선순위 URL아키텍처 수정
대응접근 가능 상태가 예상되는 우선순위 URL서버 및 리디렉션 복구
일관성캐노니컬 URL, 사이트맵 및 지시문 정렬모순 해결
후속 조치원인 문서화 및 수정 사항 재테스트검증되지 않은 사례 재검토

일반적인 실수

  • 사이트맵 포함을 색인 생성 보장으로 간주
  • noindex가 반드시 읽혀야 하는 페이지에서 로봇 차단
  • 변형 검토 없이 대규모로 캐노니컬 변경
  • 콘텐츠 평가 없이 모든 격차를 기술 탓으로 돌림

자주 묻는 질문

사이트맵이 인덱싱을 강제하나요?

아니요. 검색에는 도움이 될 수 있지만 크롤링이나 인덱싱을 보장하지는 않습니다.

선언된 캐노니컬이 Google에 구속력이 있나요?

선호도를 나타내는 것이며, Google은 관찰된 신호를 사용하여 다른 버전을 선택할 수 있습니다.

수정 사항은 언제 확정되나요?

원인을 확인하고, 수정 사항을 배포하고, 적절한 기간 동안 검사 증거를 확보한 후 확정됩니다.

Robots.txt: 크롤링, 색인 및 검증 근거

이 언어판의 상세 참고 설명은 영어로 제공됩니다.

Read a crawl decision before drawing indexing conclusions

Discovering a URL, allowing crawling, indexing content and citing a source are separate stages. A 200 response and an Allow rule do not establish that a search engine selected the page. This reference shows which evidence belongs to each stage.

The three files and twelve requests below are fictional. IndexBot, PreviewBot and OtherBot do not identify real services. Examples use ASCII prefixes and an exact $ ending, without encoding, path wildcards, redirects or cache handling. Filters organise explained outcomes; they neither test a domain nor modify this site’s robots.txt.

사람이 없는 가상의 게시 관측실. 호박색 조명의 어두운 사무실에 모니터와 네트워크 장비가 있다. AI로 생성한 편집용 일러스트
Generated conceptual illustration: a fictional empty publication observatory. Screens show neither real traffic nor visibility measurements.
Three separate decisions: access, indexing, presentation
Three separate decisions: access, indexing, presentation Access checks and the served response precede crawling. The crawler must be able to read indexing directives. Indexing and preview restrictions precede potential presentation or citation; no stage guarantees the next. 1 · Access and crawling Rights HTTP response robots group 2 · Indexing and canonical Observed directives content duplicates 3 · Presentation and use Previews service scope selection

Access checks and the served response precede crawling. The crawler must be able to read indexing directives. Indexing and preview restrictions precede potential presentation or citation; no stage guarantees the next.

Compare three fictional robots.txt files

A · Specific groups and merging

IndexBot and INDEXBOT groups merge for the same case-insensitive token. PreviewBot uses its own group; it does not inherit restrictions from *.

User-agent: *
Disallow: /private/
Disallow: /search?

User-agent: IndexBot
Disallow: /private/
Disallow: /search?

User-agent: INDEXBOT
Allow: /private/public/
Disallow: /private/public/draft

User-agent: PreviewBot
Disallow: /preview/
B · Exact ending and equivalent rules

The $ suffix ends matching: /edition/brief and /edition/brief?view=print yield different outcomes. For the equivalent Allow and Disallow rules on /same, this example selects Allow.

User-agent: *
Disallow: /edition/
Allow: /edition/brief$
Disallow: /same
Allow: /same
C · No fallback group

OtherBot matches no group and there is no * group: no rules apply to it. The /archive/ name provides no access protection.

User-agent: IndexBot
Disallow: /archive/

Twelve rule decisions with their reasoning

Twelve rule decisions with their reasoning
Fictional requestApplicable groups and selected ruleCrawl decision and reason
A · IndexBot
/private/report
Groups 2 + 3

Disallow: /private/

Crawling disallowed

The two groups for this token are combined. Their common Disallow still applies.

A · IndexBot
/private/public/notice
Groups 2 + 3

Allow: /private/public/

Crawling allowed

The /private/public/ prefix is more specific than /private/, so this crawl is allowed.

A · indexbot
/private/public/draft
Groups 2 + 3

Disallow: /private/public/draft

Crawling disallowed

The draft prefix is more specific again, overriding the shorter Allow.

A · PreviewBot
/private/report
Groups 4

No matching rule

Crawling allowed

A specific group exists. The * group is not added; no /preview/ rule matches this request.

A · OtherBot
/private/public/notice
Groups 1

Disallow: /private/

Crawling disallowed

This crawler uses *. The Allow in IndexBot’s group does not apply to it.

A · OtherBot
/search?q=cyber
Groups 1

Disallow: /search?

Crawling disallowed

The rule includes the start of the query string. Parameters can change matching.

A · OtherBot
/Search?q=cyber
Groups 1

No matching rule

Crawling allowed

Path case matters in these examples. /Search does not start with /search.

B · OtherBot
/edition/brief
Groups 1

Allow: /edition/brief$

Crawling allowed

The request ends exactly at /edition/brief, matching the $ ending.

B · OtherBot
/edition/brief?view=print
Groups 1

Disallow: /edition/

Crawling disallowed

Parameters extend the URL after brief: the exact Allow no longer matches, while /edition/ still disallows.

B · OtherBot
/same
Groups 1

Allow: /same

Crawling allowed

Both rules have the same path. The example follows the Allow preference for equivalent rules.

C · OtherBot
/archive/report
No group

No matching rule

Crawling allowed

Neither a group for OtherBot nor a * fallback exists: no REP restriction applies.

C · IndexBot
/archive/report
Groups 1

Disallow: /archive/

Crawling disallowed

The IndexBot group matches and its /archive/ prefix disallows this crawl.

Six checks against the file actually served

Six checks against the file actually served
CheckDocumented interpretationSource and passage
Scope/robots.txt concerns the target service. Google scopes it by host, protocol and port; check subdomains separately.IETF · RFC 9309 — Robots Exclusion Protocol

§2.3

FormatThe protocol specifies UTF-8, text/plain and a lowercase file name at the service root.IETF · RFC 9309 — Robots Exclusion Protocol

§2.3

SizeThe RFC requires parsing capacity of at least 500 KiB; Google documents its own 500 KiB limit. These are different statements.IETF · RFC 9309 — Robots Exclusion Protocol

§2.5; Google documentation, File format

CacheThe RFC recommends not using a cached copy beyond 24 hours unless the file is unreachable. A change may not be observed immediately.IETF · RFC 9309 — Robots Exclusion Protocol

§2.4

404 or 403The RFC permits the crawler to access resources in this situation. Google treats 4xx except 429 as no crawl restrictions: 403 on robots.txt does not protect pages.Google · Interprétation de robots.txt / robots.txt interpretation

Handling of errors

Server errorThe RFC requires assuming complete disallow when the file is unreachable. Google documents its own 5xx sequence, starting with a 12-hour crawl stop; do not reduce every case to permanent refusal.Google · Interprétation de robots.txt / robots.txt interpretation

Handling of errors

Six situations: what the signals establish

Six situations: what the signals establish
Fictional situationWhat is establishedWhat still needs checking
200, crawling allowed, no observed noindexThe content can be read; these signals do not individually exclude it.Actual indexing, selected canonical, content quality and result selection.
Disallow and noindex in the pageA crawler respecting disallow does not read the page’s directive.Links can still make the URL known. Make an indexing exclusion observable to the relevant engine.
200 and observable noindexThe directive requests exclusion from a supporting index after processing.Recrawl timing and observed state; this is not protection against human access.
200 and canonical pointing elsewhereA canonical preference is expressed. For Google this is a signal, not an absolute command.Target relevance and agreement between links, sitemap and the selected canonical.
URL included in a sitemapThe publisher proposes a URL for discovery; Google treats inclusion as a weak canonical signal.Response, directives, useful content and actual indexing.
Private page behind authorisationThe server or application must refuse unauthorised access.Test rights with dedicated accounts; robots.txt never replaces this boundary.

Compare AI controls and report data →

Primary sources and scope

REP rules come from RFC 9309; Google-specific details are attributed to its own documentation. Examples and the diagram are educational. Filtering performs no crawling and the tables contain no client results.

References reviewed

IANA 참조와 DNSSEC 해석

이 언어판의 상세 참고 설명은 영어로 제공됩니다.

Successful resolution enables access, not indexing

DNS enables reaching a destination; DNSSEC validation concerns DNS data authenticity. Neither guarantees crawling, indexing or ranking.

  • Separate DNS observations from HTTP status and indexing directives.
  • Do not infer a crawler’s recovery time from TTL alone.
  • Keep changes and checks by layer to explain what was actually restored.

Read the registries and try the cache model →

IETF · RFC 4033 · §3–5 · 2026-10-23

공식 참조

참조는 방법을 뒷받침합니다. 상황에 맞게 검사를 조정하십시오. 이는 인증이 아닙니다. 원본 참조 제목 및 소스 문서는 다른 언어로 작성되었을 수 있습니다.

참고 자료 확인일 .