Ресурсы · 31
Диагностика сканирования и индексирования полезных страниц.
Перед исправлением проверьте ссылки, HTTP-ответы, директивы, канонические ссылки и данные Search Console.
Обновлено · 6 min
Чего помогает достичь это руководство
- Выбор полезных страниц
- Тестирование обнаружения
- Диагностика пробела
- Повторное тестирование
Быстрая проверка
- Может ли HTML-ссылка привести на страницу?
- Какую реакцию получают посетители и поисковые роботы?
- Согласованы ли сигналы robots, noindex и canonical?
- Предоставляет ли страница какую-либо конкретную ценность?
- Что показывает проверка URL-адресов после исправления?
Пошаговый метод
- 1
Выбор набора приоритетов
Перечислите важные URL-адреса с указанием их назначения, предпочтительного канонического и фактического последнего изменения. Исключите фильтры и страницы, не имеющие независимой ценности.
Результат: приоритезированный инвентарь и гипотезы для каждого URL-адреса.
- 2
Тестирование путей обнаружения
Перейдите по HTML-ссылкам с входных страниц и сравните их с картой сайта. URL-адрес в карте сайта может оставаться не проиндексированным или несканированным.
Результат: пути, страницы-сироты и пробелы в карте сайта.
- 3
Проверка ответов
Проверка HTTP-статуса, перенаправлений, доступности, отображения и основных ресурсов. Проверка правил robots и директив noindex по отдельности.
Результат: запись ответа и директивы.
- 4
Проверка канонического выбора
Сравнение объявленных канонических ссылок, внутренних ссылок, карты сайта и страницы, выбранной поисковой системой. Предпочтение канонического выбора — это сигнал, а не абсолютная команда.
Результат: кластер версий и противоречия.
- 5
Объединение наблюдений
Сравнение отчетов об индексировании, проверки URL-адресов и журналов сервера, где это возможно. Разделение обнаружения, сканирования, отображения, канонического выбора и индексирования.
Результат: диагностика по дате с указанием уровня достоверности.
- 6
Исправление и проверка
Устранение выявленной причины, повторное тестирование страницы и ее ссылок, внесение полезных изменений и отслеживание их прогресса. Не обещайте срок индексации.
Результат: исправление выявленных проблем и последующие действия.
Показатели управления
| Показатель | Что он измеряет | Первое действие |
|---|---|---|
| Выявление | Приоритетные URL-адреса, доступные по HTML-ссылкам | Исправление архитектуры |
| Реагирование | Приоритетные URL-адреса с ожидаемым статусом доступности | Исправление сервера и перенаправлений |
| Согласованность | Согласование канонических ссылок, карты сайта и директив | Разрешение противоречий |
| Последующие действия | Причины задокументированы, исправления повторно протестированы | Пересмотр непроверенных случаев |
Распространенные ошибки
- Рассмотрение включения карты сайта как гарантии индексации
- Блокировка роботов на странице, где необходимо прочитать noindex
- Масштабное изменение канонических ссылок без проверки вариантов
- Сваливание всех пробелов на технологии без оценки контента
Часто задаваемые вопросы
Принуждает ли карта сайта к индексации?
Нет. Она может помочь в поиске, но не гарантирует ни сканирования, ни индексации.
Является ли заявленная каноническая ссылка привязанной к Google?
Она выражает предпочтение; Google может выбрать другую версию, используя наблюдаемые сигналы.
Когда исправление подтверждено?
После проверки вероятной причины, внедрение исправления и проверка доказательств в течение соответствующего периода времени.
Robots.txt: обход, индексация и доказательства
Подробные справочные заметки в этой версии доступны на английском.
Read a crawl decision before drawing indexing conclusions
Discovering a URL, allowing crawling, indexing content and citing a source are separate stages. A 200 response and an Allow rule do not establish that a search engine selected the page. This reference shows which evidence belongs to each stage.
The three files and twelve requests below are fictional. IndexBot, PreviewBot and OtherBot do not identify real services. Examples use ASCII prefixes and an exact $ ending, without encoding, path wildcards, redirects or cache handling. Filters organise explained outcomes; they neither test a domain nor modify this site’s robots.txt.
Access checks and the served response precede crawling. The crawler must be able to read indexing directives. Indexing and preview restrictions precede potential presentation or citation; no stage guarantees the next.
Compare three fictional robots.txt files
A · Specific groups and merging
IndexBot and INDEXBOT groups merge for the same case-insensitive token. PreviewBot uses its own group; it does not inherit restrictions from *.
User-agent: *
Disallow: /private/
Disallow: /search?
User-agent: IndexBot
Disallow: /private/
Disallow: /search?
User-agent: INDEXBOT
Allow: /private/public/
Disallow: /private/public/draft
User-agent: PreviewBot
Disallow: /preview/B · Exact ending and equivalent rules
The $ suffix ends matching: /edition/brief and /edition/brief?view=print yield different outcomes. For the equivalent Allow and Disallow rules on /same, this example selects Allow.
User-agent: *
Disallow: /edition/
Allow: /edition/brief$
Disallow: /same
Allow: /sameC · No fallback group
OtherBot matches no group and there is no * group: no rules apply to it. The /archive/ name provides no access protection.
User-agent: IndexBot
Disallow: /archive/Twelve rule decisions with their reasoning
| Fictional request | Applicable groups and selected rule | Crawl decision and reason |
|---|---|---|
A · IndexBot | Groups 2 + 3
| Crawling disallowed The two groups for this token are combined. Their common Disallow still applies. |
A · IndexBot | Groups 2 + 3
| Crawling allowed The /private/public/ prefix is more specific than /private/, so this crawl is allowed. |
A · indexbot | Groups 2 + 3
| Crawling disallowed The draft prefix is more specific again, overriding the shorter Allow. |
A · PreviewBot | Groups 4
| Crawling allowed A specific group exists. The * group is not added; no /preview/ rule matches this request. |
A · OtherBot | Groups 1
| Crawling disallowed This crawler uses *. The Allow in IndexBot’s group does not apply to it. |
A · OtherBot | Groups 1
| Crawling disallowed The rule includes the start of the query string. Parameters can change matching. |
A · OtherBot | Groups 1
| Crawling allowed Path case matters in these examples. /Search does not start with /search. |
B · OtherBot | Groups 1
| Crawling allowed The request ends exactly at /edition/brief, matching the $ ending. |
B · OtherBot | Groups 1
| Crawling disallowed Parameters extend the URL after brief: the exact Allow no longer matches, while /edition/ still disallows. |
B · OtherBot | Groups 1
| Crawling allowed Both rules have the same path. The example follows the Allow preference for equivalent rules. |
C · OtherBot | No group
| Crawling allowed Neither a group for OtherBot nor a * fallback exists: no REP restriction applies. |
C · IndexBot | Groups 1
| Crawling disallowed The IndexBot group matches and its /archive/ prefix disallows this crawl. |
No case matches. Remove a filter or change the search.
Six checks against the file actually served
| Check | Documented interpretation | Source and passage |
|---|---|---|
| Scope | /robots.txt concerns the target service. Google scopes it by host, protocol and port; check subdomains separately. | IETF · RFC 9309 — Robots Exclusion Protocol §2.3 |
| Format | The protocol specifies UTF-8, text/plain and a lowercase file name at the service root. | IETF · RFC 9309 — Robots Exclusion Protocol §2.3 |
| Size | The RFC requires parsing capacity of at least 500 KiB; Google documents its own 500 KiB limit. These are different statements. | IETF · RFC 9309 — Robots Exclusion Protocol §2.5; Google documentation, File format |
| Cache | The RFC recommends not using a cached copy beyond 24 hours unless the file is unreachable. A change may not be observed immediately. | IETF · RFC 9309 — Robots Exclusion Protocol §2.4 |
| 404 or 403 | The RFC permits the crawler to access resources in this situation. Google treats 4xx except 429 as no crawl restrictions: 403 on robots.txt does not protect pages. | Google · Interprétation de robots.txt / robots.txt interpretation Handling of errors |
| Server error | The RFC requires assuming complete disallow when the file is unreachable. Google documents its own 5xx sequence, starting with a 12-hour crawl stop; do not reduce every case to permanent refusal. | Google · Interprétation de robots.txt / robots.txt interpretation Handling of errors |
Six situations: what the signals establish
| Fictional situation | What is established | What still needs checking |
|---|---|---|
| 200, crawling allowed, no observed noindex | The content can be read; these signals do not individually exclude it. | Actual indexing, selected canonical, content quality and result selection. |
| Disallow and noindex in the page | A crawler respecting disallow does not read the page’s directive. | Links can still make the URL known. Make an indexing exclusion observable to the relevant engine. |
| 200 and observable noindex | The directive requests exclusion from a supporting index after processing. | Recrawl timing and observed state; this is not protection against human access. |
| 200 and canonical pointing elsewhere | A canonical preference is expressed. For Google this is a signal, not an absolute command. | Target relevance and agreement between links, sitemap and the selected canonical. |
| URL included in a sitemap | The publisher proposes a URL for discovery; Google treats inclusion as a weak canonical signal. | Response, directives, useful content and actual indexing. |
| Private page behind authorisation | The server or application must refuse unauthorised access. | Test rights with dedicated accounts; robots.txt never replaces this boundary. |
Compare AI controls and report data →
Primary sources and scope
REP rules come from RFC 9309; Google-specific details are attributed to its own documentation. Examples and the diagram are educational. Filtering performs no crawling and the tables contain no client results.
- IETF · RFC 9309 — Robots Exclusion Protocol · September 2022 · Standards Track
§2.2.1–2.2.3; §2.3–2.5; §3 - Google · Interprétation de robots.txt / robots.txt interpretation · Documentation consultée / accessed 2026-10-22
Group selection; path matching; HTTP errors and caching - Google Search Central · Block indexing with noindex · Documentation consultée / accessed 2026-10-22
Crawler access required to observe noindex - Google Search Central · Canonical URLs · Documentation consultée / accessed 2026-10-22
Signals, best practices and sitemap inclusion
References reviewed
Реестры IANA и интерпретация DNSSEC
Подробные справочные заметки в этой версии доступны на английском.
Successful resolution enables access, not indexing
DNS enables reaching a destination; DNSSEC validation concerns DNS data authenticity. Neither guarantees crawling, indexing or ranking.
- Separate DNS observations from HTTP status and indexing directives.
- Do not infer a crawler’s recovery time from TTL alone.
- Keep changes and checks by layer to explain what was actually restored.
Read the registries and try the cache model →
IETF · RFC 4033 · §3–5 · 2026-10-23
Официальные ссылки
Ссылки подтверждают метод. Адаптируйте проверки к вашему контексту; они не являются сертификацией. Оригинальные названия ссылок и исходные документы могут быть на другом языке.
Источники проверены .
- Google Search Central — Crawling and indexing
- Google Search Central — Troubleshoot crawling errors
- IETF · RFC 4033 · DNSSEC introduction and requirements
- IETF · RFC 4035 · DNSSEC validation and caching
- IETF · RFC 9309 — Robots Exclusion Protocol
- Google · Interprétation de robots.txt / robots.txt interpretation
- Google Search Central · Block indexing with noindex
- Google Search Central · Canonical URLs
