रिसोर्स · 31

काम के पेज की क्रॉलिंग और इंडेक्सिंग को डायग्नोस करें।

ठीक करने से पहले लिंक, HTTP रिस्पॉन्स, डायरेक्टिव, कैनोनिकल और Search Console एविडेंस को कनेक्ट करें।

अपडेटेड · 9 min

लोगों के बिना काल्पनिक प्रकाशन निरीक्षण कक्ष, गहरे कार्यालय में एम्बर रोशनी के बीच स्क्रीन और नेटवर्क उपकरण। AI से निर्मित संपादकीय चित्रण

यह गाइड क्या पाने में मदद करती है

  • काम के पेज चुनें
  • डिस्कवरी टेस्ट करें
  • गैप का पता लगाएं
  • रीटेस्ट करें

जल्दी से चेक करें

  • क्या कोई HTML लिंक पेज तक पहुंच सकता है?
  • विज़िटर और क्रॉलर को क्या रिस्पॉन्स मिलता है?
  • क्या रोबोट, नोइंडेक्स और कैनोनिकल सिग्नल एक जैसे हैं?
  • क्या पेज अलग वैल्यू देता है?
  • फिक्स के बाद URL इंस्पेक्शन क्या दिखाता है?

स्टेप-बाय-स्टेप तरीका

  1. 1

    प्रायोरिटी सेट चुनें

    ज़रूरी URL को उनके इंटेंट, पसंदीदा कैनोनिकल और असल आखिरी बदलाव के साथ लिस्ट करें। बिना इंडिपेंडेंट वैल्यू वाले फिल्टर और पेज हटा दें।

    डिलीवरेबल: हर URL के लिए प्रायोरिटी वाली इन्वेंट्री और हाइपोथीसिस।

  2. 2

    डिस्कवरी पाथ टेस्ट करें

    एंट्री पेज से HTML लिंक को फॉलो करें और उनकी तुलना साइटमैप से करें। साइटमैप में कोई URL अभी भी अनक्रॉल या अनइंडेक्स रह सकता है।

    डिलीवरेबल: पाथ, ऑर्फन पेज और साइटमैप गैप।

  3. 3

    रिस्पॉन्स चेक करें

    HTTP स्टेटस, रीडायरेक्ट, अवेलेबिलिटी, रेंडरिंग और ज़रूरी रिसोर्स वेरिफ़ाई करें। रोबोट रूल्स और नोइंडेक्स डायरेक्टिव को अलग-अलग इंस्पेक्ट करें।

    डिलीवरेबल: रिस्पॉन्स और डायरेक्टिव रिकॉर्ड।

  4. 4

    कैनोनिकल सिलेक्शन इंस्पेक्ट करें

    डिक्लेयर किए गए कैनोनिकल, इंटरनल लिंक, साइटमैप और सर्च इंजन द्वारा सिलेक्ट किए गए पेज की तुलना करें। कैनोनिकल प्रेफरेंस एक सिग्नल है, एब्सोल्यूट कमांड नहीं।

    डिलीवरेबल: वर्शन क्लस्टर और कॉन्ट्राडिक्शन।

  5. 5

    ऑब्ज़र्वेशन को कंबाइन करें

    इंडेक्सिंग रिपोर्ट, URL इंस्पेक्शन और सर्वर लॉग की तुलना करें, जहाँ अवेलेबल हो। डिस्कवरी, क्रॉल, रेंडरिंग, कैनोनिकल सिलेक्शन और इंडेक्सिंग को अलग करें।

    डिलीवरेबल: कॉन्फिडेंस लेवल के साथ डेटेड डायग्नोसिस।

  6. 6

    ठीक करें और वेरिफ़ाई करें

    पहचाने गए कारण को ठीक करें, पेज और उसके लिंक को फिर से टेस्ट करें, काम के बदलाव सबमिट करें और उनकी प्रोग्रेस पर नज़र रखें। इंडेक्सिंग की डेडलाइन का वादा न करें।

    डिलीवर करने लायक: सबूत ठीक करें और फ़ॉलो-अप करें।

मैनेजमेंट इंडिकेटर

इंडिकेटरयह क्या मापता हैपहला एक्शन
डिस्कवरीHTML लिंक से पहुँचने वाले प्रायोरिटी URLआर्किटेक्चर ठीक करें
रिस्पॉन्सएक्सपेक्टेड एक्सेसिबल स्टेटस वाले प्रायोरिटी URLसर्वर और रीडायरेक्ट को ठीक करें
कंसिस्टेंसीकैनोनिकल, साइटमैप और डायरेक्टिव अलाइन करेंउलझनों को ठीक करें
फ़ॉलो-अप करेंकारणों को डॉक्यूमेंट किया गया और फ़िक्स को फिर से टेस्ट किया गयाबिना साबित हुए मामलों पर फिर से विचार करें

आम गलतियाँ

  • साइटमैप को शामिल करने को इंडेक्सिंग गारंटी के तौर पर मानना
  • रोबोट को ऐसे पेज से ब्लॉक करना जहाँ noindex पढ़ना ज़रूरी है
  • वेरिएंट को रिव्यू किए बिना बड़े पैमाने पर कैनोनिकल बदलना
  • कंटेंट को असेस किए बिना हर कमी के लिए टेक्नोलॉजी को दोष देना

अक्सर पूछे जाने वाले सवाल

क्या साइटमैप इंडेक्सिंग के लिए मजबूर करता है?

नहीं। यह डिस्कवरी में मदद कर सकता है लेकिन न तो क्रॉलिंग और न ही इंडेक्सिंग की गारंटी देता है।

क्या घोषित कैनोनिकल Google पर बाइंडिंग है?

यह एक प्रेफरेंस बताता है; Google ऑब्ज़र्व्ड सिग्नल का इस्तेमाल करके दूसरा वर्शन चुन सकता है।

फिक्स कब कन्फर्म होता है?

संभावित कारण की जाँच करने के बाद, सही समय पर करेक्शन और इंस्पेक्शन एविडेंस डिप्लॉय करें।

Robots.txt: क्रॉलिंग, इंडेक्सिंग और साक्ष्य

इस संस्करण में विस्तृत संदर्भ टिप्पणियाँ अंग्रेज़ी में उपलब्ध हैं।

Read a crawl decision before drawing indexing conclusions

Discovering a URL, allowing crawling, indexing content and citing a source are separate stages. A 200 response and an Allow rule do not establish that a search engine selected the page. This reference shows which evidence belongs to each stage.

The three files and twelve requests below are fictional. IndexBot, PreviewBot and OtherBot do not identify real services. Examples use ASCII prefixes and an exact $ ending, without encoding, path wildcards, redirects or cache handling. Filters organise explained outcomes; they neither test a domain nor modify this site’s robots.txt.

लोगों के बिना काल्पनिक प्रकाशन निरीक्षण कक्ष, गहरे कार्यालय में एम्बर रोशनी के बीच स्क्रीन और नेटवर्क उपकरण। AI से निर्मित संपादकीय चित्रण
Generated conceptual illustration: a fictional empty publication observatory. Screens show neither real traffic nor visibility measurements.
Three separate decisions: access, indexing, presentation
Three separate decisions: access, indexing, presentation Access checks and the served response precede crawling. The crawler must be able to read indexing directives. Indexing and preview restrictions precede potential presentation or citation; no stage guarantees the next. 1 · Access and crawling Rights HTTP response robots group 2 · Indexing and canonical Observed directives content duplicates 3 · Presentation and use Previews service scope selection

Access checks and the served response precede crawling. The crawler must be able to read indexing directives. Indexing and preview restrictions precede potential presentation or citation; no stage guarantees the next.

Compare three fictional robots.txt files

A · Specific groups and merging

IndexBot and INDEXBOT groups merge for the same case-insensitive token. PreviewBot uses its own group; it does not inherit restrictions from *.

User-agent: *
Disallow: /private/
Disallow: /search?

User-agent: IndexBot
Disallow: /private/
Disallow: /search?

User-agent: INDEXBOT
Allow: /private/public/
Disallow: /private/public/draft

User-agent: PreviewBot
Disallow: /preview/
B · Exact ending and equivalent rules

The $ suffix ends matching: /edition/brief and /edition/brief?view=print yield different outcomes. For the equivalent Allow and Disallow rules on /same, this example selects Allow.

User-agent: *
Disallow: /edition/
Allow: /edition/brief$
Disallow: /same
Allow: /same
C · No fallback group

OtherBot matches no group and there is no * group: no rules apply to it. The /archive/ name provides no access protection.

User-agent: IndexBot
Disallow: /archive/

Twelve rule decisions with their reasoning

Twelve rule decisions with their reasoning
Fictional requestApplicable groups and selected ruleCrawl decision and reason
A · IndexBot
/private/report
Groups 2 + 3

Disallow: /private/

Crawling disallowed

The two groups for this token are combined. Their common Disallow still applies.

A · IndexBot
/private/public/notice
Groups 2 + 3

Allow: /private/public/

Crawling allowed

The /private/public/ prefix is more specific than /private/, so this crawl is allowed.

A · indexbot
/private/public/draft
Groups 2 + 3

Disallow: /private/public/draft

Crawling disallowed

The draft prefix is more specific again, overriding the shorter Allow.

A · PreviewBot
/private/report
Groups 4

No matching rule

Crawling allowed

A specific group exists. The * group is not added; no /preview/ rule matches this request.

A · OtherBot
/private/public/notice
Groups 1

Disallow: /private/

Crawling disallowed

This crawler uses *. The Allow in IndexBot’s group does not apply to it.

A · OtherBot
/search?q=cyber
Groups 1

Disallow: /search?

Crawling disallowed

The rule includes the start of the query string. Parameters can change matching.

A · OtherBot
/Search?q=cyber
Groups 1

No matching rule

Crawling allowed

Path case matters in these examples. /Search does not start with /search.

B · OtherBot
/edition/brief
Groups 1

Allow: /edition/brief$

Crawling allowed

The request ends exactly at /edition/brief, matching the $ ending.

B · OtherBot
/edition/brief?view=print
Groups 1

Disallow: /edition/

Crawling disallowed

Parameters extend the URL after brief: the exact Allow no longer matches, while /edition/ still disallows.

B · OtherBot
/same
Groups 1

Allow: /same

Crawling allowed

Both rules have the same path. The example follows the Allow preference for equivalent rules.

C · OtherBot
/archive/report
No group

No matching rule

Crawling allowed

Neither a group for OtherBot nor a * fallback exists: no REP restriction applies.

C · IndexBot
/archive/report
Groups 1

Disallow: /archive/

Crawling disallowed

The IndexBot group matches and its /archive/ prefix disallows this crawl.

Six checks against the file actually served

Six checks against the file actually served
CheckDocumented interpretationSource and passage
Scope/robots.txt concerns the target service. Google scopes it by host, protocol and port; check subdomains separately.IETF · RFC 9309 — Robots Exclusion Protocol

§2.3

FormatThe protocol specifies UTF-8, text/plain and a lowercase file name at the service root.IETF · RFC 9309 — Robots Exclusion Protocol

§2.3

SizeThe RFC requires parsing capacity of at least 500 KiB; Google documents its own 500 KiB limit. These are different statements.IETF · RFC 9309 — Robots Exclusion Protocol

§2.5; Google documentation, File format

CacheThe RFC recommends not using a cached copy beyond 24 hours unless the file is unreachable. A change may not be observed immediately.IETF · RFC 9309 — Robots Exclusion Protocol

§2.4

404 or 403The RFC permits the crawler to access resources in this situation. Google treats 4xx except 429 as no crawl restrictions: 403 on robots.txt does not protect pages.Google · Interprétation de robots.txt / robots.txt interpretation

Handling of errors

Server errorThe RFC requires assuming complete disallow when the file is unreachable. Google documents its own 5xx sequence, starting with a 12-hour crawl stop; do not reduce every case to permanent refusal.Google · Interprétation de robots.txt / robots.txt interpretation

Handling of errors

Six situations: what the signals establish

Six situations: what the signals establish
Fictional situationWhat is establishedWhat still needs checking
200, crawling allowed, no observed noindexThe content can be read; these signals do not individually exclude it.Actual indexing, selected canonical, content quality and result selection.
Disallow and noindex in the pageA crawler respecting disallow does not read the page’s directive.Links can still make the URL known. Make an indexing exclusion observable to the relevant engine.
200 and observable noindexThe directive requests exclusion from a supporting index after processing.Recrawl timing and observed state; this is not protection against human access.
200 and canonical pointing elsewhereA canonical preference is expressed. For Google this is a signal, not an absolute command.Target relevance and agreement between links, sitemap and the selected canonical.
URL included in a sitemapThe publisher proposes a URL for discovery; Google treats inclusion as a weak canonical signal.Response, directives, useful content and actual indexing.
Private page behind authorisationThe server or application must refuse unauthorised access.Test rights with dedicated accounts; robots.txt never replaces this boundary.

Compare AI controls and report data →

Primary sources and scope

REP rules come from RFC 9309; Google-specific details are attributed to its own documentation. Examples and the diagram are educational. Filtering performs no crawling and the tables contain no client results.

References reviewed

IANA संदर्भ और DNSSEC की व्याख्या

इस संस्करण में विस्तृत संदर्भ टिप्पणियाँ अंग्रेज़ी में उपलब्ध हैं।

Successful resolution enables access, not indexing

DNS enables reaching a destination; DNSSEC validation concerns DNS data authenticity. Neither guarantees crawling, indexing or ranking.

  • Separate DNS observations from HTTP status and indexing directives.
  • Do not infer a crawler’s recovery time from TTL alone.
  • Keep changes and checks by layer to explain what was actually restored.

Read the registries and try the cache model →

IETF · RFC 4033 · §3–5 · 2026-10-23

ऑफ़िशियल रेफ़रेंस

रेफ़रेंस इस तरीके को सपोर्ट करते हैं। अपने कॉन्टेक्स्ट के हिसाब से चेक को एडजस्ट करें; वे सर्टिफ़िकेशन नहीं हैं। ओरिजिनल रेफ़रेंस टाइटल और सोर्स डॉक्यूमेंट दूसरी भाषा में हो सकते हैं।

संदर्भ जाँच की तारीख .