सही URL पर नियम समझें
उदाहरण का सामान्य समूह /internal-search/ रोकता है और /internal-search/help/ अनुमति देता है। रास्ते केवल समझाने के लिए हैं। Sitemap खोज के लिए पता बताता है, इंडेक्सिंग का आदेश नहीं। जाँचें कि क्रॉलर पर कोई अधिक विशिष्ट समूह लागू तो नहीं है।
User-agent: *
Disallow: /internal-search/
Allow: /internal-search/help/
Sitemap: https://example.com/sitemap.xmlलक्ष्य के अनुसार नियंत्रण चुनें
- निजी संसाधनों के लिए सर्वर पर प्रमाणीकरण और अनुमति जाँच जरूरी है। robots.txt में लिखना सुरक्षा नहीं देता।
- सार्वजनिक पेज को इंडेक्स से बाहर रखने के लिए क्रॉलर को noindex पढ़ने दें। क्रॉल रोकने से यह पढ़ा नहीं जा सकता।
- अनावश्यक क्रॉलिंग को चुनिंदा रास्तों पर सीमित करें और रेंडरिंग के संसाधन उपलब्ध रखें।
वास्तविक उत्तर जाँचें
सही प्रोटोकॉल, होस्ट और पोर्ट की जड़ पर फ़ाइल देखें। सटीक URL, बड़े-छोटे अक्षर और समूह जाँचें। Search Console की robots.txt रिपोर्ट और URL जाँच इस्तेमाल करें। दिखाई देने वाले प्रभाव के लिए नया क्रॉल जरूरी हो सकता है।
प्राथमिक स्रोत
- Google Search Central — Introduction to robots.txt [EN]
- Google — Robots.txt specification [EN]
- Google Search Central — noindex [EN]
robots.txt बदलने से पहले एक्सेस पाथ को टेस्ट करें।
एक robots.txt रूल क्रॉलिंग को कंट्रोल करता है, इंडेक्स से गारंटीड रिमूवल नहीं। किसी ऐसे पेज को ब्लॉक करना जिसे नोइंडेक्स डायरेक्टिव पढ़ने के लिए फ़ेच करना ज़रूरी है, एक कॉन्ट्राडिक्टरी सिग्नल बना सकता है।
- सही URL और लागू क्रॉलर ग्रुप को टेस्ट करें।
- रोबोट रूल्स, HTTP रिस्पॉन्स और पेज डायरेक्टिव्स की तुलना करें।
- हर बदलाव के बाद HTML लिंक्स के ज़रिए डिस्कवरी को दोबारा चलाएं।
प्राथमिक स्रोत: Google Search Central — Crawling and indexing. संबंधित विधि: व्यावहारिक मार्गदर्शिका पढ़ें.
JavaScript से प्रस्तुत सामग्री
प्राप्त HTML ब्राउज़र में दिखने वाले पृष्ठ से अलग हो सकता है।
- एक URL का प्राप्त HTML और JavaScript के बाद DOM रखें। शीर्षक, मुख्य उत्तर, href लिंक और canonical की तुलना करें।
- बिना लॉगिन धीमी या विफल API का अनुकरण करें। अनंत लोडिंग या 200 वाला खाली पृष्ठ स्पष्ट उपचार माँगता है।
- robots में जरूरी संसाधनों की रोक और आंतरिक URL का सीधा खुलना जाँचें। उपलब्ध निरीक्षण साधनों में रेंडर किया HTML देखें।
दोहराने योग्य स्वीकृति मामला
काल्पनिक उदाहरण: डेटा किसी ग्राहक या देखे गए परिणाम का नहीं है।
मामले के इनपुट देखें
{
"response_status": 200,
"html_link": "<span onclick=\"navigate()\">Item</span>",
"rendered_text": true,
"script_failure_test": true
}अपेक्षित निर्णय
क्लिक योग्य span, href लिंक का विकल्प नहीं है। स्क्रिप्ट विफलता भी जाँचें।
सत्यापन प्रक्रिया
- HTML, दिखा कंटेंट और href दर्ज करें।
- स्क्रिप्ट बंद कर मुख्य नेविगेशन जाँचें।
- दोनों स्थितियों के canonical और robots रखें।
क्या 200 सामग्री के इंडेक्स होने का प्रमाण है?
नहीं। सामग्री, इंडेक्स निर्देश और संसाधन जाँचें; स्थिति इंडेक्स होने की गारंटी नहीं है।
प्राथमिक स्रोत: Google Search Central — JavaScript SEO basics. संबंधित विधि: व्यावहारिक मार्गदर्शिका पढ़ें.
URL स्थानांतरण
हर पुराना पता संबंधित समान सामग्री तक पहुँचना चाहिए।
- URL, भाषा और आने वाले लिंक
- बनाए रखना, मिलाना या हटाना; कारण
- अंतिम पता, स्थितियाँ, canonical और विकल्प
- जिम्मेदार व्यक्ति, तारीख, समस्या और समाधान
प्राथमिक स्रोत: Google Search Central — Site moves with URL changes. संबंधित विधि: व्यावहारिक मार्गदर्शिका पढ़ें.
Robots.txt: क्रॉलिंग, इंडेक्सिंग और साक्ष्य
इस संस्करण में विस्तृत संदर्भ टिप्पणियाँ अंग्रेज़ी में उपलब्ध हैं।
Read groups before selecting the longest rule
Groups for the same token combine; * is a fallback and is not added to a specific group. Line order is not a general priority rule.
- Identify applicable groups before matching rules against the path.
- Use the most specific match; for equivalent rules the RFC recommends Allow.
- Do not infer deindexing or access protection from Disallow alone.
Review the twelve robots.txt cases →
References reviewed