Robots.txt: التمييز بين الزحف والفهرسة وضبط الوصول

نُشر · حُدّث · تحسين الظهور في البحث · 3 دقيقة قراءة · بقلم Cyber Intelligence Embassy

الخلاصة

يعطي robots.txt قواعد للزواحف التي تلتزم بها. لا يقيد وصول الأشخاص ولا يضمن إزالة عنوان من Google.

طاولة تحقيق جنائي رقمي خالية مع وسائط تخزين وأدوات دقيقة
في هذا المقال

تطبيق القاعدة على العنوان الصحيح

تمنع المجموعة العامة في المثال المسار /internal-search/ وتسمح بالمسار /internal-search/help/. المسارات توضيحية. يحدد Sitemap عنواناً للاكتشاف، ولا يأمر بالفهرسة. تحقق مما إذا كانت هناك مجموعة أكثر تخصيصاً تنطبق على الزاحف.

User-agent: *
Disallow: /internal-search/
Allow: /internal-search/help/
Sitemap: https://example.com/sitemap.xml

اختيار الضابط المناسب

  • تتطلب الموارد الخاصة مصادقة وتفويضاً على الخادم. ذكر المسار في robots.txt لا يحميه.
  • لاستبعاد صفحة عامة من الفهرس، يجب أن يستطيع الزاحف قراءة noindex. قد يمنع حظر الزحف قراءة التعليمة.
  • قلل الزحف غير الضروري بقواعد محددة مع إبقاء موارد عرض الصفحة متاحة.

فحص الاستجابة الفعلية

افحص الملف في جذر البروتوكول والمضيف والمنفذ الصحيح، ثم العناوين الدقيقة وحالة الأحرف والمجموعات. استخدم تقرير robots.txt وفحص عنوان URL في Search Console. قد يحتاج الأثر المرئي إلى زحف جديد.

المراجع الأساسية

اختبار مسار الوصول قبل تغيير ملف robots.txt.

تحكم قاعدة robots.txt عملية الزحف، ولا تضمن إزالة الصفحة من الفهرس. قد يؤدي حظر صفحة يجب جلبها لقراءة توجيه noindex إلى إنشاء إشارة متناقضة.

  • اختبر عنوان URL الدقيق ومجموعة الزحف المناسبة.
  • قارن قواعد الروبوتات، واستجابة HTTP، وتوجيهات الصفحة.
  • أعد تشغيل عملية الاكتشاف عبر روابط HTML بعد كل تغيير.

المصدر الأساسي: Google Search Central — Crawling and indexing. المنهج المرتبط: اقرأ الدليل العملي.

المحتوى المعروض عبر JavaScript

قد يختلف HTML المستلم عن الصفحة المعروضة.

  • احفظ HTML المستلم وDOM بعد JavaScript للعنوان نفسه. قارن العنوان والجواب الأساسي وروابط href وcanonical.
  • حاكِ API بطيئة أو متعطلة دون تسجيل دخول. التحميل الدائم أو صفحة فارغة بحالة 200 يحتاجان معالجة صريحة.
  • افحص حظر الموارد الضرورية عبر robots وفتح العنوان الداخلي مباشرة. راجع HTML المعروض بأدوات الفحص المتاحة.

حالة قبول قابلة للتكرار

مثال افتراضي: البيانات لا تصف عميلاً أو نتيجة مرصودة.

عرض بيانات الحالة
{
    "response_status": 200,
    "html_link": "<span onclick=\"navigate()\">Item</span>",
    "rendered_text": true,
    "script_failure_test": true
}

القرار المتوقع

عنصر span قابل للنقر لا يعوض رابط href. اختبر أيضاً عند تعطل السكربتات.

إجراء التحقق

  1. احفظ HTML والمحتوى المعروض وروابط href.
  2. عطّل السكربتات واختبر التنقل الأساسي.
  3. احتفظ بـ canonical وrobots للحالتين.

Google Search Central — JavaScript SEO basics

هل تثبت 200 قابلية فهرسة المحتوى؟

لا. افحص المحتوى وتعليمات الفهرسة والموارد؛ الحالة لا تضمن الفهرسة.

المصدر الأساسي: Google Search Central — JavaScript SEO basics. المنهج المرتبط: اقرأ الدليل العملي.

ترحيل الروابط

يجب أن يقود كل عنوان قديم إلى محتوى مكافئ مناسب.

  • العنوان واللغة والروابط الواردة
  • إبقاء أو دمج أو إزالة؛ السبب
  • الوجهة النهائية والحالات وcanonical والبدائل
  • المسؤول والتاريخ والمشكلة والحل

المصدر الأساسي: Google Search Central — Site moves with URL changes. المنهج المرتبط: اقرأ الدليل العملي.

Robots.txt: الزحف والفهرسة والأدلة

الملاحظات المرجعية المفصّلة متاحة باللغة الإنجليزية في هذه النسخة.

Read groups before selecting the longest rule

Groups for the same token combine; * is a fallback and is not added to a specific group. Line order is not a general priority rule.

  • Identify applicable groups before matching rules against the path.
  • Use the most specific match; for equivalent rules the RFC recommends Allow.
  • Do not infer deindexing or access protection from Disallow alone.

Review the twelve robots.txt cases →

References reviewed