Robots.txt: להבחין בין סריקה, אינדוקס ובקרת גישה

פורסם · עודכן · קידום וחיפוש · 3 דקות קריאה · מאת Cyber Intelligence Embassy

בקצרה

Robots.txt מגדיר כללים לסורקים שמכבדים אותם. הוא אינו מגביל גישה אנושית ואינו מבטיח הסרת כתובת מ־Google.

עמדת חקירה דיגיטלית ריקה עם אמצעי אחסון וכלים מדויקים
במאמר זה

להחיל את הכלל על הכתובת הנכונה

הקבוצה הכללית בדוגמה חוסמת את /internal-search/ ומתירה את /internal-search/help/. הנתיבים להמחשה. Sitemap מציין כתובת לגילוי, לא הוראה לאנדקס. בדקו אם חלה על הסורק קבוצה ייעודית יותר.

User-agent: *
Disallow: /internal-search/
Allow: /internal-search/help/
Sitemap: https://example.com/sitemap.xml

לבחור את הבקרה המתאימה

  • משאבים פרטיים דורשים אימות והרשאות בצד השרת. ציון נתיב ב־robots.txt אינו מגן עליו.
  • להוצאת דף ציבורי מהאינדקס, הסורק צריך לקרוא noindex. חסימת סריקה עלולה למנוע זאת.
  • צמצמו סריקה מיותרת באמצעות כללים ממוקדים ושמרו על נגישות משאבי התצוגה.

לבדוק את התגובה בפועל

בדקו את הקובץ בשורש הפרוטוקול, המארח והפורט הנכונים, ואז כתובות מדויקות, רישיות וקבוצות. היעזרו בדוח robots.txt ובבדיקת כתובות ב־Search Console. השפעה גלויה עשויה לדרוש סריקה חדשה.

מקורות ראשוניים

בדיקת נתיב הגישה לפני שינוי robots.txt.

כלל robots.txt מסדיר את הסריקה, ולא הסרה מובטחת מהאינדקס. חסימת דף שיש לאחזר כדי שניתן יהיה לקרוא הנחיית noindex יכולה ליצור אות סותר.

  • בדיקת כתובת האתר המדויקת וקבוצת הזחלנים הרלוונטית.
  • השווה כללי רובוטים, תגובת HTTP והנחיות עמוד.
  • הפעלה חוזרת של גילוי דרך קישורי HTML לאחר כל שינוי.

מקור ראשוני: Google Search Central — Crawling and indexing. שיטה קשורה: קריאת המדריך המעשי.

תוכן המרונדר ב-JavaScript

ה-HTML שהתקבל עשוי להיות שונה מתצוגת הדפדפן.

  • שמרו HTML שהתקבל ו-DOM לאחר JavaScript באותה כתובת. השוו כותרת, תשובה עיקרית, קישורי href ו-canonical.
  • דמו API איטי או כושל ללא התחברות. טעינה אינסופית או דף ריק עם 200 דורשים טיפול מפורש.
  • בדקו חסימת משאבים נחוצים ב-robots ופתיחה ישירה של כתובת פנימית. בחנו HTML מרונדר בכלי הבדיקה הזמינים.

מקרה קבלה שניתן לשחזר

דוגמה בדיונית: הנתונים אינם מתארים לקוח או תוצאה שנצפתה.

הצגת נתוני המקרה
{
    "response_status": 200,
    "html_link": "<span onclick=\"navigate()\">Item</span>",
    "rendered_text": true,
    "script_failure_test": true
}

החלטה צפויה

span שניתן ללחוץ עליו אינו מחליף קישור href. בדקו גם כשל בסקריפטים.

נוהל בדיקה

  1. תעדו HTML, תוכן מוצג וקישורי href.
  2. כבו סקריפטים ובדקו ניווט חיוני.
  3. שמרו canonical ו־robots של שני המצבים.

Google Search Central — JavaScript SEO basics

האם 200 מוכיח שהמידע ניתן לאינדוקס?

לא. בדקו תוכן, הוראות אינדוקס ומשאבים; הקוד אינו מבטיח אינדוקס.

מקור ראשוני: Google Search Central — JavaScript SEO basics. שיטה קשורה: קריאת המדריך המעשי.

העברת כתובות URL

כל כתובת ישנה צריכה להגיע לתוכן מקביל ורלוונטי.

  • כתובת, שפה וקישורים נכנסים
  • שימור, איחוד או הסרה; סיבה
  • יעד סופי, מצבים, canonical וחלופות
  • אחראי, תאריך, בעיה ופתרון

מקור ראשוני: Google Search Central — Site moves with URL changes. שיטה קשורה: קריאת המדריך המעשי.

Robots.txt: סריקה, אינדוקס וראיות

הערות המקורות המפורטות זמינות באנגלית במהדורה זו.

Read groups before selecting the longest rule

Groups for the same token combine; * is a fallback and is not added to a specific group. Line order is not a general priority rule.

  • Identify applicable groups before matching rules against the path.
  • Use the most specific match; for equivalent rules the RFC recommends Allow.
  • Do not infer deindexing or access protection from Disallow alone.

Review the twelve robots.txt cases →

References reviewed