כבדו מגבלות קובץ
למפה אחת תקרות של 50000 כתובות ו־50 MB ללא דחיסה; שתיהן חלות. חלקו קבוצות גדולות למפות, אפשר עם אינדקס. השתמשו ב־UTF-8 ובכתובות מלאות.
| בדיקה | ערך ייחוס | פרט |
|---|---|---|
| כתובות למפה | 50000 | תקרה לקובץ. |
| גודל ללא דחיסה | 50 MB | גם תקרה זו חלה. |
| קידוד | UTF-8 | עם ערכי XML שעברו escaping תקין. |
| priority ו־changefreq | Google מתעלמת | אינם שולטים בסריקה. |
תארו דפים רצויים באמת
- רשמו כתובות מועדפות נגישות המיועדות לאינדוקס ותואמות לקנוניות. זהו הפניות, שגיאות והחרגות לפני הגשה.
- בצעו escaping תקין לערכי XML ובדקו קובץ מוגש, סטטוס ומפות משנה. דחיסה אינה מבטלת מגבלת גודל פרוס.
- השתמשו ב־lastmod לשינוי משמעותי שניתן לאמת. אל תחדשו מדי יום את כל התאריכים לדימוי עדכון.
הפרידו קובץ שהתקבל ודפים באינדקס
עקבו בנפרד אחר אבחון קריאה ומצבי כתובות. מפה תקינה יכולה להכיל דף שלא נבחר מסיבה אחרת. Google מתעלמת מ־priority ו־changefreq; הם אינם קונים עדיפות או קובעים קצב סריקה.
מקורות ראשוניים
הוספת כתובות URL מכוונות למפת אתר.
מפת אתר היא מלאי גילוי עבור כתובות URL שהאתר מתכוון שסורקים יבקרו בהן. הפניות, כפילויות ודפים ללא אינדקס מחלישים את הקוהרנטיות, אך אפילו ערך תקף אינו מבטיח אינדוקס.
- השווה כל ערך לתגובה הסופית ולערך הקנוני שלו.
- עדכון lastmod רק לאחר שינוי אמיתי.
- בדיקת חלופות שפה וקישורים פנימיים עבור דפים מרכזיים.
מקור ראשוני: Google Search Central — Crawling and indexing. שיטה קשורה: קריאת המדריך המעשי.
דפדוף הניתן לסריקה
דפי רשימות צריכים כתובות קבועות וקישורים ניתנים לגילוי.
- שמרו עמוד 2 ככתובת נפרדת עם canonical משלו. מקטע אחרי # או canonical של כל העמודים לראשון אינם מתארים את התוכן הנפרד.
- הציגו את העמוד הבא בקישור href רגיל גם לצד גלילה אינסופית. בדקו HTML מהשרת בלי JavaScript; מטפל באירוע לבדו אינו מספק יעד קישור מקביל.
- הגדירו סדר יציב ומסננים מותרים. בדקו עמוד אחרון, מספר מחוץ לטווח ובקשה חוזרת; התוצאות צריכות להיות מוסברות בלי שרשרת אינסופית של עמודים ריקים.
מקרה קבלה שניתן לשחזר
דוגמה בדיונית: הנתונים אינם מתארים לקוח או תוצאה שנצפתה.
הצגת נתוני המקרה
{
"page_2": "/catalog?page=2",
"canonical": "/catalog",
"next_link": "<button>More</button>"
}החלטה צפויה
עמוד 2 דורש canonical משלו וקישורי href ניתנים לסריקה לעמודים הבאים.
נוהל בדיקה
- תעדו URL, canonical וקישורים לכל עמוד.
- הגיעו להמשך בלי כפתור JavaScript.
- שמרו href סריקים ו־canonical עצמאי. פתחו כל כתובת ישירות והשוו פריטים; כתובת שונה החוזרת על העמוד הראשון אינה מאמתת את ההמשך.
Google Search Central — Pagination and incremental page loading
האם גלילה אינסופית מחליפה כתובות עמודים?
לא מעצמה. הציעו כתובות וקישורים קריאים ובדקו שהמבקר יכול לחזור לאותו תוכן.
מקור ראשוני: Google Search Central — Pagination and incremental page loading. שיטה קשורה: קריאת המדריך המעשי.
איכות מפות אתר
XML תקין יכול להחסיר דפים או להכיל יעדים לא מתאימים.
- השוו מסלולים שפורסמו למפת האתר. כללו כתובות קנוניות מוחלטות המיועדות לאינדוקס; הוציאו שגיאות, הפניות ודפי noindex.
- קובץ מאפשר עד 50 000 כתובות ו־50 מגה־בייט ללא דחיסה. מדדו בתים ב־UTF-8, לא קובץ gzip. השתמשו בקבוצות יציבות ובאינדקס מפות.
- lastmod מציין שינוי משמעותי ידוע. אל תשתמשו בתאריך ההרצה לכל הדפים. לאחר יצירה מחדש בדקו XML, זמינות והפניה ב־robots.txt.
מקרה קבלה שניתן לשחזר
דוגמה בדיונית: הנתונים אינם מתארים לקוח או תוצאה שנצפתה.
הצגת נתוני המקרה
{
"shard_urls": 50001,
"uncompressed_bytes": 20000000,
"lastmod_source": "generation_time"
}החלטה צפויה
50 001 כתובות חורגות ממגבלת הקובץ. פצלו וחשבו lastmod משינויים משמעותיים. בתרגיל זה קבצים של 50,000 כתובות ושל כתובת אחת עומדים במגבלת הכמות; בדקו גם 50 MB לכל קובץ לא דחוס. gzip אינו מגדיל את המגבלות. תאריך יצירה אינו מחליף את תאריך שינוי כל עמוד.
נוהל בדיקה
- תעדו מספר URL וגודל לא דחוס.
- אמתו חלקים, canonical ו־lastmod משמעותי.
- שמרו החרגות ומיפוי לאינדקס.
מקור ראשוני: Sitemaps.org — Protocol. שיטה קשורה: קריאת המדריך המעשי.
Robots.txt: סריקה, אינדוקס וראיות
הערות המקורות המפורטות זמינות באנגלית במהדורה זו.
A sitemap proposes URLs; it does not decide the index
For Google, sitemap inclusion is a weak canonical signal. A proposed URL still needs to be crawled, processed and potentially selected.
- Publish useful URLs consistent with canonical signals and internal links.
- Check robots.txt and each page’s directives separately.
- Retain evidence of actual indexing; submitting a sitemap is not proof of an outcome.
Review the twelve robots.txt cases →
References reviewed