תחזית היא אומדן המבוסס על נתונים והנחות, ולא הבטחה לתוצאה. סיווג תצפית וחיזוי ערך עתידי הם משימות שונות.
להגדיר מה נבדק
יש להגדיר אוכלוסייה, משתנה מטרה, אופק והחלטה מתוכננת. ציון אינו בהכרח הסתברות מכוילת היטב. יש לשמור נתוני הערכה עצמאיים ולא להשתמש בהם לאימון, להתאמת עיבוד מקדים או לבחירת המודל.
לקרוא שגיאות, לא רק אחוזים
בדוגמה הבדיונית להלן הסף קבוע: מתוך 200 מקרים חיוביים בפועל זוהו 80 והוחמצו 120. לכן שיעור סיווגים נכונים של 86 אחוז אינו אומר שרוב המקרים החיוביים זוהו.
| תוצאה בפועל | תחזית חיובית | תחזית שלילית |
|---|---|---|
| חיובי בפועל | 80 | 120 |
| שלילי בפועל | 20 | 780 |
| מדד | חישוב | ערך |
|---|---|---|
| דיוק חיובי (precision) | 80 / (80 + 20) | 80 % |
| רגישות (recall) | 80 / (80 + 120) | 40 % |
| שיעור סיווגים נכונים (accuracy) | (80 + 780) / 1000 | 86 % |
לבחור סף לפי ההשלכות
דיוק חיובי הוא שיעור החיוביים האמיתיים מתוך התחזיות החיוביות; רגישות היא שיעור המזוהים מתוך החיוביים בפועל. שינוי הסף עשוי לשנות את שני המדדים. יש להשוות באותה אוכלוסייה ולבחון עלויות של התרעות שווא והחמצות.
מקורות ואימות
- Google — Classification: Accuracy, recall, precision
- scikit-learn — Probability calibration
- scikit-learn — Common pitfalls
בדיקת תחזיות בסדר הזמן התפעולי שלהן
חיזוי תפעולי צריך להשתמש רק במידע הזמין בזמן ההחלטה. פיצול אקראי יכול להיות לא מתאים לסדרות זמן. הדמיית תקופות עוקבות, שמירה על גרסאות תכונות והשוואה מול קו בסיס פשוט לפני טענת יכולת חיזוי.
- אי הכללת תכונות הידועות רק לאחר התוצאה.
- הערכה בתקופה מאוחרת יותר מהאימון.
- מדידת שגיאות לפי אופק חיזוי.
מדוע ביצועי בדיקה מצוינים יכולים להיכשל מאוחר יותר?
דליפת מידע, שינויים באוכלוסייה או סחיפה זמנית יכולים לשנות תוצאות. שחזור תנאי זמינות נתונים ומעקב אחר שגיאות לאחר הפריסה.
מקור ראשוני: scikit-learn — Cross-validation. שיטה קשורה: קריאת המדריך המעשי.