التنبؤ تقدير يستند إلى بيانات وافتراضات، وليس وعدًا بنتيجة. تصنيف ملاحظة والتنبؤ بقيمة مستقبلية مهمتان مختلفتان.
تحديد ما سيُقيَّم
حدّد المجتمع المستهدف والمتغير والمدة والقرار المقصود. الدرجة ليست بالضرورة احتمالًا مضبوط المعايرة. خصّص بيانات مستقلة للتقييم، ولا تستخدمها لتدريب النموذج أو ضبط المعالجة المسبقة أو اختياره.
قراءة الأخطاء لا النسبة وحدها
في المثال الافتراضي أدناه تظل العتبة ثابتة: تُكتشف 80 حالة من أصل 200 حالة إيجابية فعلية، وتُفوَّت 120 حالة. لذلك فإن نسبة التصنيف الصحيح البالغة 86 بالمئة لا تعني اكتشاف معظم الحالات الإيجابية.
| النتيجة الفعلية | تنبؤ إيجابي | تنبؤ سلبي |
|---|---|---|
| إيجابي فعلي | 80 | 120 |
| سلبي فعلي | 20 | 780 |
| المقياس | الحساب | القيمة |
|---|---|---|
| الإحكام (precision) | 80 / (80 + 20) | 80 % |
| الاسترجاع (recall) | 80 / (80 + 120) | 40 % |
| نسبة التصنيفات الصحيحة (accuracy) | (80 + 780) / 1000 | 86 % |
اختيار العتبة وفق العواقب
الإحكام هو نسبة الإيجابيات الصحيحة بين التنبؤات الإيجابية، والاسترجاع هو نسبة المكتشف من الإيجابيات الفعلية. قد يؤدي تغيير العتبة إلى تغيير المقياسين. قارِن على المجتمع نفسه، وافحص تكلفة الإنذارات الكاذبة والحالات الفائتة.
المصادر والتحقق
- Google — Classification: Accuracy, recall, precision
- scikit-learn — Probability calibration
- scikit-learn — Common pitfalls
اختبر التنبؤات بترتيبها الزمني التشغيلي.
يجب أن يستخدم التنبؤ التشغيلي المعلومات المتاحة فقط وقت اتخاذ القرار. قد لا يكون التقسيم العشوائي مناسبًا للسلاسل الزمنية. قم بمحاكاة الفترات المتتالية، واحتفظ بإصدارات الميزات، وقارنها بخط أساس بسيط قبل ادعاء إمكانية التنبؤ.
- استبعد الميزات المعروفة فقط بعد النتيجة.
- التقييم بعد فترة التدريب.
- قياس الأخطاء حسب أفق التنبؤ.
لماذا قد يفشل أداء الاختبار الممتاز لاحقًا؟
قد يؤدي تسريب المعلومات أو تغيرات عدد المستخدمين أو الانحراف الزمني إلى تغيير النتائج. يجب إعادة تهيئة ظروف توفر البيانات ومراقبة الأخطاء بعد النشر.
المصدر الأساسي: scikit-learn — Cross-validation. المنهج المرتبط: اقرأ الدليل العملي.