पूर्वानुमान डेटा और धारणाओं पर आधारित अनुमान है, परिणाम का वादा नहीं। किसी अवलोकन का वर्गीकरण और भविष्य के मान का अनुमान अलग कार्य हैं।
मूल्यांकन का विषय तय करें
लक्षित समूह, लक्ष्य चर, समय सीमा और प्रस्तावित निर्णय स्पष्ट करें। स्कोर आवश्यक रूप से अच्छी तरह अंशांकित प्रायिकता नहीं होता। स्वतंत्र मूल्यांकन डेटा अलग रखें; उसे प्रशिक्षण, पूर्वप्रसंस्करण फिट करने या मॉडल चुनने में उपयोग न करें।
केवल प्रतिशत नहीं, त्रुटियाँ पढ़ें
नीचे के काल्पनिक उदाहरण में सीमा स्थिर है: वास्तव में धनात्मक 200 मामलों में से 80 पहचाने गए और 120 छूट गए। इसलिए 86 प्रतिशत सही वर्गीकरण का अर्थ अधिकांश धनात्मक मामलों की पहचान नहीं है।
| वास्तविक परिणाम | धनात्मक पूर्वानुमान | ऋणात्मक पूर्वानुमान |
|---|---|---|
| वास्तविक धनात्मक | 80 | 120 |
| वास्तविक ऋणात्मक | 20 | 780 |
| माप | गणना | मान |
|---|---|---|
| प्रिसीजन (precision) | 80 / (80 + 20) | 80 % |
| रिकॉल (recall) | 80 / (80 + 120) | 40 % |
| सही वर्गीकरण का अनुपात (accuracy) | (80 + 780) / 1000 | 86 % |
परिणामों के अनुसार सीमा चुनें
प्रिसीजन धनात्मक पूर्वानुमानों में वास्तविक धनात्मक मामलों का अनुपात है; रिकॉल वास्तविक धनात्मक मामलों में पहचाने गए मामलों का अनुपात है। सीमा बदलने से दोनों बदल सकते हैं। समान समूह पर तुलना करें और गलत चेतावनियों तथा छूटे मामलों की लागत देखें।
स्रोत और सत्यापन
- Google — Classification: Accuracy, recall, precision
- scikit-learn — Probability calibration
- scikit-learn — Common pitfalls
प्रेडिक्शन को उनके ऑपरेशनल टाइम ऑर्डर में टेस्ट करें
ऑपरेशनल प्रेडिक्शन में सिर्फ़ फ़ैसले के समय उपलब्ध जानकारी का इस्तेमाल होना चाहिए। रैंडम स्प्लिटिंग टाइम सीरीज़ के लिए सही नहीं हो सकती है। लगातार पीरियड को सिमुलेट करें, फ़ीचर वर्शन बनाए रखें और फोरकास्टिंग क्षमता का दावा करने से पहले एक सिंपल बेसलाइन से तुलना करें।
- सिर्फ़ नतीजे के बाद पता चलने वाले फ़ीचर को हटा दें।
- ट्रेनिंग के बाद के समय पर इवैल्यूएट करें।
- प्रेडिक्शन होराइजन के हिसाब से गलतियों को मापें।
बहुत अच्छा टेस्ट परफॉर्मेंस बाद में फेल क्यों हो सकता है?
इन्फॉर्मेशन लीकेज, पॉपुलेशन में बदलाव या टेम्पररी ड्रिफ्ट से नतीजे बदल सकते हैं। डिप्लॉयमेंट के बाद डेटा-अवेलेबिलिटी कंडीशन को रिप्रोड्यूस करें और गलतियों को मॉनिटर करें।
प्राथमिक स्रोत: scikit-learn — Cross-validation. संबंधित विधि: व्यावहारिक मार्गदर्शिका पढ़ें.
