पूर्वानुमानात्मक AI: कार्य तय करें और त्रुटियाँ मापें

संक्षेप में

पूर्वानुमान डेटा और धारणाओं पर आधारित अनुमान है, परिणाम का वादा नहीं। किसी अवलोकन का वर्गीकरण और भविष्य के मान का अनुमान अलग कार्य हैं।

खाली प्रयोगशाला में निजी एआई कंप्यूटिंग ढाँचा
इस लेख में

पूर्वानुमान डेटा और धारणाओं पर आधारित अनुमान है, परिणाम का वादा नहीं। किसी अवलोकन का वर्गीकरण और भविष्य के मान का अनुमान अलग कार्य हैं।

मूल्यांकन का विषय तय करें

लक्षित समूह, लक्ष्य चर, समय सीमा और प्रस्तावित निर्णय स्पष्ट करें। स्कोर आवश्यक रूप से अच्छी तरह अंशांकित प्रायिकता नहीं होता। स्वतंत्र मूल्यांकन डेटा अलग रखें; उसे प्रशिक्षण, पूर्वप्रसंस्करण फिट करने या मॉडल चुनने में उपयोग न करें।

केवल प्रतिशत नहीं, त्रुटियाँ पढ़ें

नीचे के काल्पनिक उदाहरण में सीमा स्थिर है: वास्तव में धनात्मक 200 मामलों में से 80 पहचाने गए और 120 छूट गए। इसलिए 86 प्रतिशत सही वर्गीकरण का अर्थ अधिकांश धनात्मक मामलों की पहचान नहीं है।

काल्पनिक उदाहरण: 1000 लेबलयुक्त मामले, स्थिर सीमा
वास्तविक परिणामधनात्मक पूर्वानुमानऋणात्मक पूर्वानुमान
वास्तविक धनात्मक80120
वास्तविक ऋणात्मक20780
काल्पनिक उदाहरण: उन्हीं 1000 मामलों से निकाले माप
मापगणनामान
प्रिसीजन (precision)80 / (80 + 20)80 %
रिकॉल (recall)80 / (80 + 120)40 %
सही वर्गीकरण का अनुपात (accuracy)(80 + 780) / 100086 %

परिणामों के अनुसार सीमा चुनें

प्रिसीजन धनात्मक पूर्वानुमानों में वास्तविक धनात्मक मामलों का अनुपात है; रिकॉल वास्तविक धनात्मक मामलों में पहचाने गए मामलों का अनुपात है। सीमा बदलने से दोनों बदल सकते हैं। समान समूह पर तुलना करें और गलत चेतावनियों तथा छूटे मामलों की लागत देखें।

स्रोत और सत्यापन

प्रेडिक्शन को उनके ऑपरेशनल टाइम ऑर्डर में टेस्ट करें

ऑपरेशनल प्रेडिक्शन में सिर्फ़ फ़ैसले के समय उपलब्ध जानकारी का इस्तेमाल होना चाहिए। रैंडम स्प्लिटिंग टाइम सीरीज़ के लिए सही नहीं हो सकती है। लगातार पीरियड को सिमुलेट करें, फ़ीचर वर्शन बनाए रखें और फोरकास्टिंग क्षमता का दावा करने से पहले एक सिंपल बेसलाइन से तुलना करें।

  • सिर्फ़ नतीजे के बाद पता चलने वाले फ़ीचर को हटा दें।
  • ट्रेनिंग के बाद के समय पर इवैल्यूएट करें।
  • प्रेडिक्शन होराइजन के हिसाब से गलतियों को मापें।

बहुत अच्छा टेस्ट परफॉर्मेंस बाद में फेल क्यों हो सकता है?

इन्फॉर्मेशन लीकेज, पॉपुलेशन में बदलाव या टेम्पररी ड्रिफ्ट से नतीजे बदल सकते हैं। डिप्लॉयमेंट के बाद डेटा-अवेलेबिलिटी कंडीशन को रिप्रोड्यूस करें और गलतियों को मॉनिटर करें।

प्राथमिक स्रोत: scikit-learn — Cross-validation. संबंधित विधि: व्यावहारिक मार्गदर्शिका पढ़ें.