रिसोर्स · 49
वर्शन बदलने से पहले AI रिग्रेशन को इवैल्यूएट करें
एक जैसे कामों के वर्शन की तुलना करें, लोकल नुकसान का पता लगाएं और एवरेज के बजाय केस के आधार पर फैसला लें।
अपडेटेड · 7 min
यह गाइड क्या पाने में मदद करती है
- टेस्ट किए गए बदलाव को आइसोलेट करें
- एक इंडिपेंडेंट रेफरेंस सेट को प्रिजर्व करें
- सेगमेंट के हिसाब से फेलियर को इंस्पेक्ट करें
- शटडाउन या रोलबैक की तैयारी करें
जल्दी से चेक करें
- कौन सा कॉम्पोनेंट बदला?
- क्या टेस्ट सेट का इस्तेमाल कैंडिडेट को ऑप्टिमाइज़ करने के लिए किया गया था?
- एनोटेशन से जुड़ी असहमतियों को कौन सुलझाता है?
- क्या एक एवरेज सेंसिटिव एरर को छिपाता है?
- क्या पिछला कॉन्फ़िगरेशन रिस्टोर किया जा सकता है?
स्टेप-बाय-स्टेप तरीका
- 1
टास्क और रिफ्यूजल को डिफाइन करें
एक्सपेक्टेड आउटपुट, परमिशन्ड डेटा और महंगी गलतियों के बारे में बताएं। एक्यूरेसी, यूटिलिटी, सही इनकार और एक्शन इफ़ेक्ट को अलग करें। NIST का फ्रेमवर्क कॉन्टेक्स्ट के हिसाब से सही मेज़रमेंट के लिए कहता है; यह यूनिवर्सल रिलायबिलिटी स्कोर नहीं देता है।
डिलिवरेबल: क्राइटेरिया और डिसीजन ओनर।
- 2
रेफरेंस और डिस्कवरी को अलग करें
ऑप्टिमाइज़ेशन से एक स्टेबल सेट को बाहर रखें। नए एनॉनिमाइज़्ड फ़ीडबैक केस अलग से जोड़ें: वे ब्लाइंड स्पॉट दिखाते हैं लेकिन कम्पेरिजन डिनॉमिनेटर को चुपचाप नहीं बदलना चाहिए।
डिलिवरेबल: प्रोवेंस के साथ वर्शन वाले सेट।
- 3
डॉक्यूमेंट एनोटेशन
बताएं कि कोई जवाब एक्सेप्टेबल, पार्शियल या गलत क्यों होता है। एक काबिल रिव्यूअर से कन्फ्यूजन को दूर करने और असहमति के कारणों को बनाए रखने के लिए कहें। एक सिंगल रेफरेंस जवाब ओपन-एंडेड टास्क के लिए बहुत ज़्यादा रिस्ट्रिक्टिव हो सकता है।
डिलिवरेबल: रूब्रिक और एडजुडिकेटेड केस।
- 4
बराबर कंडीशन में तुलना करें
रिकॉर्ड किए गए वर्शन, पैरामीटर, टूल और सोर्स के साथ एक जैसे इनपुट को दोबारा चलाएं। जब आउटपुट अलग हों तो ट्रायल दोहराएं और बदलाव की रिपोर्ट करें। मॉडल फेलियर, डेटा न होने, टूल न मिलने और खराब टेस्ट को अलग करें।
डिलीवरेबल: पेयर्ड आउटकम और कम से कम ट्रेस।
- 5
रिस्क फैमिली के हिसाब से तय करें
भाषा, डॉक्यूमेंट टाइप और सेंसिटिव सिचुएशन के हिसाब से नुकसान की जांच करें, भले ही मीन बेहतर हो। रिजल्ट पढ़ने से पहले स्टॉप, करेक्शन और लिमिटेड-रिलीज़ क्राइटेरिया तय करें। एक गंभीर मामला रिलीज़ रोकने को सही ठहरा सकता है।
डिलीवरेबल: फैसला, रिज़र्वेशन और एक्सेप्शन।
- 6
रिलीज़ के बाद दोबारा चलाएं
एक रिस्टोरेबल कॉन्फ़िगरेशन और रीचेबल ओनर तैयार करें। सभी इस्तेमाल के लिए लोकल सक्सेस को सबूत माने बिना शुरुआती फीडबैक की तुलना टेस्ट सेट से करें। जब डेटा या डिपेंडेंसी बदलें तो दोबारा जांच करें।
डिलीवरेबल: मॉनिटरिंग और रोलबैक प्रोसीजर।
दोबारा इस्तेमाल होने वाली वर्कशीट
अपने ऑथराइज़्ड ऑब्ज़र्वेशन के साथ पूरा करें। ये फ़ील्ड एक वर्किंग टेम्पलेट हैं, देखे गए नतीजे नहीं।
| फ़ील्ड | रिकॉर्ड करने के लिए जानकारी |
|---|---|
| केस और सेगमेंट | स्टेबल आइडेंटिफायर, भाषा, टास्क टाइप |
| उम्मीद | एक्सेप्टेंस क्राइटेरिया और रेफरेंस सबूत |
| वर्शन A / B | नतीजा, दोहराव, फेलियर का कारण |
| फैसला | एक्सेप्ट करें, ठीक करें या रोकें; मालिक और सबूत |
काल्पनिक काम का उदाहरण
उदाहरण वाली स्थिति
काल्पनिक उदाहरण: एक रिलीज़ रूटीन जवाबों को बेहतर बनाती है लेकिन जब डॉक्यूमेंट्स में टकराव होता है तो अनिश्चितता वाले बयानों को हटा देती है।
फैसला और उम्मीद का सबूत
रिपोर्ट उस सबसेट को अलग करती है, सोर्स एविडेंस रखती है और उस इस्तेमाल के लिए रिलीज़ को तब तक रोकती है जब तक कि सुधार का दोबारा टेस्ट न हो जाए।
मैकेनिज़्म में अंतर बताएं
| मैकेनिज़्म | मकसद | वेरिफ़िकेशन या लिमिटेशन |
|---|---|---|
| स्टेबल सेट | वर्शन की तुलना करें | ऑप्टिमाइज़ेशन से दूर रखें |
| नए केस | ब्लाइंड स्पॉट ढूंढें | पुराने नतीजों से अलग रिपोर्ट करें |
| इन-सर्विस ऑब्ज़र्वेशन | असल इस्तेमाल को समझें | परमिशन, मिनिमाइज़ेशन और कॉन्टेक्स्ट का सम्मान करें |
मैनेजमेंट इंडिकेटर
| इंडिकेटर | यह क्या मापता है | पहला एक्शन |
|---|---|---|
| पेयर्ड लॉस | पहले स्वीकार किए गए केस अब फेल हो रहे हैं | हर सेंसिटिव लॉस की जांच करें |
| एनोटेशन में असहमति | अलग-अलग फैसलों वाले केस | तुलना करने से पहले रूब्रिक को साफ़ करें |
| सेगमेंट कवरेज | असल में दिखाई गई सिचुएशन | बिना टेस्ट किए गए इस्तेमाल के नाम बताएं |
आम गलतियाँ
- फ़ाइनल टेस्ट पर ऑप्टिमाइज़ करना
- सेट और वर्शन को एक साथ बदलना
- ऑटोमेटेड जज को सच मानना
- क्रिटिकल लॉस को स्वीकार करना क्योंकि मीन सुधार
अक्सर पूछे जाने वाले सवाल
क्या ऑटोमेटेड जज की ज़रूरत है?
नहीं। अगर इसका रूब्रिक वैलिडेट हो जाए तो यह ट्राइएज को तेज़ कर सकता है; साफ़ न होने वाले या महंगे मामलों में अभी भी बिज़नेस एडज्यूडिकेशन की ज़रूरत होती है।
क्या एक औसत सुधार काफ़ी है?
नहीं। काम के मामलों और सेगमेंट की तुलना करें, फिर टेस्टिंग से पहले तय क्राइटेरिया लागू करें।
कितने मामलों की ज़रूरत है?
वॉल्यूम डायवर्सिटी और रिस्क पर निर्भर करता है। रिपोर्ट की संख्या, प्रोवेनेंस और लिमिटेशन; कोई भी छोटा सेट जनरल सेफ्टी तय नहीं करता है।
ऑफ़िशियल रेफ़रेंस
रेफ़रेंस इस तरीके को सपोर्ट करते हैं। अपने कॉन्टेक्स्ट के हिसाब से चेक को एडजस्ट करें; वे सर्टिफ़िकेशन नहीं हैं। ओरिजिनल रेफ़रेंस टाइटल और सोर्स डॉक्यूमेंट दूसरी भाषा में हो सकते हैं।
संदर्भ जाँच की तारीख .
