रिसोर्स · 49
वर्शन बदलने से पहले AI रिग्रेशन को इवैल्यूएट करें
एक जैसे कामों के वर्शन की तुलना करें, लोकल नुकसान का पता लगाएं और एवरेज के बजाय केस के आधार पर फैसला लें।
अपडेटेड · 11 min
यह गाइड क्या पाने में मदद करती है
- टेस्ट किए गए बदलाव को आइसोलेट करें
- एक इंडिपेंडेंट रेफरेंस सेट को प्रिजर्व करें
- सेगमेंट के हिसाब से फेलियर को इंस्पेक्ट करें
- शटडाउन या रोलबैक की तैयारी करें
जल्दी से चेक करें
- कौन सा कॉम्पोनेंट बदला?
- क्या टेस्ट सेट का इस्तेमाल कैंडिडेट को ऑप्टिमाइज़ करने के लिए किया गया था?
- एनोटेशन से जुड़ी असहमतियों को कौन सुलझाता है?
- क्या एक एवरेज सेंसिटिव एरर को छिपाता है?
- क्या पिछला कॉन्फ़िगरेशन रिस्टोर किया जा सकता है?
स्टेप-बाय-स्टेप तरीका
- 1
टास्क और रिफ्यूजल को डिफाइन करें
एक्सपेक्टेड आउटपुट, परमिशन्ड डेटा और महंगी गलतियों के बारे में बताएं। एक्यूरेसी, यूटिलिटी, सही इनकार और एक्शन इफ़ेक्ट को अलग करें। NIST का फ्रेमवर्क कॉन्टेक्स्ट के हिसाब से सही मेज़रमेंट के लिए कहता है; यह यूनिवर्सल रिलायबिलिटी स्कोर नहीं देता है।
डिलिवरेबल: क्राइटेरिया और डिसीजन ओनर।
- 2
रेफरेंस और डिस्कवरी को अलग करें
ऑप्टिमाइज़ेशन से एक स्टेबल सेट को बाहर रखें। नए एनॉनिमाइज़्ड फ़ीडबैक केस अलग से जोड़ें: वे ब्लाइंड स्पॉट दिखाते हैं लेकिन कम्पेरिजन डिनॉमिनेटर को चुपचाप नहीं बदलना चाहिए।
डिलिवरेबल: प्रोवेंस के साथ वर्शन वाले सेट।
- 3
डॉक्यूमेंट एनोटेशन
बताएं कि कोई जवाब एक्सेप्टेबल, पार्शियल या गलत क्यों होता है। एक काबिल रिव्यूअर से कन्फ्यूजन को दूर करने और असहमति के कारणों को बनाए रखने के लिए कहें। एक सिंगल रेफरेंस जवाब ओपन-एंडेड टास्क के लिए बहुत ज़्यादा रिस्ट्रिक्टिव हो सकता है।
डिलिवरेबल: रूब्रिक और एडजुडिकेटेड केस।
- 4
बराबर कंडीशन में तुलना करें
रिकॉर्ड किए गए वर्शन, पैरामीटर, टूल और सोर्स के साथ एक जैसे इनपुट को दोबारा चलाएं। जब आउटपुट अलग हों तो ट्रायल दोहराएं और बदलाव की रिपोर्ट करें। मॉडल फेलियर, डेटा न होने, टूल न मिलने और खराब टेस्ट को अलग करें।
डिलीवरेबल: पेयर्ड आउटकम और कम से कम ट्रेस।
- 5
रिस्क फैमिली के हिसाब से तय करें
भाषा, डॉक्यूमेंट टाइप और सेंसिटिव सिचुएशन के हिसाब से नुकसान की जांच करें, भले ही मीन बेहतर हो। रिजल्ट पढ़ने से पहले स्टॉप, करेक्शन और लिमिटेड-रिलीज़ क्राइटेरिया तय करें। एक गंभीर मामला रिलीज़ रोकने को सही ठहरा सकता है।
डिलीवरेबल: फैसला, रिज़र्वेशन और एक्सेप्शन।
- 6
रिलीज़ के बाद दोबारा चलाएं
एक रिस्टोरेबल कॉन्फ़िगरेशन और रीचेबल ओनर तैयार करें। सभी इस्तेमाल के लिए लोकल सक्सेस को सबूत माने बिना शुरुआती फीडबैक की तुलना टेस्ट सेट से करें। जब डेटा या डिपेंडेंसी बदलें तो दोबारा जांच करें।
डिलीवरेबल: मॉनिटरिंग और रोलबैक प्रोसीजर।
समझें, गणना करें और निर्णय लें
समान मामलों की तुलना: शुद्ध लाभ और स्थानीय प्रतिगमन
दो समग्र दरें नहीं बतातीं कि कौन से मामले बदले। काल्पनिक उदाहरण में हर कार्य के A और B परिणाम को परीक्षण से पहले तय एक ही मानदंड से स्वीकार्य या अस्वीकार्य आँका जाता है।
उचित इनकार भी कार्य के अनुसार स्वीकार्य हो सकता है। किसी संस्करण का निर्णय न होने पर मामला अलग रखें, विफलता न मानें।
| A / B | B स्वीकार्य | B अस्वीकार्य |
|---|---|---|
| A स्वीकार्य | 70दोनों स्वीकार्य | 10A से B में हानियाँ |
| A अस्वीकार्य | 15A से B में लाभ | 5दोनों अस्वीकार्य |
गणना का नियम
N = c + l + g + e ; A% = 100(c + l)/N ; B% = 100(c + g)/N ; Δpp = 100(g − l)/N
बदलावों का अर्थ समझें
दर क्या तय नहीं करती
ये काल्पनिक रूपांतर कैलकुलेटर के दर्ज मानों से स्वतंत्र हैं।
- युग्म बनाएँ
मामले की पहचान, संस्करण और परीक्षण स्थितियाँ मिलाएँ।
- निर्णय दें
एक मानदंड अपनाएँ और अधूरे या अस्पष्ट निर्णय सुलझाएँ।
- जाँचें
निर्णय से पहले जोखिम श्रेणी के अनुसार हानियाँ देखें।
वास्तविक सिस्टम का मूल्यांकन किए बिना काल्पनिक अभ्यास।
समान दर, समान स्वीकार्य जवाब?
- अवलोकन
- दूसरे समूह में दस लाभ और दस हानियाँ हैं।
- अपेक्षित व्याख्या
- शुद्ध अंतर शून्य है लेकिन बीस मामलों की स्थिति बदली है।
B का निर्णय गायब है?
- अवलोकन
- A आँका गया है, B अभी नहीं।
- अपेक्षित व्याख्या
- युग्म को पूर्ण तालिका से बाहर रखें, कमी बताएँ और निर्णय प्राप्त करें।
एनोटेशन नियम बदला?
- अवलोकन
- A पुराना और B नया मानदंड अपनाता है।
- अपेक्षित व्याख्या
- तुलना से पहले दोनों को समान नियम से फिर आँकें।
केवल एक गंभीर हानि?
- अवलोकन
- एक हानि परीक्षण से पहले रिलीज़ रोकने वाला तय अलगाव नियम तोड़ती है।
- अपेक्षित व्याख्या
- उस दायरे में रिलीज़ रोकें; पंद्रह लाभ रोक को नहीं हटाते।
दोबारा इस्तेमाल होने वाली वर्कशीट
अपने ऑथराइज़्ड ऑब्ज़र्वेशन के साथ पूरा करें। ये फ़ील्ड एक वर्किंग टेम्पलेट हैं, देखे गए नतीजे नहीं।
| फ़ील्ड | रिकॉर्ड करने के लिए जानकारी |
|---|---|
| केस और सेगमेंट | स्टेबल आइडेंटिफायर, भाषा, टास्क टाइप |
| उम्मीद | एक्सेप्टेंस क्राइटेरिया और रेफरेंस सबूत |
| वर्शन A / B | नतीजा, दोहराव, फेलियर का कारण |
| फैसला | एक्सेप्ट करें, ठीक करें या रोकें; मालिक और सबूत |
काल्पनिक काम का उदाहरण
उदाहरण वाली स्थिति
काल्पनिक उदाहरण: डेटा किसी ग्राहक या देखे गए परिणाम का नहीं है। एक वर्गीकरण मॉडल का कुल स्कोर सुधरता है, लेकिन तुरंत कार्रवाई माँगने वाले अनुरोध पहचानने की क्षमता घटती है।
फैसला और उम्मीद का सबूत
वही मामले फिर चलाएँ, अनुरोध के प्रकार के अनुसार नतीजे रखें और गंभीर गलतियाँ एक साझा परिभाषा से जाँचें। गंभीरता, मात्रा और सुधार की क्षमता के अनुसार निर्णय लें। सबसे अच्छा औसत सेवा के लिए सबसे अच्छा विकल्प होना ज़रूरी नहीं।
मैकेनिज़्म में अंतर बताएं
| मैकेनिज़्म | मकसद | वेरिफ़िकेशन या लिमिटेशन |
|---|---|---|
| स्टेबल सेट | वर्शन की तुलना करें | ऑप्टिमाइज़ेशन से दूर रखें |
| नए केस | ब्लाइंड स्पॉट ढूंढें | पुराने नतीजों से अलग रिपोर्ट करें |
| इन-सर्विस ऑब्ज़र्वेशन | असल इस्तेमाल को समझें | परमिशन, मिनिमाइज़ेशन और कॉन्टेक्स्ट का सम्मान करें |
मैनेजमेंट इंडिकेटर
| इंडिकेटर | यह क्या मापता है | पहला एक्शन |
|---|---|---|
| पेयर्ड लॉस | पहले स्वीकार किए गए केस अब फेल हो रहे हैं | हर सेंसिटिव लॉस की जांच करें |
| एनोटेशन में असहमति | अलग-अलग फैसलों वाले केस | तुलना करने से पहले रूब्रिक को साफ़ करें |
| सेगमेंट कवरेज | असल में दिखाई गई सिचुएशन | बिना टेस्ट किए गए इस्तेमाल के नाम बताएं |
आम गलतियाँ
- फ़ाइनल टेस्ट पर ऑप्टिमाइज़ करना
- सेट और वर्शन को एक साथ बदलना
- ऑटोमेटेड जज को सच मानना
- क्रिटिकल लॉस को स्वीकार करना क्योंकि मीन सुधार
अक्सर पूछे जाने वाले सवाल
क्या ऑटोमेटेड जज की ज़रूरत है?
नहीं। अगर इसका रूब्रिक वैलिडेट हो जाए तो यह ट्राइएज को तेज़ कर सकता है; साफ़ न होने वाले या महंगे मामलों में अभी भी बिज़नेस एडज्यूडिकेशन की ज़रूरत होती है।
क्या एक औसत सुधार काफ़ी है?
नहीं। काम के मामलों और सेगमेंट की तुलना करें, फिर टेस्टिंग से पहले तय क्राइटेरिया लागू करें।
कितने मामलों की ज़रूरत है?
वॉल्यूम डायवर्सिटी और रिस्क पर निर्भर करता है। रिपोर्ट की संख्या, प्रोवेनेंस और लिमिटेशन; कोई भी छोटा सेट जनरल सेफ्टी तय नहीं करता है।
RAG: पहुँच अधिकार, उद्धरण और कैश
इस संस्करण में विस्तृत संदर्भ टिप्पणियाँ अंग्रेज़ी में उपलब्ध हैं।
Replay rights after every RAG-chain change
Changing a lexical engine, fusion, cache or citation resolver may reopen a secondary path. Freeze a fictional document set with expected outcomes before comparing versions.
- Version policy, index, connector, model and cases.
- Exercise initial, revoked-group and deleted-object states.
- Examine every difference without hiding a critical failure in an average.
Explore the RAG access matrix and replay cases →
References consulted on · OWASP · LLM08:2025 Vector and Embedding Weaknesses OWASP · API1:2023 Broken Object Level Authorization
AI: JSON परिणाम की जाँच
इस संस्करण में विस्तृत संदर्भ टिप्पणियाँ अंग्रेज़ी में उपलब्ध हैं।
Test refused and undecidable outputs too
A model, prompt or validator update can change handling of duplicates, types and dates. Acceptance checks need to cover these decisions beyond the number of parseable JSON responses.
- Version the schema, validator settings and reference cases.
- Check that well-formed but false values remain blocked.
- Keep syntax, contract, date and evidence errors separate.
Compare the 14 outputs and their reasons →
Sources reviewed on · IETF · RFC 8259 · JSON Schema · Object reference · JSON Schema · Draft 2020-12 validation · Python 3.12 · json decoder · python-jsonschema · Schema validation · OWASP · LLM05:2025 Improper Output Handling
RAG: प्रासंगिकता और रैंकिंग
इस संस्करण में विस्तृत संदर्भ टिप्पणियाँ अंग्रेज़ी में उपलब्ध हैं।
Compare retrieval before evaluating the answer
Keep the same needs, judgments and depth k when comparing configurations. Inspect regressing queries before drawing conclusions from an average.
- Separate window precision, relevant-record coverage and ordering quality.
- Document missing judgments and the no-relevant-record convention.
- Then evaluate the answer, citations and refusals using a separate protocol.
Explore ranking measures and relevance judgments →
Stanford CS276 · Retrieval evaluation · 2019 course archive · PDF pp. 3, 5–6 · consulted 2026-10-23
NIST TREC · Reciprocal rank definition · Repository snapshot 35cf096ba6d5ae08ca4803c056b31ed61a56a6d4 · consulted 2026-10-23
ऑफ़िशियल रेफ़रेंस
रेफ़रेंस इस तरीके को सपोर्ट करते हैं। अपने कॉन्टेक्स्ट के हिसाब से चेक को एडजस्ट करें; वे सर्टिफ़िकेशन नहीं हैं। ओरिजिनल रेफ़रेंस टाइटल और सोर्स डॉक्यूमेंट दूसरी भाषा में हो सकते हैं।
संदर्भ जाँच की तारीख .
- NIST — AI Risk Management Framework 1.0, Measure
- NIST — AI RMF Core, Measure
- Dror et al. · ACL 2018 · §3.2.2, paired observations
- OWASP · LLM08:2025 Vector and Embedding Weaknesses
- OWASP · API1:2023 Broken Object Level Authorization
- IETF · RFC 8259
- JSON Schema · Object reference
- JSON Schema · Draft 2020-12 validation
- Python 3.12 · json decoder
- python-jsonschema · Schema validation
- OWASP · LLM05:2025 Improper Output Handling
- Stanford CS276 · Retrieval evaluation
- NIST TREC · Reciprocal rank definition
