रिसोर्स · 09
RAG क्वालिटी: सबूत के साथ एक नॉलेज असिस्टेंट का मूल्यांकन करें
कॉर्पस, रिट्रीवल, साइटेशन्स, जवाब, एब्सटेंशन और ड्रिफ़्ट को अलग-अलग मापें ताकि आपको पता चले कि असल में क्या ठीक करने की ज़रूरत है।
अपडेटेड · 6 min
यह गाइड क्या पाने में मदद करती है
- जानें कि फेलियर कॉर्पस, रिट्रीवल या मॉडल से आता है या नहीं
- हर साइटेशन को ट्रेस करें
- सही एब्सटेंस को इनाम दें
- बदलाव के बाद ड्रिफ्ट का पता लगाएं
जल्दी से चेक करें
- क्या रेफरेंस सोर्स ऑथराइज्ड और करंट है?
- क्या राइट पैसेज टॉप के पास दिखाई देता है?
- क्या हर डिसाइडिव क्लेम सपोर्टेड है?
- क्या असिस्टेंट कह सकता है कि उसे नहीं पता?
- क्या सेंसिटिव केस एस्केलेट किए जाते हैं?
स्टेप-बाय-स्टेप तरीका
- 1
यूज़फुल टास्क डिफाइन करें
असली सवाल, उनके वेरिएंट और एक्सपेक्टेड बिज़नेस रिजल्ट इकट्ठा करें। एम्बिगुइटी, सोर्स कॉन्फ्लिक्ट, एक्सपायर हो चुके डॉक्यूमेंट और आउट-ऑफ-स्कोप रिक्वेस्ट जोड़ें।
डिलीवरेबल: केस और रिस्क टैक्सोनॉमी।
- 2
कॉर्पस को क्लीन करें
हर सोर्स को एक ओनर, राइट्स, वैलिडिटी डेट और स्टेटस असाइन करें। डुप्लीकेट, ऑर्फन फ्रैगमेंट्स और अनजान अथॉरिटी के डॉक्यूमेंट हटा दें।
डिलीवरेबल: कॉर्पस रजिस्टर।
- 3
रिट्रीवल का मूल्यांकन करें
फ़ाइनल शब्दों का मूल्यांकन करने से पहले मापें कि ज़रूरी पैसेज मिले हैं या नहीं और उन्हें रैंक किया गया है या नहीं। उन क्वेरीज़ की जाँच करें जिनके लिए कोई सबूत मौजूद नहीं है।
डिलीवरेबल: कवरेज और रेलिवेंस के उपाय।
- 4
जवाबों और साइटेशन का मूल्यांकन करें
पैसेज के प्रति वफ़ादारी, पूर्णता, सीमाएँ, साइटेशन-से-क्लेम संबंध और विरोधाभास को फ़्लैग करने की क्षमता की जाँच करें।
डिलीवरेबल: वफ़ादारी और यूटिलिटी रूब्रिक।
- 5
टेस्ट इनकार और हमले
इनडायरेक्ट इंजेक्शन, निषिद्ध डेटा रिक्वेस्ट, दुर्भावनापूर्ण सोर्स, झूठे प्राथमिकता वाले डॉक्यूमेंट और अपरिवर्तनीय कार्रवाइयाँ जोड़ें। मानवीय वृद्धि को परिभाषित करें।
डिलीवरेबल: सुरक्षा परिणाम और गार्डरेल।
- 6
बदलाव की निगरानी करें
वर्शन कॉर्पस, इंडेक्स, सेटिंग्स, मॉडल और निर्देश। हर बदलाव पर स्टेबल सेट को दोबारा चलाएं और फालतू डेटा को बनाए रखे बिना असली फीडबैक को एनालाइज़ करें।
डिलीवरेबल: ड्रिफ्ट डैशबोर्ड और रिव्यू प्रोसीजर।
काल्पनिक काम का उदाहरण
उदाहरण वाली स्थिति
एक इंटरनल असिस्टेंट प्रोसीजर से जवाब देता है, जिनमें से कुछ एक्सपायर हो चुके हैं। टेस्ट सेट में रूटीन, अस्पष्ट और बिना जवाब वाले सवाल होते हैं; हर साइटेशन को डॉक्यूमेंट वर्शन से चेक किया जाता है।
फैसला और उम्मीद का सबूत
रिलीज़ तब तक इंतज़ार करता है जब तक एक्सपायर हो चुके सोर्स को बाहर नहीं कर दिया जाता, बिना सपोर्ट वाले जवाबों को मना नहीं कर दिया जाता और कॉर्पस ओनर की पहचान नहीं हो जाती।
मैनेजमेंट इंडिकेटर
| इंडिकेटर | यह क्या मापता है | पहला एक्शन |
|---|---|---|
| रिट्रीवल कवरेज | ऐसे सवाल जिनके लिए ज़रूरी पैसेज मिले हैं | मॉडल से पहले कॉर्पस, चंकिंग या क्वेरी को ठीक करें |
| फेथफुलनेस | ऐसे दावे जो बताए गए सोर्स से सच में सपोर्टेड हों | बिना सपोर्ट वाले जवाबों को ब्लॉक करें या फिर से लिखें |
| काम का एब्सटेंशन | बिना सबूत वाले केस जिन्हें सही तरीके से मना किया गया या आगे बढ़ाया गया | कॉन्फिडेंस थ्रेशहोल्ड को ट्यून करें |
| रिग्रेशन | एक ही सेट के वर्शन के बीच क्वालिटी में अंतर | ज़िम्मेदार बदलाव की पहचान करें |
आम गलतियाँ
- सिर्फ़ लिखने की फ़्लूएंसी को मापना
- रिट्रीवल फ़ेलियर और हैलुसिनेशन को मिलाना
- ऐसे इवैल्यूएशन सेट का इस्तेमाल करना जो बहुत आसान हो
- बिना तुलना किए कई कंपोनेंट बदलना
अक्सर पूछे जाने वाले सवाल
कितने सवालों की ज़रूरत है?
ज़रूरी रिस्क को कवर करने वाले एक रिप्रेजेंटेटिव, वर्शन वाले सेट से शुरू करें। आर्टिफिशियल वॉल्यूम से ज़्यादा डाइवर्सिटी और क्वालिटी मायने रखती है।
क्या एक ऑटोमेटेड मेट्रिक काफ़ी है?
नहीं। यह ट्राइएज को तेज़ करता है, लेकिन सेंसिटिव, साफ़ न होने वाले और डोमेन केस के लिए साफ़ क्राइटेरिया और इंसानी रिव्यू की ज़रूरत होती है।
क्या हर बातचीत को बनाए रखना चाहिए?
नहीं। सिर्फ़ ज़रूरी ट्रेस रखें जिनका मकसद, एक्सेस और समय तय हो। सुधार के लिए एनॉनिमाइज़्ड केस को प्राथमिकता दें।
ऑफ़िशियल रेफ़रेंस
रेफ़रेंस इस तरीके को सपोर्ट करते हैं। अपने कॉन्टेक्स्ट के हिसाब से चेक को एडजस्ट करें; वे सर्टिफ़िकेशन नहीं हैं। ओरिजिनल रेफ़रेंस टाइटल और सोर्स डॉक्यूमेंट दूसरी भाषा में हो सकते हैं।
