बेहतर डेटा, ग्राउंडिंग और वैलिडेशन के ज़रिए AI हैलुसिनेशन को कैसे कम किया जा सकता है?

AI हैलुसिनेशन बड़े लैंग्वेज मॉडल और जेनरेटिव AI सिस्टम को भरोसेमंद तरीके से अपनाने में सबसे लगातार रुकावटों में से एक है। बिज़नेस के माहौल में, हैलुसिनेशन सिर्फ़ एक नुकसान न पहुँचाने वाली गलती नहीं है। यह एक कम्प्लायंस रिस्क, कस्टमर ट्रस्ट का मुद्दा, एक ऑपरेशनल गलती या सिक्योरिटी की चिंता बन सकती है। जब कोई AI सिस्टम भरोसे के साथ झूठे दावे, मनगढ़ंत साइटेशन, गलत समरी या मनगढ़ंत टेक्निकल डिटेल देता है, तो इसकी कीमत खराब यूज़र एक्सपीरियंस से कहीं ज़्यादा हो सकती है।

हैलुसिनेशन को कम करने के लिए एक प्रैक्टिकल, लेयर्ड स्ट्रैटेजी की ज़रूरत होती है। ऐसा कोई एक कंट्रोल नहीं है जो उन्हें खत्म कर सके। सबसे अच्छे नतीजे ट्रेनिंग और रेफरेंस डेटा की क्वालिटी को बेहतर बनाने, भरोसेमंद सोर्स में मॉडल आउटपुट को ग्राउंड करने और डिसीजन-मेकिंग या कस्टमर-फेसिंग वर्कफ़्लो में इस्तेमाल करने से पहले रिस्पॉन्स को वैलिडेट करने से मिलते हैं। बड़े पैमाने पर AI इस्तेमाल करने वाले ऑर्गनाइज़ेशन के लिए, इन तीन पिलर्स को ऑप्शनल एनहांसमेंट के बजाय कोर गवर्नेंस ज़रूरतों के तौर पर माना जाना चाहिए।

AI हैलुसिनेशन क्यों होते हैं

जेनरेटिव मॉडल बड़े डेटासेट से सीखे गए पैटर्न के आधार पर टेक्स्ट के संभावित सीक्वेंस का अनुमान लगाने के लिए डिज़ाइन किए गए हैं। वे असल में सच और संभावना में उस तरह से अंतर नहीं करते जैसे कोई इंसान सब्जेक्ट-मैटर एक्सपर्ट करता है। नतीजतन, जब मॉडल में पक्कापन नहीं होता, अस्पष्टता का सामना करता है, या डोमेन-स्पेसिफिक कॉन्टेक्स्ट काफ़ी नहीं होता, तो यह ऐसा जवाब दे सकता है जो आधिकारिक लगता है लेकिन असल में गलत होता है।

कई ऐसी कंडीशन हैं जिनसे हैलुसिनेशन होने की संभावना ज़्यादा होती है:

• खराब क्वालिटी या अलग-अलग ट्रेनिंग डेटा
• डोमेन-स्पेसिफिक नॉलेज में गैप
• ऐसे प्रॉम्प्ट जो साफ़ नहीं हैं, बहुत ज़्यादा बड़े हैं, या जिनमें कॉन्टेक्स्ट नहीं है
• रियल-टाइम या बहुत खास जानकारी के लिए रिक्वेस्ट, जिस पर मॉडल को ट्रेन नहीं किया गया था
• सबूत कमज़ोर होने या न मिलने पर भी जवाब देने का दबाव

एंटरप्राइज़ सेटिंग में, ये फेलियर तब और बढ़ जाते हैं जब टीमें यह मान लेती हैं कि फ़्लूएंट आउटपुट ही भरोसेमंद आउटपुट है। एक पॉलिश्ड जवाब कॉन्फिडेंस की झूठी भावना पैदा कर सकता है, खासकर जब यूज़र्स को बिना सपोर्ट वाले दावों पर सवाल उठाने के लिए ट्रेन नहीं किया जाता है।

बेहतर डेटा क्वालिटी से शुरू करें

हैलुसिनेशन को कम करने का पहला कदम मॉडल या AI एप्लिकेशन के पीछे डेटा फ़ाउंडेशन को बेहतर बनाना है। अगर सोर्स मटीरियल शोरगुल वाला, पुराना, विरोधाभासी या एकतरफ़ा है, तो सिस्टम से गलत आउटपुट मिलने की संभावना ज़्यादा होती है। बेहतर डेटा पूरी सटीकता की गारंटी नहीं देता, लेकिन खराब डेटा लगभग हमेशा ऐसी गलतियों की गारंटी देता है जिनसे बचा जा सकता है।

डोमेन-स्पेसिफिक डेटा को क्यूरेट करें

जनरल-पर्पस मॉडल अक्सर इंडस्ट्री टर्मिनोलॉजी, इंटरनल पॉलिसी, कानूनी ज़िम्मेदारियों और ऑर्गनाइज़ेशन-स्पेसिफिक प्रोसीजर के साथ संघर्ष करते हैं। भरोसेमंद डोमेन डेटा पर बनी फाइन-ट्यूनिंग, रिट्रीवल लेयर या प्रॉम्प्ट इंजीनियरिंग तथ्यों की एकरूपता में काफी सुधार कर सकती है। उदाहरण के लिए, एक फाइनेंशियल सर्विस चैटबॉट को इंटरनेट-स्टाइल भाषा पैटर्न पर निर्भर रहने के बजाय अप्रूव्ड पॉलिसी डॉक्यूमेंट, प्रोडक्ट डिस्क्लोज़र और मौजूदा रेगुलेटरी गाइडेंस को प्राथमिकता देनी चाहिए।

पुराना और कम वैल्यू वाला कंटेंट हटाएं

पुराने रिकॉर्ड, डुप्लीकेट डॉक्यूमेंट, अलग-अलग वर्शन और बिना वेरिफाइड नॉलेज बेस आर्टिकल AI सिस्टम के लिए कन्फ्यूजन पैदा करते हैं। कंपनियों को डेटा हाइजीन के ऐसे तरीके अपनाने चाहिए जिनसे यह पता चले कि कौन से डॉक्यूमेंट मौजूदा, भरोसेमंद हैं और AI-असिस्टेड वर्कफ़्लो में इस्तेमाल के लिए मंज़ूर हैं।

मेटाडेटा और कंटेंट क्लासिफिकेशन का इस्तेमाल करें

स्ट्रक्चर्ड मेटाडेटा सिस्टम को यह पहचानने में मदद करता है कि किन सोर्स को ज़्यादा अहमियत दी जानी चाहिए। डॉक्यूमेंट ओनर, पब्लिकेशन डेट, अप्रूवल स्टेटस, सेंसिटिविटी लेवल और बिज़नेस फ़ंक्शन के हिसाब से क्लासिफिकेशन करने से AI पाइपलाइन भरोसेमंद मटीरियल को प्राथमिकता दे सकती हैं और संदिग्ध रेफरेंस से काम लेने से बच सकती हैं।

• ऑफिशियल पॉलिसी डॉक्यूमेंट को भरोसेमंद के तौर पर टैग करें
• ड्राफ़्ट या पुराने कंटेंट को कम भरोसेमंद के तौर पर मार्क करें या उसे पूरी तरह से हटा दें
• पब्लिक कंटेंट को अंदरूनी ऑपरेशनल जानकारी से अलग करें
• रिट्रीवल के दौरान असुरक्षित एक्सपोज़र को रोकने के लिए सेंसिटिव डेटा को क्लासिफ़ाई करें

बिज़नेस लीडर्स के लिए, मुख्य बात आसान है: भ्रम में कमी प्रॉम्प्ट से बहुत पहले शुरू हो जाती है। यह डेटा गवर्नेंस से शुरू होती है।

भरोसेमंद सोर्स में AI आउटपुट को ग्राउंड करें

ग्राउंडिंग एक प्रोसेस है जिसमें AI सिस्टम के रिस्पॉन्स को सिर्फ़ मॉडल की इंटरनल स्टैटिस्टिकल मेमोरी पर निर्भर रहने के बजाय, वेरिफ़ाई की जा सकने वाली बाहरी जानकारी से जोड़ा जाता है। यह असल दुनिया के बिज़नेस इस्तेमाल के मामलों में भ्रम को कम करने के सबसे असरदार तरीकों में से एक है।

रिट्रीवल-ऑगमेंटेड जेनरेशन का इस्तेमाल करें

रिट्रीवल-ऑगमेंटेड जेनरेशन, या RAG, एक मॉडल को क्वेरी के समय डॉक्यूमेंट्स के एक तय कॉर्पस को खोजने और उन मटीरियल का इस्तेमाल करके अपने जवाब को आकार देने में मदद करता है। सिर्फ़ आम ट्रेनिंग से रिस्पॉन्स बनाने के बजाय, मॉडल को मौजूदा, ऑर्गनाइज़ेशन-अप्रूव्ड सोर्स से जोड़ा जाता है।

यह तरीका खास तौर पर तब काम आता है जब जानकारी बार-बार बदलती है, जैसे:

• अंदरूनी पॉलिसी और ऑपरेटिंग प्रोसीजर
• टेक्निकल डॉक्यूमेंटेशन
• प्रोडक्ट स्पेसिफिकेशन्स
• कानूनी या कम्प्लायंस कंटेंट
• खतरे की जानकारी और सिक्योरिटी सलाह

RAG अपने आप भ्रम को खत्म नहीं करता है। अगर रिट्रीवल में बेकार या कम क्वालिटी वाले डॉक्यूमेंट मिलते हैं, तो जवाब अभी भी भटक सकता है। हालांकि, जब इसे मजबूत इंडेक्सिंग, एक्सेस कंट्रोल और क्यूरेटेड सोर्स लाइब्रेरी के साथ जोड़ा जाता है, तो ग्राउंडिंग से विश्वसनीयता काफी बेहतर हो जाती है।

सबूतों के आधार पर जवाब ज़रूरी हैं

बिज़नेस को जवाब देने के लिए इस्तेमाल किए गए डॉक्यूमेंट, पैसेज या रिकॉर्ड का हवाला देने के लिए AI सिस्टम को कॉन्फ़िगर करना चाहिए। इससे यूज़र्स के लिए ट्रांसपेरेंसी बनती है और डाउनस्ट्रीम रिव्यू मुमकिन होता है। ऐसा जवाब जो अपने सोर्स की पहचान नहीं कर सकता, उसे रेगुलेटेड या हाई-इम्पैक्ट वाले मामलों में हाई-कॉन्फिडेंस वाला नहीं माना जाना चाहिए।

सबूतों के आधार पर मिले आउटपुट यूज़र के व्यवहार को भी बेहतर बनाते हैं। जब साइटेशन दिखाई देते हैं और ट्रेस किए जा सकते हैं, तो टीमों के जवाब को वेरिफाई करने की संभावना ज़्यादा होती है। इससे मॉडल पर ज़्यादा निर्भरता कम होती है और बेहतर जवाबदेही को सपोर्ट मिलता है।

जब सबूत न हों तो जवाब को सीमित करें

सबसे ज़रूरी डिज़ाइन विकल्पों में से एक यह है कि मॉडल को असल में यह कहने दिया जाए, “मेरे पास काफ़ी सबूत नहीं हैं।” कई भ्रम इसलिए होते हैं क्योंकि सिस्टम को हमेशा जवाब देने के लिए अंदर ही अंदर इनाम मिलता है। एक बेहतर तरीका यह है कि ऐसे जवाब देने के नियम बनाए जाएं जो भरोसेमंद सपोर्टिंग मटीरियल न होने पर जेनरेशन को सीमित करें।

• मॉडल को अंदाज़ा न लगाने का निर्देश दें
• अनिश्चितता की साफ़ जानकारी ज़रूरी करें
• बिना जवाब वाले सवालों को किसी इंसानी रिव्यूअर के पास भेजें
• अगर सोर्स पर भरोसा बहुत कम है, तो ज़्यादा जोखिम वाले वर्कफ़्लो में जवाब ब्लॉक करें

वर्कफ़्लो में वैलिडेशन होना चाहिए

मज़बूत डेटा और ग्राउंडिंग कंट्रोल भी अपने आप में काफ़ी नहीं हैं। वैलिडेशन ज़रूरी है क्योंकि AI सिस्टम संभावना के आधार पर काम करते हैं, और बिज़नेस प्रोसेस के लिए तय कंट्रोल की ज़रूरत होती है। वैलिडेशन कई लेवल पर होना चाहिए: टेक्निकल, प्रोसिजरल और इंसानी।

ऑटोमेटेड रिस्पॉन्स चेक का इस्तेमाल करें

जवाब एंड यूज़र तक पहुँचने से पहले, उसे आम फेलियर पैटर्न के लिए स्क्रीन किया जा सकता है। यूज़ केस के आधार पर, वैलिडेशन रूल्स यह चेक कर सकते हैं कि रिस्पॉन्स मिले सबूतों से मैच करता है या नहीं, इसमें बिना सबूत वाले फैक्ट्स वाले क्लेम शामिल हैं, पॉलिसी से टकराव है, या इसमें रिस्ट्रिक्टेड कंटेंट है।

वैलिडेशन कंट्रोल्स के उदाहरणों में ये शामिल हैं:

• मिले डॉक्यूमेंट्स के खिलाफ फैक्ट्स-कंसिस्टेंसी चेक्स
• पॉलिसी और कम्प्लायंस रूल इवैल्यूएशन
• फॉर्म्स, समरी या रिपोर्ट्स के लिए स्ट्रक्चर्ड आउटपुट वैलिडेशन
• कॉन्फिडेंस स्कोरिंग और थ्रेशोल्ड-बेस्ड गेटिंग
• मनगढ़ंत साइटेशन्स या रेफरेंस का पता लगाना

साइबर इंटेलिजेंस और सिक्योरिटी ऑपरेशन्स के लिए, वैलिडेशन खास तौर पर ज़रूरी है। AI से बनी थ्रेट समरी जो कॉम्प्रोमाइज़ के इंडिकेटर्स बनाती है, मैलवेयर बिहेवियर को गलत बताती है, या जो वल्नरेबिलिटीज़ नहीं हैं, उनका ज़िक्र करती है, वह रिस्पॉन्स की कोशिशों में रुकावट डाल सकती है और एनालिस्ट्स को गुमराह कर सकती है।

बड़े फैसलों के लिए इंसानों को जानकारी देते रहें

जब आउटपुट कानूनी, फाइनेंशियल, सिक्योरिटी, मेडिकल या स्ट्रेटेजिक फैसलों पर असर डालते हैं, तो इंसानी निगरानी ज़रूरी रहती है। इंसानी रिव्यूअर का काम सिर्फ़ टेक्स्ट को मंज़ूरी देना नहीं है, बल्कि यह देखना भी है कि जवाब कॉन्टेक्स्ट के हिसाब से सही है, सोर्स से मिला है, और मकसद के लिए सही है।

ऑर्गनाइज़ेशन को यह तय करना चाहिए कि कहाँ ह्यूमन रिव्यू ज़रूरी है। ये लिमिट बिज़नेस पर असर के आधार पर होनी चाहिए, टेक्निकल पसंद के आधार पर नहीं। कम रिस्क वाले इंटरनल ड्राफ्टिंग असिस्टेंट को हल्के सुपरविज़न की ज़रूरत हो सकती है, जबकि कस्टमर सलाह, कम्प्लायंस इंटरप्रिटेशन, या इंसिडेंट ट्राइएज को सपोर्ट करने वाले AI टूल को ज़्यादा सख़्त कंट्रोल की ज़रूरत होती है।

हैलुसिनेशन रेट को मापें और मॉनिटर करें

हैलुसिनेशन में कमी को एक ऑपरेशनल मेट्रिक माना जाना चाहिए। एंटरप्राइज़ को रियलिस्टिक सिनेरियो में लगातार टेस्टिंग, रेड टीमिंग और क्वालिटी मेज़रमेंट की ज़रूरत होती है। इसमें एडवर्सरियल प्रॉम्प्ट, एज केस, अस्पष्ट क्वेरी और डोमेन-स्पेसिफिक टास्क शामिल हैं।

काम के मेट्रिक्स में ये शामिल हो सकते हैं:

• अनसपोर्टेड क्लेम रेट
• साइटेशन एक्यूरेसी
• मिले हुए कॉन्टेक्स्ट के लिए जवाब का रेलेवेंस
• जब सबूत काफ़ी न हों तो एस्केलेशन फ़्रीक्वेंसी
• बिज़नेस फ़ंक्शन के हिसाब से एरर की गंभीरता

बिना मेज़रमेंट के, टीमें अक्सर स्पीड या फ़्लूएंसी के लिए ऑप्टिमाइज़ करती हैं, जबकि अंदरूनी रिलायबिलिटी प्रॉब्लम को नज़रअंदाज़ कर देती हैं।

प्रॉम्प्ट और सिस्टम डिज़ाइन भी मायने रखते हैं

हालांकि डेटा, ग्राउंडिंग और वैलिडेशन मुख्य कंट्रोल हैं, लेकिन सिस्टम बिहेवियर को ध्यान से प्रॉम्प्ट और एप्लिकेशन डिज़ाइन करके बेहतर बनाया जा सकता है। एंटरप्राइज़ प्रॉम्प्ट को स्कोप, पसंदीदा सोर्स, रिस्पॉन्स फ़ॉर्मेट और मना करने का बिहेवियर बताना चाहिए। उन्हें मॉडल को फैक्ट्स को अंदाज़ों से अलग करने और मौजूद सबूतों से आगे जवाब देने से बचने का निर्देश देना चाहिए।

अच्छी तरह से डिज़ाइन किए गए सिस्टम भी कामों को अलग करते हैं। एक मॉडल से एक ही स्टेप में रिट्रीव करने, रीज़न करने, समराइज़ करने और वैलिडेट करने के बजाय, ऑर्गनाइज़ेशन ज़्यादा क्लियर कंट्रोल के साथ स्टेज्ड पाइपलाइन का इस्तेमाल कर सकते हैं। इससे कंपाउंडिंग एरर कम होती हैं और फेलियर का पता लगाना और उन्हें ठीक करना आसान हो जाता है।

एक प्रैक्टिकल एंटरप्राइज़ अप्रोच

ज़्यादातर बिज़नेस के लिए, सबसे असरदार रास्ता एक परफेक्ट मॉडल बनाने की कोशिश करना नहीं है। यह इम्परफेक्ट मॉडल के आस-पास एक भरोसेमंद AI डिलीवरी फ्रेमवर्क बनाना है। असल में, इसका मतलब है:

• साफ़, मौजूदा, अच्छी तरह से क्लासिफ़ाइड सोर्स डेटा बनाए रखना
• अप्रूव्ड नॉलेज रिपॉजिटरी में आउटपुट को ग्राउंड करना
• साइटेशन और ट्रांसपेरेंट एविडेंस पाथ की ज़रूरत
• सिस्टम को बिना सपोर्ट वाले जवाबों को मना करने की इजाज़त देना
• ऑटोमेटेड वैलिडेशन और कॉन्फिडेंस थ्रेशहोल्ड लागू करना
• ज़्यादा रिस्क वाले नतीजों के लिए इंसानों को ज़िम्मेदार रखना
• लगातार परफ़ॉर्मेंस की मॉनिटरिंग करना और समय के साथ प्रोसेस को रीट्रेन करना

यह लेयर्ड मॉडल एंटरप्राइज़ रिस्क मैनेजमेंट के साथ अच्छी तरह से अलाइन होता है। यह हैलुसिनेशन को अलग-अलग मॉडल डिफेक्ट के तौर पर नहीं, बल्कि AI लाइफ़साइकल में कंट्रोल किए जा सकने वाले फ़ेलियर मोड के तौर पर देखता है।

निष्कर्ष

AI हैलुसिनेशन को कम किया जा सकता है, लेकिन सिर्फ़ एक टेक्निकल फ़िक्स से नहीं। सबसे असरदार स्ट्रैटेजी में बेहतर डेटा क्वालिटी, भरोसेमंद सोर्स पर मज़बूत पकड़ और आउटपुट पर काम करने से पहले मज़बूत वैलिडेशन शामिल है। बिज़नेस लीडर्स के लिए, इसका मतलब साफ़ है: भरोसेमंद AI मॉडल हाइप पर कम और डिसिप्लिन्ड इन्फॉर्मेशन मैनेजमेंट और गवर्नेंस पर ज़्यादा निर्भर करता है।

जो ऑर्गनाइज़ेशन इन कंट्रोल में इन्वेस्ट करते हैं, वे कस्टमर सर्विस, सिक्योरिटी ऑपरेशन, नॉलेज मैनेजमेंट, कम्प्लायंस और डिसीजन सपोर्ट में AI का सुरक्षित रूप से इस्तेमाल करने के लिए बेहतर स्थिति में होंगे। जो ऐसा नहीं करते हैं, उन्हें कॉन्फिडेंट लेकिन अविश्वसनीय आउटपुट के उसी पैटर्न का सामना करना पड़ता रहेगा। एंटरप्राइज़ AI में, क्रेडिबिलिटी अच्छी भाषा से नहीं बनती। यह सबूत, कंट्रोल और अकाउंटेबिलिटी से मिलती है।

जवाबों को इवैल्यूएट करें, सिर्फ़ डॉक्यूमेंट रिट्रीवल को ही नहीं।

ग्राउंडिंग एक मॉडल सोर्स मटीरियल दे सकती है, बिना यह पक्का किए कि हर क्लेम उसी से फॉलो होता है। इसलिए, एक इवैल्यूएशन सेट में असली सवाल, ऐसे केस जिनका जवाब नहीं दिया जा सकता, पुराने डॉक्यूमेंट और गुमराह करने वाले साइटेशन शामिल होने चाहिए। NIST डॉक्यूमेंटेड, रिपीटेबल इवैल्यूएशन की मांग करता है।

• सही डॉक्यूमेंट का स्कोर रिट्रीवल, जवाब कितना भरोसेमंद है और साइटेशन कितना रेलेवेंस है, इसे अलग-अलग करें।
• जब कॉर्पस किसी नतीजे को सपोर्ट नहीं कर सकता, तो एब्सटेंस को टेस्ट करें।
• मॉडल, इंडेक्स या सोर्स बदलने के बाद केस दोबारा चलाएं और रिग्रेशन को ट्रैक करें।

प्राथमिक स्रोत: NIST AI RMF — Core. संबंधित विधि: व्यावहारिक मार्गदर्शिका पढ़ें.