रिसोर्स · 44
प्रॉम्प्ट इंजेक्शन: AI एजेंट की ट्रस्ट बाउंड्री को टेस्ट करें
चेक करें कि कोई डॉक्यूमेंट, सर्च रिजल्ट या मैसेज यूज़र की तरफ से किसी एक्शन को ऑथराइज़ नहीं कर सकता है।
अपडेटेड · 7 min
यह गाइड क्या पाने में मदद करती है
- इंस्ट्रक्शन से डेटा अलग करें
- टास्क के लिए उपलब्ध एक्शन को लिमिट करें
- रिस्पॉन्स के पीछे असली इफ़ेक्ट को टेस्ट करें
- लिमिटेशन और रिग्रेशन को डॉक्यूमेंट करें
जल्दी से चेक करें
- एजेंट कौन सा एक्सटर्नल कंटेंट पढ़ता है?
- यह बिना अप्रूवल के कौन से एक्शन ट्रिगर कर सकता है?
- क्या मॉडल के बाहर ऑथराइज़ेशन लागू किया जाता है?
- क्या बोलने से मना करने पर असल में टूल कॉल रुक जाता है?
- अलग-अलग सिनेरियो को कैसे रोका जा सकता है?
स्टेप-बाय-स्टेप तरीका
- 1
सीमाओं की लिस्ट बनाएं
मैसेज, वेब पेज, डॉक्यूमेंट, सर्च रिजल्ट, अटैचमेंट और टूल आउटपुट की लिस्ट बनाएं। उन्हें बिना परमिशन के समझने के लिए डेटा की तरह समझें। टेक्स्ट या मल्टीमॉडल कंटेंट वाले चैनल शामिल करें।
डिलीवरेबल: इनपुट और उपलब्ध एक्शन का मैप।
- 2
मना किए गए असर बताएं
नुकसान बताएं जिनसे बचा जा सके: आउट-ऑफ-स्कोप एक्सेस, बिना मंज़ूरी वाला पब्लिकेशन, डेटा ट्रांसफर या अकाउंट में बदलाव। हर सिनेरियो के लिए एक देखने लायक नतीजा सेट करें; सिर्फ़ जवाब के टेक्स्ट को देखकर पहले से किया गया एक्शन छूट सकता है।
डिलीवरेबल: खतरे के सिनेरियो और इनवेरिएंट।
- 3
टेस्ट एनवायरनमेंट को अलग करें
टेस्ट मार्कर और सिम्युलेटेड टूल के साथ साफ़ तौर पर लेबल किए गए नकली अकाउंट, डॉक्यूमेंट और डेस्टिनेशन का इस्तेमाल करें। असली भेजने और प्रोडक्शन एक्सेस को डिसेबल करें। केस को दोबारा चलाने के लिए मॉडल, कॉन्फ़िगरेशन, कॉर्पस और कनेक्टर वर्शन बनाए रखें।
डिलीवरेबल: वर्शन वाला एनवायरनमेंट और टेस्ट सेट।
- 4
एडवर्सरियल इनपुट्स को रिप्ले करें
टेस्ट सोर्स में ऐसा इंस्ट्रक्शन डालें जो टास्क के उलट हो, आउट-ऑफ-स्कोप एक्शन का रिक्वेस्ट करे या गलत अथॉरिटी दे। भाषा, प्लेसमेंट, फॉर्मेट और सोर्स कॉम्बिनेशन में बदलाव करें। टूल इनवोकेशन, आर्गुमेंट्स और असल असर को मापें।
डिलीवरेबल: सफल, ब्लॉक किए गए और अनसुलझे केस के ट्रेस।
- 5
बाहरी कंट्रोल्स को मजबूत करें
टूल्स में मिनिमम परमिशन, आर्गुमेंट वैलिडेशन, रीड/राइट सेपरेशन और अलाउड डेस्टिनेशन्स को लागू करें। सेंसिटिव ऑपरेशन्स के लिए कॉन्टेक्स्टुअल अप्रूवल की ज़रूरत है। RAG और सिर्फ एक रिफ्यूजल इंस्ट्रक्शन इंजेक्शन रिस्क को खत्म नहीं करते हैं।
डिलीवरेबल: एग्जीक्यूटेबल रूल्स और बाईपास टेस्ट्स।
- 6
बदलावों को ट्रैक करें
मॉडल, कॉर्पस, टूल्स या रूल्स में बदलाव के बाद केस को रिप्ले करें। उन लेजिटिमेट टास्क को भी ट्रैक करें जो ब्लॉक हो जाते हैं। टेस्ट किए गए स्कोप और जानी-पहचानी लिमिटेशन्स को पब्लिश करें; एक छोटे टेस्ट सेट पर सफलता यह साबित नहीं करती कि वल्नरेबिलिटीज़ नहीं हैं।
डिलीवरेबल: रिग्रेशन रिपोर्ट और डिप्लॉयमेंट का फैसला।
काल्पनिक काम का उदाहरण
उदाहरण वाली स्थिति
उदाहरण के लिए: एक असिस्टेंट एक टेस्ट डॉक्यूमेंट को समराइज़ करता है जो किसी बाहरी डेस्टिनेशन को जानकारी भेजने का रिक्वेस्ट करता है।
फैसला और उम्मीद का सबूत
टूल जेनरेटेड टेक्स्ट से इंडिपेंडेंटली उस डेस्टिनेशन को रिजेक्ट कर देता है। टेस्ट चेक करता है कि कुछ भी नहीं भेजा गया था और लेजीटिमेट समरी अभी भी काम करती है।
मैकेनिज़्म में अंतर बताएं
| मैकेनिज़्म | मकसद | वेरिफ़िकेशन या लिमिटेशन |
|---|---|---|
| इनपुट फ़िल्टर | कुछ संदिग्ध पैटर्न का पता लगाएं | नए शब्द छूट सकते हैं |
| मॉडल इंस्ट्रक्शन | उम्मीद की गई बाउंड्री बताएं | एक्सेस कंट्रोल नहीं है |
| टूल एनफोर्समेंट | बिना इजाज़त के ऑपरेशन को रिजेक्ट करें | पहचान, ऑब्जेक्ट और आर्गुमेंट ज़रूर चेक करें |
मैनेजमेंट इंडिकेटर
| इंडिकेटर | यह क्या मापता है | पहला एक्शन |
|---|---|---|
| मना किए गए एक्शन | आउट-ऑफ़-स्कोप इफ़ेक्ट पैदा करने वाले केस | हर इफ़ेक्ट को ब्लॉक करें और उसकी जांच करें |
| गलत इनकार | सही काम रोके गए | परमिशन बढ़ाए बिना रिवाइज़ करें |
| कवरेज | असल में टेस्ट किए गए चैनल और टूल | ब्लाइंड स्पॉट बताएं |
आम गलतियाँ
- टेस्ट प्रॉम्प्ट में सीक्रेट डालना
- सिर्फ़ दिखने वाले जवाबों की टेस्टिंग करना
- यह मानना कि अंदरूनी डॉक्यूमेंट हमेशा भरोसेमंद होते हैं
- कुछ समय बाद पूरी सुरक्षा का दावा करना टेस्ट
अक्सर पूछे जाने वाले सवाल
क्या RAG इंजेक्शन को रोकता है?
नहीं। रिट्रीव किए गए डॉक्यूमेंट में खुद ही एडवर्सरियल इंस्ट्रक्शन हो सकते हैं। सोर्स कंट्रोल्ड बाउंड्री के अंदर प्रोसेस करने के लिए डेटा बने रहते हैं।
क्या हर सस्पिशियस डॉक्यूमेंट को ब्लॉक कर देना चाहिए?
यह टास्क पर निर्भर करता है; एक एजेंट अक्सर किसी डॉक्यूमेंट को उसके इंस्ट्रक्शन को फॉलो किए बिना या राइट टूल्स के बिना एनालाइज़ कर सकता है।
रिजल्ट कैसे पब्लिश किए जाने चाहिए?
वर्शन, स्कोप, टेस्ट किए गए इफेक्ट्स, लिमिटेशन और फिक्स बताएं। काम में इस्तेमाल किए गए सीक्रेट और क्लाइंट डॉक्यूमेंट को बाहर रखें।
ऑफ़िशियल रेफ़रेंस
रेफ़रेंस इस तरीके को सपोर्ट करते हैं। अपने कॉन्टेक्स्ट के हिसाब से चेक को एडजस्ट करें; वे सर्टिफ़िकेशन नहीं हैं। ओरिजिनल रेफ़रेंस टाइटल और सोर्स डॉक्यूमेंट दूसरी भाषा में हो सकते हैं।
