रिसोर्स · 03
AI एजेंट गवर्नेंस: एक प्रोडक्शन रेडीनेस गाइड
किसी एजेंट को बिज़नेस प्रोसेस के लिए ट्रस्ट करने से पहले परमिशन, डेटा, टेस्ट, ओवरसाइट और शटडाउन को फ्रेम करें।
अपडेटेड · 10 min
यह गाइड क्या पाने में मदद करती है
- एजेंट को उसकी ज़रूरत तक ही लिमिट करें।
- प्रोडक्शन से पहले महंगे फेलियर को टेस्ट करें।
- ज़्यादा कलेक्ट किए बिना काम के ट्रेस रखें।
- असरदार ह्यूमन अकाउंटेबिलिटी बनाए रखें।
जल्दी से चेक करें
- क्या एजेंट कोई ऐसा एक्शन ट्रिगर कर सकता है जिसे बदला न जा सके?
- क्या सबमिट किया गया डेटा ऑथराइज्ड है?
- क्या किसी थ्रेशहोल्ड के लिए ह्यूमन अप्रूवल की ज़रूरत है?
- क्या टूल्स के लिए मिनिमम परमिशन हैं?
- क्या सिस्टम जल्दी से रुक सकता है और वापस आ सकता है?
स्टेप-बाय-स्टेप तरीका
- 1
असली सिस्टम के बारे में बताएं
मकसद, यूज़र, इनपुट, मॉडल, टूल, आउटपुट, डिपेंडेंसी और प्रभावित लोगों को डॉक्यूमेंट करें।
डिलीवरेबल: वर्शन वाला सिस्टम कार्ड।
- 2
एक्शन और डेटा को क्लासिफ़ाई करें
पढ़ने, रिकमेंड करने, ड्राफ़्ट बनाने और चलाने को अलग करें। मना किया हुआ, सेंसिटिव, पर्सनल और रखा हुआ डेटा पहचानें।
डिलीवरेबल: डेटा × एक्शन मैट्रिक्स।
- 3
परमिशन कम करें
ज़्यादा असर वाले एक्शन से पहले डेडिकेटेड अकाउंट, टूल अलाऊलिस्ट, आइसोलेटेड एनवायरनमेंट और अप्रूवल का इस्तेमाल करें।
डिलीवरेबल: ऑथराइज़ेशन पॉलिसी।
- 4
बिल्ड इवैल्यूएशन
नॉर्मल केस, एम्बिगुइटी, इंजेक्शन, मिसिंग डेटा, आउट-ऑफ़-स्कोप रिक्वेस्ट और इर्रिवर्सिबल एरर टेस्ट करें। पायलट से पहले थ्रेशहोल्ड सेट करें।
डिलीवरेबल: टेस्ट सेट और रिज़ल्ट।
- 5
प्रोडक्शन मॉनिटर करें
सिस्टम वर्शन, ज़रूरी कॉन्टेक्स्ट, टूल कॉल, अप्रूवल और आउटकम लॉग करें, साथ ही कम से कम डेटा स्टोर करें।
डिलीवरेबल: मॉनिटरिंग डैशबोर्ड और अलर्ट।
- 6
फेलियर के लिए तैयारी करें
शटडाउन, मैनुअल टेकओवर, नोटिफिकेशन, इंसिडेंट एनालिसिस और रिटर्न-टू-सर्विस क्राइटेरिया तय करें।
डिलीवरेबल: AI इंसिडेंट रनबुक।
प्रस्ताव से कार्रवाई तक: अनुमतियाँ कहाँ जाँची जाएँ?
एजेंट अनुरोध तैयार कर सकता है, भले ही उसे चलाने की अनुमति न हो। निष्पादन सेवा को वास्तविक पहचान, संसाधन और पैरामीटर जाँचने चाहिए; मॉडल का अनुमोदन का दावा प्रमाण नहीं है।
काल्पनिक अभ्यास: आंतरिक नीति ग्राहक को जवाब भेजने से पहले अनुमोदन माँगती है। मामले इसी नीति को समझाते हैं; वे आपके सिस्टम की जाँच या प्रमाणन नहीं करते।
- प्राप्त डेटा
दस्तावेज़ संदर्भ देता है, नई अनुमतियाँ नहीं।
- प्रस्तावित कार्रवाई
एजेंट समीक्षा के लिए टूल, लक्ष्य और पैरामीटर तैयार करता है।
- स्वतंत्र जाँच
निष्पादन सेवा अनुमतियाँ और इसी कार्रवाई से जुड़ा अनुमोदन जाँचती है।
- देखा गया परिणाम
रिकॉर्ड अनूठे अनुरोध को वास्तविक परिणाम से जोड़ता है, विफलता सहित।
अभ्यास के चार मामले
प्राप्तकर्ता बदल गया
स्वीकृत पूर्वावलोकन में आंतरिक पता था; अंतिम कॉल में बाहरी पता है।
अपेक्षित निर्णय
भेजना रोकें और नए गंतव्य की समीक्षा कराएँ।
खोजने योग्य प्रमाण
पूर्वावलोकन और अंतिम कॉल के प्राप्तकर्ता, सामग्री और संलग्नक मिलाएँ।
गलत ग्राहक का क्षेत्र
खाता केस A पढ़ सकता है; एजेंट केस B की फ़ाइल माँगता है।
अपेक्षित निर्णय
मॉडल के आवश्यक बताने पर भी B का एक्सेस रोकें।
खोजने योग्य प्रमाण
उपयोगकर्ता की पहचान से उसी संसाधन की अनुमति जाँचें।
अनुमोदन की अवधि समाप्त
कार्रवाई पूर्वावलोकन से मेल खाती है, पर अनुमोदन निष्पादन से पहले समाप्त हो गया।
अपेक्षित निर्णय
नया अनुमोदन लें और वर्तमान अनुमतियाँ दोबारा जाँचें।
खोजने योग्य प्रमाण
समाप्ति समय, अनुमोदक की पहचान और स्वीकृत पैरामीटर रखें।
अनुरोध का समय समाप्त
भेजने का उत्तर नहीं मिला; पूरा होने की स्थिति अज्ञात है।
अपेक्षित निर्णय
फिर कोशिश करने से पहले ऑपरेशन की स्थिति जाँचें।
खोजने योग्य प्रमाण
आइडेम्पोटेंसी कुंजी को उसी सामग्री से जोड़ें और सेवा की रसीद मिलाएँ।
संदर्भ : OWASP · LLM06:2025 Excessive Agency · OWASP · AI Agent Security Cheat Sheet
काल्पनिक काम का उदाहरण
उदाहरण वाली स्थिति
एक एजेंट कस्टमर रिक्वेस्ट पढ़ सकता है और जवाब का ड्राफ़्ट बना सकता है, लेकिन बिना अप्रूवल के मैसेज नहीं भेज सकता या अकाउंट नहीं बदल सकता। टेस्टिंग में एक सोर्स डॉक्यूमेंट शामिल होता है जो अपने इंस्ट्रक्शन को रीडायरेक्ट करने की कोशिश करता है।
फैसला और उम्मीद का सबूत
रजिस्टर में परमिशन वाले टूल्स, दिखने वाला डेटा, एस्केलेशन थ्रेशहोल्ड, ज़रूरी लॉग और वह पॉइंट बताया जाता है जहाँ कोई इंसान काम संभालता है।
मैनेजमेंट इंडिकेटर
| इंडिकेटर | यह क्या मापता है | पहला एक्शन |
|---|---|---|
| काम का सक्सेस रेट | बिज़नेस क्राइटेरिया के हिसाब से सही टास्क, सिर्फ़ सही जवाब नहीं | केस फ़ैमिली के हिसाब से फेलियर का रिव्यू करें |
| ह्यूमन एस्केलेशन | किसी व्यक्ति को सही तरीके से दिए गए केस | जब एजेंट ओवरकॉन्फिडेंट हो तो थ्रेशहोल्ड को ट्यून करें |
| कैंसल किए गए एक्शन | असर से पहले ब्लॉक या रिकवर किए गए एक्शन | ज़्यादा परमिशन और बिना टेस्ट किए सिनेरियो ढूंढें |
| ड्रिफ्ट | वर्शन, डेटा या पॉपुलेशन के हिसाब से परफ़ॉर्मेंस में अंतर | हर बदलाव पर एक स्टेबल सेट से तुलना करें |
आम गलतियाँ
- सिर्फ़ लिखने की क्वालिटी मापें
- एजेंट को एंड यूज़र के पूरे अधिकार दें
- हर बातचीत को डिफ़ॉल्ट रूप से बनाए रखें
- इवैल्यूएशन दोबारा चलाए बिना मॉडल या प्रॉम्प्ट बदलना
अक्सर पूछे जाने वाले सवाल
AI एजेंट चैटबॉट से कैसे अलग है?
एक एजेंट एक्शन प्लान करता है या उन्हें चेन करता है और टूल्स को कॉल कर सकता है। उस पावर के लिए ज़्यादा सख़्त परमिशन, अप्रूवल, ट्रेस और शटडाउन कंट्रोल की ज़रूरत होती है।
क्या इंसानी अप्रूवल हमेशा ज़रूरी होता है?
यह सबसे ज़्यादा तब मायने रखता है जब कोई एक्शन इर्रिवर्सिबल, सेंसिटिव, रेगुलेटेड, फाइनेंशियल या बाद में पता लगाना मुश्किल हो। लेवल रिस्क के हिसाब से होना चाहिए।
क्या लॉग किया जाना चाहिए?
सिस्टम वर्शन, बहुत ज़रूरी कॉन्टेक्स्ट, टूल कॉल, अप्रूवल, आउटकम और एरर, एक सही रिटेंशन पीरियड के साथ।
संदर्भ: डेटा, उपयोग और सीमाएँ
दस्तावेज़ जाँच की तारीख .
इस संस्करण में विस्तृत संदर्भ टिप्पणियाँ अंग्रेज़ी में उपलब्ध हैं।
| स्रोत और उद्देश्य | सत्यापित डेटा या मानक | उपयोग कैसे करें | ध्यान में रखने योग्य सीमा |
|---|---|---|---|
| MITRE ATLAS Examine documented tactics, techniques and cases involving AI systems. |
The official repository publishes ATLAS tactics, techniques and case-study data. They support analysis of the actual deployed system. | Select scenarios matching your application’s data, interfaces and tools. Test permissions and consequences, not only model responses. | A technique catalogue is neither an exhaustive coverage guarantee nor a test result for your system. |
| NIST · AI Risk Management Framework Organise management of AI-related risks. |
The AI RMF Core is organised around Govern, Map, Measure and Manage. It is a voluntary risk-management framework. | Define intended use, affected people and error consequences. Connect each risk to an evaluation, owner and stop or recovery mechanism. | The framework certifies neither a model nor an application. Using it does not remove the need to examine applicable requirements. |
| OWASP · LLM Top 10 Prepare tests for language-model application risks. |
The 2025 edition includes Prompt Injection, Sensitive Information Disclosure and Excessive Agency. | Turn a risk into an observable scenario: hostile document, restricted data or out-of-scope tool. Record expected behaviour and evidence of refusal. | A risk list is not a complete assessment. Input filtering alone does not establish authorisation for every action. |
RAG: पहुँच अधिकार, उद्धरण और कैश
इस संस्करण में विस्तृत संदर्भ टिप्पणियाँ अंग्रेज़ी में उपलब्ध हैं।
Describe the authority of every agent tool
A tool’s authority depends on identity, objects and permitted operations. A document source, including an internal one, cannot expand that scope. The agent should accomplish the legitimate task with limited rights.
- Build an identity, object and operation matrix.
- Verify connector denials and absence of effects.
- Replay positive controls after each restriction.
Explore the RAG access matrix and replay cases →
References consulted on · OWASP · LLM06:2025 Excessive Agency OWASP · API1:2023 Broken Object Level Authorization NIST AI 100-2 E2025 · Adversarial Machine Learning
OAuth/OIDC: लक्ष्य और अधिकार
इस संस्करण में विस्तृत संदर्भ टिप्पणियाँ अंग्रेज़ी में उपलब्ध हैं।
An AI agent retains each tool’s authorisation boundaries
A model instruction does not create a grant. For every tool, identify the calling client, resource server, audience and object policy.
- Restrict permissions to the operation and recipient needed for the use case.
- Do not forward one tool’s token to another API merely for convenience.
- Test that an agent cannot read another tenant’s objects despite having a read scope.
See token recipients and the ten OAuth/OIDC cases →
Sources reviewed on · IETF · RFC 9700 · OAuth 2.0 Security BCP · IETF · RFC 9068 · JWT access token profile · OpenID Foundation · OpenID Connect Core 1.0 · IETF · RFC 8725 · JWT Best Current Practices · IETF · RFC 6749 · OAuth 2.0 framework
SSRF: URL और कनेक्शन
इस संस्करण में विस्तृत संदर्भ टिप्पणियाँ अंग्रेज़ी में उपलब्ध हैं।
An AI agent tool keeps bounded network access
Text produced by a model, retrieved document or search result must not expand an allowed tool destination. Defining the connector by operation and service makes the agent’s actual network reach controllable.
- Reconstruct requests from business identifiers when the service is known.
- Enforce resolution, connection, proxy and each redirect at the egress component.
- Keep a traceable decision and response limits, including after retry or fallback.
Read the 12 cases and connection controls →
Sources reviewed on · OWASP · SSRF Prevention Cheat Sheet · WHATWG · URL Living Standard · AWS EC2 · Instance metadata options · IETF · RFC 3849
ऑफ़िशियल रेफ़रेंस
रेफ़रेंस इस तरीके को सपोर्ट करते हैं। अपने कॉन्टेक्स्ट के हिसाब से चेक को एडजस्ट करें; वे सर्टिफ़िकेशन नहीं हैं। ओरिजिनल रेफ़रेंस टाइटल और सोर्स डॉक्यूमेंट दूसरी भाषा में हो सकते हैं।
संदर्भ जाँच की तारीख .
- NIST — AI Risk Management Framework
- NIST — Generative AI Profile
- OWASP · LLM06:2025 Excessive Agency
- OWASP · AI Agent Security Cheat Sheet
- MITRE ATLAS
- OWASP · LLM Top 10
- OWASP · API1:2023 Broken Object Level Authorization
- NIST AI 100-2 E2025 · Adversarial Machine Learning
- IETF · RFC 9700 · OAuth 2.0 Security BCP
- IETF · RFC 9068 · JWT access token profile
- OpenID Foundation · OpenID Connect Core 1.0
- IETF · RFC 8725 · JWT Best Current Practices
- IETF · RFC 6749 · OAuth 2.0 framework
- OWASP · SSRF Prevention Cheat Sheet
- WHATWG · URL Living Standard
- AWS EC2 · Instance metadata options
- IETF · RFC 3849
