참고 자료 · 03
AI 에이전트 거버넌스: 프로덕션 준비 가이드
에이전트가 비즈니스 프로세스를 담당하기 전에 권한, 데이터, 테스트, 감독 및 종료 절차를 수립합니다.
업데이트됨 · 6 min
이 가이드가 달성하는 목표
- 에이전트의 기능을 필요한 범위로 제한합니다.
- 프로덕션 환경 구축 전에 비용이 많이 드는 오류를 테스트합니다.
- 과도한 데이터 수집 없이 유용한 추적 정보를 유지합니다.
- 효과적인 사람 책임성을 유지합니다.
빠른 확인
- 에이전트가 되돌릴 수 없는 작업을 트리거할 수 있습니까?
- 제출된 데이터에 대한 권한이 있습니까?
- 임계값에 사람 승인이 필요합니까?
- 도구에 최소 권한이 설정되어 있습니까?
- 시스템이 신속하게 중지되고 롤백될 수 있습니까?
단계별 방법
- 1
실제 시스템을 설명하십시오.
목적, 사용자, 입력, 모델, 도구, 출력, 종속성 및 영향을 받는 사람들을 문서화하십시오.
결과물: 버전 관리 시스템 카드.
- 2
작업 및 데이터를 분류하십시오.
읽기, 권장, 초안 작성 및 실행을 분리하십시오. 금지된 데이터, 민감한 데이터, 개인 정보 및 보존 데이터를 식별하십시오.
결과물: 데이터 × 작업 매트릭스.
- 3
권한을 축소하십시오.
전용 계정, 도구 허용 목록, 격리된 환경을 사용하고 영향력이 큰 작업을 수행하기 전에 승인을 받으십시오.
결과물: 권한 정책.
- 4
평가를 구축하십시오.
정상 사례, 모호성, 주입, 누락된 데이터, 범위 외 요청 및 복구 불가능한 오류를 테스트하십시오. 파일럿 프로젝트 전에 임계값을 설정하십시오.
결과물: 테스트 세트 및 결과.
- 5
운영 모니터링
시스템 버전, 필요한 컨텍스트, 도구 호출, 승인 및 결과를 기록하고, 보존되는 데이터는 최소화합니다.
결과물: 모니터링 대시보드 및 알림
- 6
장애 대비
종료, 수동 인계, 알림, 장애 분석 및 서비스 복구 기준 정의
결과물: AI 기반 장애 대응 매뉴얼
제안에서 실행까지: 권한은 어디서 확인할까?
에이전트는 실행 권한 없이도 요청을 준비할 수 있습니다. 실행 서비스는 실제 사용자, 리소스, 매개변수를 확인해야 하며 모델의 승인 주장은 증거가 아닙니다.
가상의 연습입니다. 여기서는 내부 정책이 고객 답변 전송에 승인을 요구합니다. 사례는 이 정책을 설명하며 실제 시스템을 검사하거나 인증하지 않습니다.
- 수신 데이터
문서는 맥락을 제공하며 새 권한을 부여하지 않습니다.
- 제안된 작업
에이전트가 도구, 대상, 매개변수를 검토용으로 준비합니다.
- 독립적인 확인
실행 서비스가 권한과 해당 작업에 연결된 승인을 확인합니다.
- 관찰된 결과
기록이 고유한 요청과 실제 결과를 연결하며 실패도 포함합니다.
연습할 네 가지 사례
수신자가 바뀜
승인된 미리보기는 내부 주소였지만 최종 호출은 외부 주소를 사용합니다.
예상 결정
전송을 보류하고 새 대상을 검토합니다.
확인할 증거
미리보기와 최종 호출의 수신자, 본문, 첨부를 비교합니다.
다른 고객 공간
계정은 사례 A를 읽을 수 있지만 에이전트가 B의 파일을 요청합니다.
예상 결정
모델이 필요하다고 해도 B에 대한 접근을 거부합니다.
확인할 증거
사용자 신원으로 정확한 리소스의 권한을 확인합니다.
승인 만료
작업은 미리보기와 같지만 실행 전에 승인이 만료되었습니다.
예상 결정
새 승인을 받고 현재 권한을 다시 확인합니다.
확인할 증거
만료 시각, 승인자 신원, 승인된 매개변수를 보관합니다.
요청 시간 초과
전송 응답이 없으며 완료 여부를 알 수 없습니다.
예상 결정
재시도 전에 작업 상태를 확인합니다.
확인할 증거
멱등성 키를 같은 내용에 연결하고 서비스 접수 기록과 대조합니다.
참고 자료 : OWASP · LLM06:2025 Excessive Agency · OWASP · AI Agent Security Cheat Sheet
가상 예시
예시 상황
상담원은 고객 요청을 읽고 답장을 작성할 수 있지만, 승인 없이는 메시지를 보내거나 계정을 변경할 수 없습니다. 테스트에는 상담원의 지시를 변경하려는 소스 문서가 포함됩니다.
결정 및 예상 증거
등록부에는 허용된 도구, 표시되는 데이터, 에스컬레이션 임계값, 필요한 로그 및 사람이 개입하는 시점이 정의되어 있습니다.
관리 지표
| 지표 | 측정 대상 | 첫 번째 조치 |
|---|---|---|
| 유용한 성공률 | 비즈니스 기준에 부합하는 정확한 작업 수행 (단순히 그럴듯한 답변이 아닌) | 사례 유형별 실패 검토 |
| 담당자 에스컬레이션 | 담당자에게 올바르게 인계된 사례 | 상담원이 과도하게 자신감을 보일 때 임계값 조정 |
| 취소된 작업 | 영향 발생 전 차단 또는 복구된 작업 | 과도한 권한 및 테스트되지 않은 시나리오 파악 |
| 드리프트 | 버전, 데이터 또는 모집단별 성능 차이 | 모든 변경 시 안정적인 데이터 세트와 비교 |
일반적인 실수
- 작성 품질만 측정
- 상담원에게 최종 사용자의 모든 권한 부여
- 기본적으로 모든 대화 보존
- 평가를 다시 실행하지 않고 모델 또는 프롬프트 변경
자주 묻는 질문
AI 상담원은 챗봇과 어떻게 다른가?
상담원은 일련의 작업을 계획하거나 연결하고 도구를 호출할 수 있습니다. 이러한 권한에는 더욱 엄격한 권한, 승인, 추적 및 종료 제어가 필요합니다.
항상 사람의 승인이 필요한가요?
작업이 되돌릴 수 없거나, 민감하거나, 규제 대상이거나, 재정적이거나, 사후에 감지하기 어려운 경우 승인 수준이 가장 중요합니다. 위험 수준에 따라 승인 수준을 결정해야 합니다.
무엇을 기록해야 하나요?
시스템 버전, 필수적인 컨텍스트, 도구 호출, 승인, 결과 및 오류를 기록하고, 적절한 보존 기간을 설정해야 합니다.
참고 자료: 데이터, 용도와 한계
문서 검토일 .
이 언어판의 상세 참고 설명은 영어로 제공됩니다.
| 출처와 목적 | 확인된 데이터 또는 기준 | 사용 방법 | 유지해야 할 한계 |
|---|---|---|---|
| MITRE ATLAS Examine documented tactics, techniques and cases involving AI systems. |
The official repository publishes ATLAS tactics, techniques and case-study data. They support analysis of the actual deployed system. | Select scenarios matching your application’s data, interfaces and tools. Test permissions and consequences, not only model responses. | A technique catalogue is neither an exhaustive coverage guarantee nor a test result for your system. |
| NIST · AI Risk Management Framework Organise management of AI-related risks. |
The AI RMF Core is organised around Govern, Map, Measure and Manage. It is a voluntary risk-management framework. | Define intended use, affected people and error consequences. Connect each risk to an evaluation, owner and stop or recovery mechanism. | The framework certifies neither a model nor an application. Using it does not remove the need to examine applicable requirements. |
| OWASP · LLM Top 10 Prepare tests for language-model application risks. |
The 2025 edition includes Prompt Injection, Sensitive Information Disclosure and Excessive Agency. | Turn a risk into an observable scenario: hostile document, restricted data or out-of-scope tool. Record expected behaviour and evidence of refusal. | A risk list is not a complete assessment. Input filtering alone does not establish authorisation for every action. |
RAG: 접근 권한, 인용 및 캐시
이 언어판의 상세 참고 설명은 영어로 제공됩니다.
Describe the authority of every agent tool
A tool’s authority depends on identity, objects and permitted operations. A document source, including an internal one, cannot expand that scope. The agent should accomplish the legitimate task with limited rights.
- Build an identity, object and operation matrix.
- Verify connector denials and absence of effects.
- Replay positive controls after each restriction.
Explore the RAG access matrix and replay cases →
References consulted on · OWASP · LLM06:2025 Excessive Agency OWASP · API1:2023 Broken Object Level Authorization NIST AI 100-2 E2025 · Adversarial Machine Learning
OAuth/OIDC: 대상과 권한
이 언어판의 상세 참고 설명은 영어로 제공됩니다.
An AI agent retains each tool’s authorisation boundaries
A model instruction does not create a grant. For every tool, identify the calling client, resource server, audience and object policy.
- Restrict permissions to the operation and recipient needed for the use case.
- Do not forward one tool’s token to another API merely for convenience.
- Test that an agent cannot read another tenant’s objects despite having a read scope.
See token recipients and the ten OAuth/OIDC cases →
Sources reviewed on · IETF · RFC 9700 · OAuth 2.0 Security BCP · IETF · RFC 9068 · JWT access token profile · OpenID Foundation · OpenID Connect Core 1.0 · IETF · RFC 8725 · JWT Best Current Practices · IETF · RFC 6749 · OAuth 2.0 framework
SSRF: URL과 연결
이 언어판의 상세 참고 설명은 영어로 제공됩니다.
An AI agent tool keeps bounded network access
Text produced by a model, retrieved document or search result must not expand an allowed tool destination. Defining the connector by operation and service makes the agent’s actual network reach controllable.
- Reconstruct requests from business identifiers when the service is known.
- Enforce resolution, connection, proxy and each redirect at the egress component.
- Keep a traceable decision and response limits, including after retry or fallback.
Read the 12 cases and connection controls →
Sources reviewed on · OWASP · SSRF Prevention Cheat Sheet · WHATWG · URL Living Standard · AWS EC2 · Instance metadata options · IETF · RFC 3849
공식 참조
참조는 방법을 뒷받침합니다. 상황에 맞게 검사를 조정하십시오. 이는 인증이 아닙니다. 원본 참조 제목 및 소스 문서는 다른 언어로 작성되었을 수 있습니다.
참고 자료 확인일 .
- NIST — AI Risk Management Framework
- NIST — Generative AI Profile
- OWASP · LLM06:2025 Excessive Agency
- OWASP · AI Agent Security Cheat Sheet
- MITRE ATLAS
- OWASP · LLM Top 10
- OWASP · API1:2023 Broken Object Level Authorization
- NIST AI 100-2 E2025 · Adversarial Machine Learning
- IETF · RFC 9700 · OAuth 2.0 Security BCP
- IETF · RFC 9068 · JWT access token profile
- OpenID Foundation · OpenID Connect Core 1.0
- IETF · RFC 8725 · JWT Best Current Practices
- IETF · RFC 6749 · OAuth 2.0 framework
- OWASP · SSRF Prevention Cheat Sheet
- WHATWG · URL Living Standard
- AWS EC2 · Instance metadata options
- IETF · RFC 3849
