참고 자료 · 03
AI 에이전트 거버넌스: 프로덕션 준비 가이드
에이전트가 비즈니스 프로세스를 담당하기 전에 권한, 데이터, 테스트, 감독 및 종료 절차를 수립합니다.
업데이트됨 · 3 min
이 가이드가 달성하는 목표
- 에이전트의 기능을 필요한 범위로 제한합니다.
- 프로덕션 환경 구축 전에 비용이 많이 드는 오류를 테스트합니다.
- 과도한 데이터 수집 없이 유용한 추적 정보를 유지합니다.
- 효과적인 사람 책임성을 유지합니다.
빠른 확인
- 에이전트가 되돌릴 수 없는 작업을 트리거할 수 있습니까?
- 제출된 데이터에 대한 권한이 있습니까?
- 임계값에 사람 승인이 필요합니까?
- 도구에 최소 권한이 설정되어 있습니까?
- 시스템이 신속하게 중지되고 롤백될 수 있습니까?
단계별 방법
- 1
실제 시스템을 설명하십시오.
목적, 사용자, 입력, 모델, 도구, 출력, 종속성 및 영향을 받는 사람들을 문서화하십시오.
결과물: 버전 관리 시스템 카드.
- 2
작업 및 데이터를 분류하십시오.
읽기, 권장, 초안 작성 및 실행을 분리하십시오. 금지된 데이터, 민감한 데이터, 개인 정보 및 보존 데이터를 식별하십시오.
결과물: 데이터 × 작업 매트릭스.
- 3
권한을 축소하십시오.
전용 계정, 도구 허용 목록, 격리된 환경을 사용하고 영향력이 큰 작업을 수행하기 전에 승인을 받으십시오.
결과물: 권한 정책.
- 4
평가를 구축하십시오.
정상 사례, 모호성, 주입, 누락된 데이터, 범위 외 요청 및 복구 불가능한 오류를 테스트하십시오. 파일럿 프로젝트 전에 임계값을 설정하십시오.
결과물: 테스트 세트 및 결과.
- 5
운영 모니터링
시스템 버전, 필요한 컨텍스트, 도구 호출, 승인 및 결과를 기록하고, 보존되는 데이터는 최소화합니다.
결과물: 모니터링 대시보드 및 알림
- 6
장애 대비
종료, 수동 인계, 알림, 장애 분석 및 서비스 복구 기준 정의
결과물: AI 기반 장애 대응 매뉴얼
가상 예시
예시 상황
상담원은 고객 요청을 읽고 답장을 작성할 수 있지만, 승인 없이는 메시지를 보내거나 계정을 변경할 수 없습니다. 테스트에는 상담원의 지시를 변경하려는 소스 문서가 포함됩니다.
결정 및 예상 증거
등록부에는 허용된 도구, 표시되는 데이터, 에스컬레이션 임계값, 필요한 로그 및 사람이 개입하는 시점이 정의되어 있습니다.
관리 지표
| 지표 | 측정 대상 | 첫 번째 조치 |
|---|---|---|
| 유용한 성공률 | 비즈니스 기준에 부합하는 정확한 작업 수행 (단순히 그럴듯한 답변이 아닌) | 사례 유형별 실패 검토 |
| 담당자 에스컬레이션 | 담당자에게 올바르게 인계된 사례 | 상담원이 과도하게 자신감을 보일 때 임계값 조정 |
| 취소된 작업 | 영향 발생 전 차단 또는 복구된 작업 | 과도한 권한 및 테스트되지 않은 시나리오 파악 |
| 드리프트 | 버전, 데이터 또는 모집단별 성능 차이 | 모든 변경 시 안정적인 데이터 세트와 비교 |
일반적인 실수
- 작성 품질만 측정
- 상담원에게 최종 사용자의 모든 권한 부여
- 기본적으로 모든 대화 보존
- 평가를 다시 실행하지 않고 모델 또는 프롬프트 변경
자주 묻는 질문
AI 상담원은 챗봇과 어떻게 다른가?
상담원은 일련의 작업을 계획하거나 연결하고 도구를 호출할 수 있습니다. 이러한 권한에는 더욱 엄격한 권한, 승인, 추적 및 종료 제어가 필요합니다.
항상 사람의 승인이 필요한가요?
작업이 되돌릴 수 없거나, 민감하거나, 규제 대상이거나, 재정적이거나, 사후에 감지하기 어려운 경우 승인 수준이 가장 중요합니다. 위험 수준에 따라 승인 수준을 결정해야 합니다.
무엇을 기록해야 하나요?
시스템 버전, 필수적인 컨텍스트, 도구 호출, 승인, 결과 및 오류를 기록하고, 적절한 보존 기간을 설정해야 합니다.
공식 참조
참조는 방법을 뒷받침합니다. 상황에 맞게 검사를 조정하십시오. 이는 인증이 아닙니다. 원본 참조 제목 및 소스 문서는 다른 언어로 작성되었을 수 있습니다.
