资源 · 03
AI 代理治理：生产就绪指南
在将业务流程委托给代理之前，需对代理的权限、数据、测试、监督和关闭进行框架性审查。
已更新 · 2 min
本指南有助于实现的目标
- 将代理的权限限制在其所需范围内。
- 在生产环境部署之前测试代价高昂的故障。
- 保留有用的跟踪信息，避免过度收集。
- 保持有效的人工问责制。
快速检查
- 代理是否会触发不可逆的操作？
- 提交的数据是否已获得授权？
- 阈值是否需要人工审批？
- 工具是否具有最低权限？
- 系统能否快速停止并回滚？
分步指南
- 1
描述实际系统
记录系统用途、用户、输入、模型、工具、输出、依赖关系和受影响人员。
交付成果：版本化的系统卡。
- 2
对操作和数据进行分类
区分阅读、推荐、起草和执行操作。 识别禁止数据、敏感数据、个人数据和保留数据。
交付成果：数据×操作矩阵。
- 3
减少权限
使用专用帐户、工具白名单、隔离环境，并在执行高影响操作前获得批准。
交付成果：授权策略。
- 4
构建评估
测试正常情况、歧义、注入、缺失数据、超出范围的请求和不可逆错误。 在试点之前设置阈值。
交付成果：测试集和结果。
- 5
监控生产环境
记录系统版本、必要上下文、工具调用、审批和结果，同时最大限度地减少数据保留。
交付成果：监控仪表盘和警报。
- 6
做好故障应对准备
定义停机、手动接管、通知、事件分析和恢复服务标准。
交付成果：AI 事件运行手册。
虚构示例
示例情境
代理程序可以读取客户请求并起草回复，但未经批准不得发送消息或更改帐户。 测试包含一个尝试重定向其指令的源文档。
决策及预期证据
注册表定义了允许使用的工具、可见数据、升级阈值、必要的日志以及人工接管的时机。
管理指标
| 指标 | 衡量内容 | 首要行动 |
|---|---|---|
| 有效成功率 | 任务根据业务标准正确执行，而不仅仅是看似合理的答案 | 按案例类型审查失败案例 |
| 人工升级 | 案例正确移交给人工处理 | 当代理过于自信时调整阈值 |
| 已取消的操作 | 操作在影响发生前被阻止或恢复 | 查找过多的权限和未经测试的场景 |
| 漂移 | 不同版本、数据或人群的性能差异 | 每次更改时都与稳定数据集进行比较 |
常见错误
- 仅衡量写作质量
- 赋予代理最终用户的完整权限
- 默认保留所有对话
- 更改模型或提示而无需重新运行评估
常见问题解答
AI 代理与聊天机器人有何不同？
代理程序可以计划或串联操作，并可能调用工具。 这种权限需要更严格的权限控制、审批、跟踪和关闭控制。
是否始终需要人工审批？
当操作不可逆、敏感、受监管、涉及财务或事后难以检测时，这一点尤为重要。 权限级别应与风险相匹配。
应该记录哪些内容？
系统版本、绝对必要的上下文信息、工具调用、审批、结果和错误，并设定合理的保留期限。
官方参考文献
参考文献支持该方法。 请根据您的实际情况调整检查；它们并非认证。 原始参考文献标题和源文档可能使用其他语言。
