03 / 06

网络·人工智能·数字智能

应用人工智能与代理

将业务用例转变为符合您的保密要求的有用、可控的 AI 系统。

申请服务 · Française du Numérique (英文表单)

无人实验室中的私有人工智能计算设施 由人工智能生成的编辑插图

我们从实际工作开始:可用信息、支持决策、重复性任务、可接受的错误和敏感数据。原型设计遵循框架,并有明确的验证和人员责任。

03

作业应该给你什么

  1. 01按价值和可行性排名的用例
  2. 02可测量的原型而不是模糊的演示
  3. 03明确的数据、控制和限制规则

作业如何进行

作业如何进行

适应情况敏感性的简短、明确的流程。

  1. 01

    范围界定

    我们定义支持决策、相关资产、限制、授权来源和所需保密性。

  2. 02

    调查

    收集和分析遵循约定的范围。事实、假设和不确定性领域仍然明显分开。

  3. 03

    优先级

    每个调查结果均根据可靠性、可能的影响以及采取行动所需的努力进行评估。

  4. 04

    交货

    您会收到可读的综合报告、有用的证据和可以付诸实践的路线图。

可能的交付成果

可能的交付成果

  • AI机会图
  • 助理、RAG 或代理原型
  • 测试集和质量协议
  • 使用、隐私和治理框架

常见情况

常见情况

  • 在内部知识库中搜索
  • 请求资格或案例综合
  • 重复性工作的受控自动化

如何验证委托工作的结果?

开始前约定需要哪些证据。标准取决于工作范围;以下示例不是客户成果。

确定范围时约定的证据与判断
检查对象应索取的证据可支持的判断
评估案例类型、标准、严重错误与版本检查平均值隐藏的错误
权限操作、数据、角色与拒绝测试只允许委托范围内的操作

用案例检验判断

96个正确回答,能否启用账号修改?

助手正确回答了大部分请求,但一个错误未经授权修改了账号。

虚构教学案例。数字用于解释思路,不是客户成果,也不是标准规定的门槛。

评估的请求
100
正确回答
96
4个错误中的未授权修改
1
对比不同判断
可能的判断依据或缺失的证据
达到96%就启用全部操作平均值掩盖未授权修改的严重性。
禁止修改,单独评估只读用途先修复授权控制,再重测操作。
阅读判断与下一步检查

96%只描述这组案例,不授予权限。只读试点前,也要检查其余3个错误。

下一步检查

重测已撤销访问、旧来源与无法回答的问题,并确认没有未授权操作。

本案例不能证明什么

100个案例不能覆盖所有未来用途或证明权限得到执行。

参考资料与适用范围

参考资料核查日期:2026年10月17日。

作业之前

做出有用的决定

起点是一项任务、其数量以及错误答案或行动的成本。范围定义了可访问的数据、工具权限以及人员必须批准或接管的时刻。

要收集的信息

  • 成功和失败任务的真实示例
  • 文件、访问权限和保留限制
  • 质量标准和可接受的错误成本

准备决定

  • 是否需要简单的助手、文献检索或代理?
  • 哪些行为需要批准?
  • 哪些测试会阻止发布?
  • 可以恢复之前的配置吗?
  • 测试中如何避免机密文件?

虚构的任务示例

情况
服务希望自动进行请求分类,同时保留对回复和帐户更改的批准。
工作
将人工标记的基线与助手在代表性、模糊性和对抗性案例上进行比较;限制工具和拒绝跟踪。
可交付成果
版本化测试协议、权限矩阵、人工批准阈值和生产停止标准。

在范围界定期间商定的接受标准示例

  • 有用和禁止的任务具有不同的测试用例。
  • 不受信任的来源无法扩大工具权限。
  • 执行关闭标准和人工切换。
相关公共方法

FAQ

常见问题解答

实用的答案可帮助在初次对话之前确定需求。

我们需要先选择AI模型或平台吗?

否。技术选择是根据需求、可用数据、可接受的错误、保密约束和运营成本进行的分析。

如何衡量助理或座席的可靠性?

代表性测试用例衡量准确性、可追溯性、预期拒绝和严重错误。结果定义了人类控制和适当的使用限制。

AI助手发生变化后需要重测什么?

更改模型、指令、文档库或工具后,重放一组固定的授权、模糊和禁止请求。记录版本与权限,按案例类型比较回答、操作和拒绝。先前的验收不会自动涵盖新行为。

在版本变更前评估 AI 回归

NIST — AI Risk Management Framework