人工智能幻觉仍然是企业可靠采用大型语言模型和生成式人工智能系统面临的最顽固障碍之一。在商业环境中，幻觉并非无害的错误。它可能演变为合规风险、客户信任问题、操作失误或安全隐患。当人工智能系统自信地生成虚假声明、捏造引文、不准确的摘要或虚构的技术细节时，其造成的损失远不止糟糕的用户体验。
减少幻觉需要切实可行的多层次策略。没有任何单一的控制措施可以完全消除幻觉。最有效的措施包括提高训练和参考数据的质量、将模型输出基于可信来源进行基础验证，以及在将响应用于决策或面向客户的工作流程之前进行验证。对于大规模部署人工智能的组织而言，这三大支柱应被视为核心治理要求，而非可选项。
人工智能为何会产生幻觉
生成模型旨在基于从海量数据集中学习到的模式来预测可能的文本序列。它们本身并不像人类领域专家那样能够区分真相与可能性。因此，当模型缺乏确定性、遇到歧义或缺乏足够的领域特定上下文时，它可能会生成一个听起来权威但实际上错误的答案。
以下几种情况更容易导致幻觉：
- 训练数据质量差或不一致
- 领域知识不足
- 提示信息含糊不清、过于宽泛或缺乏上下文
- 要求提供模型未训练过的实时或高度具体的信息
- 即使证据薄弱或缺失，也迫于压力提供答案
在企业环境中，如果团队认为流畅的输出等同于可靠的输出，这些缺陷会被放大。一个完美的答案会给人一种虚假的自信，尤其是在用户没有接受过质疑未经证实的说法的培训时。
从提高数据质量入手
减少幻觉的第一步是改进模型或人工智能应用程序背后的数据基础。如果源材料存在噪声、过时、矛盾或偏见，系统更容易产生有缺陷的输出。更好的数据并不能保证绝对准确，但劣质数据几乎总是会导致可避免的错误。
整理特定领域的数据
通用模型通常难以处理行业术语、内部政策、法律义务和组织特定的流程。基于可信领域数据进行微调、添加检索层或进行提示工程可以显著提高事实一致性。例如，金融服务聊天机器人应优先考虑已批准的政策文件、产品披露和最新的监管指南，而不是依赖于通用的互联网语言模式。
删除过时和低价值的内容
过时的记录、重复的文档、相互冲突的版本以及未经核实的知识库文章会给人工智能系统带来困惑。企业应建立数据卫生规范，明确哪些文档是最新的、权威的，并已获准用于人工智能辅助工作流程。
使用元数据和内容分类
结构化元数据有助于系统识别哪些来源应被赋予更高的权重。通过文档所有者、发布日期、审批状态、敏感级别和业务功能进行分类，人工智能流程可以优先选择可靠的材料，避免使用可疑的参考资料。
- 将官方政策文档标记为权威文档
- 将草稿或已弃用的内容标记为低信任度或完全排除
- 将公共内容与内部运营知识分开
- 对敏感数据进行分类，以防止在检索过程中发生不安全的泄露
对于企业领导者而言，关键在于：减少幻觉始于提示出现之前。它始于数据治理。
将人工智能输出与可信来源关联
关联是指将人工智能系统的响应与可验证的外部信息联系起来，而不是仅仅依赖模型的内部统计记忆。这是减少实际商业应用场景中出现虚假信息的最有效方法之一。
使用检索增强生成
检索增强生成（RAG）使模型能够在查询时搜索预定义的文档库，并利用这些材料来生成答案。模型不再仅仅依靠通用训练来生成响应，而是锚定在当前组织认可的来源上。
当信息频繁变更时，这种方法尤其有用，例如：
- 内部政策和操作规程
- 技术文档
- 产品规格
- 法律或合规性内容
- 威胁情报和安全公告
仅靠 RAG 本身并不能消除幻觉。如果检索到无关或低质量的文档，答案仍然可能偏离预期。但是，如果结合强大的索引、访问控制和精心整理的源库，这种方法可以显著提高可靠性。
要求提供有证据支持的响应
企业应配置 AI 系统，使其引用用于生成答案的文档、段落或记录。这可以提高用户的透明度，并支持后续审查。在受监管或影响较大的环境中，无法识别来源的回复不应被视为高可信度。
有证据支持的输出也能改善用户行为。当引用可见且可追溯时，团队更有可能验证回复。这可以减少对模型的过度依赖，并有助于提高问责制。
当证据缺失时，限制答案
最重要的设计选择之一是允许模型表达“我没有足够的证据”这一观点。许多错误结果的出现是因为系统总是生成答案而获得隐性奖励。更好的方法是设置回复规则，在缺乏可信的支持材料时限制答案的生成。
- 指示模型不要进行推测
- 要求明确承认不确定性
- 将未解答的问题提交给人工审核员
- 如果来源置信度过低，则在高风险工作流程中阻止回复
验证必须内置于工作流程中
即使拥有强大的数据和基础控制措施也远远不够。验证至关重要，因为人工智能系统以概率方式运行，而业务流程需要确定性控制。验证应在多个层面进行：技术层面、程序层面和人工层面。
使用自动回复检查
在答案到达最终用户之前，可以对其进行筛选，以查找常见的故障模式。根据具体用例，验证规则可以检查响应是否与检索到的证据相符、是否包含未经证实的声明、是否与策略冲突或是否包含受限内容。
验证控制的示例包括：
- 针对检索到的文档进行事实一致性检查
- 策略和合规性规则评估
- 表单、摘要或报告的结构化输出验证
- 置信度评分和基于阈值的门控
- 检测伪造的引文或参考文献
对于网络情报和安全运营而言，验证尤为重要。人工智能生成的威胁摘要如果捏造入侵指标、错误描述恶意软件行为或引用不存在的漏洞，可能会扰乱响应工作并误导分析人员。
在重大决策中，人为因素至关重要
当产出影响法律、财务、安全、医疗或战略决策时，人为监督仍然必不可少。人工审核员的作用不仅是批准文本，还要评估答案是否符合上下文、是否有来源支持以及是否符合预期用途。
组织应明确规定哪些情况下必须进行人工审核。这些阈值应基于业务影响，而非技术偏好。低风险的内部起草助手可能只需少量监督，而用于支持客户咨询、合规性解读或事件分类的 AI 工具则需要更严格的控制。
衡量和监控幻觉发生率
幻觉减少率应被视为一项运营指标。企业需要在各种实际场景下持续进行测试、红队演练和质量评估。这包括对抗性提示、极端情况、模糊查询和特定领域的任务。
有用的指标可能包括：
- 不支持的声明率
- 引用准确性
- 答案与检索到的上下文的相关性
- 证据不足时的升级频率
- 按业务功能划分的错误严重程度
如果没有衡量指标，团队往往会追求速度或流畅度，而忽略了潜在的可靠性问题。
提示和系统设计同样重要
虽然数据、基础和验证是主要的控制措施，但通过精心设计提示和应用程序，可以改进系统行为。企业提示应定义范围、首选来源、响应格式和拒绝行为。它们应指示模型区分事实和假设，并避免回答超出可用证据范围的问题。
设计良好的系统还会将任务分开。企业无需要求单个模型一步完成检索、推理、总结和验证，而是可以使用分阶段的流程，并辅以更清晰的控制。这可以减少累积性错误，并使故障更容易检测和纠正。
实用的企业方法
对于大多数企业而言，最有效的方法并非构建一个完美的模型，而是围绕不完美的模型创建一个值得信赖的 AI 交付框架。在实践中，这意味着：
- 维护干净、最新且分类良好的源数据
- 将输出结果建立在已批准的知识库中
- 要求提供引用和透明的证据路径
- 允许系统拒绝未经证实的答案
- 应用自动化验证和置信度阈值
- 让人类对高风险结果负责
- 持续监控性能并随着时间的推移重新训练流程
这种分层模型与企业风险管理非常契合。它将幻觉视为人工智能生命周期中可控的故障模式，而不是孤立的模型缺陷。
结论
人工智能幻觉可以减少，但无法通过单一的技术手段解决。最有效的策略是结合更高质量的数据、对可信来源的牢固依赖以及在采取行动前进行严格的验证。对于企业领导者而言，这意味着：可靠的人工智能更多地依赖于严谨的信息管理和治理，而非对模型炒作的过度依赖。
投资于这些控制措施的组织将更有能力在客户服务、安全运营、知识管理、合规性和决策支持中安全地使用人工智能。而那些不这样做的组织将继续面临同样的问题：输出结果看似自信，但却不可信。在企业人工智能领域，可信度并非源于流畅的语言表达，而是通过证据、控制和问责制来赢得。
评估答案，而不仅仅是文档检索。
基础可以提供模型来源材料，但不能保证每个声明都由此得出。因此，评估集应包含真实问题、无法解答的案例、过时的文档和误导性引文。NIST 要求进行有记录且可重复的评估。
- 分别对正确文档的检索、答案的忠实度和引文的相关性进行评分。
- 当语料库无法支持结论时，测试回避策略。
- 在模型、索引或数据源更改后重放案例并跟踪回归情况。
一手资料：NIST AI RMF — Core. 相关方法：阅读实用指南.
