金融领域的大模型幻觉，是指模型在缺乏依据时仍自信地给出错误数字、来源或结论；2026 年的多项基准测试显示，模型在专业金融任务上的表现与其"通用排名"并不一致，最靠前的模型可能同时拥有最高的幻觉率。 据 Artificial Analysis 的 AA-Omniscience 基准（2026 年 4 月），GPT-5.5 以 57% 的准确率排名第一，但在不知道答案时仍自信作答的幻觉率也高达 86%；Handshake AI 与麦吉尔大学的 BankerToolBench 则显示，没有一个受测模型能产出可直接交付客户的结果。

需要说明的是，这些基准来自第三方机构，结果取决于其测试口径，不应被理解为对任何模型的否定或推荐。

发生了什么

BankerToolBench 由 Handshake AI 与麦吉尔大学联合开发，相关论文于 2026 年 4 月在 arXiv 发布。研究邀请了来自高盛、摩根大通、摩根士丹利和 Evercore 等机构的 502 名现任及前任投行人士，构建了 100 个任务，并对照平均每项约 150 条标准对 AI 输出进行评估。

主要结果包括：

  • 没有一个模型能产出可直接交付客户的结果；
  • 表现最好的模型（GPT-5.4）也只有 16% 的输出可接受；
  • 27% 的输出完全不可用；
  • 41% 的输出需要全面返工，13% 需要小幅修改。

与此同时，Artificial Analysis 的 AA-Omniscience 基准在 40 多个知识领域测量事实准确性，并对"答错"的惩罚高于"承认不知道"。其 2026 年 4 月数据显示：

  • GPT-5.5 准确率 57%，幻觉率 86%；
  • Gemini 3.1 Pro 幻觉率 50%；
  • Claude Opus 4.7 幻觉率 36%；
  • Grok 4.20 幻觉率 17%，为最低。

关键概念

  • 幻觉（Hallucination）： 模型生成了看似合理、但缺乏依据或与事实不符的内容。
  • 数字幻觉： 模型编造原文中不存在的数字、百分比、评级或年份，在金融场景中风险尤其高。
  • 来源幻觉： 模型给出一个看似真实但并不存在的引用或链接，使错误内容显得"有据可查"。
  • 校准（Calibration）： 模型对自身答案的置信度与实际正确率的匹配程度。高能力但低校准的模型，会在不知道时依然非常自信。
  • 人类在环（Human-in-the-Loop）： 在关键流程中由人对 AI 输出进行复核后再采用。

技术解读：幻觉为什么在金融场景中更危险

金融任务的特殊性，在于错误往往"看起来正确"。BankerToolBench 的失败分析显示，表现最好的模型其错误分布约为：41% 为代码与公式错误，27% 为业务逻辑缺陷，18% 为数据查询失败，13% 为编造数据并冒充有来源。

一个典型案例是，模型生成的电子表格在视觉上完整、整洁，但关键单元格被硬编码为固定数值，而不是由公式计算得出，导致情景分析在结构上无法进行。这类错误只有检查公式层或运行情景变量才能发现，远比"没有输出"更难察觉。

AA-Omniscience 基准则揭示了一个"幻觉悖论"：排名最高的模型同时拥有最高的幻觉率。原因在于，这类模型倾向于在不确定时仍给出流畅、自信的答案，而不是表达"不知道"。对金融、法律、医疗等高风险领域，一个会诚实表达不确定的模型，可能比一个准确率更高但会自信编造的模型更安全。

可靠化方法：从"相信模型"到"验证输出"

综合两类基准，降低幻觉风险的方法主要集中在流程而非模型本身：

  • 领域专用评估： 用贴近真实工作的任务和可量化标准测试模型，而不是只看通用排名；
  • 溯源与接地： 要求每个数字都能回到原始文件，无来源的数字不予采用；
  • 分层校验： 对模型、助手和编排层分别测试、组合测试，并持续监测漂移；
  • 人类在环： 高风险输出在采用前由人复核，把它作为固定流程而非临时措施；
  • 检查逻辑层： 不仅看结果，还要核对公式、计算过程和假设是否成立。

局限和风险

基准测试本身也有局限：

  • 结果高度依赖测试任务、评分标准和时间窗口，不同基准的结论可能不同；
  • 模型迭代很快，某个版本的数字会随更新而过时；
  • 基准无法覆盖所有真实业务场景，通过测试不等于在生产环境中可靠；
  • 本文引用的数字均来自第三方机构，不构成对任何模型的评价。

AI Quant 的做法

AI Quant 在利用 NLP 和大模型理解新闻、财报与政策的同时，强调通过多智能体协同、模型投票与置信度评估减少对单一模型的依赖，并以交叉验证和系统化风险边界约束输出。AI 用于辅助识别信号，而不是替代判断，这与"每个数字都要可溯源、关键决策由人负责"的可靠化思路一致。

常见问题

问：模型准确率越高，幻觉就越少吗？

答：不一定。AA-Omniscience 显示，准确率最高的模型幻觉率也可能最高，因为它更倾向于在不确定时自信作答。关键看模型是否会诚实地表达不确定。

问：金融幻觉为什么特别危险？

答：因为错误的数字、来源或公式往往看起来非常专业、整洁，不检查来源和计算过程很难发现，一旦用于决策或对外材料，后果直接。

问：完全不用 AI 是不是最安全？

答：这取决于业务需求。AI 在信息整理、检索和初筛上能显著提升效率，更稳妥的做法是把它放在可验证的流程中，配合溯源和人工复核，而不是因噎废食。

问：怎么判断一个数字是模型编的还是真实的？

答：要求模型给出原始出处，再回到原始文件核对；无法找到来源、或来源与数字对不上的，按不可信处理。

参考来源

  • Artificial Analysis，《AA-Omniscience Benchmark》（2026-04，经 innobu 转述）：https://www.innobu.com/en/articles/bankertoolbench-ai-hallucinations-finance-2026.html
  • Handshake AI & McGill University，《BankerToolBench》（arXiv:2604.11304，2026-04）

免责声明：本文仅用于技术与行业信息交流，不构成任何投资建议或收益承诺。文中数据来自第三方基准，提及的模型与机构均为公开案例，与 AI Quant 无任何关联。