当 AI 自信地出错时，数据团队可以如何应对 — GameAnalytics

过去几周里，我们一直在从三个侧面探讨同一个问题：随着 AI 进入技术栈，游戏工作室的数据工作正在如何变化。我从角色本身的转变开始，考察数据分析师工作中哪些部分正在被自动化，以及这个角色接下来实际会变成什么样。Francesco 在如何让 AI 智能体访问你的游戏数据而不制造风险这篇文章中，讨论了架构层面。上周我又写了为什么仪表盘已经不够用了，以及 AI 智能体能解锁什么。

这三篇都缺失的，是我在与那些正把这些工具投入生产的工作室交流时不断浮现的问题：你对输出的信任度有多高？这正是本文要讨论的内容。

Anthropic 负责 Claude 工程的 Felix Rieseberg 对此说得相当清楚。下面嵌入了他采访中的相关片段，本文其余部分也以此为基础展开。

问题不在于 AI 会出错，而在于它的自信

初级分析师的失败模式很明显。他们会含糊其辞、反复自我怀疑，甚至附加保留意见。这种不确定性是可见的，这让高级分析师有机会进一步追问。当前这一代 AI 工具无论答案对错，都会产出流畅、格式良好、听起来权威的内容；而等到有人读到它时，已经没有任何可见信号能区分高置信度的正确答案与高置信度的幻觉。所以，这与初级分析师恰恰相反。

Felix 在采访中这样描述这一风险：

如果模型只是猜一个温度并且猜对了，那不应该算及格。那应该算糟糕。我们应该重新思考我们在这里做的事。但如果模型实际上差了半摄氏度，却真的找对了地点，找到了若干可靠的数据来源，而且它得出结果的方式是可靠且良好的，那这实际上应该比一个好结果更好。

这不是一个等待补丁的缺陷。OpenAI 自己的研究论文《语言模型为何会产生幻觉》从结构上论证了这一点：当前的训练方法奖励自信猜测，而非诚实的不确定性（而且是主动奖励！）。一个说“我不知道”的模型，得分会低于一个给出听起来合理但错误答案的模型。这种自信不是错误，而是这些系统构建方式的特性。斯坦福 HAI 的2026 AI Index补充说，一旦条件比干净的基准任务更贴近现实，AI 智能体在结构化尝试中大约每三次就会失败一次，而当多个智能体交互时，问题会叠加：一个智能体引入的错误会被下一个当作事实接受。

Benn Stancil 最近的文章分析能够被自动化吗？指出了为什么这在数据工作中尤其困难。大多数软件是自我验证的：只要代码能运行，它就是能运行。正如 Benn 所说，分析恰恰相反：

除非你了解一张图表是如何构建的，否则无法知道它是否“有效”……我们只能通过间接方式判断它：它的结论听起来足够可信吗？它看起来像是经过精心制作的吗？它是谁制作的？

这种替代性检验恰恰是现代 AI 工具最容易通过的检验。过去用来标示严谨的技艺痕迹，如今什么也标示不了，因为无论底层分析正确与否，这些痕迹都能以零成本复现。Alteryx 的《2026 年数据分析师现状报告》从从业者一侧印证了这一点：分析师并没有被取代，但他们每周有相当一部分时间如今用在验证 AI 的输出上，而不是用于产出。

如何捕捉那些言之凿凿的错误？

这里行之有效的做法大多并不新鲜，但数据团队再也无法对此掉以轻心了：

从面试中的那条规则开始：

Felix：我很少希望当前会话评判自己。当前的 Claude 会话往往很不擅长判断自己完成的工作是否足够好。

产出某个答案的对话线程几乎总会为它辩护，而且辩护得令人信服。每一个 AI 生成的答案在被信任之前都需要一个外部信号，无论这个信号来自另一个会话、另一个模型，还是对原始数据进行的交叉核对。

当外部信号是对抗性的而非确认性的时候，它效果最好。不要问模型它的答案是否正确，而是另开一些独立会话，其任务就是证明输出有误。找出缺陷在认知上比给出正确答案更容易，正因如此，即便是一个较弱的模型，只要被指向某个具体产物，也常常能发现较强模型漏掉的错误。对于你的 AI 工具刚刚起草的队列分析来说，这意味着要开并行会话去质疑队列定义、时间窗口和基线。对抗性评审往往会暴露出多到任何人都读不完的批评意见，因此一个评判层会有帮助：另开一个会话，其唯一任务就是判断哪些批评有实质内容、哪些是噪音。

最后一条原则是，前三条原则应该指向什么。AI 作为一个笼统的类别，既谈不上可信，也谈不上不可信。在验证成本低、且能锚定到模型之外某个东西的任务上，它是可信的；而在输出自成一体、无法外部核验的任务上，它就不可信。能够返回可核验行数的 SQL 查询、能在电子表格中复现的公式、以及能追溯到来源的数字，都属于可信的一侧。解释性分析、战略建议，以及对杂乱数据做出的判断，则属于另一侧，而这些正是需要走完整个对抗式流程、之后才能让人据此行动的任务。

开始之前，先做一次现实核查

在这一切开始听起来像是 AI 具有独一无二的危险性之前，值得记住的是，基准并不是一个人工生成完美分析的世界。人类分析师也会自信地陈述错误（只不过他们表达得没那么流畅）。

“AI 也会犯错” 兄弟，你见过人类吗？
— Leo builds (@LeoBuilds_) September 6, 2026

实际差异不在于 AI 比人更不可靠，而在于它在工作流中的不同环节上是可靠的；那些曾用于发现人为错误的验证做法，并不会自动发现机器的错误。早早弄明白这一点的团队两者兼得：既获得 AI 辅助分析带来的杠杆效应，也获得来自真正有效的验证实践所带来的信任。没能做到这一点的团队，最终会发现，他们最近三份季度报告建立在一个无人质疑、自信满满的错误之上。