为改变而打造

AI 炒作周期巴不得你被接连不断的新模型发布浪潮所席卷。每一个新版本都是最新、最强的！各方面都比以往更出色！但我们团队认为，这并非用 AI 构建产品时应该关注的重点。

模型是一种商品。它们的能力越强，彼此就越可互换。这听起来有悖直觉，但对于大多数通用语言任务而言，最终确实如此。如果你只是把语言模型当作又一件得力的工具来使用，你就能专注于真正重要的部分：用你真实的人类观点和品味，做出酷炫的东西。

而且我们对此很有发言权！自 GPT-2 时代起，我们就一直在构建将机器学习作为工具来使用的故事系统，其中包括“经典”NLP 方法和大型语言模型。我们最早的语言生成系统之一使用了离线生成和嵌入排序工作流，以在人工撰写的模板中找出最合适的匹配。如今，这同一个步骤已经变成一项带有程序化输出封装器的小型 LLM 任务，并且随着可用选项的变化，它先后换用过五六种不同的 LLM。

以下就是我们如何在整个产品中做到这一点，同时又不至于把自己逼疯的。

模型与模块化

最重要的是，我们叙事系统的模块化架构使其具有高度适应性。例如，我们的智能体故事框架中的 AI DM 由一个能力非常强的模型驱动，但它使用的工具和信息来自许多更小任务的输出——这些任务本身由启发式方法、经典机器学习以及其他作用于 Hidden Door 结构化叙事世界模型的 LLM 组成。

这些专门任务每一项都有各自的参数、回退行为，以及对“好”的独特定义。这种小块化的聚焦意味着测试和评估都很快。因此，我们可以只改动系统中的一个部分，而不必把同样的改动应用到所有其他部分——要么是被动应对，比如当某个日常主力模型即将被弃用时；要么更常见的是主动进行，比如当有意思的新模型发布时（或当我们决定我们想微调一个属于自己的东西时）。

把这些任务拆分出来，也意味着有了空间，可以从用户视角对质量和延迟做出更细粒度的选择。正是在这里，产品设计上的取舍既能为你换来更大的容忍度，也能指明你的兜底方案应当付出时间、金钱还是质量上的代价。在运行于我们的叙事世界模型之上的故事系统中：

普通回合的时间预算最紧，因为每一秒玩家都能直接感受到。它运行在时间旅行式故事运行框架中所述的快时间线上，而其质量大多来自已经在慢时间线上完成的规划。我们优先考虑指令遵循、低首 token 延迟和快速吞吐。
侧边栏聊天中与 NPC 或叙事者的对话必须能在当下即时进行，因此它使用更小、更快的模型，并在之后再与其他所有内容进行协调统一。我们之所以能做到这一点，是因为上下文和任务都非常聚焦。
开始一个故事意味着玩家在等待时几乎没有现成文本可读，而且这也可能是玩家与系统的第一次交互，因此延迟在这里造成的伤害尤为严重。在这里，我们会尽早对慢速提供商做对冲，并尽可能进行推测性预工作，多花一点成本来确保速度和质量。
场景结束拥有更多的余地，一方面是因为玩家在最后的几个节拍中有更多内容要读，另一方面是因为过渡时刻的等待感觉没那么难熬。当玩家阅读那些最后的节拍时，我们正在收尾这个场景，并为下一个场景准备选项。
把叙事转换成其他媒介，例如让一个战斗动作触发一场格斗小游戏（然后再把小游戏的结果渲染回叙事中！），这是又一个过渡时刻：你在此能多得到一点耐心，换来的是结果的意义与魔力。这类转换是我们叙事世界模型最酷的能力之一。

适合你的任务分工

自动化评估和清晰界定的任务，使我们团队更容易针对模型的增量变化做出小幅调整。偶尔会出现足够大的跃迁，让某些新事物成为可能，这时我们可能会真正重组任务，将其变成新的组合或架构。探索与利用！例如，最近人们对快速分类器以及基于 Transformer、返回概率而非文本的架构（类似 Jev 的做法）重新燃起兴趣，这启发我们探索将一些任务从基于嵌入的相似度 + LLM 选择，转向一步分类器。

人们很容易对这类新发布的模型和架构感到兴奋，尤其是当它们能做的事情出现实实在在的飞跃时——有时候确实很令人激动！但归根结底，它们只是一个工具。更新、“能力更强”的模型未必更适合特定任务，当然也更不适合创造性任务。

我们的叙事系统不仅需要就数十项相互依赖的叙事任务做出连贯、令人满意的决策，还必须撰写和编辑真人愿意阅读的散文。当新模型发布，或某个被深度依赖的版本被弃用时，模型和供应商的频繁更替本可能成为不断重新调优和烦恼的根源。但事实并非如此，因为我们构建系统时并没有围绕模型能力来做。

我们构建的系统，建立在对我们试图解决的问题的清晰理解之上，也建立在一支善于思考、对如何最好地做到这一点各有见解的团队之上，这意味着我们总能选用最适合当前工作的工具。

所有从事 AI 工作的人都想做出更好的模型——我们也不例外！而我们的系统让我们的平台不仅能从我们自己的创新中受益，也能从前沿实验室和开源社区所取得的进展中受益。以 AI 为核心来构建产品，这是一个狂野而美妙的时代，而一点经过深思熟虑的架构设计意味着，其他人取得的进展也会成为你的逆风。