独立游戏开发者:AI NPC 中昂贵的部分不是对话,而是每次调用都重新发送你的设定圣经。
我核算了在 http://B.AI 上搭建一个 NPC 对话管线要花多少钱,而其中一个数字改变了我整个设计。
假设你的世界观设定集有 50,000 tokens,并且每次 NPC 台词请求都包含它。
1,000 次对话调用意味着 5000 万输入 tokens 的相同设定内容。
在 MiMo-V2.6-Flash 上,按每 1M tokens 的标准价格:
⤞ 作为普通输入以 $0.14 发送,这部分设定内容约花费 $7.00
⤞ 作为缓存读取以 $0.0028 提供,同样的设定内容约花费 $0.14
⤞ 无论哪种方式,输出都保持便宜,为每 1M tokens $0.28
同一个模型,同样的设定,如果缓存命中,重复部分的花费大约少五十倍。
缓存命中并非保证,所以适用 FAQ 中的规则:设定和角色表放前面,变化的玩家台词放最后,固定前缀中不要有时间戳。
管线其余部分我会搭建在 @BAI_AGI 上:
⤞ 快速短句和环境闲聊用 MiMo-V2.6-Flash,通过 thinking.type 关闭深度思考,因为它默认开启
⤞ 任务逻辑和分支检查交给更强的推理模型,仅在场景需要时使用
⤞ 玩法脚本编写辅助用 GPT-5.4 Mini,输入 $0.75、输出 $4.50
⤞ 粗略预告片和过场动画草稿用 Seedance 2.0 Fast,按每 1M 视频 tokens 计价,而不是按片段计价
一个密钥就能覆盖所有这些,而 Usage 页面会显示游戏的哪一部分在消耗预算。
先为缓存而设计,再选择模型。
对小工作室来说,这个顺序比任何基准测试都重要。
关于缓存的 FAQ 在这里:http://docs.b.ai/llmservice/faq/
@justinsuntron @BAI_AGI #TronEcoStar
来源:Joe Joe · x.com