Josh English· 来源· @JoshSeriesAI · X·· 5 天前精选AI 评分74
推荐理由
作者在手机浏览器内跑通三个本地模型驱动 RTS 游戏指挥,展示了端侧推理如何把 AI 原生游戏的推理成本压到零。
正文 · AI 翻译
我在一个网页浏览器里运行着三个生成式 AI 模型。在我的手机上。不是一个调用 AI API 的网页。
实际的模型是在浏览器内的页面上运行的。
我在我的 RTS 游戏原型中用一位完全在设备端运行的 AI 指挥官替换了 Gemini Live。
一个模型听我的语音。第二个是经过微调的 350M 参数模型,理解我的指令。第三个用语音回复。游戏自身的系统负责策略和执行。
我可以让它建造防御、移动单位、询问战场情况,或者在对话中途改变主意。全程没有一次推理请求发往服务器。
它在我的 Mac 上能用。它在我的 Pixel 11 上能用。决策大约耗时半秒,对游戏的帧率没有可测量的影响。
但真正有意思的地方在这里:在一款围绕生成式 AI 构建、使用 AI 本身就是体验核心的游戏里,我刚刚消除了为每位玩家运行该 AI 的成本。
通常,玩的人越多、与 AI 交互越多,推理成本就越高。
不再如此了。
模型随游戏一起分发。每位玩家带来自己的算力。他们可以随心所欲地与 AI 交互,而推理成本始终为零。
没有 AI 订阅。没有 API 密钥。没有使用限制。无论对我还是对玩家,都没有推理账单。
而且因为一切都在浏览器中运行,我可以把这种体验交付到桌面端和手机上,实际上任何有足够算力运行这款游戏的地方都行,而无需构建单独的原生应用。
这从根本上改变了发行一款 AI 原生游戏的单位经济模型。但我认为其影响远不止于游戏。
当生成式 AI 不再是你租用的服务,而变成你可以直接分发的软件时,会发生什么?
来源:Josh English · x.com