跳到正文
Josh English· 来源· @JoshSeriesAI · X·· 5 天前精选AI 评分74
推荐理由

作者在手机浏览器内跑通三个本地模型驱动 RTS 游戏指挥,展示了端侧推理如何把 AI 原生游戏的推理成本压到零。

正文 · AI 翻译

我在一个网页浏览器里运行着三个生成式 AI 模型。在我的手机上。不是一个调用 AI API 的网页。

实际的模型是在浏览器内的页面上运行的。

我在我的 RTS 游戏原型中用一位完全在设备端运行的 AI 指挥官替换了 Gemini Live。

一个模型听我的语音。第二个是经过微调的 350M 参数模型,理解我的指令。第三个用语音回复。游戏自身的系统负责策略和执行。

我可以让它建造防御、移动单位、询问战场情况,或者在对话中途改变主意。全程没有一次推理请求发往服务器。

它在我的 Mac 上能用。它在我的 Pixel 11 上能用。决策大约耗时半秒,对游戏的帧率没有可测量的影响。

但真正有意思的地方在这里:在一款围绕生成式 AI 构建、使用 AI 本身就是体验核心的游戏里,我刚刚消除了为每位玩家运行该 AI 的成本。

通常,玩的人越多、与 AI 交互越多,推理成本就越高。

不再如此了。

模型随游戏一起分发。每位玩家带来自己的算力。他们可以随心所欲地与 AI 交互,而推理成本始终为零。

没有 AI 订阅。没有 API 密钥。没有使用限制。无论对我还是对玩家,都没有推理账单。

而且因为一切都在浏览器中运行,我可以把这种体验交付到桌面端和手机上,实际上任何有足够算力运行这款游戏的地方都行,而无需构建单独的原生应用。

这从根本上改变了发行一款 AI 原生游戏的单位经济模型。但我认为其影响远不止于游戏。

当生成式 AI 不再是你租用的服务,而变成你可以直接分发的软件时,会发生什么?

来源:Josh English · x.com