Latent Space· 来源· Latent Space·· 3 天前AI 评分33
DeepSeek 开源 SOTA 推理栈 DeepInfer，称单集群日处理 155 万亿 token、日收入 2200 万美元、约 80% 毛利、81 天回本
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 开源生产推理栈 DeepInfer，称单集群日处理 155 万亿 token、日收入 2200 万美元、约 80% 毛利。它是 V4.1 Flash 背后的引擎，支持分布式推理、投机解码和结构化输出。其报告称输入缓存命中率 96%、首 token 400ms、生成 230 tokens/s，但 KV 缓存管理与负载均衡尚未完全开源。
来源：Latent Space · latent.space