DeepSeek 开源推理框架 DeepInfer：单集群日吞吐 155 万亿 Token，每卡每小时 38 美元
2026-10-20，DeepSeek 开源大规模云服务推理框架 DeepInfer（Apache 2.0）与 Token 编解码组件 deepseek-recipe（MIT），代码在 GitHub deepseek-ai/DeepInfer。公告数据：单一集群日吞吐 155 万亿 Token，按谷价口径计整体收入 每卡每小时 38 美元。此前各家只开放权重，服务层留给自己；这是首次有头部模型厂商把线上实际运行的推理框架完整放出。
部署形态是视觉编码、Prefill、Decode 三段分离。Prefill 用常见 8 卡服务器，Decode 用 64–128 卡超节点；MoE 部分 Prefill 走 2–8 路专家并行加数据并行，Decode 扩到 64–128 路 Wide-EP，靠更大批处理喂满矩阵计算。两侧独立扩缩容：Prefill 按未命中 Token 数确定实例数，Decode 按实际计算请求数估算。Decode 实例收到下线通知后有 1 分钟宽限期，到期未完成的请求连同 KVCache 一次性转给其他实例；配额占用率高于 0.8 时直接禁止缩容。
KVCache 从显存缓存做成集群级数据层。Block KVCache 以 128 Token 分页，持久数据写入独立 3FS 集群，现约 100 PiB SSD 容量；Agent 流量的 TTL 为 3 天，Chatbot 为 7 天。DeepSeek 实测 Chatbot 的 TTL 缩到 3 天，整体命中率会掉 0.5%–1%。3FS 针对约 112 KiB 的 Block 随机读写优化，聚合读取峰值 10 TiB/s、写入约 850 GiB/s。持久层独立之后，任何 Prefill 机器都能命中任意前缀，不必做前缀亲和路由，缓存路由与负载均衡不再打架。
SWA Bounded Replay 是省算力的关键改动。V4 时期把滑动窗口注意力的 KVCache 也写盘以求精确恢复，实测这类数据只在单次会话的几分钟内反复使用，却占掉接近一半的持久缓存容量。V4.1 改为不落盘，缺失时只重算尾部 128 个 Token，Decoder 部分每次 Prefill 的计算量接近减半。
DSpark 推测解码改为变长验证。系统仍一次生成 5 个候选 Token，但加入置信度预测，按预期接受率挑选验证范围，把算力从难接受的位置挪走，线上吞吐提升 6%。调度侧用 GPU 与 CPU 异步流水，GPU 执行当前轮前向与采样时，CPU 已完成下一轮调度。
| 状态 | 组件 |
|---|---|
| 已开源 | 推理引擎、优化算子、采样、并行方案、离线推理；Recipe 编解码 |
| 未开源 | 完整 KVCache 系统、VE/Prefill/Decode 分离部署、跨 DP 副本负载均衡 |
引擎基于 vLLM 搭建，参考 SGLang 与 TensorRT-LLM，集成 FlashMLA、DeepGEMM、DeepEP、TileKernels 等自研算子；硬件支持 NVIDIA SM100 与华为昇腾 950，依赖 CUDA 13 或 CANN 9.2，默认加载 V4.1-Flash-1017 权重（架构见#309《DeepSeek V4.1 Flash 上线：非对称架构 +…》）。
观点
- 这次开源的是成本结构的说明书。模型权重早已公开，第三方部署与官方 API 之间的成本差，长期落在推理框架这一层。把它放出来，等于把 MaaS 的毛利护城河拆掉一段；有报道称负载调度合理时，大规模云厂商跑非原生 DeepSeek 的成本可能低于官方。
- 硬件兼容被写成了设计首项目标。同一套引擎同时支持 SM100 与昇腾 950，给国产算力提供了一条可复制的落地路径，对昇腾生态的意义大于对英伟达。
- 技术含量集中在少算。SWA Bounded Replay 把逐层精确重建换成尾部 128 Token 重算，KVCache 把重复计算换成 100 PiB 存储与 10 TiB/s 带宽。两条都是拿存储和网络换算力，属于成本结构的重排。
- 交付边界要看清楚。KV cache 系统、PD 分离部署、跨副本负载均衡三项未开源，首版定位在离线推理与核心引擎。社区拿到的是可复现的参考实现，企业要跑在线服务仍需自己补系统集成与运维。
来源：DeepSeek 官方公告与 DeepInfer 仓库说明（2026-10-20）；InfoQ、第一财经、21 世纪经济报道