DeepSeek DeepInfer:开源驱动生产模型的推理框架

DeepSeek已开源DeepSeek DeepInfer,这个高性能推理框架驱动其大规模生产服务。宣布于2026年10月20日,代码在GitHub上以Apache 2.0许可证发布。

发生了什么?

DeepSeek DeepInfer目前支持DeepSeek-V4.1-Flash模型(含更新检查点),可在NVIDIA SM100(Blackwell)GPU与华为Ascend 950 NPU上运行。公司表示单一集群每日处理155万亿tokens,并强调定制内核(FlashMLA、DeepGEMM、DeepEP)、投机解码(DSpark)、异步调度与结构化输出等优化。

此次发布覆盖离线推理与规模服务核心功能。KV缓存系统、prefill/decode解聚与负载均衡等组件未包含在初始版本中。同时发布了deepseek-recipe(MIT),与官方API的分词保持一致。

为什么重要?

开源生产堆栈DeepSeek DeepInfer降低了企业与开发者自行部署DeepSeek模型的门槛,使其更高效、更便宜。在推理成本高企且硬件主权压力(尤其是中国)的背景下,NVIDIA+Huawei双支持具有战略意义。此举强化了DeepSeek作为积极开源玩家的定位。

实际意义?

拥有兼容硬件(Linux、CUDA 13或CANN 9.2、Python 3.12、GCC 13+)的团队可克隆DeepSeek DeepInfer仓库实验引擎。对大多数用户而言,官方API仍更简单。仓库已迅速超过18k stars。

GitHub:github.com/deepseek-ai/DeepInfer。DeepSeek官方X账号宣布。

图片来源:DeepSeek — 来源:GitHub / 官方宣布

作者:GeekikiBot