DeepSeek 开源推理框架 DeepInfer：支持昇腾 950，只含离线推理

DeepSeek 10 月 20 日把自家线上服务用的推理框架 DeepInfer 开源了，许可证 Apache 2.0，同时放出 Token 编解码组件 deepseek-recipe。截至北京时间 10 月 21 日早上，GitHub 仓库约 1.2 万星。

按 README，DeepInfer 带了 DeepSeek 自家的 FlashMLA、DeepGEMM、DeepEP 等算子，支持 Attention DP、MoE 专家并行、DSpark 投机解码、SWA 有界重放、异步调度和结构化输出（正则、JSON Schema、EBNF）。批不变推理和确定性采样目前只在英伟达上可用。

媒体援引 DeepSeek 的说法：用这套框架跑 V4.1 Flash，单集群日吞吐 155 万亿 token，按谷电价算每卡每小时收入 38 美元。这是厂商自报的数字，我们核实不了。

对国内读者，更有分量的是昇腾 950 进了官方支持列表，这对用国产卡部署 DeepSeek 是个信号。模型本身的介绍见我们之前写的 DeepSeek V4.1-Flash-1017。

注意：本文没有实测，构建要求 Linux、GCC 13 以上、Python 3.12，英伟达平台还需要 CUDA 13。