DeepInfer是什么？
DeepInfer是DeepSeek开源的高性能大规模推理框架，也是其生产服务核心运行时的公开版本。当前开源仓库主要提供离线推理及规模化服务所需的核心引擎能力，支持DeepSeek V4.1 Flash。
核心能力
- DeepGEMM、DeepEP、FlashMLA、TileKernels等优化内核。
- Attention DP、上下文并行、MoE EP与专家负载均衡。
- DSpark投机解码与基于置信度的变长验证。
- SWA Bounded Replay，只回放有限后缀以减少Decoder Prefill。
- 异步调度、批次不变推理、确定性采样。
- Regex、JSON Schema与EBNF结构化输出。
支持环境
- 模型：DeepSeek V4.1 Flash。
- 硬件：NVIDIA SM100 GPU、华为昇腾950 NPU。
- 系统：Linux、Python 3.12、GCC 13或更高版本。
- NVIDIA路径需要CUDA 13；昇腾路径需要CANN 9.2。
- 许可证：Apache 2.0。
重要边界
它不是下载后即可运营的完整云服务。开源仓库没有包含完整KV Cache系统、视觉编码/Prefill/Decode服务解耦，以及跨副本负载均衡。官方Q&A也说明，内部缓存和负载均衡与生产基础设施耦合，尚未完整开源。
快速开始
- 准备满足版本要求的Linux与GPU/NPU环境。
- 克隆仓库并初始化依赖。
- 设置
DEEPINFER_ACCELERATOR=nvidia或ascend。 - 执行
./build.sh编译。 - 先运行
python examples/offline_inference.py验证模型与内核。 - 生产化前自行补齐缓存、服务发现、路由、监控、限流和故障恢复。