### [Qwen4推理内核代码现身GitHub：27B架构细节引热议，新一代模型路线浮出水面？](https://www.zuoshipin.com/article/61383) **Published:** 2026-10-26T14:10:56 **Author:** 天才交易员 **Excerpt:** Qwen4 尚未发布，但公开推理内核代码中出现 Qwen4-27B Dense 线索。本文保留原始技术细节、结… **导读：**公开推理内核出现 Qwen4-27B 相关线索，引发对下一代千问架构的讨论。下文保留原文技术信息与结构；其中模型最终配置、权重、性能和发布时间仍应以官方公告为准。 [![Qwen4-27B推理内核代码的公开线索](https://admin.zuoshipin.com/wp-content/uploads/2026/10/qwen4-30621-img01-img01.webp)](https://admin.zuoshipin.com/wp-content/uploads/2026/10/qwen4-30621-img01-img01.webp) Qwen4-27B推理内核代码的公开线索 Qwen4 尚未发布，但一份已合并的开源推理内核代码 Pull Request（PR），却率先“透露”了架构线索。 这份 PR 来自阿里云重要芯片供应商英特尔 GPU（XPU）推理加速仓库 analytics-zoo/vllm-xpu-kernels，主要涉及英特尔 GPU（XPU）的底层推理算子开发与优化。 [![推理内核提交中出现Qwen4-27B相关描述](https://admin.zuoshipin.com/wp-content/uploads/2026/10/qwen4-30621-img02-img02.webp)](https://admin.zuoshipin.com/wp-content/uploads/2026/10/qwen4-30621-img02-img02.webp) 推理内核提交中出现Qwen4-27B相关描述 在这条名为“Enable Qwen3.8-flash-next 8 cards fp8 & int4 and optimize qwen4-27b”的 PR 里，开发者 hzjane 不仅将“qwen4-27b”直接挂在了标题上，还公开了与模型张量尺寸、注意力计算、残差结构、量化精度及推理解码相关的具体实现。 **这里有一个背景需要补充，芯片与底层算子适配是模型发布前的必经环节**。硬件厂商为了让自家 XPU 或 GPU 在新模型发布当天提供算力支持，通常会**提前数月拿到模型结构甚至早期权重进行 kernel 开发**。理论上，**这些工程细节即使没有模型权重，也可能成为外界反推架构的依据。** 但比较蹊跷的是，这次新模型的工程协同痕迹被未经脱敏地推到了公开分支。 [![社区根据公开工程线索进行架构比较](https://admin.zuoshipin.com/wp-content/uploads/2026/10/qwen4-30621-img03-img03.webp)](https://admin.zuoshipin.com/wp-content/uploads/2026/10/qwen4-30621-img03-img03.webp) 社区根据公开工程线索进行架构比较 随后，llama.cpp 开源社区的开发者顺着这些线索展开逆向分析，更进一步还原出 Qwen4 这一档位模型的更多架构技术细节：Qwen4-27B **延续了上一代 Qwen3.8-27B 模型的 Dense 稠密架构**，同时引入了 Qwen3.8-Flash-Next **四路残差流、稀疏注意力等新一代设计**。社区还从代码中推断，**其前馈网络的中间维度可能有所缩减**。 Qwen3.8-Flash-Next 于今年 8 月发布、被官方定义为 Qwen4 架构预览，是一款 125B 参数、每 Token 激活约 6B 参数的 MoE 稀疏模型。 可以推测，阿里正在把下一代模型的架构创新，同时应用于**大型 MoE 和中等规模 Dense 模型**，而非单纯依靠增加参数提升能力。距离阿里在云栖大会上透露 Qwen4 已进入训练阶段，仅过去一个多月。这次意外浮出水面的代码，究竟提前暴露了下一代千问的哪些技术底牌？ ## Qwen4 意外现身 单设备即可部署 在开发者 hzjane 在面向英特尔 GPU（xPU） 推理加速的 vLLM XPU Kernels 开源项目分支中，提交了一份原本用于优化 Qwen3.8-Flash-Next 的代码更新，却在标题中直接写出了尚未发布的 Qwen4-27B。 目前，这份编号为 **#22**（代码仓库中的第22个合并请求） 的 PR **已被代码仓正式合并**，包含 10 次代码提交、56 个文件变更。 [![Qwen4-27B的FP8与INT4推理适配信息](https://admin.zuoshipin.com/wp-content/uploads/2026/10/qwen4-30621-img05-img05.webp)](https://admin.zuoshipin.com/wp-content/uploads/2026/10/qwen4-30621-img05-img05.webp) Qwen4-27B的FP8与INT4推理适配信息 该 PR 明确了 Qwen4-27B 的**底层推理适配方案**。开发者在说明中直接列出，针对 Qwen4-27B Dense，提供 **TP2 FP8、TP1/TP2 INT4 的 SYCL/SYCL-TLA** 内核。 这意味着相关开发工作已经覆盖**双设备 FP8 推理，以及单设备、双设备 INT4 量化计算路径**。其中，FP8 主要用于降低计算与存储开销，INT4 则通过进一步压缩权重精度，减少模型运行时对显存的需求。 在评论区，网友也迅速把关注点**转向显存需求**。对于一款 270 亿参数的稠密模型而言，按照每个参数 4 bit 粗略计算，仅模型权重理论上约需 13.5GB 存储空间，但这还不包括 KV Cache、中间激活和运行时开销。 [![量化路径与显存需求的讨论截图](https://admin.zuoshipin.com/wp-content/uploads/2026/10/qwen4-30621-img06-img06.webp)](https://admin.zuoshipin.com/wp-content/uploads/2026/10/qwen4-30621-img06-img06.webp) 量化路径与显存需求的讨论截图 INT4 的适配至少说明，**社区已经在为 Qwen4-27B 的超低显存部署做准备，**以实现**更低精度、较少设备资源运行**。不过，这次面向的是 **SYCL/SYCL-TLA 内核**，主要用于开发 GPU 高性能计算，**还不意味着 Qwen4 已经在普通消费级显卡上运行成功**。 此外，PR 里还出现 **Qwen4-27B 的部分推理性能测试记录**。在 **8 张 Intel B70 加速卡环境下开展的测试**。其中，一轮历史候选结果显示，Qwen4 TP2 FP8 配置下，32K 输入的**首 Token 延迟从约 37.41 秒缩短至 21.84 秒**，**降幅约 42%**；INT4 配置也有接近幅度的改善。 [![公开代码中的推理性能测试记录](https://admin.zuoshipin.com/wp-content/uploads/2026/10/qwen4-30621-img07-img07.webp)](https://admin.zuoshipin.com/wp-content/uploads/2026/10/qwen4-30621-img07-img07.webp) 公开代码中的推理性能测试记录 这意味着新模型可能在引入额外结构的同时，通过压缩部分传统计算模块，平衡新增的计算与内存成本。 该份还明确注明，目前没有提供 Qwen4 的 QSA 权重，因此**尚未完成基于真实模型权重的完整端到端验证**，QSA 与 MTP 的组合也未启用。 [![尚未完成完整端到端验证的工程说明](https://admin.zuoshipin.com/wp-content/uploads/2026/10/qwen4-30621-img08-img08.webp)](https://admin.zuoshipin.com/wp-content/uploads/2026/10/qwen4-30621-img08-img08.webp) 尚未完成完整端到端验证的工程说明 换句话说，**目前 Qwen4-27B 或已进入具体的推理算子适配和优化阶段，但尚不知最终模型权重是否已经准备就绪。** ## 27B 保留稠密路线 四路残差成关键变化 在开源推理项目 llama.cpp 的 GitHub 仓库里，开发者 adambenhassen 顺着线索，将 Qwen4-27B 与此前的 Qwen3.8-27B 进行了逐项比较。 [![社区对Qwen4-27B稠密架构的对比分析](https://admin.zuoshipin.com/wp-content/uploads/2026/10/qwen4-30621-img09-img09.webp)](https://admin.zuoshipin.com/wp-content/uploads/2026/10/qwen4-30621-img09-img09.webp) 社区对Qwen4-27B稠密架构的对比分析 **Qwen4-27B** 并未明显改变上一代模型的基础规模，**而是将升级重点放在内部架构上。** 两代模型均采用 **27B Dense 稠密路线**，隐藏层维度同为 5120，部分 GDN 和注意力配置也基本一致。但 Qwen4 相关实现中，又出现了 **四路 Hyper-Connections（HC）、Sigmoid 输出门控和 QSA 稀疏注意力**等设计。 [![四路残差、GDN与QSA相关技术线索](https://admin.zuoshipin.com/wp-content/uploads/2026/10/qwen4-30621-img10-img10.webp)](https://admin.zuoshipin.com/wp-content/uploads/2026/10/qwen4-30621-img10-img10.webp) 四路残差、GDN与QSA相关技术线索 其中，四路残差是最值得关注的变化之一。它将传统 Transformer 的单路残差信息**传递扩展为四路**，通过门控改善不同网络层之间的信息流动。GDN 则利用固定大小状态**高效压缩历史信息**，QSA 通过**筛选重要上下文，减少不必要的注意力计算**。 这些技术此前已在 Qwen3.8-Flash-Next 中作为 Qwen4 架构预览公开，如今又出现了针对 27B 稠密模型的适配线索。 如果相关配置得到证实，Qwen4-27B 的升级重点不在扩大参数规模，而是**通过改善信息传递与长上下文计算效率**，争取更高的模型能力和推理效率。 这也与阿里此前公布的下一代模型技术方向相呼应。 云栖大会上，阿里巴巴集团 CEO 吴泳铭描绘的各类 Agent 协同。对于需要持续读取代码、调用工具、处理长文档的 Agent 而言，模型不仅需要更强的推理能力，**还必须控制长期运行中的计算与存储成本**。GDN 与 QSA 的混合设计，正是为缓解长上下文计算和历史信息访问开销提供的一种技术路线。 **新架构甚至可能影响现有推理框架的兼容性。** llama.cpp 开发者指出，由于四路残差改变了模型内部的信息传递结构，**现有针对**`qwen3_5`**的推理实现已无法直接加载 Qwen4-27B，需要适配新的模型代码**。部分基于上一代模型训练的推测解码辅助模型，也可能需要重新训练。 [![Qwen4可能带来的推理框架适配需求](https://admin.zuoshipin.com/wp-content/uploads/2026/10/qwen4-30621-img11-img11.webp)](https://admin.zuoshipin.com/wp-content/uploads/2026/10/qwen4-30621-img11-img11.webp) Qwen4可能带来的推理框架适配需求 #### 结语 当然，社区这些分析主要建立在推理内核代码之上。没有正式模型配置和权重，仍无法判断 Qwen4-27B 的最终完整架构。一位接近千问团队的知情人士向我们透露，按照以往的产品发布节奏，27B 规模的模型通常属于较晚发布的批次。 在一个月前的云栖大会上，阿里巴巴 CEO 吴泳铭介绍了集团面向机器智能时代的算力与基础设施规划。新任 Qwen LLM 项目负责人刘大一恒也首次在云栖大会主论坛亮相，介绍千问下一阶段的发展方向。 其中最重要的一条信息是：**基于新一代架构的 Qwen4 已经进入训练阶段，后续 Qwen4.5、Qwen5 等系列还计划向 5 万亿至 10 万亿参数规模扩展。** 这也意味着，阿里已经明确将 Qwen4 定位为下一阶段模型架构升级的重要节点。从行业技术演进来看，越来越复杂的 Agent 工作负载，**正在推动模型厂商同时改进网络架构、注意力计算和推理部署效率**。此次 GitHub 代码中出现的 HC、GDN、QSA 等技术，也与这条发展路线存在明显关联。 ## 相关站内导航 - **Qwen3.8-27B：**[https://www.zuoshipin.com/link/23271.html](https://www.zuoshipin.com/link/23271.html) - **QwenPaw：**[https://www.zuoshipin.com/link/22317.html](https://www.zuoshipin.com/link/22317.html) - **本地AI硬件参考：**[https://www.zuoshipin.com/link/33927.html](https://www.zuoshipin.com/link/33927.html) - **更多AI资讯：**[https://www.zuoshipin.com/archive/75](https://www.zuoshipin.com/archive/75) **Tags:** INT4量化, Intel XPU, Qwen, Qwen4, 大模型推理, 模型架构 **Categories:** AI资讯 ---