Qwen4 的 35B 级 MoE 长什么样：架构预告已公开，模型本身还没发布

  2026年11月4日   Posted in 协撰 0 Likes 38 Views

「Qwen4 会不会出一个 35B 左右的 MoE」——这个问题在 2026 年 11 月初还只能部分回答：模型本身没发布，架构预告已经公开，而 35B 这个档位目前只是社区传闻。这篇文章把三个层次分开：官方确认的、第三方代码里露出来的、以及基于前作配置能推算出来的。

一、先说结论：Qwen4 现在公开了什么，没公开什么

截至本文写作日（2026 年 11 月 4 日），在 Hugging Face 的 Qwen 组织下以 Qwen4 检索，返回的是空数组7。也就是说，Qwen4 家族一个权重都还没放出来。官方在 2026 年 9 月 22 日云栖大会开场演讲中确认「基于新一代架构的 Qwen4 已在训练中」，并在舞台上给出四档命名9：

  • Qwen4-Max——旗舰档
  • Qwen4-Plus——均衡档
  • Qwen4-Flash——高速档
  • Qwen4-27B——计划开放权重的档位

这四个名字出现在舞台投屏上，书面新闻稿并未确认档位名，官方至今没有给出任何一款的模型卡、API 标识、价格或 benchmark9。阿里云 CTO 李飞飞在 10 月 29 日阿姆斯特丹欧洲云栖大会上说 Qwen4「下周」发布10——那个窗口是 11 月 2 日至 6 日，也已过去两天。

所以「Qwen4 的 35B MoE 长什么样」这个问题，得换个问法：能拿到的是架构预告 Qwen3.8-Flash-Next，能拿到的是 35B-A3B 家族的前两代配置，剩下的只能算账。

二、唯一露出来的 Qwen4 模型级证据：27B，而且是 dense

真正泄露 Qwen4 模型结构的不是模型卡，而是适配代码。英特尔系的 analytics-zoo/vllm-xpu-kernels 仓库在 10 月 23 日合并了 PR #22，标题直接写着「Enable Qwen3.8-flash-next 8 cards fp8 & int4 and optimize qwen4-27b」8。该 PR 为 Qwen4-27B 提供了 SYCL/SYCL-TLA 内核，覆盖 dense TP2 FP8 与 TP1/TP2 INT4 三种部署形态，代码里明确按 dense（非 MoE）结构编写，隐藏层维度 H5120，并包含 QSA（Qwen Sparse Attention）稀疏注意力路径与 HC（Gated Residual）双投影8。

H5120 这个数字值得记一下：Qwen3.8-27B 的 config 里 hidden_size 正好也是 5120{ sup(21) }。合理推断是，Qwen4-27B 延续 Qwen3.8-27B 的 dense 骨架（64 层、5120 隐藏维），把注意力层换成 QSA、残差流换成四分支 Gated Residual。这属于第三方适配侧的代码线索，不是官方口径。

同一份 PR 的参数说明里还提到「HC prefill 覆盖 H2560/H5120」8——H2560 正是 Qwen3.8-Flash-Next 的 hidden_size4。两个隐藏维度同时出现在一份 Qwen4 适配代码里，反过来说明 Qwen4 至少有两个不同体量的档位在并行适配。

三、35B-A3B 家族现在长什么样：Qwen3.6-35B-A3B 的配置全拆

Qwen3.6-35B-A3B 是 Qwen3.5-35B-A3B20 的后继，也是目前开源权重里这一档的最新形态：2026 年 4 月 16 日发布，Apache-2.0 许可，原生多模态（文本、图像、视频输入，文本输出）。它的 config.json2 与模型卡1 把整套骨架写得非常清楚：

维度Qwen3.6-35B-A3B 的实际配置
总参数 / 激活参数35B / 3B（HF safetensors 元数据实测 35,951,822,704）
层结构40 层，10 ×（3 ×（Gated DeltaNet → MoE）+ 1 ×（Gated Attention → MoE)）
隐藏维 / 词表hidden 2048，vocab 248,320（padded）
线性注意力（Gated DeltaNet）V 向 32 头、QK 向 16 头，head dim 128，conv kernel 4，SSM 用 fp32
显式注意力（Gated Attention）Q 向 16 头、KV 向 2 头，head dim 256，RoPE 维 64，partial rotary 0.25
MoE256 个路由专家，每 token 激活 8 个，另有 1 个共享专家，expert intermediate 512
MTP1 层，多步训练
上下文原生 262,144，YaRN 可扩到 1,010,000
视觉塔27 层 ViT，hidden 1152，patch 16，spatial merge 2

这里有几个设计选择直接决定了它的成本结构。第一，256 个专家、每 token 只用 8 个，专家总参数占文本主干的大头，激活比例只有 8.57%。第二，四层里只有一层是显式注意力，其余三层是 Gated DeltaNet 线性注意力——这直接决定了它的 KV Cache 规模（下面单独算）。第三，MTP 只做了一层，是给投机解码留的头部，不是主模型的一部分。

这个 35B-A3B 底座已经被复用到别的方向：Qwen-AgentWorld-35B-A3B 以 Qwen3.5-35B-A3B-Base 为基座，做的是语言世界模型，覆盖 MCP、搜索、终端、SWE、Android、Web、OS 七个环境域22。

四、Qwen4 架构预告里真正会改的四件事

Qwen3.8-Flash-Next 于 2026 年 8 月 26 日开源，官方明确定位为「Qwen4 架构的技术预览」，扮演的角色等同于当年 Qwen3-Next 对 Qwen3.5 的作用56。它的 model_type 直接叫 qwen4_exp，架构类名是 Qwen4ExpForConditionalGeneration4。四个方向的改动，逐条拆开：

4.1 注意力：Gated Attention 被 QSA 取代

Qwen3.5–3.8 这一路用的是 Gated DeltaNet + Gated Attention 配对；Qwen4 把它改成 Gated DeltaNet + Qwen Sparse Attention。QSA 不逐 token 选上下文，而是用压缩过的轻量 indexer 在 micro-block 粒度上选，每 4 个 token 一个块3。config 里的关键旋钮是 indexer_budget: 2048、indexer_compress_ratio: 4、indexer 自身只有 4 个头、1 个 KV 头、head dim 1284。

官方给的数字是：在 1M tokens 长度上，QSA 的注意力 kernel 相比全注意力实现最高 7.6 倍 prefill、4.9 倍 decode 加速；在 90% 前缀缓存命中的线上服务模拟场景下，1M 上下文时 prefill 吞吐达到 Qwen3.7-Plus 的 8.6 倍5。

4.2 残差：Gated Residual，残差流拆成 4 支

Gated Residual 把传统 Transformer 的单一残差流拓宽成 4 个分支，用逐元素的动态读门控和每分支标量写门控控制信息流35。config 里对应 hc_count: 4、hc_lowrank: 3204。这是 Qwen4 相对前代改动最彻底的一项——社区里 llama.cpp 开发者提到，四路残差改变了模型内部的信息传递结构，针对 qwen3_5 的推理实现无法直接加载 Qwen4 模型，需要新的模型代码10。

4.3 嵌入：N-gram Embedding，一条新的参数轴

这是 Qwen4 最容易被忽略、但对「参数怎么加」影响最大的一项。模型用局部上下文（bigram/trigram）去查一张巨大的嵌入表，而不是逐 token 查单 token 嵌入3。Flash-Next 的这张表有 2,000 万条目，在第 2 层接入，hidden 25604。

这里必须算一笔账。Flash-Next 的模型卡说它有 51B 的 n-gram 嵌入参数3，而它自己的主模型是 125B3——我按 config 复算：2,000 万 × 2560 = 51.2B，与官方口径吻合；HF safetensors 元数据实测总参数 179,999,981,459，正好是 125B 主模型 + 51B n-gram + 4B MTP8。这张表按 bf16 折算约 95.4 GiB。

那么问题来了：如果同样的 2,000 万条目表搬到 hidden 2048 的 35B 档上呢？2,000 万 × 2048 = 41.0B 参数，bf16 约 76.3 GiB——比 35B-A3B 自身的全部权重（71.9 GB / 67.0 GiB）还大 114%。这就说明两件事：一是 n-gram 表的规模必须随 hidden 缩小，否则「加参数」变成「加负担」；二是官方强调这张表可以卸载到主机内存、并用异步预取与计算重叠5——它本来就不是给 GPU 算的，是给内存容量用的。缩到 200 万条目是 4.1B 参数、7.6 GiB bf16；缩到 100 万条目是 2.05B 参数、3.8 GiB。

4.4 优化器：Muon 与 AdamW 分工

Muon 优化器被引入并围绕正交化精度、Muon 与 AdamW 的分工、以及融合参数的拆分做了重新设计，同时按新架构重拟合了 scaling law5。官方称 Flash-Next 的训练成本只有 Qwen3.7-Plus 的约 1/95。这一项对本地用户没有直接影响，但对「35B 这档在什么规模上训得起来」有决定性意义。

五、自下而上复算 35B-A3B：参数到底花在哪

把 config 的每一项乘起来，35B-A3B 的参数分布是清楚的（以下为按 config 复算，非官方披露）：

组成部分参数（复算）占文本主干比例
MoE 专家（40 层 × 256 专家）32.34 B94.3%
注意力 + Gated DeltaNet0.94 B2.7%
词表嵌入 + 输出头1.02 B3.0%
文本主干合计34.30 B100%
视觉塔（27 层 ViT）0.41 B—
MTP 头（1 层）0.83 B—
总计（复算 vs HF 实测 35.95 B）35.54 B—

一句话：MoE 专家占了整个模型的九成四。注意力部分被压得极薄（40 层里 30 层是线性注意力），这是「35B 总参、3B 激活」在结构上能成立的真正原因——每 token 只读 3B 参数，推理时的权重读取量按 bf16 算约 6.00 GB（5.59 GiB），与一个 3B 稠密模型相当2。

六、35B-A3B 真正省下来的东西：KV Cache

MoE 省的是算力，不是显存。这一档的隐藏优势在上下文缓存上，而这一点在选型时经常被忽略。

按 config 复算：40 层里只有 10 层是全注意力（full_attention_interval: 4），每层 2 个 KV 头、head dim 256，f16 精度下 每个 token 20 KiB KV；Gated DeltaNet 层不随上下文增长，只保留固定大小的递归状态（按 config 推算每层每序列约 2 MiB，30 层合计约 60 MiB，与上下文长度无关）。与同代稠密模型对照：

模型每 token KV（f16）32K 上下文131K 上下文262K 上下文
Qwen3.6-35B-A3B（10 个全注意力层）20 KiB0.62 GiB2.50 GiB5.00 GiB
Qwen3.8-27B dense（16 个全注意力层）64 KiB2.00 GiB8.00 GiB16.00 GiB

也就是说，35B-A3B 在 131K 上下文下的 KV 只有 27B 稠密版的 31%221。两个数字互相独立印证过：第三方推理工具链的记录同样给出 Qwen3.6-35B-A3B「20 KiB/token」与 Qwen3.8-27B「64 KiB/token」18。

这一条对本地部署是实打实的：24 GB 显存的卡跑 Qwen3.6-35B-A3B 并开到 128K 上下文，KV 只占 2.5 GiB；而跑同尺寸的稠密模型，光 KV 就要吃掉 8 GiB。

七、本地跑起来：量化档位与 llama.cpp 的支持进度

Qwen3.6-35B-A3B 的 GGUF 生态比较完整，Unsloth 与 ggml-org 都提供量化1617：

量化档位文件大小备注
BF1669.4 GBggml-org 原生
Q8_036.9 GB接近无损
UD-Q4_K_XL22.4 GBUnsloth 推荐主力档
MXFP4_MOE21.7 GBMoE 专用混合精度
UD-Q3_K_XL16.8 GB12 GB 卡 + 内存卸载的常见落点
UD-IQ2_M11.5 GB极限压缩

另外有独立的 DFlash 投机解码草稿模型（BF16 783 MB / Q8_0 421 MB）与独立的 MTP 分片（BF16 3.74 GB / Q4_0 1.06 GB），MTP 版主文件比非 MTP 版大约多 0.6 GB17。第三方实测记录：UD-Q3_K_XL 在 65536 上下文下约 34.8 t/s、UD-Q4_K_XL 在 100000 上下文下约 27.5 t/s、带 MTP 的 UD-Q4_K_M 在 65536 上下文下约 32.1 t/s17。

llama.cpp 侧的支持时间线值得记一下，因为它决定了这几代模型能不能被本地用户实际跑起来：

  • qwen35moe 架构自 b7990 起支持，MTP 层自 b9180 起支持（PR #22673）16
  • Qwen4 架构（qwen4_exp）由 PR #27742 于 2026 年 8 月 27 日合入11
  • 随后 PR #29751 修正了 qwen4exp 的注意力路径（此前在 master 上是坏的），PR #29761 为 Qwen4Exp 补上 MTP 投机解码，在 DGX Spark 上带来约 1.55 倍解码加速1213
  • llama.cpp v0.8.0（2026 年 10 月 28 日）把稀疏注意力（QSA/DSA）重写为融合 mask 算子，主机内存中的 MoE 专家缓存改为 50/50 SLRU 策略14
  • v0.7.0 引入 --moe-cache-mib，让驻留主机内存的专家在 GPU 上跑 LRU 缓存，专家被卸载时解码最高提速约 2.2 倍15

最后一条对 12 GB 显卡 + DDR4 内存的机器尤其相关。社区讨论区里有用户报告，在 RTX 3060 12GB 加 DDR4 内存的机器上跑 Qwen3.6-35B-A3B，开 DFlash 投机解码、131K 上下文，LM Studio 里约 60 t/s19。

八、所以，「Qwen4 的 35B MoE」最可能是什么

把上面的证据拼起来，一个有依据但尚未被证实的轮廓是：

  1. 档位命名：沿用 A3B 后缀，35B 总参 / 3B 激活——社区里流传的「Qwen4-35B-A3B」这个名字来自二手测试线索，而 Hugging Face 上已经出现了请求蒸馏该模型的公开讨论帖919
  2. 骨架：继承 35B-A3B 的混合注意力布局（3 层 Gated DeltaNet + 1 层显式注意力），但把显式注意力换成 QSA、残差流换成 Gated Residual（4 分支、low-rank 320）
  3. MoE 规格：很可能仍是 256 专家、每 token 激活 8 个、共享专家 1 个，expert intermediate 512——这一层 Flash-Next 的 512 专家 / top-10 是 125B 档的规模，35B 档没有理由照搬
  4. n-gram 表：条目数必须显著小于 2,000 万（按 hidden 2048 复算，200 万条目即 4.1B 参数、7.6 GiB bf16），否则这张表会比模型本身还大
  5. 激活参数：3B 左右，每 token 权重读取量 bf16 约 6 GB
  6. KV Cache：20 KiB/token 量级，131K 上下文约 2.5 GiB——这是它相对同代稠密模型最实在的优势
  7. 训练：走 Muon + AdamW 分工、按 Qwen4 架构重拟合 scaling law，成本曲线应当明显低于同规模前作

这是推演，不是公告。Qwen4 官方至今没有公布任何一款 35B 档模型的存在，也没有公布 35B 这个体量本身。

九、盯住这三个锚点，就知道传闻会不会变成事实

  • HF 组织下出现 Qwen4 仓库——目前检索为空。一旦出现，先看 config 的 model_type 是不是从 qwen4_exp 转成正式版本，再看有没有 A3B 档
  • config 里出现 ngram_vocab_size_base——这是判断「35B 档是否继承了 N-gram Embedding」最直接的证据，也是判断那张表规模是否合理的唯一硬指标
  • 第三方适配代码里的 H 维度——H5120 指向 27B dense 那条线，若出现别的隐藏维组合（如 H2048），基本可以确认小尺寸 MoE 档的存在

顺带一个提醒：关于 Qwen4-27B 的规格，第三方适配代码里明确写着「dense 结构、隐藏层维度 5120、含 QSA 稀疏注意力路径（非官方口径）」8，以及「Qwen4-27B 的总参数量、激活参数与是否为 MoE 结构官方均未披露」10。凡是碰到 Qwen4 的参数量、上下文长度或 benchmark 数字，都要先问一句出处是官方模型卡还是适配代码——这两者的信息等级完全不同。

资料来源

本文由 agent 依据公开资料成稿，供作者复核与续写。文中涉及的商业数据来自公开渠道，公司名称依约定做匿名化处理。