【免费下载链接】Qwen3.8-Flash-Next项目地址https://ai.gitcode.com/hf_mirrors/unsloth/Qwen3.8-Flash-Next点击查看免费下载Qwen3.8-Flash-Next 是一款开源权重的新一代多模态大模型核心卖点正是125B 总参数、每 token 仅激活 6B背后靠的是 512 专家 MoE 路由与 51B N-gram Embedding 两大设计。本文基于仓库内的 config.json 与 model.safetensors.index.json 权重索引带你拆解这些数字的来历并附快速部署指南。一分钟看懂 Qwen3.8-Flash-Next 是什么Qwen3.8-Flash-Next 是 Qwen4 系列架构的实验性预览版本model_type: qwen4_exp由因果语言模型 视觉编码器组成支持图像与视频理解默认开启思考模式thinking mode原生上下文 262,144 tokens可扩展至 1,000,000 tokens。详见 README.md。它的参数构成可以拆成三块README.md 原文表述为 125B with 6B activated, plus 51B n-gram embedding and 4B MTP组成部分参数量作用核心语言模型MoE125B知识容量主体N-gram Embedding51B以词组为索引的查表记忆库MTP 多 token 预测4B推测解码加速模块三者合计约 180B 参数与权重索引中记录的总大小约 360GBbfloat16相互印证。125B 参数去哪了512 专家 MoE 路由原理48 层混合注意力骨架在 config.json 中48 层按 12 次循环排布每次循环3 个线性注意力层 1 个稀疏全注意力层3 × Gated DeltaNet线性注意力长上下文成本远低于传统注意力1 × Qwen Sparse AttentionQSA在微块级别做稀疏选择indexer 预算为 512 个 block / 2048 个 tokenconfig.json大幅压低长文延迟。全注意力每 4 层才出现一次full_attention_interval: 4见 config.json这是长文本又快又省的关键。MoE 核心512 个专家只激活 11 个关键参数如下config.json参数值含义num_experts512每层专家总数num_experts_per_tok10每个 token 路由选中的专家数moe_intermediate_size640专家中间维度shared_expert_intermediate_size640常驻激活的共享专家算一笔账单个专家 ≈ 2560 × 640 × 3 ≈ 490 万参数一层 512 个专家 ≈ 2.5B48 层合计 ≈ 121B——125B 的核心参数基本都堆在这里其余为注意力、共享专家与输入/输出词嵌入词表 248,320见 config.json。但对每个 token路由器只挑选10 个路由专家 1 个共享专家参与计算MoE 部分实际激活约 2.6B这正是6B 激活的主要来源之一。51B N-gram Embedding 的真实身份双词组 三词组只挂载在第 2 层Qwen3.8-Flash-Next 把短词组n-gram直接当作嵌入表的索引ngram_size: 3同时覆盖 bigram 与 trigramngram_vocab_size_base: 20,000,000即 2000 万个 n-gram 条目config.json。该模块只挂载在第 2 层ple_layer_ids: [2]README.md由 4 个头处理heads_per_ngram: 8、ple_embed_dim: 2560。为什么它是最划算的参数扩展51B ≈ 2000 万 × 2560 维。这类查找表有三个特点官方称其为对 MoE 之外另一条参数扩展轴的探索README.md零前向计算推理时只是查表不参与矩阵乘法可 offload可放到 CPU 或低带宽内存不占用 GPU 算力容量大让模型更胖知识容量而更快计算量不变。在权重文件中51B 被切成128 个分片split_ngram_parts: 128config.json从 model-00005-of-00131.safetensors 到 model-00037-of-00131.safetensors 中的ngram_embedding.shard_0到shard_127可以找到它们的踪迹见 model.safetensors.index.json。6B 激活之谜一笔账算清楚模块总参数每 token 实际参与计算路由专家10/512 激活≈121B≈2.6B注意力 共享专家等≈3B≈2B输入/输出词嵌入≈1.3B≈1.3BN-gram Embedding51B仅查表不计算力MTP可选加速4B可选合计≈180B≈6B谜底就是125B是核心模型容量6B是每 token 的真实算力开销51B是只占内存的查表库4B是 MTP 加速模块。模型的知识容量达到 125B 级别而单 token 计算成本却接近一个 6B 稠密小模型——这就是极致性价比Towards Ultimate Cost-Efficiency的架构含义。值得了解的 4 个架构细节Gated Residual超连接残差4 条分支残差流 低秩 320 瓶颈门控hc_count: 4、hc_lowrank: 320config.json用极低的推理开销换取深层训练稳定性QSA 稀疏注意力24 个 Query 头 / 2 个 KV 头、head dim 256配合 MQA indexer4 Query 头 1 共享 Key 头做块级选择长上下文延迟显著降低MTP 多 token 预测1 层全注意力 独立 MoEconfig.json约 4B用于推测解码提升吞吐训练配方Muon 与 AdamW 分别作用于不同权重类别按重拟合的 scaling laws 取消 batch warmup、直接以目标 batch 训练减少总训练步数README.md。快速上手如何部署 Qwen3.8-Flash-Next第 1 步下载权重共 131 个分片约 360GBbf16git clone https://gitcode.com/hf_mirrors/unsloth/Qwen3.8-Flash-Next.git第 2 步选择推理框架。生产环境推荐使用 SGLang、KTransformers 或 vLLM 等专用引擎官方在各框架的 Cookbook/Recipe 中提供了配置README.md。第 3 步设置采样参数官方推荐思考模式temperature1.0、top_p0.95、top_k20非思考模式temperature0.7、top_p0.8、top_k20、presence_penalty1.5默认生成参数见 generation_config.json。第 4 步可选超长上下文。原生支持 262K若需 1M 上下文通过修改 config.json 的rope_parameters启用 YaRN 缩放README 中给出了 vLLM / SGLang / TokenSpeed 的命令行写法。常见问题 FAQQ1下载需要多大磁盘空间约 360GBbfloat16 原始精度若做 4bit 量化部署大约降到原来的 1/4。Q251B 的 N-gram Embedding 包含在 125B 里面吗不包含。官方明确将 125B 核心模型、51B n-gram embedding 与 4B MTP 分开统计三者合计约 180B。Q351B 查表库可以 offload 吗可以。它不参与前向矩阵计算只占内存天然适合卸载到 CPU 或低带宽存储这也是它被视为内存受限加速器友好的扩展方式。Q4如何关闭默认的思考模式通过 API 的chat_template_kwargs设置enable_thinking: False模板逻辑见 chat_template.jinja多轮对话中还可以用preserve_thinking控制是否保留历史思考块。Q5视觉能力怎么配置模型内置 27 层视觉编码器patch 16、时间 patch 2config.json视频处理建议按 video_preprocessor_config.json 的说明调整longest_edge以支持小时级长视频。赞分享【免费下载链接】Qwen3.8-Flash-Next项目地址https://ai.gitcode.com/hf_mirrors/unsloth/Qwen3.8-Flash-Next点击查看免费下载相关推荐Qwen3.8-Flash-Next N-gram Embedding深度剖析51B n-gram词表如何实现内存友好的参数扩展Qwen3.8 Flash Next N gram Embedding深度剖析51B n gram词表如何实现内存友好的参数扩展 Qwen3.8 Flash人工智能基础模型大模型多模态Qwen3.8-Flash-Next-FP8的51B N-gram Embedding为何比MoE更省参数扩展新路线全解读Qwen3.8 Flash Next FP8的51B N gram Embedding为何比MoE更省参数扩展新路线全解读 Qwen3.8 Flash NexQwen3.8-Flash-Next-FP8 MoE结构拆解512个专家只激活11个6B激活参数如何打满性能天花板Qwen3.8 Flash Next FP8 MoE结构拆解512个专家只激活11个6B激活参数如何打满性能天花板 Qwen3.8 Flash Next F上一篇ant-design-blazor Table 行属性与单元格属性设置指南OnRow / OnCell 详解下一篇从原理到实践深入理解OpenArk驱动加载机制与兼容性优化创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考