【免费下载链接】neutts-air_rai_1.8.0_npu_4K项目地址https://ai.gitcode.com/hf_mirrors/amd/neutts-air_rai_1.8.0_npu_4K点击查看免费下载neutts-air_rai_1.8.0_npu_4K是 AMD 针对 Ryzen AI 硬件优化的开源 TTS文本转语音模型基于 NVIDIA neutts-air 转换而来采用 ONNX 格式 AWQ uint4 量化专为 NPU 部署设计支持 4096 上下文Full Fusion 4K context。本文带你逐字段读懂 config.json 与 genai_config.json搞懂它为什么是24 层 Qwen2以及 4096 上下文限制从何而来。一、先认识这个模型它是什么来头根据 README.md 的说明该模型的加工链路是源模型 neutts-air → Quark 量化 → OGA Model Builder → NPU 部署后处理4K 上下文全融合一句话概括它的核心特征架构Qwen2Qwen2-1.5B 同规格骨干网络词表扩展到 217652 以容纳语音生成 token⚡量化AWQ / Group 128 / 非对称 / BFP16 激活 / UINT4 权重部署AMD Ryzen AI NPURyzen AI 1.8.0 运行时最大提示长度 4096二、config.json模型结构全景config.json 是 Hugging Face Transformers 标准格式描述模型的骨架。关键参数如下参数值含义architecturesQwen2ForCausalLM因果语言模型用于自回归生成model_typeqwen2Qwen2 家族num_hidden_layers2424 层 Transformer标题中24层Qwen2的出处hidden_size896隐藏层维度num_attention_heads14查询头数64 维/头num_key_value_heads2GQA 分组注意力KV 头仅 2 个显著降低显存与 KV Cache 开销intermediate_size4864FFN 中间层维度vocab_size217652扩展后词表比 Qwen2 原版多出的 66009 个 token 用于语音生成dtypebfloat16训练/参考精度max_position_embeddings32768理论最大位置长度rope_theta1000000.0RoPE 旋转位置编码基频hidden_actsilu激活函数bos_token_id/eos_token_id151643 / 151645起始/结束 token均为 Qwen 的|endoftext|tie_word_embeddingstrue输入嵌入与输出词表共享权重省内存新手提示hidden_size896 24 层 14 头 4864 FFN这组数字正是 Qwen2-1.5B 的标准规格说明 NEUTTS 直接沿用了 Qwen2-1.5B 的骨干网络再扩展词表加入语音 token详见 added_tokens.json 中的|SPEECH_GENERATION_START|、|TEXT_PROMPT_END|等特殊标记。量化配置quantization_config速览config.json 中约一半篇幅是量化配置核心信息quant_method: quark使用 NVIDIA Quark 工具链量化权重uint4、group_size: 128、per_group分组、非对称symmetric: false、舍入方式half_evenscaling_layers量化前按数据流对q_proj/k_proj/v_proj、o_proj、gate_proj/up_proj、down_proj分别做 AWQ 缩放校准分别以input_layernorm、v_proj、post_attention_layernorm、up_proj作为观测输入激活BFP16README 中标注KV Cache 未额外量化kv_cache_quant_config为空这套uint4 权重 BFP16 激活组合是 NPU 上兼顾速度与精度的常见方案。三、genai_config.jsonONNX Runtime GenAI 的运行手册genai_config.json 是 ONNX Runtime GenAI 的模型描述文件告诉推理引擎怎么跑。分两大块看1.model部分解码器结构与执行后端字段值说明typeqwen2与 config.json 呼应context_length32768声明的模型上下文能力理论值decoder.filenamemodel.onnx指向 model.onnx权重外置在 model.onnx.datanum_hidden_layers/num_attention_heads/num_key_value_heads24 / 14 / 2与结构文件完全一致head_size64每头维度896 ÷ 14 64inputs/outputsinput_ids、attention_mask、past_key_values.%d.*等定义张量名映射解码阶段通过present.%d.key/value传递 KV Cache最关键的执行配置在session_options中provider_options.RyzenAI.hybrid_opt_token_backend: npu声明由 Ryzen AI NPU 后端执行 token 生成external_data_file: null表示不在此处指定外部数据文件实际权重跟随model.onnx旁边的.data文件加载2.search部分默认采样参数参数值含义do_sampletrue开启随机采样非贪心temperature0.7温度0.7 属于稍稳但保留多样性的常用值top_k/top_p20 / 0.8双重截断先取前 20 再按 80% 概率截断repetition_penalty1.0GenAI 引擎内不惩罚重复HF 侧另有 1.1见下文num_beams1单束解码即普通采样而非 beam searchmax_length4096生成长度上限对应4Kearly_stoppingtrue生成到 EOS 即停past_present_share_buffertrue复用 KV Cache 缓冲区NPU 上省显存的关键开关 另有一份 generation_config.json 是 Hugging Face 侧的采样配置repetition_penalty: 1.1、temperature: 0.7、top_k: 20、top_p: 0.8两者温度/截断参数一致重复惩罚值不同实际生效值取决于你使用的推理框架。四、4096 上下文到底从哪来这里有个容易迷惑的点模型声明context_length是32768但 NPU 版本实际只支持4096。原因看两处1️⃣ rai_config.json —— 各版本 Ryzen AI 的最大提示长度Ryzen AI 版本max_prompt_length1.3.1 ~ 1.5.120481.6.0 / 1.7.0 / 1.7.14096文件名中的4K正对应此值本模型面向 Ryzen AI 1.8.0 运行时提示长度上限为 4096 token。2️⃣dd_metastate_*元数据文件 —— 编译时按长度分桶的证据仓库中 50 多个dd_metastate_*文件是 NPU 编译期的数据移动Data Movement元数据按 padding 后的序列长度预生成例如Prefill预填充阶段sequence_length_padded_128到4096以 128 递增128、256、512、768、1024、1536、2048、2304、3072、4096 共 10 档每档含.ctrlpkt/.meta/.super三个文件Decode逐 token 生成阶段attention_mask_padded_256到4096256、512、1024、2048、3072、4096 共 6 档以 dd_metastate_Llm_Prefill_modellayers.0input_layernormMLADFRMSNORM_sequence_length_padded_4096_.meta 为例文件名中Llm_Prefill表明它服务于第 0 层input_layernorm之后的 MLA 融合层在 4096 长度下的数据搬运计划。文件名中最大的长度档位就是 4096——这就是4K在编译层面的硬上限。 工作原理输入进来后会被 pad 到最接近的档位再上 NPU档位化编译可大幅减少运行时开销代价是长度被钉在 4096 以内。五、配套文件速查表文件作用config.json模型结构与量化配置Transformers 标准genai_config.jsonONNX Runtime GenAI 运行配置generation_config.jsonHF 侧默认采样参数rai_config.jsonRyzen AI 各版本最大提示长度model.onnx / model.onnx.dataONNX 图与外置权重LFS 大文件tokenizer.json / vocab.json分词器与词表special_tokens_map.json特殊 token|im_start|等added_tokens.json66009 个新增语音 token 映射chat_template.jinja对话模板⚠️注意model.onnx.data、tokenizer.json等文件在本仓库中以 Git LFS 指针形式存在本地仅 1KB下载后需通过 Git LFS 拉取真实大文件否则模型无法加载。六、新手常见问题FAQQ1为什么标题说24 层而不是常见的 32 层A这是 Qwen2-1.5B 的规格24 层、隐藏层 896属于小模型阵营配合 uint4 量化后非常适合跑在 NPU 上。Q2我输入 8000 token 的长文本会怎样A本 NPU 编译版最大提示长度为 4096超出部分会被截断。模型本身32768支持更长上下文但 NPU 4K 版在编译期已被限定。Q3如何运行A这是 Ryzen AI 1.8.0 的 OGA 模型包需配合 AMD Ryzen AI 运行时使用具体步骤请查阅 AMD 官方 Ryzen AI 文档hybrid OGA 部分。总结 两个配置文件各司其职config.json 回答模型长什么样——24 层 Qwen2 骨干、GQA14 头/2 KV 头、uint4 AWQ 量化、扩展至 217652 的语音词表genai_config.json 回答模型怎么跑——ONNX 图 RyzenAI NPU 后端、temperature 0.7 / top_k 20 / top_p 0.8 的默认采样、4096 生成长度上限。理解了32768 是模型能力、4096 是 NPU 编译上限这一区分你就基本读懂了这个仓库的全部配置脉络。赞分享【免费下载链接】neutts-air_rai_1.8.0_npu_4K项目地址https://ai.gitcode.com/hf_mirrors/amd/neutts-air_rai_1.8.0_npu_4K点击查看免费下载相关推荐读懂Qwen2.5-0.5B-Instruct_rai_1.8.0_npu_4K配置config.json与genai_config.json参数逐一讲解读懂Qwen2.5 0.5B Instruct_rai_1.8.0_npu_4K配置config.json与genai_config.json参数逐一讲解 本Mistral-7B-Instruct-v0.2_rai_1.8.0_hybrid配置文件逐行解读config.json、genai_config.json与rai_config.json完全指南Mistral 7B Instruct v0.2_rai_1.8.0_hybrid配置文件逐行解读config.json、genai_config.json与如何读懂GLM-5.3-DQ4-Q5-q8的config.json78层、256专家、top-8路由与1M上下文深度解读如何读懂GLM 5.3 DQ4 Q5 q8的config.json78层、256专家、top 8路由与1M上下文深度解读 GLM 5.3 DQ4 Q5 q8上一篇symbols-outline.nvim插件架构深入理解模块化设计的艺术下一篇MooseFS快照技术深度剖析原子性操作如何保证业务连续性创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考