量化版本选择清单NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF 全系 18 个文件该下载哪个【免费下载链接】NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF项目地址: https://ai.gitcode.com/hf_mirrors/unsloth/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF面对 NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF 全系 18 个量化文件很多新手第一反应是懵IQ 系列和 Q 系列到底差在哪UD 前缀是什么意思24GB 显存能跑哪一个别急这篇量化版本选择清单就是为「选择困难症」准备的按文件大小、显存需求和实际用途帮你 3 分钟锁定该下载哪个文件。 为什么需要 GGUF 量化版本NVIDIA-Nemotron-3.5-Lightning-30B-A3B 是 NVIDIA 开源的混合架构大模型MoE Mamba-2 Attention总参数 30B、每次推理只激活 3B因此速度快、适合本地部署。但它的全精度 BF16 参考权重高达61GB普通电脑根本装不下。GGUF 是 llama.cpp 生态的通用模型格式通过量化把权重压缩到原来的 1/4 甚至 1/8让「个人显卡跑大模型」成为可能。本仓库一次性提供了从 18GB 到 61GB 的 18 个档位你只需要根据显存和精度诉求挑一个。 全系 18 个文件速查表以下体积数据来自仓库 Git LFS 指针信息按从小到大排列量化文件大小 (GiB)大致位宽推荐显存适合场景UD-IQ1_M18.09≈1.4 bit24GB极限省显存、短上下文闲聊UD-IQ2_XXS18.09≈2.1 bit24GB低显存下的均衡之选UD-IQ2_M18.10≈2.4 bit24GB低显存 追求更高精度UD-IQ3_XXS18.40≈3.1 bit24GB入门推荐质量明显回升UD-IQ3_S19.70≈3.5 bit24GB24GB 显卡的甜点位UD-IQ4_NL19.78≈4.3 bit24GB⭐ 24GB 显卡首选UD-Q3_K_XL19.78≈3.6 bit24GB偏好 K 系列算法可试MXFP4_MOE21.62≈4 bit FP432GBBlackwell 系显卡、服务端部署UD-Q4_K_S22.79≈4.5 bit32GB32GB 显卡入门UD-Q4_K_M23.53≈4.9 bit32GB⭐ 32GB 显卡首选UD-Q4_K_XL23.75≈5.0 bit32GB显存富余时的高精度 Q4UD-Q5_K_S24.42≈5.5 bit32GB编码、Agent 任务UD-Q5_K_M28.14≈5.7 bit40GB高精度综合场景UD-Q5_K_XL28.33≈5.9 bit40GB追求细节的场景Q8_032.608 bit40GB通用 8bit 标准格式UD-Q6_K_XL32.60≈6.6 bit40GB高保真但体积友好UD-Q8_K_XL35.96≈8.5 bit48GB接近无损工作站首选BF162 个分卷45.8115.5216 bit80GB微调、蒸馏、研究参考权重 提示表中体积为模型权重占用实际运行还需叠加 KV Cache上下文越长占用越大和少量运行时开销建议再预留 10%30% 显存。 按显存选你该下载哪个24GB 显存RTX 3090 / 4090 / 5090推荐UD-IQ3_XXS到UD-IQ4_NL之间。最稳妥的组合是UD-IQ4_NL19.78GB精度接近 Q4、显存余量足如果上下文要开到 32K 以上退到UD-IQ2_M或UD-IQ1_M更安全。32GB 显存RTX 5090D / A6000 等推荐UD-Q4_K_M23.53GB这也是大多数玩家「一步到位」的选择想要更多上下文空间可选UD-Q3_K_XL对质量敏感则上UD-Q4_K_XL。40GB48GB 显存直接选Q8_032.60GB或UD-Q6_K_XL几乎无损的体验48GB 的 RTX A6000 还能稳稳装下UD-Q8_K_XL35.96GB。80GB 显存H100 / A100请直接用BF16/目录下的全精度分卷或选择MXFP4_MOE走 NVIDIA 原生 FP4 推理路线。 按用途选一张图看懂定位日常聊天、写作UD-IQ4_NL体积与质量的完美平衡编程、Agent、工具调用UD-Q5_K_S起步追求稳定上Q8_0极致省显存8K 短上下文UD-IQ1_M/UD-IQ2_XXS服务端高吞吐MXFP4_MOEFP4 格式在 Blackwell 上效率最佳微调、蒸馏、研究BF16全精度才是正确起点 UD 是什么为什么 IQ1_M 有 18GBUD前缀代表Unsloth Dynamic 2.0 动态量化它不是把所有权重一刀切压到同一精度而是通过敏感性分析对关键层保留更高精度、对次要层大胆压缩从而在同体积下获得明显优于传统量化的效果。这也解释了为什么这里的UD-IQ1_M有 18GB——它并不是传统意义上 1.4bit 的全模型压缩而是「动态」地混合了多种精度。名字相同、品质不同这也是 UD 系列在本仓库中占据主力的原因。⚡ 三步上手下载与运行第一步克隆仓库并拉取模型文件需安装 Git LFSgit clone https://gitcode.com/hf_mirrors/unsloth/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF cd NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF git lfs pull不想全量下载也可以只拉取你选定的那个 .gguf 文件单独放入 Ollama 或 llama.cpp 的模型目录。第二步选择支持 Mamba-2 MoE 混合架构的较新版本llama.cpp / Ollama老版本无法运行该模型。第三步指定模型文件启动即可。注意该模型支持enable_thinking开关需要深度推理时开启思考模式简单问答时关闭以换取更快响应。❓ 常见问题速答Q24GB 显存最推荐下载哪个A无脑选UD-IQ4_NL若担心显存退到UD-IQ3_XXS。QQ4_K_M 和 IQ4_NL 怎么选A同一显存档位下Q4_K_M偏传统 K 系列、兼容性最好IQ4_NL体积更小且不量化输出层精度损失更小。QMXFP4_MOE 和普通量化有什么区别A它是 NVIDIA 针对 MoE 架构优化的 FP4 微观缩放格式在 RTX 50 系等 Blackwell 显卡上吞吐表现最佳老显卡建议选 UD 系列。QBF16 分卷文件怎么用A两个分卷00001 / 00002放在同一目录llama.cpp 会自动拼接读取。它主要面向微调与学术研究普通用户不建议下载。Q下载后文件损坏如何校验A仓库的 Git LFS 指针自带 SHA-256 校验用git lfs pull拉取即自动校验无需手动比对。一句话总结这张量化版本选择清单24GB 选UD-IQ4_NL32GB 选UD-Q4_K_M48GB 上UD-Q8_K_XL搞研究拿BF16。收藏本文下次下载 GGUF 不再纠结【免费下载链接】NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF项目地址: https://ai.gitcode.com/hf_mirrors/unsloth/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考