Strata 的设计旨在让用户在消费级笔记本电脑和台式机 GPU 上运行参数高达 125B 的Qwen3.8-Flash-Next 模型Strata 的核心思想是把一个 125B 参数的 MoE 模型分层放到整块 PC 上运行GPU 存注意力/常用专家RAM 存放全部 24,576 个专家并由 CPU 并行计算未命中部分SSD 存 n-gram 表再用 MTP handle测 prompt lookup 的投机解码加速由 serve/server.py 通过 stdin/stdout 协议驱动 strata 引擎进程对外提供 API。⭐ 1. 核心观点Strata 的性能表现Strata 在 Qwen 3.8 Flash Next 上的表现极其强劲作者在本地测试后表示“惊艳”作者此前自己尝试实现类似的 MoE 推理引擎但效果远不如 Strata硬件配置2×RTX 3090 64GB DDR5在短上下文下可达100 t/s decode比 vLLM 的 60–70 t/s 快且更安静Strata 支持实验性上下文扩展作者测试了 200K、400K、900K、512K 等多种上下文均能稳定运行作者计划继续做长时间基准测试与 needle retrieval 测试⭐ 2. 社区整体反馈大量用户实测 性能普遍显著提升多名用户反馈Strata 的 prompt processing 和 decode 速度远超预期尤其在高上下文下仍保持高 TPS如 900K 上下文双 3090 用户普遍报告性能“天差地别”上下文处理能力显著增强单卡用户也能获得显著提升如单 3090 在 128K context 下可达41 t/s decode / 650 t/s prefill。 多 GPU 扩展性多 GPU 扩展目前表现不错PPprefill速度几乎线性翻倍1 GPU 1000 t/s → 2 GPU 2000 t/s但也有用户指出非对称 GPU 配置会互相拖慢性能 模型质量反馈多名用户认为 Flash Next 的质量接近甚至略优于 27B dense 模型但速度快得多有用户在法律文档任务中发现 Strata 给出的结构化方案比 Opus 5.5 更有效⭐ 3. 安装、配置与兼容性讨论️ 系统与硬件兼容性Strata 当前主要支持NVIDIA / AMD GPUIntel Arc如 B70支持正在开发中多名用户在DDR3 / DDR4 / DDR5平台上均获得良好表现甚至有人认为 DDR3 Xeon 好 GPU 也能跑出惊人结果高内存带宽平台如 WRX80被认为非常适合 Strata因为专家层驻留在系统 RAM 中⚙️ 安装问题与解决方案有用户在 Linux 下遇到安装脚本与 venv 冲突需要手动调整多名用户通过 DeepSeek/OpenCode 自动调参成功解决加载失败问题⭐ 4. 上下文扩展Context Extension讨论Strata 的实验性上下文扩展是本帖最受关注的功能之一。多用户实测163K、180K、200K、256K、261K、400K、512K、900K等上下文均可稳定运行。高上下文下仍保持高 prefill TPS如 2000–3000 t/s但也有人指出上下文越大decode TPS 会下降这是正常现象⭐ 5. 与其他引擎的对比vLLMvLLM 在同配置下通常只有 60–70 t/s decode且 GPU 风扇噪音大Strata 在多卡下更快、更安静推理负载分布更均匀CPU、存储也参与llama.cppllama.cpp 可运行 Flash Next但速度明显慢于 Strata如 14→11 t/sninferninfer 在单 3090 上 decode 可达 60 t/s但上下文能力不如 Strata128K vs 256K。⭐ 6. 社区共识总结Strata 是目前消费级硬件上运行 Qwen 3.8 Flash Next 的最强方案之一。高上下文能力200K–900K 高 TPSprefill 可达 2000–3000 t/s是其最大优势。多 GPU 扩展性良好但仍有优化空间。模型质量接近 27B dense但速度远快于 dense。项目非常年轻更新极快未来潜力巨大。GitHub - Niko1221/Strata: Qwen3.8-Flash-Next on any consumer hardware: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input. · GitHub