iPhone、Mac、Android、Windows 实测横评Edge0 五大平台谁最能打【免费下载链接】Edge0-35B-A3B-preview项目地址: https://ai.gitcode.com/hf_mirrors/Edge0/Edge0-35B-A3B-preview35B 参数的大模型这几个字通常意味着几十 GB 的显存、一台带 GPU 的工作站以及动辄数万元的硬件账单。但 Edge0 把这道门槛拆掉了一个 35B 级稀疏 MoE 模型可以在手机级内存里跑起来——iOS 端实测 6.4 tok/sMac 端最高 17.7 tok/s峰值内存被压到 2.94 GiB。这不是营销话术而是一套有论文、有源码、有多平台实测数据的完整工程方案。本文以仓库源码与社区实测为双重依据拆解 Edge0 在 iPhone、Mac、Android、Windows 与纯 Python 五大平台上的真实差距以及每一档硬件该以什么姿势使用它。先回答凭什么35B 模型如何塞进手机内存传统认知里35B 模型的权重无论如何都不可能装进 4GB 内存。Edge0 的答案是不让权重常驻内存而是让它们住在 SSD 里按需流式加载。这一思路成立的物理前提是 MoE 的稀疏激活——本仓库 README.md 给出模型结构256 个专家每 token 仅激活 4 个K440 层hidden size 2048。稀疏性只减少计算量不减少必须持有的字节数但配合专家粒度的 SSD offload内存里只需要放当前被激活的专家峰值内存由活跃集决定而非参数总量。三件套各司其职缺一不可SSD 专家卸载专家权重按路由结果从存储流式读取只把活跃权重放进 RAM。仓库的 model.safetensors.index.json 显示四个分片共 20,401,929,952 字节约 20.4 GB的 4-bit 量化权重以专家为粒度分片存储配合 config.json 中group_size: 64, bits: 4的仿射量化方案整包 checkpoint 留在存储端无需一次性载入内存。Prerouter 路由预测单纯卸载解决不了延迟——第 N1 层的专家必须在第 N 层输出产生前就确定并开始读盘否则读盘时间无法藏在计算后面。Edge0 用一个逐层训练的预测头提前一个 token 预测路由预测结果直接当作路由使用让专家加载与 forward pass 重叠decode 吞吐最高提升 59%且收益随存储延迟、模型规模与路由宽度 K 增长。Recover-LoRA 精度恢复int4 量化 路由替换带来的质量损失由一个在学生路径上训练的、未合并的 LoRA 适配器偿还。适配器与 base checkpoint 同目录存放本仓库的lora_edge0_35b.safetensors、prerouter_edge0_35b.safetensors加载时自动生效且保持不合并——一份只读 base 可以服务多套适配器。这套机制对应 arXiv 论文The Other Half of the Memory Wall: Serving 35B MoEs from SSD with Trained Routing Prediction2609.18063其核心论断是对 35B 级 MoE 而言瓶颈从来不是算力而是必须持有的字节数这一半内存墙。实测对照iOS 6.4 tok/s 与 macOS 数据的差距在哪社区在 2026 年 10 月初发布的多篇实测把五大平台拉上了同一张桌子。先看两组能对上的硬数字平台解码速度峰值活跃内存数据来源iPhoneiOS6.4 tok/s约 4 GB社区端侧实测Mac mini M4 Pro24 GB14.9–17.7 tok/s2.9 GiBREADME.md 性能表macOS社区复测区间10–17.7 tok/s2.9 GiB社区实测README 的官方基准用examples/bench.py在 Mac mini M4 Pro 上测得decode 14.9–17.7 tok/s长提示 prefill 冷/热吞吐 113/140 tok/s。同一台设备上社区复测给出 10–17.7 tok/s 的区间——差异来自对话长度、KV cache 与是否开启思考模式。而 iOS 的 6.4 tok/s 是在 iPhone 上跑出的数字峰值内存约 4 GB恰好落在phone-class memory的定义内macOS 是 iOS 的 2.32.8 倍吞吐代价是一台 24 GB 的桌面主机。值得注意的细节是6.4 tok/s 并非不可用的档位。中文对话场景下每秒 6 个 token 约等于每分钟 200 字的输出速度配合流式 SSE 输出体验上接近边想边写的节奏而 macOS 的 15 tok/s 已经可以支撑交互式编码与多轮推理。这个差距的本质不是模型而是硬件算力与内存带宽的上限——Edge0 的流式管线在两端表现一致瓶颈在端侧算力本身。五大平台的工程差异从 Tauri 到原生绑定同一套推理管线落到不同平台是五种完全不同的工程形态。macOS 是当前的一等公民。README 明确标注 MLX backend 针对 Apple Silicon 优化官方提供 Python CLI 与 Tauri 桌面 App 双路径安装 edge0 框架并下载模型目录后edge0 chat直接对话edge0 serve起 OpenAI 兼容 HTTP 服务。这也是唯一有官方性能基准的平台。iOS 与 Android 走原生绑定路线。社区实测确认 Edge0 已在 iPhone 上完成端侧推理6.4 tok/s峰值内存仅 4 GB——这意味着运行时、量化解码与 SSD 流式加载全部以原生库形式集成进移动 App而非跑在 WebView 里。移动端的工程难点不在推理本身而在存储调度闪存带宽、功耗预算与后台进程的内存竞争都需要原生层精细控制。Windows 与纯 Python 是服务化路径。由于 MLX 后端当前仅覆盖 Apple SiliconREADME Limitations 明确其他后端在 roadmapWindows 上最务实的姿势是把 Edge0 跑在任一 Mac 或 Linux 服务器上用一条命令暴露标准/chat/completions端点任意 OpenAI SDK 应用只改base_url即可接入SSE 流式与请求参数完全透传。社区文章将其描述为单槽 FIFO 队列保障稳定性的服务层设计。管线共享模型即目录。35B 与 8B 两个档位共享同一推理框架切换只需替换模型目录——这正是仓库一个完整、开箱即用的模型目录的设计哲学base LoRA prerouter 适配器全部同目录自动加载README.md无论是 Tauri 桌面 App、iOS 原生绑定还是 HTTP 服务面对的始终是同一个目录契约。社区也验证了这一抽象35B40 层、K4与 8B24 层、K8在 Mac mini M4 Pro 上8B 解码快 1.5 倍、峰值内存仅 1.0 GiB。平台选择矩阵不同设备的最佳姿势综合性能、内存与工程路径可以把设备分成四档决策场景iPhone / 移动设备隐私优先、离线优先35B 的 6.4 tok/s 可满足日常问答与写作若追求更顺滑的交互8B 档位是更优解——解码快 1.5 倍、峰值内存仅 1.0 GiB代价是数学推理能力AIME 低 23 分量级。核心价值是数据不出设备。Mac mini M4 Pro 及以上桌面生产力35B 的 1517.7 tok/s 配合 2.9 GiB 峰值内存是目前性价比最高的档位——既能交互式对话也能作为局域网内的 OpenAI 兼容推理服务。Windows / 非 Apple Silicon 主机不做端侧绑定通过edge0 serve消费远端服务零业务代码改造接入现有 OpenAI SDK 应用。硬件前提所有方案都对存储敏感——方案面向 NVMe SSD / 内置闪存优化SATA 或机械硬盘因带宽不足会显著拖慢专家加载同时共享层与 Router 必须常驻内存。长上下文会增长 KV cacheREADME 建议用较短上下文把峰值内存维持在 3 GiB 量级。质量仅降 3.9 分的端侧性价比账能跑之外真正决定这套方案价值的是 int4 量化 LoRA 恢复后还剩多少能力。仓库 README 用 OpenCompass 在完全一致的条件identical settings下对比了 edge0-35bint4与其 fp16 底座 Qwen3.6-35B-A3B基准edge0-35bint4Qwen3.6-35B-A3Bfp16AIME 202686.692.7HumanEval90.995.1GPQA-Diamond79.881.8MMLU-Pro81.084.6IFBench57.961.7平均79.283.2平均仅降3.9 分其中 GPQA-Diamond 差距最小2.0 分数学推理 AIME 损失最大6.1 分。这份账单算得清楚用约 1/10 的内存2.9 GiB vs 需要 40 GiB 的 fp16 常驻方案换来 95% 的能力保留率且 LoRA 不合并的设计让一份只读 base 服务多个适配器成为可能——这是端侧部署性价比的核心。仓库 config.json 里还有个容易忽略的细节全模型 4-bit、group_size 64 的量化网格中每一层的 router gate 与 shared expert gate 被单独抬升到 8-bit——路由与共享专家是全模型的杠杆点精度优先级更高。这种按敏感度分层量化的设计与 Recover-LoRA 的蒸馏路径一起共同解释了为何 3.9 分是可控的损失而非坍缩。五大平台的横评最终收敛到一个朴素的结论Edge0 并没有让手机变成数据中心它只是把在哪一层硬件上跑多强的模型变成了一个可精确计算的工程问题——iPhone 拿 6.4 tok/s 换数据不出设备Mac 拿 17.7 tok/s 换桌面生产力而所有平台共享同一套 3.9 分的质量账本。真正的边界不在框架而在你的闪存带宽与使用场景。【免费下载链接】Edge0-35B-A3B-preview项目地址: https://ai.gitcode.com/hf_mirrors/Edge0/Edge0-35B-A3B-preview创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考