消费级显卡也能一键跑 Qwen 大模型用 Strata 本地起 OpenAI 兼容 API再用 cpolar 让手机和异地应用连进来前言本地能跑大模型这件事早就不是新闻了。真正让人卡住的往往是后半段模型在127.0.0.1上跑得好好的可你的手机 App、异地的前端同事、另一台办公电脑谁都连不上这个地址。这篇走的是一整条闭环用 Strata 在消费级显卡上一键把 Qwen3.8-Flash-Next 跑起来它自带一个 OpenAI 兼容接口接口跑通之后再用 cpolar 把这个本地端口映射成固定公网 HTTPS 地址让外网的手机和前端代码直接调你本机的模型。全程不用服务器、不租 GPU就是一台带独立显卡的普通电脑。下面按顺序来。1 什么是 StrataStrata 是一个开源工具MIT 协议干的事很直接把 125B 参数的 Qwen3.8-Flash-Next 塞进一台普通游戏电脑里跑起来。大模型通常躺在几百 GB 显存的服务集群上你显卡只有 12-24GB按理说根本放不下。Strata 的做法是把工作分摊到整台机器上——显卡留住最常用的那部分内存兜住全部专家权重处理器同时处理剩下的SSD 存一张大的查找表。粗略说就是你常吃的放案板其余的先进储物间。它跟你这篇里的分工是这样的Strata 负责把模型跑起来并在http://127.0.0.1:8080上同时提供网页界面和 OpenAI 兼容 API。cpolar 负责把这个本地端口映射到公网让本地之外的人也能调到。硬件门槛是明确的显卡 12GB 显存以上NVIDIA RTX 20 到 50 系列或 AMD RX 6800/6900、7900、7800/7700、9060/9070 系列等内存 32GB 以上硬盘留出约 80GB。内存越大能选的分片就越大模型越聪明、速度越慢。64GB 内存所有分片都能跑。图1本机跑模型 → Strata 暴露 OpenAI 兼容 API → cpolar 映射公网 → 手机/异地应用调用。记住这条链路后面每一步都是在把它接通一段。2 环境准备确认显卡、内存和磁盘别急着下载。先花两分钟确认硬件够用省得装到一半发现跑不起来。要点很实际模型下载约 70GB启动还要把 35-55GB 读进内存磁盘紧张的话先清一清。Linux 用户可以在终端跑下面这几条快速自查# 查看显卡和显存 nvidia-smi --query-gpuname,memory.total --formatcsv # 查看内存总量单位 GB free -g | awk NR2{print 内存总量: $2 GB} # 查看目标磁盘剩余空间 df -h .Windows 用户右键任务栏打开任务管理器在“性能”标签里看 GPU 显存、内存和磁盘剩余空间即可判断口径一样。看到显存 12GB 以上、内存 32GB 以上、剩余磁盘 80GB 以上就可以继续。哪一项不达标先别装换机器或者先升级硬件。提醒一句如果你显卡是 AMDWindows 下暂时读不了图片输入要图片理解能力Linux 会更顺。3 一键安装并启动 StrataStrata 的安装是真正意义上的一键。官网明确说了 Windows 和 Linux 步骤一样安装脚本会自动识别你的显卡并配好对应引擎。先把仓库拉下来也可以用 GitHub 页面上的 zip 包下载git clone https://github.com/Niko1221/Strata.git cd Strata然后按系统启动# Windows目录里双击 START-HERE.bat # Linux在 Strata 目录下执行 ./setup.sh启动后安装脚本会问你几个问题选哪个模型和哪个大小、上下文长度多少、要不要读图片。这里别想太多每次直接按回车用推荐值就行。脚本会根据你的内存自动推荐分片。第一次启动它会下载大约 70GB 的模型文件中途断了不用重来——你重新跑一次它会从断掉的地方接着下。模型加载的时候电脑会卡顿 1-3 分钟第一次最久。Strata 会把 35-55GB 数据读进内存并锁定一部分给显卡这是正常现象等它别关窗口。窗口里会显示它正在做什么。加载完成后浏览器会自动打开http://127.0.0.1:8080你会看到 Strata 的网页界面Chat对话、Monitor模型和 GPU/CPU/内存实时监控、About设置和地址。之后每次要用重新跑一遍START-HERE.batLinux 是./setup.sh即可它会直接启动不会再重复下载。关掉那个窗口就是停止模型。图2Strata 启动后打开的本地界面Chat 与 Monitor教学示意。如果提示8080 端口被占用多半是 Strata 已经在跑了找找它的窗口就行不用重复启动。4 跑通本地 OpenAI 兼容 API模型起来了先确认接口能通这一步是为了把“本地跑通”和“公网映射”分开验证别两个问题搅在一起排。Strata 的兼容接口就在同一个端口上地址是OpenAI 兼容基础地址http://127.0.0.1:8080/v1Anthropic 兼容地址http://127.0.0.1:8080/v1/messages划重点任何 API Key、任何模型名都能用这是方便你做本地对接不是让你随便往公网裸奔。在本机先发一个请求验证链路curl http://127.0.0.1:8080/v1/chat/completions \ -H Content-Type: application/json \ -H Authorization: Bearer local-any-key \ -d { model: qwen3.8-flash-next, messages: [{role: user, content: 用一句话解释什么是内网穿透}]  }返回里有choices[].message.content就说明本地接口通了。第一次请求会比较慢Strata 要先把聊天第一条消息完整读进去大约每 30000 tokens 读 1 分钟后续对话是几秒内开始。这不是卡死是它在读上下文。到这一步本机调试已经没问题了。但你会发现——手机连不上异地同事的前端也连不上。因为127.0.0.1只有本机能访问。5 让 Strata 监听局域网并设置 API Key在把端口映射到公网之前先给 Strata 加一道钥匙同时让它不光听127.0.0.1。Strata 支持指定监听地址和密钥启动。Windows 传参START-HERE.bat --setup --host 0.0.0.0 --api-key 你的密钥Linux 同理在 Strata 目录下./setup.sh --setup --host 0.0.0.0 --api-key 你的密钥--host 0.0.0.0表示不再只听本机回环地址同局域网的设备也能访问--api-key则是给接口加个凭证。这个密钥一定要设。Strata 官方原文就强调 “Always set a key”。因为一旦端口上了公网没有密钥就等于谁都能免费白嫖你的显卡。密钥自己生成一个足够长的随机串就行python3 -c import secrets; print(secrets.token_hex(24))把输出记下来等会儿外网调用要带上它。注意别把密钥贴进截图或提交进代码仓库。6 用 cpolar 把本地 API 映射成公网地址现在轮到 cpolar 上场。它的作用很明确把本机8080这个端口映射成一个公网能访问的 HTTPS 地址。先去 cpolar 官网 注册账号再从官方下载页按你的系统下载客户端并安装。安装完成后从账号后台拿到认证 Token执行cpolar version cpolar authtoken 你的 cpolar 认证 Token cpolar http 8080这两个 Token 千万别搞混cpolar 的 Token 是绑定客户端账号用的Strata 的--api-key是校验接口请求用的互相不能替换。命令跑起来后终端里会打印出一个HTTPS 公网地址类似https://xxxxxxxx.r2.cpolar.cn这种形式。把它复制下来。图3cpolar 终端输出的 HTTPS 公网入口以及在线隧道状态教学示意。保持这个终端开着隧道就是活的关掉它公网入口立即失效。这一步只是临时前台隧道用来先跑通链路。如果本机能调、公网却不通按这个顺序查Strata 有没有在 8080 上监听、cpolar 隧道是否显示在线、映射端口是不是写成了别的端口、地址有没有复制错。7 从外网实测curl 和最小前端代码链路接好了用外网视角亲自验一遍。这里我用另一个网络环境比如手机热点来请求模拟异地调用。先确认这个地址能换成模型调用地址把公网入口后面加上/v1/chat/completions# 把 公网入口 换成终端里实际打印的地址 curl https://公网入口/v1/chat/completions \ -H Content-Type: application/json \ -H Authorization: Bearer 你在第 5 步设置的 API Key \ -d { model: qwen3.8-flash-next, messages: [{role: user, content: 从外网发起的请求回我一句话证明链路通了}] }能拿到模型回复说明整条链路手机/异地 → cpolar HTTPS → 本机 Strata → 模型 → 原路返回全通了。再写一段最小前端代码把调用跑进网页里。因为 cpolar 给的是标准 HTTPS 地址浏览器里可以直接请求!doctype html html langzh-CN body button idgo问一句/button pre idout/pre script const BASE https://公网入口/v1; // 换成你的 cpolar 公网入口 const KEY 你在第 5 步设置的 API Key; document.getElementById(go).onclick async () { const out document.getElementById(out); out.textContent 调用中...; const res await fetch(${BASE}/chat/completions, { method: POST, headers: { Content-Type: application/json, Authorization: Bearer ${KEY} }, body: JSON.stringify({ model: qwen3.8-flash-next, messages: [{ role: user, content: 用一句话介绍你自己 }] }) }); const data await res.json(); out.textContent data.choices?.[0]?.message?.content ?? JSON.stringify(data); }; /script /body /html把这个文件放到一台异地电脑上打开点按钮页面里能吐出模型回复就是前端接入成功了。排错提示如果浏览器控制台报 401先核对KEY有没有带错报连接错误先确认 cpolar 终端还开着、地址是不是变了免费套餐的地址 24 小时内会变如果一直转圈不出结果回想一下 Strata 是否正在处理另一条长请求——默认它一次只答一个请求后面的要排队。8 固定二级子域名把地址定下来到第 7 步为止一个绕不开的问题会冒出来cpolar 免费套餐给的是随机公网地址24 小时内会变化。这意味着你每次重启隧道都得回去改前端里的BASE手机 App 配置也得跟着改。所以长期用的话建议把地址固定下来。cpolar 支持固定二级子域名需要基础套餐或以上目前基础套餐 99 元/年配置好之后域名就不再随机跳动了。配置路径是在 cpolar 后台创建隧道时把域名类型改成保留的二级子域名把生成的固定地址填回你的前端和 App 配置里。这样异地设备只要配置一次以后启动隧道地址不变不用反复改代码。如果你只是在局域网里自己用这一步可以先跳过——局域网内直接用http://本机IP:8080/v1就够不需要公网入口。只有真正要异地、要手机在外网访问固定域名才有意义。9 总结走到这里你已经把一套完整的“本地大模型 公网接入”闭环跑通了消费级显卡上跑起 Qwen3.8-Flash-Next本地有网页界面和 OpenAI 兼容 API再通过 cpolar 把端口映射成公网地址手机和异地前端都能调到你本机的模型。用 Strata 一键安装启动模型跑在127.0.0.1:8080自带 OpenAI 兼容接口任意 Key、任意模型名可对接。用--host 0.0.0.0 --api-key 密钥放开监听并加凭证再用 cpolar HTTP 隧道把 8080 映射成公网 HTTPS 地址。用 curl 和一段最小前端代码从外网实测确认链路通了长期使用把随机地址换成固定二级子域名。后续想扩展的话Strata 还支持 Anthropic 兼容接口和 Responses APIClaude Code、Codex CLI 这类工具把base_url指过来就能直接用你本地的模型。等需求稳定了再把前台临时隧道换成 cpolar 后台服务和固定域名就不用每次手动开终端了——比一直守着localhost舒服得多。参考Strata 项目仓库、Strata 安装文档、cpolar 官方文档、cpolar 下载页。