【免费下载链接】Qwen3.6-35B-A3B-singprobe项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/Qwen3.6-35B-A3B-singprobe点击查看免费下载Qwen3.6-35B-A3B-singprobeSingProbe是构建在 Qwen3.6-35B-A3B 之上的一款轻量级流式安全护栏探针核心能力就是逐Token实时打分大模型每生成一个词元它就能同步给出查询意图、响应不安全风险与幻觉风险三类评分解码开销不到 0.5%。本文以 SGLang 部署为主线带你用 3 步完成从服务启动、接口调用到解析打分结果的全过程适合刚接触大模型安全部署的新手。 一句话看懂 SingProbe 是什么传统做法是在大模型之外再跑一个独立的安全检测模型既耗资源又增加延迟。SingProbe 走的是另一条路不额外跑安全模型直接复用基座模型生成过程中的隐藏状态hidden states探针极小只有约4.2M探针参数从基座第[12, 25, 38]三层搭线取特征输出 10 个分数8 个查询意图 1 个不安全unsafe分数 1 个幻觉hallucination分数几乎零负担解码时间开销 0.5%可无缝挂在生产推理服务上。关键结构参数可在 config.json 中查看例如hidden_size: 2048、num_labels: 10、sliding_window: 2048以及base_model_name指向的基座模型。探针本体的网络实现见 modeling_sing_probe.py带滑动窗口注意力的SingProbeAttnModel配置类定义在 configuration_sing_probe.py。⚙️ 部署前环境准备开始前请确认以下三点准备项说明SGLang使用支持--probe-ckpt参数的 SGLang 集成分支官方文档中提及的 token-probe 集成分支基座模型必须精确配对使用Qwen/Qwen3.6-35B-A3B不能换其他基座探针权重即本仓库inclusionAI/Qwen3.6-35B-A3B-singprobe权重文件为 model.safetensors⚠️提示基座是 35B 参数的 MoE 模型激活 3B以 bfloat16 加载权重约占 70GB 显存不含 KV Cache建议使用高显存 GPU 或多卡张量并行探针本身只有几 MB 级别不构成瓶颈。 3步完成 SGLang 部署第1步一条命令启动 SGLang 服务并挂载探针启动时只需多加一个--probe-ckpt参数指向本仓库即可完整命令见 README.mdpython -m sglang.launch_server \ --model-path Qwen/Qwen3.6-35B-A3B \ --probe-ckpt inclusionAI/Qwen3.6-35B-A3B-singprobe \ --port 30000--model-path加载 35B 基座模型负责正常生成文本--probe-ckpt加载 SingProbe 探针负责逐Token打分--port服务监听端口可按需修改。服务启动后探针会自动接入生成流程无需任何额外配置。第2步发送推理请求服务就绪后用 SGLang 标准推理接口如/generate发送请求即可例如curl http://127.0.0.1:30000/generate \ -H Content-Type: application/json \ -d {text: 你好请介绍一下自己}请求的处理方式与普通 SGLang 服务完全一致新手按 SGLang 常规用法调用即可。第3步解析逐Token实时打分结果挂载探针后每生成1 个 token返回结果中会多出一个包含 10 个键的分数字典label_0~label_9含义如下分数键含义用途建议label_0~label_78 类查询意图分数识别用户真实目的如安全攻击、越狱诱导等意图分类label_8响应不安全unsafe分数实时判断生成内容是否越线可触发拦截或改写label_9幻觉hallucination风险分数监测编造事实的风险用于可信度提示由于分数是流式产生的你可以在内容刚生成几个 token 时就做出干预比如提前发现不安全内容并中止生成而不必等整段回答输出完再检查——这正是实时护栏的价值所在。 效果速览4.2M 参数打出的成绩单根据 README.md 给出的基准评测越高越好SingProbe 以极小的参数量达到了与 8B 级专用护栏模型相当甚至更优的水平任务指标SingProbe参考基线查询意图分类6 个基准F10.8699YuFeng-XGuard-Reason-8B: 0.8714响应安全分类8 个基准F10.8658Qwen3Guard-Gen-8B-strict: 0.8604流式安全3 个基准R-AUC / T-AUC0.9889 / 0.9359Qwen3Guard-Stream-8B-strict: 0.9640 / 0.8893幻觉检测6 个基准AUC0.8023DRIFT: 0.8000部署特性同样亮眼良性响应平均误报率仅 0.03%5 个数据集均值解码开销 0.5%。 仓库文件导航文件说明README.md项目说明、评测结果与快速上手命令config.json探针结构配置层数、注意力头、标签数等configuration_sing_probe.py探针的 Hugging Face 配置类SingProbeAttnConfig/SingProbeMlpConfigmodeling_sing_probe.py探针网络模型实现注意力版与 MLP 版model.safetensors探针权重文件约 4.2M 参数bfloat16❓ 常见问题 FAQQ1可以搭配其他基座模型使用吗不可以。探针特征依赖基座第 12/25/38 层的隐藏状态必须与Qwen/Qwen3.6-35B-A3B精确配对使用。Q2部署后会明显拖慢生成速度吗几乎不会。官方数据解码开销小于 0.5%探针参数仅 4.2M远小于一个普通安全模型。Q3打分结果是整句一次还是逐Token返回逐Token返回。生成过程中每个 token 都伴随一个label_0~label_9的分数字典天然支持流式干预。✅ 总结用 SGLang 部署 Qwen3.6-35B-A3B-singprobe 只需记住三步① 启动命令加--probe-ckpt挂载探针 → ② 正常发送推理请求 → ③ 在流式结果中读取label_0~label_9完成逐Token实时打分。你得到的是一套生成 安全护栏二合一的低开销方案8 类意图识别、不安全检测、幻觉监测全部复用基座隐藏状态完成误报率 0.03%、开销不到 0.5%非常适合需要实时安全监控的生产级大模型服务。赞分享【免费下载链接】Qwen3.6-35B-A3B-singprobe项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/Qwen3.6-35B-A3B-singprobe点击查看免费下载相关推荐Qwen3.6-35B-A3B-singprobe源码逐行走读configuration与modeling双文件开发者指南Qwen3.6 35B A3B singprobe源码逐行走读configuration与modeling双文件开发者指南 本文带你逐行走读 Qwen3.6修复 iqk_mul_mat 在缺少 AVX512BF16 支持的 CPU 上的编译失败以 ik_llama.cpp PR 204 为案例的 BF16 内核条件编译剖析修复 iqk_mul_mat 在缺少 AVX512BF16 支持的 CPU 上的编译失败以 ik_llama.cpp PR 204 为案例的 BF16 内核条DLSS Swapper一键换掉游戏里的 DLSS/FSR/XeSS DLL1 分钟回滚归零DLSS Swapper一键换掉游戏里的 DLSS/FSR/XeSS DLL1 分钟回滚归零 DLSS Swapper 是一款免费开源的 Windows 游创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考