【免费下载链接】Qwen3.5-122B-A10B-singprobe项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/Qwen3.5-122B-A10B-singprobe点击查看免费下载Qwen3.5-122B-A10B-singprobe 是基于Qwen/Qwen3.5-122B-A10B打造的流式安全护栏探针streaming guardrail它为每一个生成的 token 输出label_0~label_9共 10 个维度的安全评分覆盖查询意图、响应不安全度与幻觉风险解码耗时增加不到 0.5%。本文是一份面向新手的使用指南帮你快速看懂这 10 类评分的含义并完成一键部署。一、SingProbe 是什么为什么叫流式安全护栏传统做法是在大模型旁边再挂一个独立的安全模型逐句检查输出而 SingProbe 走的是内置探针路线复用底模隐状态直接从Qwen3.5-122B-A10B第[14, 30, 46]层抽取 hidden states不额外跑安全模型⚡逐 token 打分生成过程中每一个 token 都实时得到一组评分字典label_0–label_9无需等整段回复结束极轻量探针参数仅6.17M解码开销 0.5%几乎无感接入️三合一能力同时评估查询意图、响应不安全度、幻觉风险。配置项值底模Qwen/Qwen3.5-122B-A10B探针参数量6.17M取样的层[14, 30, 46]输出维度8 类意图 不安全 幻觉共 10 类二、label_0 ~ label_9 十类评分全清单集成后服务会为每个生成的 token返回一个包含 10 个键的分数字典。这 10 个维度正好对应 10 个输出标签1. 查询意图分类8 个维度分组作用典型用途label_0~label_7查询意图分类对用户输入的意图做 8 类细粒度识别意图路由、风险问题前置识别 说明label_0~label_9的具体下标与语义的一一对应关系由探针训练时确定详见 SingProbe 技术报告工程上可按维度分组理解——8 个意图维度 2 个风险维度。2. 响应不安全度1 个维度分组作用典型用途label_8unsafe 维度响应不安全度实时衡量当前输出是否越界、违规流式拦截、敏感回复实时告警3. 幻觉风险1 个维度分组作用典型用途label_9hallucination 维度幻觉风险逐 token 估计内容失实的可能性可信度标注、自动复核触发新手理解方式把 10 个分数想象成 10 个仪表盘——8 个看用户想干什么2 个看模型说得可不可信、安不安全。分数随流式输出逐 token 更新因此你可以在回答还没生成完时就提前决策拦截、降权、提示复核。三、一键部署最快启动方法SingProbe 已支持 SGLang 与 vLLM 的集成分支。只需在启动服务时用--probe-ckpt指定探针即可以 SGLang 为例python -m sglang.launch_server \ --model-path Qwen/Qwen3.5-122B-A10B \ --probe-ckpt inclusionAI/Qwen3.5-122B-A10B-singprobe \ --port 30000⚠️关键注意底模与探针必须成对使用——Qwen/Qwen3.5-122B-A10B 本探针检查点不要混搭其他底模。四、评测表现一览轻量探针能打过专用安全模型吗README 给出的基准结果越高越好任务指标SingProbe参考基线查询意图分类6 个基准F10.8697YuFeng-XGuard-Reason-8B0.8714响应安全分类8 个基准F10.8680Qwen3Guard-Gen-8B-strict0.8604流式安全3 个基准R-AUC / T-AUC0.9895 / 0.9304Qwen3Guard-Stream-8B-strict0.9640 / 0.8893幻觉检测6 个基准AUC0.7806DRIFT0.8000部署特性上良性回复的误报率平均仅 0.03%5 个数据集解码开销 0.5%——用极小的代价换来了接近专用 8B 安全模型的检测水平这正是内置探针路线的性价比所在。五、模型结构与关键参数速览探针本体是一个小型注意力分类器SingProbeAttnModel核心结构为Q/K/V 投影 → 注意力 → 残差 RMSNorm → 10 维分类头。关键参数均可在 config.json 中查到参数值含义hidden_size3072底模隐层维度base_model_layer_ids[14, 30, 46]取样层输入特征 3072×3num_attention_heads/head_dim8 / 64注意力头配置sliding_window2048滑窗注意力上限控制长序列成本num_labels10即label_0~label_9共 10 个评分维度torch_dtypebfloat16计算精度架构定义modeling_sing_probe.pySingProbeAttnModel类与 10 维分类头配置类configuration_sing_probe.pySingProbeAttnConfignum_labels默认 10权重文件model.safetensors滑窗注意力实现modeling_sing_probe.py窗口默认 2048超出时按块计算兼顾效率与上下文六、常见问题 FAQQ1加了探针会变慢吗解码开销 0.5%可忽略不计6.17M 的参数量相对 122B 底模几乎无感。Q2可以搭配 vLLM 使用吗可以。SingProbe 同时提供 SGLang 与 vLLM 两个集成分支加载方式同样是启动时传入探针 ID。Q3分数怎么用每生成一个 token 就拿到一组label_0–label_9字典你可以自定义阈值策略unsafe 维度超限即拦截/告警hallucination 维度超阈值即标记复核意图维度可做路由分流。Q4为什么强调底模必须成对探针输入来自底模特定层的隐状态第 14/30/46 层、维度 3072换底模会导致输入维度不匹配、分数失去意义配置中也有对应校验逻辑见 modeling_sing_probe.py 的_validate_input。七、小结Qwen3.5-122B-A10B-singprobe 用6.17M 参数 0.5% 开销给Qwen3.5-122B-A10B装上了逐 token 的安全仪表盘label_0~label_78 类查询意图分类label_8响应不安全度评分label_9幻觉风险评分。配合 SGLang/vLLM 一行参数即可上线是低成本落地流式安全护栏与幻觉检测的完整方案。更多指标与说明可参阅 README.md。赞分享【免费下载链接】Qwen3.5-122B-A10B-singprobe项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/Qwen3.5-122B-A10B-singprobe点击查看免费下载相关推荐如何读懂Qwen3.5-4B-singprobe的输出label_0到label_9共10个安全评分完整解读如何读懂Qwen3.5 4B singprobe的输出label_0到label_9共10个安全评分完整解读 Qwen3.5 4B singprobe 是基于Qwen3.6-35B-A3B-singprobe十大分数输出完整清单label_0到label_9如何准确解读Qwen3.6 35B A3B singprobe十大分数输出完整清单label_0到label_9如何准确解读 Qwen3.6 35B A3B singpQwen3.5-9B-singprobe输出详解label_0到label_9的8类意图、unsafe与幻觉风险分数全解析Qwen3.5 9B singprobe输出详解label_0到label_9的8类意图、unsafe与幻觉风险分数全解析 如果你正在部署 Qwen3.5 9创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考