【免费下载链接】Qwen3.5-4B-singprobe项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/Qwen3.5-4B-singprobe点击查看免费下载Qwen3.5-4B-singprobe 是一个基于 Qwen3.5-4B 的内嵌式流式安全护栏streaming guardrail探针模型它在生成过程中逐 token 输出意图分类、不安全内容与幻觉风险三类评分。本文为新手整理的Qwen3.5-4B-singprobe API 参考覆盖 config.json 全部配置参数、配置类与模型接口、服务端启动参数以及常见报错说明方便你快速查阅和对接。项目概览SingProbe 是什么SingProbe 不是独立的安全模型而是一个仅约5.18M 参数的轻量探针它复用基座模型的隐藏状态在解码时同步打分额外开销 0.5%。项目说明基座模型Qwen/Qwen3.5-4B探针参数量5.18M接入层tapped layers[9, 19, 30]输出维度8 类意图 不安全 幻觉共 10 个分数label_0–label_9 重要提示探针必须与精确匹配的基座模型Qwen/Qwen3.5-4B 本检查点成对使用混用其他版本会导致打分失效。仓库文件结构一览 仓库非常精简全部资料如下README.md模型说明、评测结果与快速上手config.json模型配置架构、维度、层号等核心参数configuration_sing_probe.py配置类定义Attn / MLP 两种modeling_sing_probe.py模型实现与forward接口model.safetensors探针权重文件约 10MBbfloat16服务端启动参数速查推荐通过 SGLang 或 vLLM 的集成分支加载探针在服务启动时指定探针路径即可python -m sglang.launch_server \ --model-path Qwen/Qwen3.5-4B \ --probe-ckpt inclusionAI/Qwen3.5-4B-singprobe \ --port 30000启动参数示例值说明--model-pathQwen/Qwen3.5-4B基座模型路径或模型 ID必须与本探针配对--probe-ckptinclusionAI/Qwen3.5-4B-singprobe探针检查点路径或模型 ID--port30000服务监听端口启动后服务会为每个生成的 token返回一个label_0–label_9的评分字典可直接用于流式安全拦截与幻觉检测。config.json 全部配置参数详解打开 config.json每个字段的含义如下参数本仓库取值类型说明architectures[SingProbeAttnModel]数组加载时使用的模型类见 modeling_sing_probe.pymodel_typesing_probe_attn字符串模型类型标识与配置类一一对应auto_map.AutoConfigconfiguration_sing_probe.SingProbeAttnConfig字符串AutoConfig自动映射到的配置类auto_map.AutoModelmodeling_sing_probe.SingProbeAttnModel字符串AutoModel自动映射到的模型类hidden_size2560整数基座模型单层隐藏维度探针输入 该值 × 层数base_model_layer_ids[9, 19, 30]整数数组从基座模型哪些层抽取隐藏状态探针输入共 3×25607680 维num_attention_heads8整数探针注意力头数head_dim64整数每个注意力头的维度投影维度 8×64512sliding_window2048整数注意力滑动窗口长度序列超过该长度时启用窗口化注意力num_labels10整数输出标签数8 意图 不安全 幻觉base_model_nameQwen/Qwen3.5-4B字符串绑定的基座模型名称torch_dtypebfloat16字符串权重精度推理建议保持 bfloat16配置类参数SingProbeAttnConfig 与 SingProbeMlpConfigconfiguration_sing_probe.py 中定义了两个可继承PretrainedConfig的配置类除上表参数外还有默认值与扩展字段参数Attn 配置默认值MLP 配置默认值说明hidden_size25602560基座隐藏维度base_model_layer_ids[][]接入层列表留空则input_size为 0num_attention_heads4—仅 Attn 模型使用head_dim64—仅 Attn 模型使用sliding_windowNone不限制—窗口长度None表示全因果注意力intermediate_size—1024仅 MLP 模型使用hidden_act—gelu仅 MLP 模型使用的激活函数num_labels1010输出标签数base_model_nameNoneNone基座模型名称两个配置类都提供input_size属性自动计算为hidden_size × len(base_model_layer_ids)即探针的输入特征维度input_size 定义。模型接口说明forward 输入与输出探针对外只有一个核心接口forwardSingProbeAttnModel调用方式极简输入hidden_states形状[batch, seq_len, input_size]即拼接了 3 个接入层9/19/30 层隐藏状态的张量输出TokenClassifierOutput其中logits形状为[batch, seq_len, 10]每个 token 对应 10 个标签分数可选参数return_dictTrue/FalseFalse时直接返回(logits,)元组内部处理流程proj_q / proj_k / proj_v投影 → 注意力超长序列自动切换sliding_window窗口注意力→o_proj残差 →RMSNorm→classifier线性分类层。其中 Q 头数为 8、K/V 头数为 1属于GQA分组查询注意力结构因此计算量很小。MLP 版本SingProbeMlpModel接口一致只是内部为两层全连接fc1 → 激活 → fc2适合作为更省资源的替代方案。常见报错信息排查错误信息原因解决方法input feature size X does not match hidden_size * number of tapped layers (Y)传入的隐藏状态维度与hidden_size × 层数不符检查是否按base_model_layer_ids完整拼接了 3 层特征应为 7680 维num_attention_heads and head_dim must be positive配置了非正数的头数/头维度将num_attention_heads、head_dim设为 ≥1sliding_window must be positivesliding_window配置了 0 或负数改为正整数如 2048或置为null性能参考探针评测表现 以下为 README.md 中给出的平均评测结果越高越好任务指标SingProbe对比基线查询意图分类6 个基准F10.8650YuFeng-XGuard-Reason-8B0.8714响应安全分类8 个基准F10.8646Qwen3Guard-Gen-8B-strict0.8604流式安全检测3 个基准R-AUC / T-AUC0.9870 / 0.9286Qwen3Guard-Stream-8B-strict0.9640 / 0.8893幻觉检测6 个基准AUC0.7855DRIFT0.8000良性回复的平均误报率仅0.04%解码开销 0.5%适合作为生产环境的常驻护栏。使用小贴士 ✅成对使用Qwen/Qwen3.5-4B 本探针不要替换基座版本读取分数流式场景下每个 token 会返回一个label_0–label_9字典可对高风险标签设置阈值实时拦截精度保持权重为 bfloat16加载时注意保持相同 dtype 以避免打分漂移长文本序列超过 2048 时探针自动启用滑动窗口注意力无需手动分片。以上就是 Qwen3.5-4B-singprobe 的全部配置参数与模型接口清单。参数有变以 config.json 为准接口细节可对照 modeling_sing_probe.py 源码进一步阅读。赞分享【免费下载链接】Qwen3.5-4B-singprobe项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/Qwen3.5-4B-singprobe点击查看免费下载相关推荐SingProbe配置完全参考config.json与configuration_sing_probe.py全参数详解SingProbe配置完全参考config.json与configuration_sing_probe.py全参数详解 Llama 3.2 1B Instrunewbie-guide-cj API参考Controller、HighLightGuideBuilder与GuidePage接口完整清单newbie guide cj API参考Controller、HighLightGuideBuilder与GuidePage接口完整清单 newbie guUI组件OpenHarmonyGLM-5.2-singprobe配置全解config.json参数API参考与最佳实践GLM 5.2 singprobe配置全解config.json参数API参考与最佳实践 GLM 5.2 singprobe 是一个构建在 GLM 5.2 之创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考