Qwen3.5-4B-singprobe评测报告：23项基准测试，5.18M探针参数对打8B安全模型

【免费下载链接】Qwen3.5-4B-singprobe项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/Qwen3.5-4B-singprobe点击查看免费下载Qwen3.5-4B-singprobe是一个基于 Qwen3.5-4B 的轻量级流式安全护栏streaming guardrail模型。它不额外运行独立的安全模型而是复用基座模型生成过程中的隐藏状态对每个 token 实时打分查询意图8类、回复不安全性、幻觉风险。全部 23 项基准测试中这个仅5.18M 参数的探针在多数指标上与 8B 级专用安全模型打平甚至反超解码开销却不到 0.5%。一、SingProbe 是什么不跑第二个模型的安全护栏 ️传统做法是给大模型外挂一个安全审核模型模型先完整生成回复再由安全模型审查延迟高、成本高。SingProbe 换了一种思路——把安全检测内嵌进生成过程在 Qwen3.5-4B 的第 9、19、30 层抽取隐藏状态每个 token 生成时探针同步输出label_0–label_9共 10 个分数覆盖三类任务查询意图分类8 种意图、回复安全分类、幻觉检测效果是边生成边审查流式场景下无需等待完整回复即可判断风险。二、核心架构5.18M 探针参数是怎么构成的 本仓库的模型配置见 config.json架构名为SingProbeAttnModel定义于 modeling_sing_probe.py配置项值含义hidden_size2560基座模型隐藏维度base_model_layer_ids[9, 19, 30]从基座模型抽取 3 层隐藏状态num_attention_heads/head_dim8 / 64探针自带 8 头注意力sliding_window2048滑动窗口注意力控制计算量num_labels108 类意图 unsafe hallucinationtorch_dtypebfloat16推理精度输入特征大小为2560 × 3 层 7680维经 Query/Key/Value 投影与注意力聚合后由RMSNorm 线性分类器输出 10 个 logits见 modeling_sing_probe.py 的forward实现。配置类同时保留了 MLP 探针的可选实现见 configuration_sing_probe.py。项目数值基座模型Qwen/Qwen3.5-4B探针参数量5.18M打分粒度每个 token三、23 项基准测试完整成绩单 评测共覆盖6 8 3 6 23 项基准测试所有指标均为越高越好与 README.md 中 Evaluation 章节一致任务基准数指标Qwen3.5-4B-singprobe8B 级对照基线查询意图分类6F10.8650YuFeng-XGuard-Reason-8B0.8714回复安全分类8F10.8646Qwen3Guard-Gen-8B-strict0.8604 ✅ 反超流式安全检测3R-AUC / T-AUC0.9870 / 0.9286Qwen3Guard-Stream-8B-strict0.9640 / 0.8893 ✅ 反超幻觉检测6AUC0.7855DRIFT0.8000重点解读流式安全是最大亮点R-AUC 0.9870、T-AUC 0.9286双双大幅领先 8B 级 Qwen3Guard-Stream-8B-strict——这正是 SingProbe逐 token 打分架构的主场回复安全分类 F1 0.8646高于 8B 严格模式基线的 0.8604意图分类与幻觉检测两项略落后最强基线但差距在 0.01 左右考虑到参数量级差异性价比相当可观四、部署成本解码开销 0.5%误报率 0.04% 对生产环境来说安全护栏最怕误杀和拖慢速度SingProbe 两项数据都很能打部署指标结果良性回复误报率5 个数据集平均0.04%解码额外开销 0.5%也就是说接入 SingProbe 后用户几乎感知不到任何速度损失正常对话被拦截的概率也只有万分之四。五、快速接入一条命令加载探针 ⚡SingProbe 已集成到 SGLang 与 vLLM 的相应分支启动服务时通过--probe-ckpt指定探针即可完整说明见 README.md 的 Quick Start 章节python -m sglang.launch_server \ --model-path Qwen/Qwen3.5-4B \ --probe-ckpt inclusionAI/Qwen3.5-4B-singprobe \ --port 30000注意事项必须配对使用基座模型Qwen/Qwen3.5-4B与本探针检查点是绑定关系不要混用每次生成返回一组label_0–label_9分数字典按需设置阈值触发拦截模型文件为 model.safetensors配置与实现分别位于 config.json、configuration_sing_probe.py、modeling_sing_probe.py六、总结适合谁用你的场景是否推荐流式对话产品需要逐 token 实时风险判断✅ 强烈推荐流式指标大幅领先 8B 基线追求极致延迟、不想外挂独立审核模型✅ 解码开销 0.5%几乎零损耗需要幻觉风险在线监控✅ 内建幻觉检测通道已有成熟 8B 安全模型且指标要求苛刻⚠️ 意图分类/幻觉检测与最强基线仍有约 0.01–0.02 差距一句话总结Qwen3.5-4B-singprobe 用不到 8B 安全模型 1% 的参数量在 23 项基准测试中打平甚至反超是流式场景下高性价比的内置安全探针。如需方法细节与完整数据可查阅其技术报告《SingProbe Technical Report》arXiv:2608.30703。赞分享【免费下载链接】Qwen3.5-4B-singprobe项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/Qwen3.5-4B-singprobe点击查看免费下载相关推荐5步打造完美打牌记账体验告别混乱的终极解决方案5步打造完美打牌记账体验告别混乱的终极解决方案 你是否曾在朋友聚会打牌时因为记不清谁输谁赢而陷入尴尬是否因为复杂的记账过程而影响了游戏的乐趣现在一款专Reselect 5.0性能测试报告基准数据对比Reselect 5.0性能测试报告基准数据对比 你是否在React应用中遇到过状态计算导致的性能瓶颈当Redux状态树变得复杂时每次状态更新都重新计算派状态管理为什么越来越多人选择 AndroidAPS开源闭环胰岛素系统完整上手指南为什么越来越多人选择 AndroidAPS开源闭环胰岛素系统完整上手指南 凌晨三点血糖仪的报警声刺破寂静。你摸黑开灯、采血、读数然后判断该补一针还是吃医疗健康智能硬件上一篇构建银行应用第 3 部分用 Fetch API 获取并动态渲染账户数据的完整实战指南下一篇如何永久保存你的微信记忆WeChatMsg完整数据留痕指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考