【免费下载链接】Qwen3.5-4B-singprobe项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/Qwen3.5-4B-singprobe点击查看免费下载Qwen3.5-4B-singprobe 是一个构建在Qwen/Qwen3.5-4B之上的流式安全护栏streaming guardrail探针模型它不额外运行独立的安全模型而是在生成过程中逐 token 读取基座模型的隐藏状态实时评估查询意图、回答不安全程度和幻觉风险。本文用通俗的语言讲清它的两大核心指标R-AUC与T-AUC并拆解其幻觉检测原理帮你一文读懂这套流式安全方案。️ 先认识主角Qwen3.5-4B-singprobe 是什么传统做法是给大模型外挂一个独立的安全审查模型先生成完再整体检查——既慢又费算力。Qwen3.5-4B-singprobe 换了一种思路把安全检测做进生成过程本身。流式探测每生成一个 token探针就同步打分一次危险内容边生成边发现而非事后补票三合一输出一次探测同时给出 8 类查询意图、回答不安全度、幻觉风险分轻量到极致探针参数仅5.18M约为基座模型的 0.13%解码开销 0.5%低误报良性回答的误报率平均仅0.04%这些关键信息可以在 README.md 的 Model Description 部分找到配置层面则定义在 config.json 中。 一分钟搞懂 AUC安全检测的综合成绩单在讨论 R-AUC 和 T-AUC 之前先用 30 秒理解AUCArea Under the ROC Curve接收者操作特征曲线下面积。可以这样直观理解随机抽一个不安全样本和一个安全样本模型给不安全样本打出更高分数的概率就是 AUC。AUC 取值含义1.0完美区分永不混淆0.9 以上非常优秀的安全检测水平0.5等于抛硬币蒙为什么安全领域偏爱 AUC 而不是准确率因为 AUC 不依赖人工划定的分数阈值对安全样本多、危险样本少这种不平衡场景更稳健便于在不同模型之间横向对比。 R-AUC回答最终判定准不准R-AUCResponse 维度 AUC衡量的是当回答生成到结尾时模型把整条回答判对安全 / 不安全的能力。打个比方一位安检员在乘客回答走完整个安检门之后做出的最终判定是否准确考验的就是 R-AUC。在流式安全任务的 3 个基准测试上Qwen3.5-4B-singprobe 取得模型规模R-AUCQwen3.5-4B-singprobe4B 5.18M 探针0.9870Qwen3Guard-Stream-8B-strict专用护栏8B0.9640一个带 5.18M 小探针的 4B 模型反而比 8B 专用护栏模型高出了约 2.3 个点——因为探针直接住在基座模型内部读的是第一手的隐藏状态而不是事后重新理解文本。⏱️ T-AUC回答危险发现得早不早T-AUCTime 维度 AUC衡量的则是速度不安全信号在 token 流中多快就能被区分出来。流式场景下的意义非常实际如果第 20 个 token 就检测到风险可以立即截断用户根本看不到完整危险内容检测越早浪费的生成算力和用户暴露时间越少检测太晚比如接近结尾才报警护栏就形同虚设继续用安检的比喻T-AUC 考察的是安检员在乘客刚踏上安检门时能否立刻识别出可疑物品。模型规模T-AUCQwen3.5-4B-singprobe4B 5.18M 探针0.9286Qwen3Guard-Stream-8B-strict专用护栏8B0.8893一句话记住两者的分工R-AUC 管准T-AUC 管快。流式安全护栏必须同时满足这两点单看任何一项都会产生错觉。 幻觉检测原理第三个被实时探测的维度除了安全问题探针还对每个 token 输出一个幻觉风险分用于识别模型一本正经说错话的片段。它是怎么看见幻觉信号的关键在层间隐藏状态的拼接。基座模型共 36 层左右Qwen3.5-4B-singprobe 抽取第9、19、30层浅、中、深三个位置的隐藏状态并拼接成输入特征浅层第 9 层更多携带局部、表层语义信息深层第 30 层更多承载抽象语义与事实推理状态三层拼接让探针同时拥有细节视角和全局视角幻觉往往恰恰体现在两种视角的不一致中这一设计在 config.json 的base_model_layer_ids字段中清晰可见输入特征维度的计算逻辑则定义在 configuration_sing_probe.py 的input_size属性中hidden_size × 抽取层数 2560 × 3。幻觉检测效果如何在 6 个幻觉检测基准上Qwen3.5-4B-singprobe 取得AUC 0.7855与专用幻觉检测方法 DRIFT0.8000基本处于同一梯队——而且它是顺手在流式探测中输出的不需要额外的推理流程。任务指标结果查询意图分类6 基准F10.8650回答安全分类8 基准F10.8646流式安全3 基准R-AUC / T-AUC0.9870 / 0.9286幻觉检测6 基准AUC0.7855完整评测表格见 README.md 的 Evaluation 部分。 工作全流程探针内部发生了什么整个探测流程可以概括为四步抽取生成每个 token 时收集基座模型第 9、19、30 层的隐藏状态并拼接注意力聚合探针是一个带滑动窗口2048的轻量注意力模型8 个头核心实现在 modeling_sing_probe.py 的SingProbeAttnModel中窗口机制让它兼顾长程上下文而注意力计算量可控见 modeling_sing_probe.py分类输出经 RMSNorm 后输出10 维 logits对应label_0–label_9即 8 类查询意图 不安全 幻觉风险实时决策推理引擎SGLang / vLLM每个 token 返回一个分数字典宿主程序据此决定继续、截断或告警此外项目还提供了一个纯 MLP 的轻量版探针SingProbeMlpModelmodeling_sing_probe.py结构更简单适合对时延极端敏感的场景其配置类定义在 configuration_sing_probe.py。当前发布的权重采用的是注意力版见 config.json 的architectures字段。 如何部署一行参数接入 SGLang部署时只需在启动服务端时通过--probe-ckpt挂载探针命令取自 README.md 的 Quick Startpython -m sglang.launch_server \ --model-path Qwen/Qwen3.5-4B \ --probe-ckpt inclusionAI/Qwen3.5-4B-singprobe \ --port 30000⚠️ 两个注意点必须成对使用探针与基座模型严格绑定本权重只适配Qwen/Qwen3.5-4BvLLM 用户同样有对应的集成分支用法一致按集成文档挂载即可✅ 总结为什么这套方案值得关注流式逐 token 探测危险内容可被提前截断R-AUC 0.9870 / T-AUC 0.9286 双双超越 8B 专用护栏基线轻5.18M 参数、 0.5% 解码开销几乎不改变原有推理成本多一次探测覆盖意图分类、安全分类、幻觉检测三大任务误报率仅 0.04%懂原理层间隐藏状态拼接 滑动窗口注意力让安全判断与幻觉识别共享同一次前向计算如果你正在为 4B 级别的大模型寻找一套准且快的流式安全护栏Qwen3.5-4B-singprobe 的 R-AUC / T-AUC 双高成绩说明小探针也能守住大模型的安全底线。赞分享【免费下载链接】Qwen3.5-4B-singprobe项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/Qwen3.5-4B-singprobe点击查看免费下载相关推荐基于Qwen3.5-27B-singprobe的流式安全拦截实战R-AUC 0.9879与T-AUC 0.9289指标解读基于Qwen3.5 27B singprobe的流式安全拦截实战R AUC 0.9879与T AUC 0.9289指标解读 Qwen3.5 27B singp如何读懂SingProbe评估指标F1、R-AUC、T-AUC与AUC基准测试逐项解析如何读懂SingProbe评估指标F1、R AUC、T AUC与AUC基准测试逐项解析 Llama 3.2 1B Instruct singprobeSinRipple 事件绑定与事件委托机制详解从 Props 语法到源码级委托实现Ripple 事件绑定与事件委托机制详解从 Props 语法到源码级委托实现 本文基于 Ripple 官方文档《Event Binding in Ripple创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考