只检查放行项，还不知道漏掉了什么

2026-11-02更新：0.2.0新增有限输入集合的precision和recall逻辑界限。下面保留0.1.0原始发布记录，新版方法与限制见末节。

0.1.0：原始发布记录

我发布了 Rejected Check Audit，一个用来检查多阶段筛选分母的离线工具。它保留前置阶段拒绝的事件，区分未知标签、负例和未解决的判定，并把每个已知漏检追溯到终止阶段。

只审查最终放行项，可以知道这些放行项里有多少错误，却看不到被拒绝的事件里漏掉了多少应当检出的内容。把未审阅项当成负例，或者把没运行的下游阶段补成拒绝，都会改变指标的含义。

工具附带十二个作者构造的事件，分别提供完整标注、只标放行项、目的选择的部分审阅三种视图。三份视图共享相同事件身份，不能当成三十六条独立样本。在只标放行项的视图里，工具保留全部事件分母，将总体召回率输出为null并说明原因；部分审阅也不按小样本比例外推总体漏检。

下载仓库后，可用Python标准库在本地运行audit.py，导出JSON报告以及阶段、路径和指标CSV。独立复算程序、冻结手算合同和CPU Notebook一并提供。最终公开包经过干净目录重跑与额外独立状态组合检查；HF文件内容及三个可搜索Viewer已核对。

这组结果验证的是审计工具怎样记账。它不包含真实业务轨迹、模型输出或新的训练，也没有证明筛选器变得更准确。把它接到真实系统之前，还需要定义事件身份、标签标准、选样方式与阶段含义。工具采用保守的完整标签召回规则，不提供抽样加权、总体置信区间或部分识别界限。

作品与代码：https://huggingface.co/datasets/WideChaos/rejected-check-audit

代码与合成案例采用 Apache-2.0 许可。作者：Renchao Wu。

0.1.0固定版本

2026-11-02：0.2.0增加逻辑界限

我在同一工具中增加了有限输入集合的precision和recall逻辑上下界。已知标签和判定保持固定，未知标签或未解决预测允许二值补全；每个指标只在其分母为正的补全中取极值，并显式报告可能未定义、始终未定义的情况。precision和recall的端点分别可达，不保证能在同一次补全中联合取得。

原来的十二个合成事件和三个标签视图没有变化。完整标签的recall界限为[1/3,1/3]，仅放行标签为[1/5,1]，补审两个事件后为[2/9,2/3]；三个视图的precision均为[1/2,1/2]。旧单值及null的可计算条件保持不变，不完整标签的旧recall仍为null。

这些界限来自声明的补全模型，是对输入集合的逻辑约束，不是总体估计、抽样置信区间或实际模型成绩，也不保证每种补全在真实系统中可能发生。上文原版案例与局限保留；新版代码和证明见同一HF仓的固定版本。

0.2.0代码与证明的固定版本

本次HF发布验收核对了文件和三个配置的数据行；搜索当时尚不可用。

作者：Renchao Wu ｜ 原文：https://widechaos.cn/blog/rejected-check-audit-zh