FinFIRST原子级Rubric设计全解析：三维度金融研究过程评分机制如何打分？

【免费下载链接】FinFIRST项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/FinFIRST点击查看免费下载FinFIRST是一个面向金融搜索 AgentAI 智能体的开源评测基准它不只看模型最后答没答对而是用一套原子级 Rubric评分细则把金融研究的全过程拆成一条条可独立判断的标准从原始数据查询、信源核验到计算与答案形成逐条打分。这篇文章带你完整拆解这套三维度评分机制的设计思路、真实案例和四项核心指标适合想理解 AI 评测、Rubric 评分或金融 Agent 开发的读者。为什么金融任务不能只比对最终答案传统基准评测大多采用标准答案匹配答案一致就得分不一致就丢分。但金融研究远不止查到一个数字那么简单——一个靠谱的金融 Agent 必须同时核实主体查的是不是题目要求的公司、市场或标的报告期数据对应的是不是题目指定的时间范围币种与单位是元还是美元是万元、GWh 还是百分比定义与口径是销量还是装车量是名义值还是真实值数据版本用的是否为截至某日可得、且尚未被修订的最新数据只比对最终答案会把蒙对了和做对了混为一谈也无法定位模型到底在哪一步失手。FinFIRST 的解法就是用原子级 Rubric 评分机制去评测完整研究过程而不仅仅是最终答案。数据集速览701 条原子标准覆盖 123 个任务FinFIRST V1 由50 多位金融专业人士编写并校验共包含123 个任务覆盖中国、美国等市场研究对象横跨公司、行业、区域经济体和金融工具且全部基于公开可访问的信源。关键数据数值任务总数123 个中文 / 英文任务7460.2% / 4939.8%含多个关联子问题超过 80%需要显式计算61.8%需要多个信源32.5%原子标准Rubric 条目总数701 条Rubric 总权重12,300 分也就是说平均每个任务挂着5~6 条独立判分的标准总权重折算后恰好 12,300 分100 分 × 123 任务。数据明细可在 test.jsonl 中逐条查看字段说明见 README.md。三维度评分过程被拆成三个可独立评估的阶段FinFIRST 的评分核心思想是把每个任务的期望解答路径分解为可独立评估的标准并按三个维度归类。1️⃣ 原始信息获取Raw-information acquisition考察 Agent 是否检索到了正确的主体、期间、单位、定义和数据版本下所需的事实与数值。例如是否正确搜到中芯国际最小买入单元为 200 股。2️⃣ 信源核验Source verification考察 Agent 是否使用了权威、相关、且对所需时间窗口和数据版本有效的信源。例如是否定位到上海期货交易所的官方合约文本或宁德时代的 2025 年年报摘要而不是自媒体转述。3️⃣ 计算与答案形成Computation answer formation考察 Agent 是否正确地计算、推理与综合且结论能被其检索到的证据支撑。例如合约价值 交易单位 × 收盘价 的算术是否正确、最终输出的保留位数和单位是否合规。这种三维度设计带来三个直接好处✅有效中间过程可得分即使最终答案错了前面检索和推理做得对的部分不会被一票否决✅能识别答案对但证据链断裂的情况——这是金融场景里最危险的错误✅失分可归因能明确指出失败发生在检索、信源核验还是计算阶段。一个真实案例原子级 Rubric 长什么样下面用 test.jsonl 中第一道真实任务original_id: v1_1来直观感受原子级的含义。题目若在 2025 年 7 月 31 日按当日收盘价分别以最小买入单位买入中芯国际688981.SH和比亚迪002594.SZ共需支付多少人民币该任务在数据集中对应两条 Rubric 字段rubric原子标准 分值和rubric_annotated在每条标准后追加维度标注。其rubric_annotated内容为1、正确搜索出中芯国际688981.SH最小买入单元为200股20分原始数据查询 2、正确搜索出比亚迪002594.SZ最小买入单元为100股20分原始数据查询 3、正确搜索出中芯国际2025年7月31日的收盘价为89.50元20分原始数据查询 4、正确搜索出比亚迪2025年7月31日的收盘价为105.24元20分原始数据查询 5、正确计算结果为28424元10分计算和答案 6、最终结果为28424元要求数据按照要求保留对应位数单位一致数据完全一致10分计算和答案可以看到每条标准都是独立的、可单独判定通过与否的最小单元atomic互不依赖每条标准自带权重分值本任务合计 100 分由金融专家按重要度分配每条标准被标注到三维度之一——这里前 4 条属于原始数据查询后 2 条属于计算和答案在涉及官方文件定位的任务里如期货合约类任务还会出现信源核验维度的条目例如正确定位上海期货交易所螺纹钢合约文本5分。官方 README 还给出了另一类更复杂的示例需要 Agent 结合 Meta 官方披露与 IAB/PwC 行业报告参考答案为72.45%而 Rubric 会分别评估信源识别、数据提取、汇总、计算、精度和单位等独立环节。四项指标从原子通过率到不支撑正确率有了逐条判分的基础FinFIRST 定义了四个互补的指标指标定义Atomic原子通过率所有原子标准的未加权通过率——过程视角Loose Pass宽松通过率按专家分配的标准权重计算的部分给分得分——部分正确也给分Strict Pass严格通过率所有原子标准全部通过的任务占比——结果视角最严格UCRUnsupported-Correct Rate不支撑正确率在最终答案正确的样本中证据链不完整的占比越低越好UCR 是这个基准最有特色的指标它专门揪出答案对、但证据撑不起来的回答。FinFIRST 评测结果显示在 1,150 个最终答案正确的实例中有 201 个缺乏完整支撑证据微平均 UCR 为17.48%——也就是说近两成的正确其实经不起溯源检查。整体结果同样印证了 Rubric 设计的价值GPT-5.6-Sol 以71.54%的 Strict Pass 领先Claude-Opus-5 的 Loose Pass 高达87.61%Strict Pass 却只有69.11%——宽松指标下的强表现依然可能掩盖被漏掉的要求。同时所有模型的计算与答案形成能力都弱于原始信息获取说明会搜容易、会算会用难。Rubric 是怎么建出来的9.78% 的通过率背后这套原子级 Rubric 不是拍脑袋写出来的FinFIRST 的数据构建分三个阶段场景驱动预处理把真实金融用例转译为 18 字段任务分类体系、六轴覆盖计划以及覆盖138 类金融信源的信源地图专家任务构建金融专业人员编写候选任务并组装包含参考答案、信源、关键数据、定义、计算、有效替代解和数值容差的参考包再把每份解答逐条分解为原子标准质量控制候选任务要经过数值与范围复核、独立重解、交叉验证与仲裁、Rubric 审计、模型压力测试和一致性检查所有修改与取舍由金融专家决定。最终候选任务通过率仅9.78%才留下 123 个正式任务——严苛的 Rubric 审计标准是这套评分机制可信度的来源。自动评测如何落地GLM-5.1 充当裁判123 个任务 × 701 条原子标准靠人工逐条判分显然不可持续FinFIRST 给出了自动评测协议15 个模型配置在同一套 ReAct 风格 Agent 框架下评测统一使用Web Search、Visit和Python三个工具由GLM-5.1担任自动裁判对每条原子标准判定通过与否在 8 位金融专家标注并仲裁的 50 个随机抽样实例上自动裁判与人工标签在原子标准级别的 Cohens κ 达到0.816一致性相当高。切片分析进一步显示任务从易到难表现逐级下降多信源任务始终比单信源任务更难不同语言和市场之间也有明显差异——而这类能力短板画像正是三维度 Rubric 归因能力带来的副产品。小结过程评分是金融 AI 评测的关键一步回到最初的问题——FinFIRST 的原子级 Rubric 是怎么设计的可以浓缩为四句话原子化把解答路径拆成 701 条独立可判的最小标准每条带专家权重三维度原始信息获取 / 信源核验 / 计算与答案形成让失分可归因到具体阶段过程与结果双视角Atomic、Loose Pass、Strict Pass 三个通过率互为补充再用 UCR 专查证据链断裂专家兜底9.78% 的通过率 8 位专家仲裁的 κ0.816 一致性校验保证 Rubric 本身经得起审视。对于正在构建金融 AI Agent 或设计评测体系的团队FinFIRST 证明了一点只比答案的评测会高估模型过程级的 Rubric 评分才能照出真实短板。感兴趣的话可以直接打开 test.jsonl 逐条研究任务与 Rubric 字段或通读 README.md 了解完整评测协议。赞分享【免费下载链接】FinFIRST项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/FinFIRST点击查看免费下载相关推荐FinanceGym基于 Point-in-Time 检索环境与可验证 Rubric 评判器的智能体金融深度研究基准FinanceGym基于 Point in Time 检索环境与可验证 Rubric 评判器的智能体金融深度研究基准 FinanceGym 是 Finance人工智能深度学习NLP计算机视觉强化学习FinFIRST切片分析任务难度、多信源与中英市场差异如何影响金融Agent表现FinFIRST切片分析任务难度、多信源与中英市场差异如何影响金融Agent表现 如果你正在评测或构建 金融搜索Agent FinFIRST 的切片分析Lighthouse 评分机制完全解读Performance、Best Practices、SEO 与 Accessibility 得分究竟如何计算Lighthouse 评分机制完全解读Performance、Best Practices、SEO 与 Accessibility 得分究竟如何计算 Ligh开发工具性能测试质量保障前端上一篇AG Kit内存管理高级技巧上下文窗口优化与数据清理下一篇终极解决方案如何高效获取专业级PDF编辑工具Bluebeam Revu创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考