PolyOCR-Venus：蚂蚁把 OCR 从『抄写员』练成『视觉智能体』，教师蒸馏还会自己下岗

一句话总结蚂蚁广见团队的 PolyOCR 想让 OCR 模型不只是「把字抄下来」而是识别、定位、解析、抽取、理解、推理一把抓6000 万实例按六大能力维度组织训练后训练用 CGPO——先量出「教师在这个样本上到底比学生强多少、强得是否稳定」再决定蒸馏开多重。OCRBench v2.1 英文榜 80.42 拿下第一内部 KIE 甚至压过 GPT-5.6-Sol还顺手把 OCRBench v2 的标注修了一遍。导语OCR 的尽头是「以文本为中心的视觉智能」做 OCR 的朋友应该有感觉这两年榜单刷得飞起但刷榜的模型大多是「偏科生」——解析模型MinerU、PaddleOCR-VL 这类把 PDF 还原得炉火纯青可你让它数一数图里有几个文字实例、或者对着图表做步推理它就露怯通用 VLMQwen3-VL、Gemini 这些什么都懂一点但细粒度认字、空间定位、密集文档抽取又不如专科生。蚂蚁这篇报告给这个局面一个相当有野心的回应PolyOCR——不是一个模型而是一个家族2B/9B 通用版 2.7B 多语言专精版目标把 OCR 从「纯文本转写」扩成「文本中心的视觉智能」识别、定位、文档解析、信息抽取、视觉文本理解、OCR 推理六大能力全部塞进一个统一的指令跟随生成框架。想知道细节资源在这想自己动手试 论文arXiv 2609.37712这篇论文到底想解决什么问题统一 OCR 基础模型有两个拦路虎一个在数据一个在训练。数据侧现有 OCR 数据集几乎都是按单一任务、单一领域、单一语言建的拼起来覆盖碎片化、配比失衡——空间锚定的双语翻译、模板化 KIE、中文文档表格解析、场景文本定位、OCR 推理这些能力要么没数据要么标注贵到离谱。训练侧更有意思不同任务的学习难度、输出结构、优化目标天差地别——识别要逐字精确定位要空间落点抽取要格式严格推理要语义理解。多任务混训时强势任务会淹没弱势任务正迁移和任务干扰还会同时存在。更微妙的是 RL 阶段的一个死角论文举了个特别生动的例子一张 1000 字符的金融单据模型把金额 18,650 抄成了 18,850——就错这一个字符。8 个 rollout 的编辑相似度奖励全都是 0.999一模一样。GRPO 的组内相对优势全是零这个组对「纠正这个数字」贡献的梯度是零。数字错了奖励却看不出错——这叫等价奖励退化。转写任务里错一个字可能就是业务上的致命错但 page 级奖励对它钝感。解药是有的在线蒸馏OPD——让老师站在学生自己生成的路径上逐 token 给监督「到这一位该是 6 不是 8」信息密度完全不同。但直接加蒸馏又引入新问题老师也可能 favor 1850 那个错误数字更麻烦的是等学生后来自己改对了、老师还在犯糊涂时固定权重的蒸馏会拖着学生不让进步。怎么让老师的监督「在该在的时候、以该有的力度」出现这就是 CGPO 要回答的。它的思路是什么 第一步6000 万实例的「能力账本」数据引擎两手抓一手全谱收集公开数据集 内部资源按六大能力维度归账一手定向补缺——对稀缺能力做可控合成和模型辅助标注规则式计数合成直接继承已验证标注的精确答案不引入模型标签噪声复杂推理数据用 DeepSeek-V4-Pro 基于已验证的OCR 标注生成问答与思维链再过任务一致性校验。所有管线共享三重质控多模型一致性验证分歧送人工、结构感知验证坐标/HTML/表格与渲染图对得上、源头验证翻译和推理链不得脱离源证据。6000 万 SFT 实例按四组配比文本感知 32.5%、文档结构 30%、OCR 理解推理 22.5%、通用多模态 15%再按三相课程推进——推理类占比从早期 10% 一路加到后期 35%先练认字再练动脑。 第二步CGPO——给蒸馏装一个「能力路由器」训练分两阶段SFT 打底之后进入 CGPOCompetence-Guided Policy Optimization。它的骨架是 GRPO一直在线叠加一个样本级路由的在线蒸馏路由逻辑分三步量出双方能力教师在每个样本上离线采样 8 次、按任务验证器打分取均值得到教师能力分 c_T(x)训练前算好缓存验证器按任务映射文本用编辑相似度、定位用 IoU、公式用 CDM、表格用 TEDS、KIE 用字段 F1、开放问答用 LLM 裁判学生能力分 c_S(x) 用训练中的 8 个 rollout 在线估计。两者相减就是能力差 Δ(x)。校准别裸用估计值8 次采样的均值毕竟有噪声直接比大小不可靠。作者在校准集上用 A/B 独立划分拟合两个单调映射一个从 c_T 预测「教师的真实质量」一个从 Δ 预测「教师稳定赢过学生的概率」平局算半分。这一步纯离线推理不训练任何东西。按路由系数开蒸馏α(x) 教师质量 × max(2×胜率 − 1, 0)。读一下这个式子的脾气胜率不到一半蒸馏直接归零教师只是「矮子里拔将军」赢过更差的学生质量分低权重也会被压住。最终损失 GRPO λ·α(x)·OPD。训练动态验证了设计意图路由系数的平滑值随训练一路下降后期归零的决策越来越频繁——教师自己逐渐「下岗」把优化权交还给验证器。这就是标题里「competence-guided」的含义蒸馏权重跟着师生能力边界走而不是跟着训练步数走。 第三步顺手把考场修了——OCRBench v2.1作者还审计了 OCRBench v2部分参考标注有噪声、部分任务的计分方式与任务语义错位公式、文档解析、翻译、推理这几类尤甚。v2.1 做了人工核验的标注修正 按任务对齐的计分调整任务覆盖不变——但要记住旧 v2 的分数和新 v2.1 不可直接对比。效果到底怎么样主战报PolyOCR-9BOCRBench v2.1英文 80.42 / 中文 78.37英文全场第一压过 GPT-5.6-Sol72.92和 Qwen3.8-Max77.75HunyuanOCR-1.5 这种专用模型在 v2.1 上只有 32.63——旧 OCR 专精模型在「理解推理」维度被拉开得很难看。2B 版拿到 72.33已经摸到 GPT-5.6-Sol 的门槛。CC-OCR82.43全场第一其中文档解析 71.71、KIE 94.02 两个单项都是第一。内部 KIE 基准学信网证明/身份证/录取通知书/护照Overall 93.60%超过 GPT-5.6-Sol 的 90.98%——2B 版 93.49% 也几乎打平。MDPBench 多语言2.7B 专精版 Overall 87.0%超 GPT-5.6-Sol 0.4 个点、Gemini-3-Pro 0.6 个点17 个语言组里 6 个第一、12 个前二。OmniDocBench v1.6文档解析整页直推 91.57外挂 PP-DocLayoutV3 版面检测后 95.52公式 CDM 91.71→96.30——但这个数字仍低于 OvisOCR296.58、TeleOCR96.87这些解析专精模型。CGPO 本身的消融很能说明问题同 SFT 起点CC-OCR 分数SFT 79.46 → 加 GRPO 81.72 → 加固定权重 OPD 82.18 → 换余弦衰减 82.32但 OmniDocBench 反而掉到 90.12→CGPO 82.43且三榜全面最高。按样本路由赢过按步数调度。能拿来做什么证件/票据结构化场景KIE 93.60% 的成绩单学信网、身份证、录取通知、护照对国内证件类业务几乎是量身定做的参考。多语言文档管线2.7B 专精版 21 个语言/文字组的成绩对出海业务的文档解析是个现成的选型参考。RL蒸馏联训的调度范式CGPO 的「验证器打分估能力 → 离线校准 → 样本级路由」三段式和最近同期的 GAD-RL按组奖励门控衰减思路同源但路由粒度更细——正在做后训练的团队可以直接把这两篇对着抄作业。泼冷水时间自修订的榜自己第一OCRBench v2.1 的标注修正与计分调整都是本文做的动机噪声、计分错位说得通但「在自己修订的考场拿第一」这个循环需要第三方复核来闭环目前没有。文档解析深水区仍是专精模型的天下OmniDocBench 整页直推 91.57、pipeline 95.52距解析专精的第一梯队还有约 1 个点的差距——「六边形」意味着没有一条边是最长的。内部基准占比高KIE 是 in-house 四类证件MDPBench 部分对照模型未评测表中「–」横向比较的完备度有限。CGPO 的隐性成本教师要在全部训练样本上离线采样 8 次 构建校准集教师还是 122B 级模型——省下的蒸馏浪费换成的是前期的推理账单。报告未附代码/权重发布链接想复现只能等。理性看待PolyOCR-Venus 值得记住的有两件事。一是它把「OCR 基础模型」的能力边界从「转写 解析」正式扩到了「理解 推理」并用六大维度的数据账本证明了这条路在 2B-9B 规模上走得通——OCRBench v2.1 上通用大模型和 OCR 专精模型的分数断层被这个统一配方填平了大半。二是 CGPO 的路由思想教师监督的价值不是常数它取决于「教师此时此地是否真的比学生强、赢得是否稳定」——把这个判断做成校准过的概率再开蒸馏比拍一个衰减曲线优雅得多。统一的代价依然存在最深的解析榜上它还不是第一。但方向已经清楚了——OCR 的竞争正在从「谁抄得准」转向「谁看得懂」这一篇是很好的注脚。数据与结论均来自论文原文解读部分为作者观点欢迎交流。