RL做模型后训练优化调研

RL目标目标典型反馈偏好与行为对齐人类偏好、奖励模型、AI评价推理和解题能力增强标准答案、测试程序、形式验证器多步任务和智能体任务增强环境状态、任务成功率、过程反馈研究方向1.奖励设计传统RLHF用人类偏好训练奖励模型成本高、易被reward hacking可验证奖励RLVR数学/代码竞赛题有唯一答案可用规则验证较新研究基于真实软件演化历史的轻量级、可扩展奖励例如SWE-RL,ICML 2025。从开源软件的真实commit历史中挖掘让模型根据commit message和修改前代码预测/生成补丁然后与真实commit的diff做相似度比较如基于token或patch的匹配度作为奖励。用纯规则奖励答案正确性 格式做 RL不用神经奖励模型就让 LLM 自发涌现出长链推理、自我验证等能力。例如DeepSeek-R1nature 2025.从 RLHF 的 KL 约束最优解出发推导出奖励可以用策略与参考模型的对数概率比表示从而把训练 RM PPO的复杂流程化简为一个直接在偏好数据上做的分类式损失。例如DPO,Direct Preference Optimization,NeurIPS 2023后续工作可靠、便宜、泛化2.优化算法传统GRPOPPO较新研究针对大规模 LLM RL 训练尤其是长 CoT 场景存在熵崩塌、奖励噪声、训练不稳定等问题的算法。例如DAPONeurIPS 20253.探索和课程学习现有问题以GRPO为例GRPO会对同一个问题采样多个回答然后比较它们的奖励计算优势A。假设一道题采样多次奖励全是0那么这一组就没有提供正向的相对奖励信号全部答对、奖励相同时也存在缺少组内区分的问题。简单题已经会了继续练收益很小难题完全不会直接练又拿不到成功经验。较新研究DAPONeurIPS 2025通过一系列工程和算法创新解决了大规模 RL 训练中的不稳定问题从而让模型能够有效地在困难任务长链推理上进行探索和学习。2026年9月的 Never Give UpNGU,目前只有预印版 提出一种自适应采样思路围绕一道题持续采样直到找到正确解借助异步训练让简单题消耗较少采样预算、困难题获得更多尝试机会。4.信用分配概述对于长过程agent交互模型通常经过多步才能完成任务但最后只拿到一个成功奖励。前面的步骤如何区分是我们需要研究的一个问题。最新研究Agent Lightning微软2025 的信用分配思路是分层拆解先把轨迹级的最终奖励分配到每个交互步骤上再把每一步变成一个独立的单轮 RL 问题。这样既解决了长序列的工程难题又为后续更精细的信用分配算法如考虑每步的实际贡献留下了空间。训练一个 过程奖励模型Process Reward Model, PRM,LCLR 2024让标注员对解题的每一步进行判断——这一步是positive、negative还是neutral。一条完整解答的最终得分取所有步骤得分的乘积表示每一步都正确的联合概率。5.Agentic RL多步智能体区别于传统RLAgentic RL不仅关注你回答的对不对更加关注于你工具调用的对不对。6.效率第一个是训练效率AReaLNeurISP 2025 的核心思路是将生成与训练彻底解耦用异步架构消除 GPU 空闲同时用算法手段保证在旧数据上训练的稳定性。第二个是推理效率The Art of Efficient Reasoning,腾讯混元,这篇论文的核心贡献是把高效推理从单一的奖励工程提升成了一个需要在数据难度、奖励塑形和优化协议之间做协同设计的系统问题。7.自博弈与自动出题传统路线大多默认人已经准备好题库随着模型能力变化尝试生成适合它继续学习的新任务。Absolute ZeroNeurIPS 2025让模型同时参与出题和解题并利用代码执行器验证任务与答案。它尝试把任务生成、难度调整和推理学习连接起来而不是一直依赖固定的人工题库。8.真实性和泛化性这里主要的研究集中于RL究竟让模型学到了新的解决能力还是主要提高了原本就能偶尔生成的正确答案的概率。