强化学习策略优化：从单调提升理论到TRPO/PPO工程实践

强化学习学到这个阶段大部分公式推导和代码实现都能跑通了但有一类问题始终绕不过去理论上讲策略优化的目标应该让性能越改越好实际训练里却经常出现越改越差。这个问题的系统解答就是 Monotonic Improvement Theory策略的单调提升。这是系列的第四十三篇我打算把这块从数学原理到工程实现彻底捋清楚。适合正在啃策略优化论文、或者在调参路上被各种玄学坑过的朋友——这篇文章会把为什么策略更新会翻车和怎么改才能尽量不翻车两件事一次性讲透。1. 策略更新越改越差的根因一阶近似与分布偏移1.1 复现一次典型的更新即崩溃先把最典型的失败模式挂在这里后面所有的推导都是在回应这个问题。标准策略梯度做的事情非常简单用当前策略采一批轨迹估计优势函数然后朝策略梯度的方向走一步。这套流程单看每一步都有道理但放到实际情况里会出一个非常诡异的结果——前几百次更新平平稳稳某一次更新之后评估奖励突然塌掉一大截而且往往是在你信心最足的时候。这不是代码写错了也不是环境出了 bug。原因是更新前的梯度是用旧策略采样的轨迹估计出来的更新完之后新策略已经和采样时不是同一个策略了。策略梯度公式里那个以当前策略分布为期望的记号更新之后分布立刻变了梯度信息却还停留在旧分布上。可以理解为拿着昨天的地图找今天的新路地图本身没画错但路已经动了。1.2 策略梯度只保证无穷小步长下的正确性更严格地说策略梯度是一阶近似它保证的是在策略参数空间里沿梯度方向走无穷小一步性能会按照一阶项提升。注意是无穷小。实际训练里步长不可能无穷小只要步长有限泰勒展开的余项就会产生误差。这一点在监督学习里问题不大损失函数在参数空间里通常足够光滑稍微跨大一点也只是轻微变差。但强化学习的目标函数有一个特殊性策略一改变状态的访问分布也会跟着改变而且是递归式地改变。旧分布下采样得到的优势函数对新分布下的状态完全可能是错误的。这就是分布偏移distribution shift。两个策略差得越远原来那个代理目标对真实目标的近似就越差。学习率一旦偏大更新后的策略偏离旧策略太远所谓的梯度上升实际上是在一个已经失效的目标函数上做上升越升越弱。1.3 性能差分解把差多少写成精确等式既然一阶近似会失真自然的想法是找一个不需要近似的表达式把新旧策略的性能差精确写出来。强化学习里有一个现成的工具——性能差分解$$ J(\pi) - J(\pi) \frac{1}{1-\gamma}\mathbb{E}{s \sim d{\pi},, a \sim \pi}\left[A_\pi(s,a)\right] $$这个式子的意思是新策略相对旧策略的性能增益等于从新策略的折扣状态分布出发按新策略采样动作然后计算旧策略优势函数的期望。推导的关键是折扣状态分布下优势函数累加与性能差的卷积关系。它最妙的地方在于始终保持精确性没有丢弃任何高阶项。后面所有单调提升的结论都从这个等式出发。2. 单调提升理论的推导主线从精确等式到KL下界2.1 代理目标surrogate objective与它的一阶匹配性质上面的分解式虽然精确但它要求按照新策略的分布 d_{π} 去采样状态而这是没法直接算的——如果我已经知道新策略的分布那迭代就已经完成了。于是自然产生一个近似把 d_{π} 换成 d_π得到代理目标函数$$ L_\pi(\pi) J(\pi) \frac{1}{1-\gamma}\mathbb{E}{s \sim d{\pi},, a \sim \pi}\left[A_\pi(s,a)\right] $$为什么这个代理目标有用因为当 ππ 时L_π(π) 和 J(π) 不仅函数值相等都等于 J(π)它们对策略参数的导数也相等。也就是说在旧策略附近真实目标函数和代理目标函数的一阶行为完全一致。策略梯度能 work本质上就是因为我们一直在优化这个代理目标的梯度在小步长范围内它与真实目标的梯度方向一致。但是一阶一致只能支撑局部结论。一旦策略参数移动得稍远代理目标的曲面就会逐渐偏离真实目标这个偏离量不是固定的而是随新旧策略的分布差异增大而增大。所以接下来的问题变成这个偏离量到底有多大有没有办法用一个可计算的量把它界住2.2 两个分布之间到底差多少KL散度进入视野要度量分布差异最常用的工具是 KL 散度。为什么不是参数空间里的欧氏距离因为策略的参数和策略的行为之间不是一一对应的。参数向量差 0.01对应的动作分布可能已经差异很大反过来参数看起来不一样策略行为也可能完全相同。KL 散度直接度量的是动作分布的差异这才是我们真正关心的量。由 Pinsker 不等式总变差距离可以被 KL 散度控制再通过状态分布的递推累加可以证明 d_{π} 与 d_π 之间的差异也被新旧策略在每个状态上的 KL 散度最大值所界住。这就是为什么很多推导的最后会出现max_s KL(π(·|s) ‖ π(·|s))这样的项——它把策略在每个状态上偏离了多少打包成一个标量用来控制由分布偏移造成的误差。2.3 三明治式论证单调提升定理的骨架把上面的界限带回代理目标与真实目标的关系可以得到一个下界不等式$$ J(\pi) \ge L_\pi(\pi) - C \cdot \max_s D_{KL}\left(\pi(\cdot|s),|,\pi(\cdot|s)\right) $$其中 C 是一个只与折扣因子 γ 以及优势函数界有关的常数在常见推导里是 2εγ/(1-γ)² 的量级。这个下界的含义是无论 π 选择什么真实性能 J(π) 都至少不低于代理目标减去 KL 惩罚。于是逻辑就完整了。令 M_π(π) L_π(π) - C·max_s KL(...)。我们有 J(π) ≥ M_π(π)。同时在 ππ 时KL 项为 0L_π(π)J(π)所以 M_π(π)J(π)。如果每次迭代都选取使 M_π 最大的新策略 π那么 M_π(π) ≥ M_π(π) J(π)又因为 J(π) ≥ M_π(π)最终推出 J(π) ≥ J(π)。这就完成了单调提升的证明。整个证明的精髓在于我们不需要去估计 J(π) 本身只需要优化一个带惩罚的代理目标就能保证真实性能在每次迭代后只升不降。这是策略优化领域少有的兼顾可计算性和理论保证的结论。3. TRPO与PPO如何把理论边界变成可运行的更新规则3.1 第一个妥协max 换成 mean严格性让位于可行性理论很漂亮但直接实现会遇到一个尴尬的问题max over states 的 KL 无法求解因为我们根本没有所有状态的分布。于是 TRPO 的做法是退而求其次把每一个状态上的 KL 都不超过 δ改成平均 KL 不超过 δ$$ \theta_{k1} \arg\max_\theta L_{\theta_k}(\theta), \quad \text{s.t.} \quad \bar{D}_{KL}(\theta_k, \theta) \le \delta $$这一步丢失了严格保证但在实践中效果稳定。道理也直观神经网络是参数共享的如果平均 KL 被约束住那些最大偏差的状态通常也不会跑得太离谱至少不会出现整体分布剧变。TRPO 是理论上严格但工程上近似的典型产物。3.2 TRPO 的求解共轭梯度与线搜索实现 TRPO 时约束优化里会出现一个二阶项KL 散度对参数的 Hessian 矩阵。如果直接求逆参数维度稍大就扛不住。常用解法是共轭梯度法它只通过 KL 的梯度迭代逼近 H⁻¹g避免显式求逆矩阵。求完方向后还要做线搜索从完整步长开始如果发现新策略与旧策略的 KL 超过约束或代理目标改进不足就逐步缩短步长。这个逐步缩短步长的机制其实就是把上一节的下界思想写进了工程代码里——虽然用的是 mean KL但每次更新前都会检查这次步子是否越界。在很多开源实现里这一行检查往往就是决定训练是否稳定的关键。3.3 PPO的截断式目标把约束变成梯度开关TRPO 每轮都要做二阶近似和共轭梯度计算开销偏大。PPO 的做法更直接不做显式约束在损失函数里做截断。定义新旧策略的动作概率比 r_t(θ)π_θ(a_t|s_t)/π_old(a_t|s_t)损失为$$ L^{CLIP}(\theta) \mathbb{E}\left[\min\left(r_t(\theta) A_t,\ \text{clip}(r_t(\theta), 1-\epsilon, 1\epsilon), A_t\right)\right] $$当 r_t 落在 [1-ε, 1ε] 内时这个目标与普通策略梯度一致一旦 r_t 越界对应的梯度被 clip 遮挡相当于自动停止在该样本上继续扩大更新幅度。它是把约束翻译成梯度信号开关粗鲁但有效而且只用一阶梯度工程实现极其友好。3.4 三种方案对比与一个提醒我整理一个简单的对比方便理解理论、半理论半工程、纯工程三者之间的差别方案是否保证单调分布约束形式计算复杂度实际特点严格单调提升最大化下界严格单调max over states KL理论可行实际不可解参考基准TRPO近似/经验上稳定平均 KL二阶近似 共轭梯度稳定但迭代较慢PPO-clip启发式近似无显式约束一阶即可快多数场景够稳定需要特别说清楚一个常见误区单调提升定理保证的是期望意义下真实回报不下降并不是每次用采样回报评估都不下降。训练时评估的奖励是带噪声的估计加上神经网络函数近似误差即使是 TRPO 也可能看到单次下跌。判断算法稳不稳定要看足够长窗口内的趋势以及 KL、熵这类分布指标而不是盯着某一轮的数字。4. 用单调提升的视角做实战调试KL指标、熵与排查流程4.1 训练日志里必须盯住的两个分布指标跑策略优化实验时很多人只看 reward 曲线这是不够的。我建议至少记录 mean KL 和策略熵。mean KL 告诉你每一步更新策略实际变了多少是分布偏移的直接度量策略熵告诉你策略还有没有在探索。这两者一个管稳定性一个管探索能力都是 reward 曲线无法直接反映的。前文已经解释了 KL 的理论含义这里只强调实操价值。当 mean KL 长期在 0.01 以下说明策略几乎没动通常意味着学习率太小或 KL 惩罚过重当某一步 mean KL 突然跳到 0.05 以上说明这一步的更新幅度严重越界哪怕当前 reward 还在涨也要警惕后续崩盘。4.2 自适应 KL 惩罚的落地配置在很多实现里我们会维护一个自适应的 KL 惩罚系数 β目标是让 mean KL 保持在 target_kl 附近。逻辑很简单# 伪代码逻辑完整实现请结合具体框架 target_kl 0.01 beta 1.0 for epoch in range(...): update_policy(beta) kl estimate_mean_kl() if kl 1.5 * target_kl: beta * 2.0 elif kl 0.5 * target_kl: beta / 2.0这个策略的实质是用上一次更新的 KL 观测值来调整下一次更新的惩罚强度。我个人的经验是 target_kl 取 0.01 到 0.02 在多数连续控制任务里比较好用。如果任务奖励尺度很大可以适当放宽到 0.03但不要超过 0.05否则策略更新幅度过大训练曲线会变得很躁。初始 β 不用精调给个差不多的值让它自适应就行关键是每次更新后要真正去观测 KL而不是只在代码里写上自适应逻辑就不管了。4.3 一次更新后崩掉的排查顺序假设你在某个模拟任务上遇到了开头说的崩溃训练曲线前几天还好某次更新后评估奖励突然大幅下降。别急着调学习率、改网络结构按下面的顺序查打开日志看那次更新前后的 mean KL 和策略熵。如果 mean KL 超过 0.03甚至接近 0.1直接判定是更新幅度过大。查看优势估计的标准差和奖励尺度。奖励尺度很大时同样的 KL 会带来更大的性能波动。回看这次更新用的样本是否大量来自旧策略的过期轨迹。如果数据池里混了太多旧样本概率比可能异常PPO 里会体现为 clip 比例骤增。最后再调超参数优先降低学习率或提高 target_kl 对应的惩罚重新跑一版观察 KL 是否回到稳定区间。这套流程我试过很多次大部分情况下第一步就能定位到原因。真正难的是那些KL 不大但奖励也掉了的情况这时候一般要从奖励函数设计、环境噪声、优势估计的 bias 方面去找那就超出单调提升理论能解释的范围了。4.4 几条可以长期复用的实操建议最后把散落的经验集中一下。首先每次更新前保存旧策略参数或者至少保存一份旧的 checkpoint这样即使单步崩了也能快速回退而不是从头重训。其次使用线搜索或 early stopping 机制TRPO 的线搜索、PPO 的早停都是把理论下界思想工程化的手段自己实现框架时别忘了加。再者把 mean KL、策略熵、clip 比例都写进日志。我见过不少实验复盘reward 曲线复盘半天说不出所以然但一翻 KL 日志立刻明白是哪一步更新越界了。最后理解单调提升不等于每次提升。它更像一个安全护栏在你选择优化方向时保证这个方向不会把策略推下悬崖。我现在再看训练曲线心态完全不同了。以前看到某一步涨了就高兴跌了就心慌现在更关心的是每次更新之后那些保证单调提升的代理指标是否还处在安全范围内。理论给你的不是永远不崩的承诺而是一套判断什么时候危险的标尺。这个认知上的转变比多调几个超参数值钱得多。