端到端在线RL训练VLA机器人：架构、配置与避坑指南

1. 为什么SimpleVLA-RL值得关注VLAVision-Language-Action这个词在机器人圈子里这两年确实火得不行。简单说它就是把视觉、语言和动作控制揉进一个模型里让机器人听懂指令、看懂场景、直接输出动作。我在做完几个VLA的离线模仿学习项目后最深的感受是预训练出来的模型在熟悉场景里确实有模有样但一旦换个摆放、换个光照、换个没见过的物体成功率立刻跳水。这也是VLA落地绕不开的坎只能模仿“见过”的行为缺乏主动探索和适应能力。SimpleVLA-RL这套东西的价值就在于把在线强化学习接到VLA上走的是端到端路线——不拆模块、不做中间状态估计让策略直接从高维视觉和语言输入映射到原始动作。这意味着模型不再只是“看一遍然后照着做”而是要在环境里不断试错、拿到奖励信号、自己调整策略最终学会在分布外也能稳住。对我这种被“预训练—冻结—部署”三件套坑过的人来说这个概念上的转变非常关键。这个项目适合谁看一是已经在跑VLA或模仿学习、想往“让模型更鲁棒”方向走一档的人二是做机器人强化学习、但对视觉语言模型接入还比较陌生的同学三是纯粹想理解“端到端在线RL”和传统分层控制到底差在哪里的人。这篇文章我会把架构拆解、训练管线、关键配置和踩坑记录都铺开讲尽量做到拿回去就能照着调。2. 端到端在线RL的架构到底怎么搭2.1 整体设计不是“VLA加个RL头”这么简单很多人一听“VLA做在线强化学习”第一反应是拿一个成熟的VLA模型末尾加个策略头然后丢进PPO里跑。我在初版实验里也这么干过结果很惨——不是不收敛就是收敛了但动作极其怪异。原因在于VLA本身是个多模态条件生成模型它的设计目标是“给定指令和观测预测一段动作序列”而不是为RL里的价值估计和优势计算设计的。你硬把策略头加上去前面的视觉编码器和语言模型主干对“探索”这件事没有任何配合策略稍微偏离预训练分布整个表征就乱了。SimpleVLA-RL的思路是把两部分解耦再组合。主干是标准的VLA预训练模型负责把视觉和语言信息压缩成任务相关的语义特征策略头和高斯噪声头是后来接上去的专门负责输出动作分布。在线RL阶段只有策略头、噪声头和后几层LoRA适配层参与梯度更新主干大部分参数保持冻结。这样做的好处很明显预训练得到的视觉-语言对齐能力不会在RL早期就被破坏掉训练稳定性好很多。训练管线分两段走先拿离线数据把VLA主干和策略头做行为克隆预训练让模型首先具备“照做”的能力之后才进入环境做在线RL。在线阶段初始策略不是随机乱试而是从一个有基础能力的策略出发这大大缩小了探索空间收敛速度比从零开始训快一个数量级。从系统角度看端到端体现在动作输出的方式上。整个模型输入的是“当前相机图像语言指令过去的动作序列”输出的是“当前时刻的动作分步参数”比如动作均值和对数方差通过高斯分布采样得到实际动作。中间不经过运动规划器、不经过抓取点估计、不需要人为设计状态表征这就是端到端的核心含义——从“看到什么、听到什么”直接到“动什么”。2.2 动作空间的表征选择离散Token还是连续向量动作表征是整个方案里最容易踩坑、也最影响训练效率的地方。VLA预训练通常有两种动作输出方式一种是离散化动作Token像把动作空间切成若干bin走逐token预测另一种是直接输出连续高斯分布参数。SimpleVLA-RL选的是后者原因很实际在线RL里连续高斯策略和PPO系列算法特别是带优势归一化和自适应KL惩罚的那些配合更自然梯度回传路径比离散token的采样-softmax要短训练方差也小一些。但连续动作也不是没有代价。机器人操作任务的关节角度范围差异很大比如夹爪的开合值和关节旋转角度的量纲不同如果直接用一个高斯头去拟合网络很容易偷懒优先拟合量纲大的维度量纲小的维度几乎不学。我用的办法是每个关节维度单独做均值方差归一化——离线数据里统计各维度的均值和标准差把动作标准化到近似零均值单位方差的空间网络输出后再反归一化回真实尺度。这一步不起眼但对训练稳定性的提升立竿见影。动作头的结构也不复杂但细节里有坑。它接收的是语言模型输出序列中最后一条指令处的隐藏状态拼接当前动作的历史embedding然后过一层MLP映射到动作均值同时另一条支路输出对数方差。方差头初始值需要小心设置如果你把初始对数方差设置得太大相当于初始策略乱试训练前期容易崩太小又会导致探索不够。经验值是初始方差让策略输出的动作幅度约为离线动作标准差的0.3~0.5倍这样探索和稳定之间比较平衡。还有一点训练时动作头一定要加轻量正则化。我在输出均值之前接了一层LayerNorm同时把方差头的输出做了softplus约束限制在合理范围。最开始我图省事没加约束跑了十几个小时后发现模型输出的方差漂到了负数区间整个策略行为完全异常。后来加回约束问题立刻消失。这种细节在论文里通常只写一句“we found normalization crucial”但实际调的时候血泪一堆。2.3 在线RL的奖励稀疏任务奖励密集行为指导混合在线强化学习的奖励设计直接决定学出来的策略长什么样。稀疏奖励比如“到达最终目标1否则0”在真实机器人上几乎没法直接用——反馈太稀疏等模型意识到哪一步错了早就发散得不成样子。简单任务还好稍微复杂点的任务基本都不收敛。我后来切成了混合奖励结构。第一层是目标奖励用去重算法检测机器人是否达成关键子目标每完成一个就给一定分数最后主任务成功则给一个大的额外奖励。第二层是KL惩罚项约束当前策略和预训练参考策略之间的KL散度防止策略跑偏到预训练分布之外。第三层是可选的行为先验奖励比如对物体移动距离、夹爪接近目标物体程度给出激励价值不高但能显著拉升训练前期进度。核心经验所有辅助奖励加起来不要超过总奖励的20%否则模型会精于刷分而忽略主任务。这里补充一个被很多人忽略的设计在线RL阶段语言条件到底怎么参与奖励计算这个项目采取的做法是“条件奖励偏置”奖励函数不是纯环境给的而是根据当前任务的指令动态生成。比如指令是“关抽屉”那奖励函数里就包含对抽屉开合角度的约束指令是“抓杯子”则包含对末端到杯口距离的约束。这种“文本条件化的奖励”是端到端VLA强化学习比较优雅的打开方式——语言指令本身驱动了任务目标而不是预先给每个任务手工编码一个奖励模板。3. 实操过程与关键配置3.1 环境构建与数据准备训练环境我建议先在仿真里跑这几乎是所有VLARL项目的第一选择原因就一个字安全。真实机器人一小时跑不到几个回合还在探索期完全没法接受仿真里可以并行开几十个环境代价只是GPU和内存。物理引擎用MuJoCo或Isaac系列都行关键是模型操作任务的物理真实性不能太差至少摩擦系数、物体质量、碰撞体积要大致合理否则仿真里学到的行为迁移到真实世界时会露出原形。另一个容易被忽视的是领域随机化。视觉模型对渲染差异特别敏感如果仿真渲染太干净、纹理太规整模型的视觉编码器会学会“认dataset”而不是“认物体”。我在搭建仿真环境时对每张相机图都做了光照扰动、随机纹理叠加、颜色抖动同时对物体质量、摩擦系数、初始位姿做了范围采样。这么做之后在线RL学习到的策略在不同环境的迁移成功率明显高代价只是初期训练曲线波动多一点。数据准备上有两个方向需要并行。一是离线预训练数据这个可以从开源操作数据集和自己录制的遥操作数据里混合构建关键是语言标注质量必须高——很多失败项目最后查来查去问题出在文本指令是“随手”写的比如“move object”这种指令让模型根本不知道往哪移动。二是在线交互时奖励判断用到的参考数据主要用来做KL正则和子目标判断不需要很多但覆盖面要广。离线数据的一个小建议做滤波把速度抖动异常、突然跳帧的数据筛掉VLA模型学动作分布的底层逻辑就是统计脏数据直接影响后续在线RL的初始策略质量。3.2 模型配置与关键超参数参考下表是我实际调试下来表现比较稳定的一组配置可以当作起点再根据自身任务微调。要注意的是图片分辨率、batch size、GPU型号不同下面的参数都要跟着调整。配置项参考值说明视觉编码器SigLIP-SO400M/14常用视觉主干选它主要看中尺寸和特征的语义对齐能力语言模型主干7B级别LLMLoRA注入rank32在线RL阶段只微调LoRA层全参更新太贵且易崩最大图序列长度16帧×patchify过长会显著拖慢RL回合吞吐前期可以用6帧做粗训离线BC预训练步数8000步左右以验证集loss不再下降为准不要死板按步数切在线RL算法PPOclip0.2lr3e-6大模型做RL学习率必须压得极低绝对不能和BC一样给1e-5探索噪声初始方差0.3倍动作标准差调大收敛慢调小探索不足KL惩罚系数0.01动态调节目标KL控制在每步0.1~0.3 nats每轮在线采样回合数每个并行worker采样128步配合GAE的lambda0.95奖励折扣因子gamma0.99常规长程任务设置短程可适当降到0.95经验池滚动窗口旧策略概率比控制在0.5~2.0超过范围强制截断避免策略大步跳崩其实上面的数值里我最想强调的是一条很容易被忽略的规则PPO更新时学习率一定要比常规RL低一个量级以上。因为VLA模型的参数空间大、特征维度高学习率高了很容易出现策略头更新太快而语言主干的表征还没跟上的情况这时候就会出现“嘴上一套、腿上一套”的诡异行为——语言上说要做什么和实际动作完全错位。仿真环境的并行数也值得留意。PPO的估算方差随batch size增大可以显著降低但当batch超过阈值后收益递减反而增加显存压力。我用的经验值是8个并行环境每个环境采样一条轨迹配合GAE做小批量更新效果和32环境大批量基本持平但是显存占用少了将近40%。这个比例不一定适合所有任务但思路是对的先小批量试再逐步加大看曲线变化是否值得。3.3 训练流程从离线BC到在线RL的平滑过渡训练流程分成两个阶段中间有一个衔接技巧。第一阶段是离线行为克隆预训练数据全部来自人类演示或已有的离线机器操作数据。这个阶段的目标不是让模型表现多完美而是让模型形成“看到什么指令、该往哪个方向动”的基本能力同时让策略头和语言模型完成初步适配。我自己在BC阶段会用验证loss做早停因为BC阶段训练过久会产生过拟合后续在线RL阶段很难“掰”回来。衔接我试过两种方式。一种是从BC直接切换另一种是在中间加一段行为克隆和少量在线数据的混合微调。实测下来直接切换容易导致在线RL初期策略剧烈震荡中间加一段混合微调平滑很多缺点是多花两到三天训练时间。我会建议所有追求稳定性的方案都在衔接处加混合微调——可以在线RL的第一个epoch专门用旧离线数据和新采样的数据按1:1混合相当于两者间架了一座桥。在线RL之后也有个容易忽略的环节收敛后冻结策略再做一个短阶段的行为克隆微调。为什么这么做因为PPO在线RL最后阶段策略往往会向“刷奖励”方向过拟合动作分布的多样性变差使得模型对于环境外的场景的适应能力下降。收敛后重新混入一部分真实人类演示数据做微调能够把策略“拉回”更平滑的分布部署时成功率反而更高。这一步我称之为“RL后校准”一般只跑2~3千步效果提升显著。4. 常见问题与排查技巧实录4.1 训练不收敛或Loss爆炸在线RL训练不收敛通常是几个原因叠加的我按排查优先级列出来了奖励尺度跨度过大。如果奖励分布从负几百到正几千网络对于价值函数的预测会在早期阶段出现过大的估计差导致策略更新方向混乱。解决办法是把奖励除以一个常数做粗略归一化让奖励量级控制在个位数。我用过一个最简单的办法在训练过程中给奖励加一个滑动平均的RunningStd归一化效果很直接比精心设计奖励快多了。优势估计异常。GAE的lambda如果太高优势方差比较大策略更新会大步跳。推荐从0.95起步如果发现策略分布波动大降到0.9试一下。同时检查价值函数head的学习率是否比策略head低我习惯把二者倍数差设为10倍以上不然价值函数跟不上策略更新节奏整个训练就是锯齿状。探索噪声被策略梯度完全压制。如果在训练的某个阶段发现新采样的动作几乎和预训练动作完全一致说明探索不够。把探索方差调回初始状态或者加一点entropy bonus可以恢复探索能力。4.2 训练时模型表现好切换场景就崩在线RL最让人崩溃的其实是“仿真神现实狗”现象。这种问题的根源通常在仿真环境不够逼真或者是策略学到了仿真环境的“捷径”。我做过的排查手段归纳如下现象排查点处理办法换光照就失败视觉编码器对光照过拟合仿真里加随机光照强度、色温、阴影干扰换物体失败训练时物体种类单一每个语义类别至少采样3种以上外观变体换背景失败背景干扰不足加入动态背景纹理、无关物体摆放换布局失败初始位姿范围太窄初始位姿采样范围扩大尤其是旋转角度部分夹爪动作不协调未加入接触反馈奖励里加入接触力惩罚或夹取成功判定上面任何一类问题如果你想等在线RL自己泛化那基本是等不到的——“模型自己适应”只能在工作点附近的小扰动范围内生效大范围的分布外迁移必须依赖环境多样性。还有一个我踩过两次的坑是“视觉主干与策略头在特征空间的对齐度不足”。假设语言模型允许你输入多视角图像后续某个视角对任务的结果影响特别大而另外几个视角平时不怎么用在线RL可能会降低“没用视角”的特征表达能力导致切换场景后需要该视角信息的任务直接崩掉。解决办法是在离线BC预训练阶段就固定视角采样不要给主干太多视角自由度在线RL阶段如果条件允许维持至少多视角的输入以保留表征鲁棒性。4.3 资源受限时如何降低训练门槛VLA加RL对硬件的要求确实高很多人一看7B级别模型加PPO就觉得跑不动。实际上有几种降级方案可以在牺牲一部分效果的情况下跑通整个流程第一是模型规模降级。在线RL阶段把语言模型主干换成3B或1.5B级别策略头不变视觉编码器用ViT-B级别。离线BC预训练还是用大模型预训练结束后把权重蒸馏到小模型再上RL。效果会打折但整个流程可以在一张24G显存的卡上跑通。第二是帧率降级。在线训练时把视觉输入降到4帧动作频率降到10Hz离线BC预训练用全帧率。等RL收敛后再用全帧率做几步微调这样把在线采样吞吐提升一倍以上显存压力也能降不少。第三是利用异步采样。采样和更新分开跑采样进程用CPU或低配GPU跑物理仿真更新进程用主力GPU做PPO更新中间通过队列交换经验数据。这种异步架构前期搞起来麻烦一点但可以最大化硬件利用效率在线采样不会因为策略更新而阻塞。我实际跑下来异步比同步几乎总能多出30%以上的吞吐。4.4 在线RL的常见崩溃模式速查关于小技巧最简单的一条是录屏看策略行为。哪怕你已经有了所有训练曲线和奖励指标我仍然建议每隔固定轮次把当前策略部署到仿真里录一段视频用眼睛看它到底在干什么。很多问题——比如策略学会了原地转圈而非推进物体或者夹爪一直开合却没接触目标——在标量指标上是隐形的但视频里一眼就能暴露。我用这个方法至少找到过两类定义之外的问题行为。再做一张速查表训练异常可能原因快速检查方法奖励持续上升但成功率不变奖励灌水辅助奖励比例过高在环境里单独跑一次奖励解析看是否奖励与任务完成强相关价值损失和策略损失一起爆炸奖励尺度太大或优势归一化缺失打印当前奖励的running mean和std策略熵降至0探索完全消失检查初始方差是否被PPO的熵正则惩罚压得过狠KL惩罚无限上升策略远离了预训练分布检查是否LoRA层学习了过于激进的rank交互训练前10轮就有大量观测超出归一化范围观测归一化参数没包含充足离线数据离线阶段统计时加大数据覆盖面不要只用一个任务的数据一个视角的预测特征逐渐失效模型在丢弃低信息视角固定视角采样不提供“偷懒”机会4.5 与其他路线离线RL、分层RL的取舍做VLA强化学习不只有“端到端在线RL”一条路。离线RL比如CQL、IQL那一路的优势是不需要环境交互、用固定数据集就能训练对于安全敏感的场景非常友好。但离线RL在VLA场景里有一个致命问题它只能学到数据集中体现过的行为上限当任务要求超出数据覆盖范围它会显得保守甚至是“安全地摆烂”。而在线RL虽然样本效率低但策略可以在训练中主动探索新方案这在数据获取成本高的场景中反而更值得。分层RL又是另一个路径——高层规划器输出子目标低层执行器负责动作。这个思路在传统强化学习里有大量验证但套到VLA上有个问题高层的语言条件通常已经是任务的天然抽象再做一层抽象容易引入额外的设计偏差。端到端在线RL省掉了这层手工程序代价是让整个模型一起背锅。SimpleVLA-RL的价值正在这里它在端到端和可控性之间找到了一个实用平衡点通过奖励条件化保留了任务层面的可干预性同时让底层策略拥有完整的行为自由度。5. 一些体会和后续可以做的扩展跑了这一整套VLA在线RL项目之后我最大的体会是不要被“端到端”三个字迷惑它描述的是感知决策架构不代表你不需要做工程上的中间控制。你依然要处理奖励设计、数据分布、仿真保真度这些老问题。端到端省掉的是人对中间表征的显式定义不是省掉人的参与——恰恰相反它对系统工程能力的要求更高了。如果再让我做一次类似的系统我会优先补两块。第一块是更细粒度的“成功率跟语言指令的对齐评估”也就是不止看物理任务达成还要验证模型是“听指令”去达成还是“碰巧”达成——办法是在测试时对同一场景下发不同指令看行为是否随指令显著变化。这个指标比最终成功率更能暴露模型是否真正对齐了语言条件。第二块是接入更丰富的奖励来源。举例来说如果任务操作过程带有多阶段约束比如先拿螺丝刀再拧螺丝那奖励里就需要阶段感知的结构。目前我是用“子目标检测器”手写的后续可以用一个轻量级的VLM做通用的子目标判断器这样不同任务之间的奖励模块可以复用不至于每个新任务都重新写一堆启发式判断函数。最后关于实验复现想说一点实际经验先把训练代码在2~3个任务上跑通、跑稳再铺到多任务和大模型规模不要一开始就上满规模。真出了问题在小规模场景里排查要快得多等稳定性有了保障再上大模型和真实机器人你会发现整个过程其实没有太大的惊喜可踩了。