世界-动作模型：机器人学习从预测到控制的工程落地

做机器人学习这些年我越来越认同一句话机器人学不会“物理直觉”就跑不远。早几年大家一门心思堆网络层数、刷仿真任务得分结果模型放到真机上往往一塌糊涂——泛化差、易振荡、对扰动毫无招架之力。直到世界模型World Model和动作模型Action Model被揉进同一个框架情况才真正开始变化。这类统合方案通常被叫作“世界-动作模型”World-Action Model核心就一句话机器人既要能预测环境接下来会发生什么也要能基于预测生成正确的控制指令。这篇文章不打算写成论文摘要集而是从工程角度把世界-动作模型的来龙去脉、模块拆解、训练范式、部署链路和典型坑位完整过一遍适合正在做机器人学习入门、准备把高级AI模型落到真实电机控制上的朋友。1. 先厘清概念从世界模型到世界-动作模型1.1 世界模型在机器人学习中的角色世界模型这个概念本身并不新。它最早被广泛关注是2018年前后当时那篇“World Models”用了一个赛车游戏环境让智能体在“梦境”中训练——所谓梦境就是模型在虚拟的隐空间里自己推演未来然后基于推演出的轨迹来规划动作。这套思路的突破点在于智能体不再把每一帧图像当作独立数据而是学会一套关于“状态如何随时间变化”的内部规律。用大白话说它开始理解“我踩油门之后车子会往前冲”这类因果关系。到了Dreamer系列工作世界模型被进一步推实到视觉连续控制任务。它把图像输入编码成紧凑的潜在状态用循环网络充当动态预测器再在预测出的未来轨迹上裁剪强化学习目标。这样做的好处非常直观真实环境交互成本高能试错的次数有限模型只要学会了环境动态就可以用“想象”代替大量真机探索样本效率比传统无模型强化学习高出一大截。但在很长一段时间里世界模型和动作生成是分开的两个系统。一边负责“预测未来”另一边单独做“根据状态选动作”。两个模块各自训练最后拼到一起接口处经常出问题预测器的误差被策略放大策略学会的动作又超出了预测器训练时的数据分布。可以说这是世界模型在实际机器人任务上落地缓慢的一个关键原因。1.2 世界-动作模型的核心思路与判定标准世界-动作模型World-Action Model的出发点就是把“预测世界”和“生成动作”这两件事放在同一个模型里联合优化。我见过不止一个团队把它误当成“世界模型外挂一个策略网络”实际上两者有本质区别。关键差异在于传统做法是先训练一个动静态分离的世界模型再去单独学习策略而世界-动作模型则希望让动作生成和世界预测共享一套隐空间甚至在训练目标上互相约束。动作并不只是世界模型的“输入扰动”它本身也是一个预测目标。打个比方传统方案是“先学会物理再学开车”世界-动作模型是“一边学物理一边学着碰方向盘两者共享同一套对路况的抽象理解”。那怎么判断一个模型算不算世界-动作模型我一般看三点是否有显式的状态转移预测模块而不是直接从图像到动作的“黑箱映射”动作生成是否以预测的未来状态序列为中间依据或者至少与动态预测共享表征训练时是否对着“预测误差”和“控制目标”联合反传。满足以上三点基本就能归入世界-动作模型的范畴。现在很多视觉语言动作模型VLA也声称自己包含世界模型但不少只是用预训练视觉主干并没有真正的动态预测闭环这一点读论文时得额外留神。1.3 与经典模型预测控制的边界关系做控制出身的朋友可能马上会联想到模型预测控制MPC。MPC本质上也是“用模型预测未来然后滚动优化动作序列”。世界-动作模型和MPC确实有千丝万缕的关系甚至不少实现会在推理时调用MPC的优化器。我的理解是MPC更偏向一种控制框架它不关心模型从哪来只要能对系统动态给出足够准的预测就能工作。传统MPC用的模型往往是机理模型或简单线性化模型而世界-动作模型里的动态预测器则是从数据里习得的非线性模型。后者最大的优点是适应复杂高维状态空间比如直接从摄像头像素预测机械臂末端受力这是传统机理建模很难做到的。但也要说句公道话世界-动作模型的预测精度通常达不到精准白箱模型的水平。所以现在工业级部署里比较稳的组合是“世界-动作模型负责生成参考轨迹底层MPC或PID负责跟踪这条轨迹”各管一段。这样既能享受学习模型的高适应性又保留了反馈控制的稳定性。2. 拆解世界-动作模型的五个关键模块2.1 感知表示从像素到紧凑状态编码世界-动作模型的第一步是把高维观测压缩成低维表示。这里的观测可能是相机图像、深度图、关节角度、力矩反馈等。我最早做这个模块时犯过一个错误直接拿预训练图像分类网络的骨干来提特征结果发现预测器老是预测不准。原因不复杂分类网络的中间层特征保留了语义信息却丢掉了精细的空间位置与尺度不变性而机器人控制恰恰对这些细节极度敏感。正确做法一般有两种。一种是自监督重建式表示学习比如用变分自编码器重构图像潜在向量中能保留足够的空间细节另一种是基于对比学习的表示拉近“同一时刻不同视角的观测”推远“不同动作造成的差异”。实操中我更推荐前者因为机器人控制任务里像素级的几何信息远比全局语义重要。模态上还要注意直接把关节角度、力矩和图像特征拼成一个超长向量往往会让训练不稳定。比较稳妥的处理是按数据源分组编码再用一个小型Transformer做跨模态融合。2.2 动态预测器环境演化的引擎动态预测器是整个模型的心脏。它负责回答一个问题给定当前状态和动作下一步状态是什么。实现上最主流的做法是循环潜在动态模型也就是在整个轨迹时间轴上迭代更新潜在状态。每一步输入上一时刻的潜在状态和动作输出这一时刻的状态预测。这里有个常见认知误区预测器的目标不是“把图像预测得多清晰”而是“把与控制决策相关的状态预测准”。也就是说一只机械手在抓杯子时系统真正要预测的是杯子会不会被抓起、抓取位置会不会滑移而不是人类意义上的“杯子长什么样”。所以在设计预测损失时得根据任务自动对齐。比如在消融实验里我见过团队对图像预测设置太大权重结果模型把所有容量都用来“画像素”动作误差反而变大。这点在看到公开代码的默认超参时也最好检查一下。2.3 动作生成头与预测共享表征是关键动作生成头负责把当前状态、目标信息转换成一个可执行的动作。在连续控制任务中输出通常是关节速度或力矩在离散任务中可能是几个有限选项的概率分布。很多人觉得动作头就是“一个MLP接在状态编码后面”其实没那么简单。共享表征的意义在于动作生成需要依赖动态预测器对未来的推演。比如当机械臂要插一个USB接口模型需要先在内部推演“我往这个方向挪5毫米后孔隙对齐程度会怎么变化”然后才决定怎么输出动作。动作头如果和预测器完全是并联结构就丢失了这个“内心演练”的过程。现在比较成熟的实现是让动作头接收的不只是当前潜在状态还包括预测器rollout出来的未来潜在状态序列做一个加权聚合后再产生动作。这类结构看起来只多了几步张量操作训练收敛速度和最终性能却能拉开明显差距。2.4 条件化机制目标、语言指令与任务嵌入机器人任务很少是“无目的地闲逛”更多时候我们需要用目标图、语言指令或者一个末端位置来指定任务。世界-动作模型需要在内部加入条件化机制让同一个模型服务多个任务。目前用得最多的是交叉注意力条件化把目标图片或文本指令编码成一组token在动态预测器和动作生成器的每一层都插入注意力交互。这样模型在预测未来时就会“盯着目标看”生成动作也自动对齐任务要求。这块我提醒一句任务嵌入要尽早加入而不是在模型最后的输入口才拼进特征向量。早期加入能让动态预测器也感知任务条件否则容易出现“预测老兵练得很准但一换任务就完全失准”的割裂感。2.5 损失函数与联合训练目标世界-动作模型的损失函数一般由三大部分组成动态预测损失、动作模仿或强化学习目标、以及可选的辅助损失。动态预测损失最常用的是均方误差但直接对所有状态维度做均方差可能被动作变化量大的关节主导。我习惯先对各维度做标准化再按任务手动调整权重比如末端位姿的权重可以大于关节角度的权重因为很多操作任务最终最关心的是末端执行器。强化学习目标在联合训练中要谨慎处理。如果动作头和预测器一起被策略梯度更新容易出现学到了“预测作弊”模型发现只要把未来状态预测得乐观一点策略梯度就更大于是开始自欺欺人。所以不少实现会给动态预测器设置一个单独的、更保守的学习率或者干脆冻结预测器参数只更新动作头几轮等动作分布稳定后再解冻预测器。3. 训练数据、范式与仿真到现实的落地3.1 数据路线离线轨迹、人类视频与仿真数据训练世界-动作模型需要高质量状态-动作序列数据来源主要有四类。第一类是机器人真机遥操作数据质量最高但采集费时费力第二类是仿真环境自动采集的数据成本低但存在与真机不一致的仿真偏差第三类是互联网视频这几年很火因为数据量庞大但动作标签缺失只能用来预训练感知模块第四类是混合数据比如先从仿真里学动态再用少量真机数据微调。我个人的体会是样本结构比样本总量更关键。一个包含大量失败轨迹的数据集往往比一个全是成功演示的数据集更重要因为动态预测器需要知道“错误操作会导致什么后果”。早期我曾犯过只看成功演示训练的毛病结果模型对障碍物碰撞毫无反应因为训练数据里根本没有碰撞时刻的“后续状态”。3.2 预训练-微调的两阶段范式现在做机器人学习普遍流行“预训练大模型再用领域数据微调”的套路。世界-动作模型也遵循这个逻辑。预训练阶段通常用海量视频学习通用视觉动态比如看到桌面场景就能预测物体轻微的滑动趋势微调阶段则用目标任务的少量数据把模型从“通用预测器”改造成“特定机器人专属预测器”。这几年VLA模型大量涌现后很多人直接把预训练语义模型拿来当世界-动作模型的底座但效果常常不理想。原因在于语义模型对文本图像对应关系学得太多对空间动作条件学得过少。如果你要从零搭一个世界-动作模型我建议预训练阶段至少包含两类任务一是视频帧预测二是动作条件状态预测。这样模型在前期就对“动作影响状态”这一因果链条形成先验。3.3 仿真到现实的工程细节仿真到现实Sim2Real是世界-动作模型落地中最容易翻车的一环。常见的做法是域随机化随机化仿真里的光照、纹理、摩擦系数、负载质量等参数让模型见过多种环境变化。但要注意不是随机化得越猛越好。随机化范围过大模型会被迫学一个“各项均值模糊”的动态到任何具体环境下都预测不准。另一个细节是系统延迟校准。模型在仿真里预测动作作用的那一瞬间真机上因为摄像头采集、推理通信等环节实际上已经晚了一两个控制周期。世界-动作模型的预测器必须显式把延迟建模进去否则真机表现会明显变差。我一般在采集真机数据时同步记录时间戳然后统计从“观测输入”到“控制指令生效”的端到端延迟把它作为固定量喂给模型。4. 真实机器人控制落地从模型输出到电机指令4.1 控制频率的匹配模型推理时间与系统响应模型再好执行层跟不上也白搭。世界-动作模型通常部署在机载电脑或服务器上一次推理时间可能在10到50毫秒之间但底层电机控制环往往需要1kHz甚至更高的频率。直接把模型输出当成最终力矩指令是很多新手常犯的错误——推理一旦卡顿电机控制频率跟着波动系统稳定性立刻崩盘。标准的做法是设计两级控制结构上层世界-动作模型以较低频率比如10到30Hz输出参考位置或参考速度下层PID或FOC控制环以高频执行跟踪任务。简单说模型只负责“决定往哪儿走”底层控制负责“怎么走得不抖”。我做过一个机械臂插拔实验如果让模型直接输出关节力矩末端抖动很大改成模型输出关节目标位置再让底层位置环去追踪插拔成功率直接翻倍。4.2 执行层的典型衔接方式位置、速度与力矩模式机器人的执行层会提供不同的控制模式。位置模式最省心模型输出目标角度底层伺服自动平滑逼近安全性好但对环境力反馈不敏感。力矩模式反馈快、柔顺性好可一旦模型有误判可能瞬间输出危险力矩。速度模式居中常用于移动机器人的轮速控制。我的经验是首次在硬件上跑新模型时无条件选择位置模式。先把模型的推理正确性和轨迹合理性验证完再加阻抗或力控制最后才考虑全力矩模式。而且不管采用哪种模式都要在软件层面设置输出限幅、变化率限制。比如把关节加速度限制在电机可以接受的范围内这比任何安全算法都直接管用。4.3 小型实战闭环把模型输出接到STM32或舵机控制对于刚入门的硬件爱好者完整高层框架很难短期部署但可以先跑一个缩小版闭环用仿真数据训练一个简单世界模型预测两轮差速小车的未来位置然后输出期望线速度底层用STM32接收串口指令把期望线速度转换为左右轮PWM占空比再用编码器反馈做PID校正。这个架构麻雀虽小五脏俱全高层预测、中层规划、底层反馈覆盖了完整链路。我在做类似项目时踩过几个坑一是通信时序串口发送模型输出和控制板返回传感器数据两边的波特率和发送频率不一致数据会相互覆盖最好给每条控制指令加上校验帧二是舵机或电机响应有延时模型训练时假设的动作生效时机和实际不一致需要把延时测量出来并补偿三是直接拿桌面小车的动力学参数套到不同地面材料上很快会发现预测失准这其实就是真实世界模型的Sim2Real问题。5. 训练与部署中的高频坑位5.1 预测漂移与分布外问题世界-动作模型最常见的病状是预测漂移短期预测还行一旦把预测结果回环到自身状态连续迭代十几步之后状态就会漂移到无法理解的区域。这几乎和模型容量无关而是数据分布问题——训练时每一步的输入都来自真实数据推理时输入却包含模型自己的预测误差误差不断累积。解决思路不外乎两路。一路是在训练时加入“纠正式”数据把模型自己predict出来的轨迹重新喂进去训练让它适应自己的预测风格另一路是扩大回环预测的损失权重训练时强制做多步rollout并从rollout终点计算损失。我的实践感受是多步rollout训练特别关键哪怕只多预测三五步对长期稳定性的帮助都非常明显。此外给预测器输入增加一个正则噪声也能提升它对微小扰动的鲁棒性。5.2 延迟补偿与抖动抑制延迟和抖动是控制系统的一对老冤家。世界-动作模型部署到真机时系统延迟来自信息采集、神经网络推理、通信、底层执行器响应四个环节。而抖动则来源于推理时延本身不稳定GPU负载高了这一帧推理20ms下一帧变成40ms底层控制环拿到的指令间隔忽长忽短。解决延迟问题的常见办法是把模型推理策略从“收到观测才算动作”改成“用预测器提前几步rollout出候选动作到执行时刻再取对应动作”。这样即使网络有几十毫秒延迟底层依然有准时的参考指令。解决抖动问题则建议在模型输出端加一级低通滤波或速率限制器。我试过一阶滤波器中的截止频率调在2Hz左右末端抖动立刻压下来不少代价是动作略微迟钝但对绝大多数操作任务来说完全可接受。5.3 模型、安全与硬件保护机制任何一个学习模型都有不确定性世界-动作模型也不例外。在真机部署之前必须想明白一个问题如果模型预测错了后果是什么最简单可靠的做法是给模型输出加硬约束。比如机械臂关节角度严禁超出硬件限位末端运动速度过大时自动降级为安全模式。底层的PID控制环已经承担了大部分安全兜底上层模型可以不用太束手束脚但必须保证不影响底层保护的优先级。我见过一个团队在部署时把碰撞检测和模型输出串成一个安全中断——一旦碰撞传感器触发立即取消当前目标力矩并切换到阻尼模式。这种安全机制平时用不上但关键时刻能救命。任何只依赖模型“自己判断对错”的方案都是拿设备做赌注不建议赌。6. 评估基准、开源工作与未来走向6.1 怎么评估一个世界-动作模型评估不能只盯着最终任务成功率。成功率是末端指标却无法告诉你是预测坏了还是动作烂了。我更习惯拆开看几个维度评估维度具体指标个人经验动态预测误差一步预测误差、多步回环预测误差分步看误差累积曲线比单点误差更说明问题控制效果任务成功率、轨迹跟踪误差、平均操作时长必须固定硬件和初始条件否则没有可比性样本效率达到目标成功率需要的训练样本数可以画学习曲线重点看前期攀升速度泛化能力新物体、新布局、新材质下的成功率泛化测试要在训练分布之外额外留出测试集推理开销单步推理时延、显存占用、能耗直接关系到嵌入式平台能否部署一些公开仿真环境支持标准测试比如基于MuJoCo的连续控制任务、桌面机械臂操作平台等。做真机测试时要固定随机种子和初始位姿否则几轮实验之间方差大得离谱。6.2 值得关注的开源方向与参考资料世界模型方向有不少经典开源项目可做参照World Models相关的早期实现配置简单适合入门Dreamer系列代码结构清晰动态预测模块值得精读TD-MPC及其后续版本则把模型预测控制和学习模型结合得很好非常适合做控制背景的读者切入。VLA方向也有越来越多附带世界模型头部的开源项目虽然训练资源门槛较高但预训练权重往往可以直接下载。读这些代码时我建议不要一开始就钻模型结构而是先跑通它们的训练脚本然后在测试环境里做一次推理感知模型输出的形式。比如看看动作空间是归一化的还是原始物理量预测头是输出确定性值还是分布参数这些细节直接决定你后续对接硬件的改造量。6.3 我给新手的路线建议如果完全没有接触过机器人学习我建议按这条路线推进先花一周时间刷一遍机器人运动学和控制基础搞清楚位置、速度、力矩三种控制模式的差异然后跑通一个PID或FOC控制的真实小项目比如用STM32控制舵机或电机建立底层反馈的直觉再回到世界模型的仿真环境用公开数据集训练一个小型动态预测器最后才考虑把两套系统拼在一起。之所以强调先做底层再做上层是因为世界-动作模型的输出最终要变成电机的电流或者舵机的占空比对执行层的体感越深越能理解模型设计里哪些部分重要、哪些部分只是花架子。我自己刚入门时跳过底层直接训练神经网络结果花了很长时间才补上“控制频率、响应延迟、关节限位”这些工程常识那段时间交的学费完全是可以避免的。一些更零碎但很重要的心得最后再分享三个让我印象深刻的教训。第一在开始写模型代码之前先把数据采集和标注方案定下来数据接口统一用同样的频率和单位系统项目后期会省掉大量对数据对不齐的排查时间。第二日志系统要完整记录每一帧模型输入的图像、输出的动作、底层的实际反馈。很多诡异问题根本无法通过当前状态复现一旦缺了历史帧就永远找不到原因。第三训练环境复现别嫌麻烦把随机种子、依赖库版本、硬件配置全部写进文档半年后你再用这个环境时会感谢自己。世界-动作模型现在仍然在快速演进但围绕“预测与动作联合建模”这条主线基本已经是大方向共识。如果准备入局我的建议是别一上来就追超大参数模型先用小模型把仿真到真机的链路完整打通。等真正跑通一个闭环之后再考虑加规模、加数据。模型再大也不如一个在真实电机上稳定转起来的闭环值钱。