SuperMimic——超越SONIC且单卡即可训的新一代人形运控框架：通过“MuJoCo实际采集—训世界模型—在想象轨迹上做BPTT”循环持续改进策略(另含轻松跨本体的MorphMimic详解)

前言

SuperMimic的核心：它不是直接微分 MuJoCo，而是从仿真器日志学习一个确定性的可微代理模型；训练在同一循环中交替完成“采集数据—拟合世界模型—通过想象轨迹改进策略”

重点来了！原论文公式、概念很多，咋一看 不好懂，为方便大家更好的理解，我先尽可能用通俗易懂的话 解释下，之后再看下文 便会顺畅很多

简言之，SuperMimic从物理仿真器记录的数据中学出一个可微的世界模型，再让策略在这个“想象世界”里练习，计算策略参数的更新方向，具体而言

1. 当前策略控制机器人在 MuJoCo 中行动，把仿真器产生的交互数据存入 Replay Buffer
   SuperMimic 用这些数据训练世界模型，使其学会预测 “执行这个动作后，状态会如何变化、能获得多少奖励”
2. 接着，暂时冻结世界模型，让当前策略在其中向前想象 32 步
   由于世界模型可微，系统可以沿着这 32 步想象轨迹反向传播梯度，计算各步动作如何影响回报，并据此更新策略参数
   这个沿时间反向求梯度的过程就是BPTT
3. 改进后的策略继续在 MuJoCo 中行动，把新的交互数据存入 Replay Buffer
   SuperMimic 再从缓冲区采样数据，继续训练世界模型，然后进入下一个循环

总之，当前策略在 MuJoCo 中行动 → 交互数据写入 Replay Buffer → 用缓冲区数据继续训练世界模型 →暂时冻结世界模型，在其中想象 32 步并用 BPTT 计算策略梯度、更新策略→ 改进后的策略再回到 MuJoCo 采集数据

所以，仿真器负责提供真实交互数据，世界模型负责提供高效、可求导的练习场；世界模型与策略在同一个训练循环中交替更新、持续改进，不必让所有策略试错都发生在昂贵的物理仿真中

第一部分 SuperMimic: Scaling Humanoid Whole-Body Controlwith One Differentiable World Model

1.1 引言与相关工作

1.1.1 引言

人形机器人有望在为人类设计的环境中运行，但要实现这一点，就需要能够覆盖多样化人体运动的全身控制器，这些运动包括行走、舞蹈、下蹲以及平衡恢复等

基于物理的运动模仿通过训练强化学习策略来追踪从大规模动作捕捉（mocap）数据集中提取的参考运动片段[1]，从而解决这一问题[2]

现有系统通过两种方式来扩展这一思路：

1. 要么将众多针对单个片段的专家策略蒸馏为一个控制器[3]
2. 要么在一个大型动作库之上训练一个通用策略 [1]

在这两种情况下，更加多样化的动作库都会带来更强大的控制器。然而，随着动作覆盖面的扩大，这两种方法的计算代价也都会显著增加：例如，最先进的跟踪器SONIC[1] 的训练时间约为在 128 块 GPU 上运行 168 小时，总计约 21,000 个 GPU 小时。尽管参考动作本身不同，但它们共享相同的人形混合刚体动力学。无模型强化学习并未显式建模这一共享结构，而是反复通过含噪的模拟器 rollout 来估计动作后果。因此，扩展到更多动作在本质上就等同于扩展计算量

对此，来自UC Berkeley的研究者：Qiayuan Liao Yiyang Shao∗ Junfeng Long∗ Kevin Zakka Roberto Horowitz Pieter Abbeel† Koushil Sreenath†，提出了SuperMimic

• 其paper地址为：SuperMimic: Scaling Humanoid Whole-Body Control with One Differentiable World Model
• 其项目地址为：supermimic.github.io
  其github地址为：目前暂未开源，但github上已有不少复现，毕竟现在AI编程太过强大了

具体而言

1. SuperMimic 通过一个从已记录的模拟器状态转移中学习得到的、可微分的单一世界模型来解决这一低效问题
   对短暂的想象 rollout 执行时间反向传播（Backpropagation-through-time,BPTT），即可通过该学习模型获得解析形式的策略梯度，从而使一个动力学模型得以在整个动作捕捉（mocap）库上摊销学习成本
   由于这些梯度来源于学习得到的模型而非对模拟器本身求导，SuperMimic 依然能够兼容刚体模拟器，包括那些具有非光滑接触以及非可微实现的模拟器
2. 在单块 GPU 上，SuperMimic 只用 3 小时就超过了 SONIC 已发布 checkpoint 的归一化回报，并将 GPU 计算小时数减少了超过 1000 倍（§4.1）
   
   在一个包含 129,514 个动作的基准测试中，SuperMimic 在单块 GPU 上运行 3 小时时有 25 个动作失败，而在两块 GPU 上运行9.8 小时后则全部成功；相比之下，SONIC 已发布的 checkpoint 有 179 个动作失败（附录F）
   ————
   在数据集长度增加 264 倍的情况下，世界模型的预测误差保持稳定，而 SuperMimic 达到固定回报所需的计算量仅缓慢增长。学习得到的策略能够迁移到真实的 Unitree G1 机器人上。在对下游接口的初步研究中，用强化学习训练得到的速度编码器优于蒸馏基线方法

1.1.2 相关工作

第一，对于大规模基于物理的运动跟踪

基于物理的运动模仿通过在富含接触的刚体动力学环境下学习控制器，使其能够复现参考动作

1. DeepMimic [2] 通过无模型强化学习展示了具有高度表现力的人物技能
   PHC [11] 则将这一范式扩展到大规模动作集，并具备鲁棒的恢复能力
   
   SONIC [1] 进一步表明，在扩大量化的动作数据、策略容量以及训练算力后，可以得到能够迁移到仿人硬件的一般型控制器
2. 上面 这些结果确立了运动跟踪作为实现广泛全身行为覆盖的一条切实可行的路径。然而，训练这些大规模运动跟踪器需要大量的模拟器 rollout 和巨大的计算开销
   
   而SuperMimic通过学习一个在所有动作间共享的可微分动力学模型来缓解这一瓶颈，使得策略改进可以利用解析梯度，而不是依赖无模型的 rollout 估计

第二，对于用于运动控制的可学习可微分动力学

1. SuperTrack [12] 通过一个可学习的、可微分的模拟器替代模型来优化运动控制策略
   ControlVAE [6] 联合学习动力学模型、潜在技能表示以及生成式控制器
   而 MoConVQ [13] 则将基于可学习模型的训练扩展到离散运动表示，并在数十小时的数据上进行训练
   SuperDyno [14] 将可微分神经动力学扩展到数万段运动片段的规模
   这些方法共同证明了在可扩展的虚拟角色控制中，引入可学习动力学与解析策略梯度的有效性
2. SuperMimic 在这一方向上进一步推进，实现了在单块 GPU 上对大规模仿人追踪器的训练以及其从仿真到真实的部署：其世界模型以模拟器上下文为条件，而部署时的 actor 则使用带噪的本体感知观测和目标输入（§3.2）。
   
   作者评估了模型精度、rollout 吞吐量以及可微分策略更新如何影响训练效率，以及在运动覆盖范围不断扩大的过程中预测误差的变化行为（§4.1–4.2），并展示了最终控制器的物理部署效果（§4.4）

第三，对于基于模型的策略优化与机器人部署

1. Dreamer [15] 和 DreamerV3 [16] 通过学习潜在动力学，用于基于想象（imagination-based）的演员–评论家（actor–critic）学习
   而 TD-MPC[17] 将短视距规划与终端价值预测相结合
   DayDreamer [18] 展示了在真实物理机器人上直接进行世界模型学习
2. SHAC [19] 利用可微分仿真进行短视距的演员–评论家更新，这为SuperMimic 的由评论家自举（critic-bootstrapped）目标提供了动机
   
   解析梯度（analytic-gradient）机器人控制同样可以将简化的可微分代理模型与高保真前向仿真器结合使用，正如在四足机器人行走控制中的应用所示 [20]
   SuperMimic 从仿真器的状态转移中学习其代理模型，并通过短期的想象 rollout 进行反向传播，同时保持与标准刚体仿真器的兼容性
   
   当然，作者也在论文最后有提到：该工作仅基于仿真器的动力学。世界模型只从仿真器的状态转移中学习。真实机器人数据可以用来对其进行细化，而其可微分性则可以用于系统辨识
3. RWM [21] 和 RWM-U [22] 证明了在学习得到的神经模拟器中训练的策略可以迁移到真实机器人上。二者都在想象的 rollout 上使用 PPO 来优化策略；RWM-U 还额外采用带有不确定性惩罚的离线优化
   
   相比之下，SuperMimic 则通过对其学习到的动力学进行回报的可微分优化来训练策略。RWM 和 RWM-U 在来自其他策略的轨迹上预训练世界模型。而 SuperMimic 则相反，它在训练过程中用自身策略收集到的数据来拟合世界模型

第四，对于可复用的运动表示与下游控制

可复用控制器将运动跟踪连接到下游目标接口（表1）

1. NPMP [5] 和 PhysicsVAE [7] 从专家行为中学习潜在的运动表征
   PULSE [8] 和LATENT [10] 则使用已学习的运动表征来进行下游强化学习
   
   MaskedMimic [9] 通过运动补全支持部分身体和多模态目标，而BeyondMimic[3] 则使用引导式扩散来实现目标
   
   SONIC[1] 通过跟踪奖励和潜在对齐损失，将目标编码器与其跟踪器进行联合训练。ControlVAE [6] 在冻结技能控制器的情况下，通过其学习到的模型来优化下游任务策略
2. SuperMimic 在同一个动力学模型下（附录 B），联合训练目标特定的编码器和共享解码器。目标接口既可以优化参考跟踪奖励，也可以优化其自身的任务奖励
   作者认为，他们的初步研究同时训练一个速度接口和一个动作跟踪接口，并分别基于每个目标函数进行训练（§4.5）

1.2 SuperMimic的完整方法论

1.2.1 SuperMimic 训练循环

SuperMimic 在一个多技能动作库上训练单一的、基于目标条件的全身控制器，并支持多种目标接口。它在一个可微分的世界模型中刻画共享的人形动力学，并通过短暂的虚拟回放（imagined rollouts）来提升策略。训练过程在一个循环中交替进行三个阶段（图2）

1. 首先，当前策略从仿真器中收集状态转移数据，并存入重放缓冲区
   First, the current policy collects simulator transitions into a replay buffer
2. 其次，作者将可微分世界模型拟合到来自重放缓冲区的短时间窗口数据上
   Second, we fit thedifferentiable world modelto short replay windows.
3. 第三，在冻结的世界模型中，通过反向传播虚拟回报来改进策略，每一次回放都以重放缓冲区中的某个状态为初始状态，类似于Dyna 方法 [23,24]
   Third, the policy is improved bybackpropagating an imagined returnthrough the frozen world model, with each rollout seeded from a replay-buffer state in the Dyna style [23, 24].

在整个训练过程中，缓冲区、模型和策略都会被持续更新，因此动力学学习与控制能力是同步提升的，而不是分成相互独立的阶段（算法A.1，附录D）。来自早期策略的状态转移在拟合世界模型时仍然有效，因为动力学与收集这些数据的策略无关

作者将目标条件部分可观测马尔可夫决策过程（POMDP）记为，并使用紧凑记号表示状态、目标和动作

• 状态给出本体感觉观测和终止信号，当为终止状态时其取值为1
  
  在状态下的动作会产生回报和下一状态
  
  策略是确定性的
  ，并且参数化了一个归一化的关节设定点；
  
  对于运动跟踪，是从参考运动中读取的
  
  ————
  在数据收集期间，模拟器执行带噪动作，其中动作噪声，并且重放缓冲区存储该已执行的带噪动作
  噪声拓宽了用于拟合世界模型的动作范围；它只服务于模型拟合，是可选的
• 回报使用软生存权重，且，从而得到
  
  
  
  其中折扣因子
  
  模拟器记录硬终止，而学习到的模型预测终止概率，这使得在想象rollout 中的生存权重保持可微。全篇中，带帽符号表示模拟器量在世界模型中的对应量
• 作者还将观测分解为，其中是无噪声观测，已知观测噪声在世界模型之外进行采样。附录A 给出了完整的空间和回报
  
  默认的接口是全参考（full-reference）运动跟踪。其他目标接口（例如速度）与运动跟踪共享相同的已学习动力学模型，并与运动跟踪联合训练（见附录 B）

1.2.2 学习一个可微分的世界模型

模拟器的关节多刚体动力学是已知的，但模拟器本身不需要提供梯度，因此SuperMimic 学习一个可微的代理模型来获得策略梯度：它为第 §3.3 节中的 BPTT 更新提供预测值和雅可比矩阵

1. 由此得到的解析策略梯度，是仿真中期望回报代理函数的梯度
   
   由于模拟器中的随机性来源是已知的，世界模型保持为确定性的：它以每个回合的仿真上下文（摩擦系数、标定偏移以及躯干质心）为条件，并预测无噪声观测
2. 世界模型由一个已学习的动力学模型以及奖励、观测和终止（termination）头部组成；
   每个头部要么通过学习获得，要么通过解析方式计算
   
   
   
   
   
   
   如下图所示

3. 作者在以k 步自回归回放窗口(k = 8) 上拟合网络权重，这些窗口以已记录状态为初始，并在已记录动作上向前滚动，通过最小化
   
   
   
   其中解析头没有损失项。这里是模拟器回报，是模拟器终止标签，BCE 是二元交叉熵

1.2.3 通过世界模型学习策略

在每次策略更新期间，作者保持世界模型的权重不变，并在长度为H = 32 步的想象轨迹上优化和。评论器估计超过第H 步之后的回报，因此模型只需要在这H 步之内是准确的。这个想象地平线超过了作者用于拟合模型的k 步重放窗口（§3.2）。在实践中，学习到的模型在无限长的滚动预测中仍然保持稳定，因为k 步自回归拟合会训练模型去纠正其自身的预测误差

1. 每个想象的rollout 从重放缓冲区状态开始，并带有其记录的仿真上下文
   在步骤，模型生成，作者重新加入传感器噪声，然后策略执行动作：，
   
   在想象的rollout 上的策略目标为
   
   
   
   对于动作追踪，奖励是BeyondMimic 动作追踪奖励[3]，去除了其自碰撞惩罚（附录A）
2. 世界模型是可微的，因此BPTT 通过世界模型关于和的Jacobian，在H 个想象步长上计算一阶梯度
   ————
   相比之下，PPO 将动力学视为一个黑箱：它使用采样动作的优势对随机策略的得分进行加权，这是一个似然比估计
   BPTT 则是对每个动作的回报进行求导，因此在短期范围内其梯度方差要小得多
3. 评论器（critic）拟合为：仅基于想象轨迹、沿时间反向计算得到的广义优势估计（generalizedadvantage estimation）回报[25]
   
   
   
   
   其中
   
   
   递归从开始，即评论家对超出时间范围回报的估计。目标在每次rollout 中只计算一次，并在拟合期间保持不变

策略和评论者的更新共同构成了一个短视野的actor-critic 框架，具有SHAC [19] 的风格，它通过可微分模拟器进行反向传播。SuperMimic 用生存权重替代了SHAC 中对episode的硬终止，并且它的评论者没有指数移动平均目标网络

先前使用解析梯度训练的运动跟踪控制器通常省略评论者，只优化H 步的奖励和[12,6]。在没有评论者的情况下，训练可以达到类似的名义跟踪回报，但这种未引导（unbootstrapped）的目标更加短视。评论者在受到扰动之后就变得很重要，此时恢复或平衡奖励可能位于超出想象窗口的范围内（§4.3）

1.3 实验结果

作者声称，他们表明，与 PPO 训练流水线相比，SuperMimic 在扩展性方面具有更优的表现；识别出支撑这种扩展性的世界模型特性，在真实的 Unitree G1 机器人上展示了迁移效果，并报告了一项关于下游目标接口的初步研究

1. 所使用的仿真器为 MuJoCo Warp，它是 MuJoCo[26] 的 GPU 实现
   且作者报告的所有成本均是在 Lambda 按需实例上的 NVIDIAH100（80GB SXM5）GPU 上测得的
2. 此外，作者声称，他们在多个随机种子下进行了训练，发现训练过程非常稳定，作者将其归因于运动跟踪在每一步都提供的稠密奖励
   
   因此，图表中不再单独展示不同种子之间的差异
   归一化回报（简称回报）被定义为：在完整的一个 episode 中，每一步奖励的非折扣和，再除以该和可能达到的最大值
   因此，一个过早终止的策略会得到较低的分数

1.3.1 SuperMimic 以远少于 SONIC 的 GPU 训练时长实现 SONIC 级别的跟踪效果

作者将 SuperMimic 与 SONIC 进行对比。SONIC 是一个已发表的、在 128-GPU 集群上训练的PPO 流水线。两种方法都建立在BeyondMimic的动作跟踪建模方式之上 [3]，因此 SONIC 是目前可获得的最接近的已发表比较对象

1. 但，仅使用 1 张 GPU 训练 3 小时内，SuperMimic 即超过了公开的 SONIC checkpoint 的归一化回报（见图 3(a)）
   
   在包含 129,514 段动作的共享基准上，SuperMimic 失败的动作数量也少于 SONIC：在单卡训练 3 小时后仅有 25 段失败，在两卡训练 9.8小时后失败数为 0，而 SONIC 公开的 checkpoint 失败数为 179（见附录 F）
2. 且作者对“3 小时”的说法持保守态度：从该时间点起，此后每一个 SuperMimic 的 checkpoint 在回报和失败动作数这两个指标上，至少领先 SONIC 达到“SONIC 与 SuperMimic 最佳结果之间差距的一半”。因此，相比SONIC，SuperMimic 在墙上时间上节省了超过 50 倍，在 GPU 小时数上则节省了超过 1000 倍

对于计算核算

该比值将 SONIC 报告的在 7 天内使用 128 块 NVIDIA L40 GPU（约 21,000 GPU-小时）的开销，与在一块 NVIDIA H100 上运行 3 小时、且在此时间内 SuperMimic 超过 SONIC 已发布检查点（checkpoint）回报的结果进行比较

1. 二者在实际墙钟时间上相差约 56×（>50×），在 GPU-小时上相差约 7200×（>1000×）。这 3 小时覆盖了完整的训练循环；训练结束后的检查点评估不计入其中
   SuperMimic 在 BONES-SEED [27]（SONIC 数据的公开子集）中共 264.56小时的运动数据上进行训练，约为 SONIC 的 611 小时数据量的 2.3× 较少
2. 两者使用的 GPU 型号也不同：在峰值吞吐量上，一块 H100 仅提供 L40 的 0.74× fp32 性能，但在张量核心性能上则是 L40 的 5.5×；两种运行各自利用到多少峰值性能尚不得而知。尽管如此，数据规模上 2.3× 的差异以及至多 5.5× 的峰值 GPU 吞吐量差异，都远不足以解释 GPU-小时上 1000× 的巨大差距

图4(a) 在 LAFAN1 数据集 [28] 上给出了一个受控对比实验

1. 基线方法 PPO-Sim 是在模拟器中训练的 PPO
   PPO-Sim 与 SuperMimic 在动作数据、观测空间、奖励函数、终止条件、领域随机化、Actor 和 Critic 网络规模以及评估协议上完全一致
   它使用 BeyondMimic 的 PPO 超参数设置 [3]，并在每块 GPU 上运行 8192 个并行环境，是 SuperMimic 的两倍
2. PPO-Sim 从采样得到的模拟器 rollout 中估计其策略梯度；SuperMimic 则通过世界模型的 rollout，对其“想象”回报进行反向传播
   SuperMimic 在一块 GPU 上用时 1.2 小时即可在评估中达到 0.82 的回报。在18 小时的训练预算内，PPO-Sim始终达不到这一水平。其最终回报在一块 GPU 上为 0.60，在四块 GPU 上为 0.70，在八块 GPU 上为 0.72，因此从四块增加到八块 GPU 几乎没有带来提升

图3(b, c)显示

对于 SuperMimic，随着数据集长度增加，为达到目标回报所需的 GPU 小时数增长缓慢，而在同一组实验设置下，世界模型的预测误差保持稳定；第4.2节将这两种趋势都归因于使用同一个世界模型对不同动作之间共享的动力学进行摊销建模

1.3.2 学习得到的世界模型的性质

这些结果依赖于学习得到的世界模型 fω 的三个性质：随着运动库的扩展，其精度能够保持；并且其展开（rollout）过程既快速又可微

1. 首先，一个模型对运动库进行摊销
   在图 3(c) 中，随着数据集从 1 小时扩展到 264 小时，世界模型的 8 步预测误差始终保持在 0.007 到 0.011 之间
   每一个动作都由同一个人形机器人执行，因此新增的片段为这一共享的身体与接触动力学提供了更多证据，而不是对模型容量提出新的需求。这与达到目标回报所需算力增长缓慢的现象相一致（§4.1）
2. 其次，利用“想象”可以加速 rollout
   在策略优化过程中，rollout 的执行速度决定了每次更新的计算成本
   
   图 5(a) 显示
   在实际使用的 batch 大小时，世界模型的运行速度比 MuJoCo Warp 快超过 10倍，并且在 64k 个并行环境下最高可快至 62 倍
3. 最后，一阶梯度只需要更少的想象步数
   作为一种机制消融实验，图5(b) 单独考察了一阶策略更新带来的收益：SuperMimic 以大约少 64× 的想象步数就能达到 PPO-WM 的最优回报，因此收益不仅仅来自回合（rollout）速度

1.3.3 引入评论器（critic）以支持更短的时间视野和推搡恢复能力

图4(b, c) 对比扫过带有和不带有评论器的H

1. 在没有评论器的情况下，训练在H ≤16 时失败
   加入评论器后，H = 16 的表现与无评论器时H = 32 相当，而H = 32 最快达到0.82 的回报
   
   将H 从64 提高到128 几乎使达到该回报的时间增加了三倍，并且降低了最终回报；H = 128 是能在H100 上容纳的最长时间跨度。在相同回报下，评论器仍然会改变行为
2. 在仿真中，在0.5-4 m/s 的速度推搡下保持静态T 形姿势时
   带评论器的策略会在0.5-2.4 s 内稳定下来
   无评论器的策略则永远不会稳定：即使在0.5m/s 下也会持续跌跌撞撞，并且在4 m/s 时会跌倒

1.3.4 真实机器人迁移

一个通用运动跟踪器在真实的 Unitree G1 机器人上部署，无需针对每个动作进行单独调参（Figure 6）

这四个动作涵盖了行走运动（蹦跳式跳跃）、带有躯干与四肢与地面充分接触的全身接触型运动（侧滚），以及体操动作（90◦翻转和原地360◦翻转）

1.3.5 下游任务：RL 编码器 vs. 蒸馏基线

1. SuperMimic 将下游目标编码器与运动跟踪接口进行联合训练，共享同一个解码器和世界模型（附录 B）
   作者对下游接口的研究仍然是初步的
   作者声称，作者通过世界模型，在一个速度跟踪回报上训练一个速度编码器
   作者将其与蒸馏基线进行比较：该基线是一个在运动跟踪回报上训练的速度编码器，其指令从参考动作中读取
2. 图 7 在覆盖速度空间的 672 个步进响应上对两者进行评估（附录 G）
   在其中的 650 个响应上，RL 编码器具有更低的稳态误差，而在 15 个响应上则是蒸馏编码器更优
   只有蒸馏编码器会发生跌倒，而且仅出现在七个几乎没有动作库数据的高速转弯情形中

// 待更

第二部分 MorphMimic：基于形态条件的世界模型以及不同本体之间的策略共享

1.1 引言与相关工作

1.1.1 引言

全身运动追踪将人类参考运动转换为人形机器人行为，并支持基于追踪策略构建的遥操作和指令接口[1], [2]。目前可用的人形机器人平台数量不断增加，且许多平台在尺寸和运动学布局上相似

1. 但全身追踪器通常是针对单一机器人进行训练的 [1], [2]，因此更换具身实体时需要重新训练或进行适配[3]。如果控制器能够将具体具身形式作为输入，那么新的人形机器人就可以复用为其他机器人开发的运动库、训练流程以及指令接口。这样，在某一台机器人上收集的经验便可以惠及其他机器人
   
   在不同仿人机器人之间共享同一个控制器是很困难的，因为即便具有相似的运动学结构，其物理特性也可能不同。关节轴方向、符号约定、中立姿态、肢体长度、比例—微分（PD）增益以及力矩上限都存在差异，因此同样的控制动作在不同机体上会产生不同的运动
2. 当策略是通过世界模型来学习时，这一问题会更加棘手
   
   SuperMimic [2] 通过对学习得到的动力学模型进行短时间滚动预测并对其反向传播，来训练一个跟踪器。因此，预测误差不仅会影响到想象轨迹，还会影响到策略梯度，而共享的模型必须对每个机器人都具有足够好的预测精度，以保证该梯度仍然有用
   
   此前的跨具身方法会在策略上进行条件化，使其依赖于硬件描述 [4]，通过具备形态感知的编码或语义关节对齐来共享运动策略 [5]–[7]，在不同机器人本体之间通过形态对世界模型进行条件化 [8]、[9]，或通过包含机器人特定模块的方式迁移并联合训练类人跟踪器 [3]、[10]
   
   作者在这一设定下，通过在所有类人机器人之间共享一个可微分的世界模型和一个完整的跟踪策略来加以解决

MorphMimic 将具身形态视作同一个世界模型与同一个策略的输入（见图 1）

• 其paper地址为：MorphMimic: Morphology-Conditioned World Model and Policy Sharing Across Humanoids
• 其项目地址为：lzyang2000.github.io/morphmimic
  其GitHub地址为：github.com/lzyang2000/morphmimic

具体而言，其

1. 首先通过一个规范化布局，将各机器人关节按照运动学功能进行映射，并为每个关节设置特定的符号与偏移量，从而统一到一个通用的关节顺序和一组被跟踪的刚体上。描述执行机构、几何结构与质量分布的物理描述符用来对世界模型、评价器（critics）以及策略解码器进行条件化
   
   网络权重在各机器人之间共享，而归一化统计量、参考动作以及重放数据则保持为机器人特定的
2. 这样，一旦有新的 humanoid 符合该布局，就可以通过一个关节映射、一个物理描述符以及重定向后的动作将其加入系统
   
   一个对齐损失会将对应的重定向帧在不同机器人之间的潜在指令拉向它们的跨机器人均值。一个针对骨盆、脚踝和手腕的五点编码器，学习重现其所属机器人的完整动作潜在表示，并通过共享的解码器来驱动每一个机器人。其他接口也可以针对同一潜在空间进行控制

两种接口都使用基于位置无关目标（position-freetargets）的方式，并从关节编码器和惯性测量单元（IMU）获取反馈。作者在三套训练库共有的 128,786段动作片段上评估了四种共享配置。在全部六种“机器人–接口”组合上，每一种共享配置的平均回报与单机器人专家策略的差距都在 0.02 以内

作者声称，统一训练的一次运行消耗了 16.3 个 GPU 小时，而三个专家策略合计为 13.9个 GPU 小时；得到的策略能够在真实的 G1 机器人上完成舞蹈、行走以及实时遥操作（图 5）

1.1.2 相关工作

首先，对于跨载体控制策略

1. 在不同机器人本体之间共享控制策略由来已久。Chen 等人[4] 提出将通用策略条件化在一个对机器人硬件进行编码的向量上。Shared Modular Policies [11] 在不同本体之间复用执行器级控制器，并通过消息传递来协调各个模块
   
   MetaMorph [12] 在模块化机器人设计中训练形态条件 Transformer，并将其迁移到未见过的形态上
2. 在动态足式运动方面，GenLoco [13] 将动作模仿与程序生成的四足机器人形态相结合，并通过利用传感器和动作历史来推断机体，实现向未见过的仿真和真实机器人上的迁移
   
   URMA [5] 通过基于注意力的观测编码和按关节条件化的动作解码，在具有不同关节配置的具体形体之间共享同一个运动策略
   
   Bohlinger 等人 [6]在 50 种足式机器人上采用极端的“具体形体随机化”（Embodiment Randomization）扩展了这一思路，其中包括对未见过的人形机器人和四足机器人的零样本迁移
   
   XHugWBC [7] 将语义关节对齐与符合物理的一致形态随机化相结合，以实现跨人形机器人的运动控制
   MS-PPO [14] 在图策略中编码了由单个机器人形态对称性所引起的排列与符号翻转，并在Unitree Go2 和 G1 上的运动任务中，使用对称等变的 actor 与对称不变的 critic
   
   作者将显式的形态条件应用于具有固定语义关节布局的全身追踪，并使用在几何与执行机构（驱动/致动）上条件化的解码器。同一套物理描述符也对学习到的动力学进行条件化

其次，对于跨形体的全身跟踪

跨不同机器人本体实现全身跟踪，同样需要一种能够在机器人之间关联运动的指令表示

1. Any2Any [3] 通过运动学对齐以及对对动力学敏感的策略模块进行参数高效的自适应，将一个预训练的人形机器人追踪器迁移到新的机体上
   
   X-WBC [10] 通过联合训练一个共享的时序骨干网络与各机器人特定的指令编码器、本体感觉编码器和动作解码器。它对来自机器人、人类以及稀疏运动输入的指令 token进行对齐，将所请求的运动与特定机器人的执行过程区分开来
2. 在 MorphMimic 中，目标编码器和动作解码器在不同机器人之间是共享的
   相应的重定向帧用于监督运动潜变量的对齐，而五点编码器学习重建每个机器人的完整运动潜变量，从而使得稀疏目标也能使用共享的解码器

最后，对于用于策略学习的世界模型

世界模型提供了另一种在不同实体（躯体）之间共享信息的方式

1. PWM [15] 通过可微的多任务世界模型来学习策略
   MS-HGNN [16] 将运动学结构和形态对称性融入到用于机器人动力学的异质图网络中
   
   QWM [8] 基于物理形态对递归潜在世界模型进行条件化，通过想象展开来学习四足运动策略，并报告在留出的四足形态上实现零样本迁移
   WestWorld [9] 使用具备系统感知的专家混合模型和基于形态的结构嵌入，在多种多样的机器人系统上扩展轨迹世界模型
2. SuperMimic[2] 将可微的世界模型学习应用于人形机器人的全身跟踪，并支持附加的指令编码器
   MorphMimic将这一设定从单一躯体扩展到多个类人机器人，通过共享状态空间动力学模型和跟踪策略，并结合统一表示、形态条件化以及指令对齐来实现
   
   在这两种指令接口中，均使用基于形态条件的动作解码器

1.2 MorphMimic的完整方法论

MorphMimic 遵循 SuperMimic 的交替循环流程：模拟器数据收集、世界模型拟合，以及通过想象 rollout 进行的策略更新 [2，第 3.1–3.3 节]。图 2 展示了在不同机器人之间共享的这一循环

与具体机器人相关的细节与常数给出了在附录 B 中

1.2.0 问题表述

令表示具身，为其状态，为作用于个身体关节的规范动作。模拟器的转移为，控制时间间隔为

参考运动提供目标状态以及由长度为的目标帧窗口构造的目标gbt，策略则使用最近K 个本体感觉观测构成的历史。在折扣因子下，作者希望寻找共享的策略参数，以最大化等权重的跟踪目标

其中是episode 长度，而将动作到达的状态与目标进行对比评价

1. 作者使用SuperMimic 的运动跟踪奖励和权重[2, Appendix A,Table A.2]，并在第III-B 节的个规范身体槽位上对其进行评估，其中躯干等效身体作为跟踪锚点，并用表示每步的最大回报
2. 当锚点高度误差超过或倾斜误差超过时，一个回合终止，其中，倾斜误差是机器人和参考锚点坐标系中竖直重力分量之间的绝对差
   到达参考末端被视为超时，且三种机器人共享这些容差。附录B 总结了仿真身体的设置

1.2.1 常用机器人表示方法

第一，对于规范关节和驱动器目标

作者根据运动学功能对关节进行映射。对于规范槽位，令为对应的原生关节索引，为其符号，为其角偏移。一个原生关节位置变为——定义为公式2

速度和其他关节差分使用不带偏移量的排列和符号。该映射在机器人之间的命名、符号以及中立姿态约定上对齐关节槽位。学习到的网络处理剩余的运动学差异。给定力矩上限、比例增益以及动作尺度，动作是相对于机器人默认姿态的缩放位移，其原生位置目标为——定义为公式3

由于，一个单位动作在固定关节状态下将比例力矩改变为努力上限的一部分，即。式(3) 中的位移是从原生默认姿态测量的，因此式(2) 中的偏移量只影响绝对关节构型

第二，对于追踪刚体和状态

1. 个刚体槽包含一个骨盆等效刚体、每条腿上的三个刚体、一个躯干等效刚体以及每条手臂上的三个刚体。骨盆和躯干占据槽0 和7
   
   在每个机器人的IMU 刚体上测量重力和角速度。世界坐标系下的状态包含关节位置和速度，以及被追踪刚体的位置、四元数姿态、线速度和角速度
2. 令表示骨盆等效刚体的世界坐标系位置
   令为原点为且具有骨盆等效刚体完整姿态的坐标系
   变换将刚体位置表示为相对于该原点，并将位置、姿态和速度旋转到中，同时保持规范关节坐标不变
   
   每个姿态由其旋转矩阵的前两列表示
   一个独立的上下文包含足部摩擦系数、关节编码器偏置以及质心偏移量

第三，对于观测与与位置无关的目标

1. 该策略使用SuperMimic 的本体观测（参见[2，附录A，表A.1]），在长度为 K 帧的历史窗口上进行
   
   关节位置是相对于默认姿态测量的，并包含编码器偏置
   关节速度则以规范坐标表示
   
   角速度和投影重力在IMU-机体坐标系中表示，再加上上一时刻的规范动作，共同构成完整的观测。该历史序列通过一个与机器人相关的变换进行归一化
2. 全运动目标连接了个目标帧，每个帧包含参考关节位置和速度，以及躯干锚点（槽位7）的位置和六维朝向
   这些帧包括当前参考帧和以控制频率采样的后续个帧；在片段边界处最后一帧会被重复
   
   锚点位置在第一个目标帧的参考骨盆朝向坐标系中表示。该坐标系的原点是参考骨盆在零高度时的水平位置。这个坐标系在不依赖机器人自身位置的情况下描述了前方路径和绝对目标高度。锚点朝向相对于机器人当前躯干锚点来表示，并提供包括偏航在内的朝向反馈
   
   目标由进行归一化。通过这些与位置无关的目标，策略的输入为参考目标、关节编码器测量、角速度以及基于IMU 的姿态估计
   所有这些输入都可以通过机载传感器和参考信息获得，从而简化了部署

第四，对于形态学描述符

维度为dm 的静态描述符mb ∈Rdm为

其中

• 和是比例和微分增益
  四个执行器模块在标准关节顺序中具有个条目
  
  且包含几何和质量测量，即大腿、小腿、上臂和前臂长度，髋部宽度，躯干高度，总质量，以及腿和臂子树的质量
• 变换在三个机器人之间将特征缩放到[−1, 1]，并将常数特征映射为零

1.2.2 参考动作

使用 BONES-SEED [17]1 以及其提供的 G1 重定向结果，并利用 NVIDIA 的 SOMA Retargeter [18] 将同一组源动作重定向到 X2 和 T2。由于所有机器人共享同一人类动作源，每一段动作在三种机体上都有对应的参考帧，而第 III-E 节中的潜在对齐正是依赖于这些参考帧

按照附录 B 中的描述，在模拟器的软关节限制范围内，作者以控制频率将重定向后的动作转换为参考状态

1.2.3 共享世界模型

共享训练使用SuperMimic 的Hm 步自回归模型拟合[2,Section 3.2]，包含一个动力学网络和机器人特定的重放缓存。该网络在坐标系中预测残差。令，并使用对角上下文缩放将摩擦、编码器偏置和质心偏移缩放到相近的量级，更新为

在这里

• 使用了与机器人相关的运动库统计量
• 在Ft 中包含了重力以及被跟踪刚体在世界坐标系中的归一化高度
• 而固定尺度是预热回放中一步残差的均方根（RMS）
• 由于残差输出层被初始化为0，初始模型在中预测的是未发生变化的状态

状态拟合项在记录状态的参考系中比较预测特征和记录特征。它在除以之后对平方误差求和，并在步以及采样窗口上对其取平均。终止头在相同的窗口上通过二元交叉熵进行拟合，从而得到，与SuperMimic 方程(1) 的解析奖励和观测情形相同

通过学习到的正增益和以及学习到的偏置和，作者将终止建模为在锚点高度误差和倾斜误差上的单调风险率：

以及模拟器的终止阈值

1.2.4 具备形态条件的策略与对齐指令

首先，对于共享策略

运动编码器将归一化的目标映射到维度为的潜在指令，解码器则将该潜在变量、本体感受历史以及形态描述符映射为一个动作：

编码器和解码器遵循SuperMimic 的结构[2, Table A.4]，并且

• 编码器只读取归一化的参考目标，而完整的形态描述符被附加到解码器和评论家输入中
• 此外，解码器使用特征级线性调制（FiLM）[19]

给定学习得到的矩阵和以及学习得到的偏置和，隐藏层ℓ的预激活变为

这些调制参数初始为零，因此训练从仅使用拼接的解码器开始。世界模型通过拼接的方式接收形态信息

其次，对于想象策略学习

1. 令表示SuperMimic 的生存加权想象回报[2, Eq. (2)]，其是基于步想象回滚计算得到的，其中动力学和评论家以为条件
   
   策略梯度通过冻结的模型和评论家进行传递，目标从预测状态和参考窗口中重新计算，并且在超时处保留评论家的自举
2. 由于奖励依赖于机器人相对于参考的位移，两个评论家也会接收在机器人当前锚点坐标系下表示的、用于所有K 目标帧的参考锚点位置，并除以位置奖励核的宽度
   
   这些输入仅在训练过程中使用，并保持在无位置信息的策略输入之外。评论家拟合与SuperMimic 的Eq. (3) 一致的、分离的λ 回报目标

// 待更