具身智能数据体系建设：借鉴自动驾驶的五大关键经验

1. 为什么具身智能要回头看自动驾驶做具身智能数据研究这段时间我越来越觉得有一个行业值得反复对标就是自动驾驶。原因很简单自动驾驶是过去十几年里唯一一个把物理世界中的数据采集、标注、训练、评测、部署完整跑通的AI领域。它的数据体系踩过无数坑也沉淀了一整套方法论。具身智能今天面临的数据从哪里来、怎么标、怎么用、怎么评测这些问题自动驾驶几乎都遇到过。先说一个最基本的判断具身智能当前最大的瓶颈不在模型结构而在数据。大模型时代不缺算法思路缺的是高质量、大规模、可复现的物理交互数据。语言模型有整个互联网做语料视觉模型有海量图片和视频而具身智能需要的是机器人在真实物理环境中执行任务的数据——这类数据到今天仍然稀缺且昂贵。反过来看自动驾驶在2015到2020年之间也经历过同样的困境但它用一套组合拳把数据问题解开了这套组合拳的每一步都值得具身智能从业者重新走一遍。这篇文章我会从五个角度拆解自动驾驶的数据发展经验数据体系的演进脉络、采集与闭环、标注与合成数据、评测基准、合规与安全。每个部分都会落到具身智能的可借鉴之处而不是空泛地讲自动驾驶很厉害。1.1 自动驾驶数据体系的三阶段演进回头看自动驾驶的数据体系走的是一条非常清晰的路径规则驱动、数据驱动、闭环驱动。规则驱动时代以Mobileye为代表。那时候自动驾驶主要靠人类专家写规则比如车道线检测失败就降级前方障碍物距离小于X米就刹车。这个阶段的数据需求其实不大因为系统不依赖数据做决策数据只是用来验证规则对不对。问题很快暴露出来真实道路场景的复杂程度远超人类能穷举的范围规则越写越多系统仍然不断碰到没见过的corner case。2016年前后业内逐渐意识到规则写不完开始转向数据驱动。数据驱动时代的标志是特斯拉和Waymo的路线分化。特斯拉走的是量产车影子模式纯视觉Waymo走的是高精地图激光雷达Robotaxi运营。两家路线不同但对数据的认知高度一致系统能力的上限取决于数据覆盖的多样性而不只是数据量。一个模型在高速上跑100万公里不如让它见到100个不同的极端场景。这个认知对具身智能有很强的参考价值——今天很多具身智能团队还在追求累计X万条操作轨迹但轨迹数量多不代表场景覆盖好如果10000条轨迹里有9000条是抓杯子这一个动作模型学到的东西非常有限。闭环驱动时代大约从2018年开始。自动驾驶头部公司开始意识到静态的数据集训练有天花板必须把真实行驶数据→问题挖掘→标注→训练→仿真验证→OTA更新→再收集数据这条链路跑通。特斯拉的影子模式本质上就是一个分布式数据采集系统量产车上跑着一个影子模型当影子模型的输出和真实驾驶员的操作不一致时系统会自动把这个片段上传。这个机制让特斯拉能以极低成本获得海量的异常数据而不需要额外部署采集车。1.2 具身智能当前所处的数据阶段对照三个阶段我认为具身智能整体还处于规则驱动向数据驱动过渡的早期。很多团队还在用人类预设的动作模板和运动规划库数据和模型的关系是割裂的。少数团队开始做数据驱动比如用遥操作采集轨迹直接训练策略但普遍遇到三个问题。第一个问题是数据来源单一。大部分公开的具身智能数据集来自实验室环境桌面、固定机械臂、几种固定的物体。而真实世界是开放的、动态的、不可控的。第二个问题是场景覆盖度无法量化。自动驾驶有明确的路测里程和接管率指标具身智能目前没有统一的场景覆盖率定义团队自己都不知道数据里到底有多少种有效变化。第三个问题是数据闭环缺失。数据采完、训练完、部署到机器人上效果好不好问题出在哪往往没有系统化反馈。这三个问题在自动驾驶历史上都有成熟的解法模板但需要适配具身智能的物理特性。下面我逐步展开。2. 从采集到闭环自动驾驶数据体系的骨架自动驾驶数据体系最值得具身智能学习的不是某一个具体技术而是整个采集-挖掘-标注-训练-评测-更新的闭环结构。这个闭环决定了数据能否持续产出价值而不是一次性消耗品。2.1 数据采集从堆里程到堆场景早期自动驾驶公司的数据采集思路是堆里程。一辆采集车装8到16个摄像头加3到5个激光雷达全天候在城市里跑一个月能攒几十T数据。但2019年前后业内普遍发现单纯堆里程没有意义因为大部分里程是简单场景——直线行驶、天气良好、交通流畅。真正决定系统能力的是长尾场景坏天气、逆光、施工路段、非机动车抢道、行人突然横穿。这些场景在随机采集数据里的占比很低可能跑1000公里才遇到一次。于是采集策略从随机采集转向定向采集。特斯拉的做法是影子模式筛查遇到极端情况才上传。Waymo的做法是在多个城市定向测试针对特定场景做路线的刻意规划。国内的一些自动驾驶公司则和出行平台合作通过众包方式定点收集特定场景片段。给具身智能的对照目前多数具身智能团队的采集方式还是在固定环境里录操作视频这相当于自动驾驶早期的堆里程。正确的做法应该是先定义清楚任务场景空间再定向补数据。比如你做家庭服务机器人任务空间可以拆解为物体类别、物体摆放状态、环境光照、桌面材质、机械臂位姿、人的干扰程度。每一项都需要刻意覆盖而不是录多少算多少。2.2 数据闭环影子模式与边缘计算闭环的核心思路是让系统自己告诉我们它哪里不行。自动驾驶的影子模式是这个思路的最佳实践量产车上实时运行一个影子模型不参与控制只做预测。当影子模型的预测和真人司机的操作产生分歧时说明模型在这个场景下能力不足系统自动截取相关数据回传。这个机制的精妙之处在于它把数据筛选前置到了数据采集端。如果没有影子模式车辆每天产生几十G的数据全部回传不现实随机抽样又很难抽到关键场景。影子模式等于给数据装了一个异常度过滤器只保留对模型提升有价值的数据。边缘计算的引入进一步压缩了回传成本。现在的自动驾驶车辆普遍有GPU算力可以在车端完成目标检测、场景分割、异常检测等初步处理只传回结构化的事件信息和小段关键视频而不是原始全量数据。具身智能同样需要这样的影子机制。机器人在真实环境里执行任务时可以在后台跑一个监督模型或自评模型实时评估当前操作的置信度。当置信度低于阈值时自动保存这段操作数据标记为待标注困难样本。这个方案有两个好处一是大幅降低数据冗余二是自动聚焦到模型能力边界附近的数据这些数据对模型提升的边际贡献最大。2.3 具身智能的采集与闭环建设具身智能在借鉴闭环思路时有一个自动驾驶没有的痛点分布式的采集终端很难普及。自动驾驶可以依托量产车去采集数据具身智能目前没有量产机器人的规模基础。这意味着短期内大部分团队只能靠自建采集环境遥操作来攒数据。但在自建采集的场景里闭环机制依然可以落地。我的建议是三步走第一步给每条操作轨迹打上场景标签包括物体类别、初始位姿、环境条件、操作结果。这个标签不是给训练用的而是给数据管理用的目的是后续能精确检索哪类场景数据不够。第二步建立失败数据优先的采集原则。很多团队只保存成功的演示轨迹这是巨大的浪费。失败的轨迹恰恰是模型最需要学习的样本——它告诉模型这样做不行。自动驾驶行业非常重视负样本数据具身智能也应该把失败的遥操作轨迹全部保留并标注失败原因。第三步定期做数据覆盖度分析。统计当前数据集中各场景维度的分布情况找出稀疏区域然后针对性地设计采集任务。这一步看起来简单但绝大多数具身智能团队没做。自动驾驶行业早就把场景分布分析当成日常工具了具身智能也应该建立类似的数据仪表盘。3. 数据标注与合成数据绕不开的底座数据闭环建立后下一步是标注。自动驾驶在标注上吃的苦具身智能大概率要再吃一遍但可以换个姿势吃。3.1 自动驾驶标注体系的演进早期自动驾驶的标注完全是纯人工。一帧图像要标出所有车辆和行人的边框、类别、遮挡关系一个熟练标注员一天最多标几百帧。后来发展成预标注人工修正模式先用训练好的模型自动生成标注结果人工只需要检查并修正错误。到了2020年左右4D标注成为主流——把连续的多帧点云和图像联合标注一次性标出一条轨迹而不是逐帧标效率提升了数量级。这个演进过程给具身智能的核心启发是标注方式要与数据形态匹配。自动驾驶的标注形态经历了图像2D框→3D框→4D轨迹的升级标注粒度是逐渐变粗的。具身智能目前面临的标注形态和它完全不同——需要对机械臂的运动轨迹做标注、对操作意图做标注、对物理交互效果做标注。实际操作中我发现很多具身智能团队还在采用逐帧标注的方式把操作视频一帧帧拆出来标注每个时刻机械臂的位置、物体的状态。这种做法效率极低而且标注一致性很难保证。更合理的方式是标注事件级别的语义把一条轨迹当成一个整体来标操作目标是什么、操作是否成功、如果失败是哪个环节出了问题。颗粒度更粗的标注对大模型时代的分词式训练更友好。3.2 合成数据与仿真自动驾驶给具身智能的第二个启示说到数据规模就不能不提合成数据和仿真。自动驾驶是合成数据使用最成熟的领域之一几乎每个头部玩家都重度依赖仿真环境来补充极端场景数据比如暴雨、大雪、夜间、罕见车辆类型。GTA风格的游戏引擎曾经被大量用来生成带标注的驾驶图像后来业内专门搭建了高保真仿真平台。但自动驾驶行业踩过最大的一个坑是Sim-to-Real gap仿真和现实的差距。早期有的团队过度依赖仿真数据结果模型在仿真里表现完美一到真实路测就崩。这个问题的根源是仿真环境的物理保真度和视觉保真度不够模型学到了仿真环境特有的特征而不是通用的驾驶能力。这个教训对具身智能尤其重要。具身智能涉及的物理交互比自动驾驶更复杂——手要接触物体有摩擦力、形变、重心变化这些物理属性在仿真环境里很难精确建模。市面上已经有一些具身智能仿真平台比如带物理引擎的操作环境但物理真实感仍然差得远。我的观点是合成数据可以作为预训练或数据增强的手段但不能作为主力数据。主力数据必须是真实物理环境里采集并验证过的数据。另外值得关注的一个技术方向是NeRF和3DGS3D高斯泼溅在新视角合成中的应用。自动驾驶行业已经开始用神经辐射场重建场景然后从任意视角生成新的训练图像。具身智能可以借用类似思路——对真实物体做3D重建然后在这个重建模型上自动生成不同视角和光照下的操作场景相当于把有限的真实数据复制成更多样的版本。这类数据增强方法比纯仿真的数据更接近真实分布。3.3 具身智能在标注上的特殊性具身智能的标注有一个自动驾驶没有的维度动作语义。自动驾驶的标注对象是静态环境中的物体属性标注目标相对清晰。具身智能的标注对象包含动作意图操作策略任务分解这些是高度主观的。拿一个简单任务倒水来说一条遥操作轨迹里包含了机械臂末端的位置序列、速度、加速度、力传感器的读数、水壶的倾斜角度变化。标注的时候需要标注的是什么时候开始倾斜倾斜的目标位置是什么动作结束的判断标准是什么。不同标注员对这些边界问题的判断会有差异这导致标注一致性问题很突出。解决这个问题的经验是标准化自动化。标准化指的是制定标注规范文档把常见任务的动作边界定义清楚自动化指的是尽量用自动标注工具替代人工标注。比如可以用已有的视觉模型自动识别物体的位置和状态机械臂的位姿本来就有编码器数据不需要人工标注需要人工介入的只是高级语义部分任务成功与否、失败原因、动作意图。还有一个问题是人类演示数据_quality_的方差。同一个任务不同演示者操作习惯差别很大。有的人开场前先调整一下物体位置有的人直接抓取有的动作流畅有的动作犹豫。这个方差对训练的影响很大。自动驾驶行业的经验是制定数据质量评分体系对采集到的数据做质量分级低质量数据宁可不要。具身智能也应该建立类似机制建议从三个维度打分任务完成度、动作流畅性、关键过程完备性。4. 评测基准与数据质量自动驾驶留下的关键遗产如果只允许我选一个自动驾驶留给具身智能最重要的经验我会选评测体系。4.1 评测基准的重要性自动驾驶行业有一个看似简单但影响深远的设计公开数据集及其评测基准。KITTI、Cityscapes、NuScenes、Waymo Open Dataset每年都有大量论文在这些基准上刷分。这个机制的价值不在于数据集本身而在于它给了全行业一个可量化的标尺。模型好不好跑一遍评测就知道新方法有没有进步看分数就知道。有了标尺之后行业的进步速度会突然加速。因为研究者可以清楚地知道自己的方法处在什么位置也知道下一步应该朝哪个方向改进。现在看具身智能领域恰恰缺这样一把公认的标尺。目前有一些公开数据集如HumanML3D、RLBench、GraspNet但任务定义不统一、评测方式不一致不同论文之间的结果难以横向对比。这导致一个很尴尬的局面很多论文宣称自己方法效果好但换了任务和场景效果就大打折扣因为整个领域缺少一套标准化的评测协议。我最近看到具身智能xbotics开源社区在推动统一的数据格式和评测接口这是一个好兆头。但没有公开的、有影响力的benchmark之前每个团队自说自话的评测结果很难让行业信服。4.2 数据质量的度量方式评测基准解决的是模型能力的问题数据质量度量解决的是数据是否有效的问题。自动驾驶行业在长期实践中总结出一套数据质量度量维度包括完整性、一致性、多样性、时效性。这四个维度在具身智能数据管理上同样适用但内涵需要调整。完整性一条轨迹数据是否包含了完成任务所需的全部信息。自动驾驶要求连续帧完整覆盖场景变化具身智能要求轨迹里包含必要的传感模态——视觉、关节角度、末端力觉。如果一条轨迹只有视频没有力传感器数据那么涉及力控的任务就无法从这条数据中学习。一致性标注和数据的对应关系是否准确。包括动作标签是否准确、场景属性和真实情况是否一致。多样性数据是否覆盖了足够的任务、物体、环境变化。在自动驾驶里多样性体现在天气、道路类型、交通状况在具身智能里多样性体现在操作任务类别、物体形态、环境布局、初始条件变化。时效性数据反映的信息是否仍然有效。自动驾驶的高精地图需要定期更新具身智能的物体模型也需要匹配真实环境的变化。一个针对旧版物体模型采集的数据集用到新环境里可能效果很差。我建议具身智能团队在数据建设初期就把这三个度量维度落地成可量化的指标定期生成数据质量报告。数据质量报告的价值在于它的输出能直接指导下一轮数据采集的优先级而不是等问题在模型推理阶段暴露出来再去排查。5. 合规、隐私与安全容易被忽视的地基数据体系里最容易被低估的部分是合规和隐私。自动驾驶在这方面付出了不小的代价也积累了很多经验。具身智能的数据涉及人类日常生活场景合规风险其实比自动驾驶更高。5.1 自动驾驶踩过的合规坑自动驾驶数据合规的核心是公共道路数据的处理。车辆在道路上行驶不可避免地拍摄到行人、车牌、路边建筑等个人信息和敏感信息。各国都出台了对应法规比如个人隐私保护方面的要求在数据采集、存储、传输、使用各环节都有明确限制。自动驾驶行业的成熟做法包括数据脱敏处理车牌、人脸自动模糊化、数据分级存储原始数据与脱敏数据分离、最小化采集只采集和算法训练相关的数据、用户授权机制采集前获得明确同意。这些做法对具身智能的直接参考价值在于具身智能的数据采集场景从公共道路转移到了家庭、工厂、办公室等场所这些场景的隐私敏感性只高不低。家庭环境里可能拍到人脸、儿童、私人物品、家庭布局这些信息比道路上的行人信息更敏感。如果不提前建立合规体系后期数据规模一旦做大清理和改造的成本会非常高昂。5.2 具身智能数据合规的四个高危点根据我的观察具身智能团队在数据合规上普遍缺乏准备。有四个高危点需要特别注意第一个是采集环境的第三方人员授权。很多团队在实验室采集数据实验室里有其他同事走动、说话这些人的肖像和声音可能被无意中录进数据。要建立采集区域需清场知情同意的基本流程。第二个是数据跨境传输。部分团队会使用海外云存储或和海外机构合作这就涉及数据出境合规问题。建议一开始就把数据存储和处理放在合规的区域避免后期搬迁。第三个是数据投毒与安全。具身智能的数据集里如果被混入恶意样本可能导致机器人在真实环境中出现危险操作。数据溯源和完整性校验机制需要提前设计。第四个是合成数据带来的虚拟身份问题。当合成数据被用作训练语料而合成数据中包含了模拟的人类形象这同样涉及肖像权和隐私问题。虽然目前没有明确规定但作为从业者要有这个意识。这四个问题短期内可能不会直接影响模型效果但一旦数据规模够大、业务走向商业化任何一个问题都可能变成致命风险。自动驾驶领域的教训是合规问题最好在数据体系设计的第一天就考虑而不是事后补救。6. 实操经验与踩坑记录给具身智能团队的数据建设建议最后这部分我把自己在相关项目里实际遇到的一些问题整理成清单算是给同行们一个参考。很多问题看起来不起眼但处理不当会浪费大量时间和预算。6.1 数据平台建设中的典型问题第一个高频问题是数据格式不统一。团队里有的同学习惯用ROS bag格式有的用HDF5有的直接用mp4视频加JSON。数据量小的时候无所谓数据量到几十T的时候格式不统一会严重拖累训练 pipeline 的效率。建议尽早制定统一的数据存储格式最好按多模态事件流的思想组织时间戳对齐的视觉流、关节状态流、力传感流。第二个高频问题是时间戳对齐。这个坑几乎每个做多传感器融合的团队都会踩。机器人采集数据时相机帧率、关节编码器频率、力传感器频率是不同的如果不做精确的时间同步训练出来的模型在真实部署时会表现得很不稳定。自动化驾驶行业对这个问题的解决方案是采集端加统一的硬件时钟同步软件层面再做插值对齐。具身智能团队在搭建采集系统时一定不能省掉同步这一步。第三个高频问题是数据版本管理。模型训练用的数据集很可能被反复修改加了新样本、修正了错误标注、换了采样策略。如果不用统一的数据版本管理工具很容易出现模型效果下降但不知道是数据变了还是代码变了的情况。建议把数据集当代码库一样做版本管理每次变更都有明确记录。6.2 模型训练数据策略的优化方向在数据策略上我强烈建议关注三个方向数据增强方法、负样本挖掘、仿真到真实迁移。数据增强方法方面自动驾驶领域已经有一整套成熟方案。随机遮挡、色彩扰动、几何变换、混合增强这些都可能适配到具身智能的视觉输入上。但要注意具身智能的视觉和动作是强绑定的比如机械臂末端的位置信息就不能随便做翻转增强否则物理一致性会被破坏。负样本挖掘方面大多数具身智能团队的训练数据里正样本占比太高导致模型学会的其实是背答案。建议训练数据里至少有15%到20%的失败案例并且在数据组织方式上把失败原因作为条件信息输入模型让模型学会什么情况会导致失败如何提前规避。仿真到真实迁移方面我的建议是以真实数据为主体仿真数据做预训练。先用仿真数据让模型掌握基本的操作语义再用真实数据做微调最后在真实环境做评测根据评测结果决定是否需要补充采集。这条路虽然耗时更长但在当前物理仿真精度下已经是相对可靠的路线。6.3 实际踩过的几个坑我把自己踩过最痛的几个坑列出来希望能帮你绕开。第一个坑是过度清洗数据。早期我们做数据清洗时把看起来不标准的数据全删了比如机械臂刚开始有一点犹豫动作的轨迹、物体初始位置稍微偏一点的轨迹。结果模型训练出来后表现很僵硬遇到略偏离标准的场景就频频失败。后来才意识到那些不标准的数据恰恰是丰富模型泛化能力的关键。数据清洗的目标是去掉错误数据不是去掉多样性。第二个坑是忽视力觉数据。最初我们采集操作数据时只关注了视觉和关节位置没接力传感器。后来做精密操作任务时发现模型在真实机器人上频繁失败机器人都把物体压变形了模型还不知道该停。补上力觉数据后模型的力控能力有了明显提升。力觉是具身智能和自动驾驶数据最大的差异点之一采集系统设计时一定要预留力觉通道。第三个坑是评测指标定义太晚。我们一开始只关注任务成功率这一个指标结果真实世界评测时发现模型偶尔会做出危险动作——比如碰到障碍物时不停止硬推。如果在训练阶段就把安全性指标和规范性指标加入评测体系这种问题大概率可以早期暴露。根据我的经验具身智能的数据体系建设没有捷径但有更聪明的路径。多研究自动驾驶过去十几年的演进过程理解它每一步选择背后的逻辑再结合具身智能自身的特点做适配可以少走很多弯路。尤其是数据闭环评测先行合规前置这三件事越早做越省钱。