循环上料工业任务挑战：OpenLET具身智能挑战赛task3_loop_feed长时序轨迹训练技巧与避坑清单

循环上料工业任务挑战：OpenLET具身智能挑战赛task3_loop_feed长时序轨迹训练技巧与避坑清单

在 OpenLET 具身智能挑战赛中，task3_loop_feed循环上料任务提供了 500 条 episode、超过 31 万帧的长时序机器人操作数据，是训练循环作业、双臂工业任务策略的核心数据集。本文基于仓库内真实的info.json与stats.json元数据，梳理该数据集的结构、长时序轨迹训练技巧，并给出一份可落地的避坑清单，帮助新手快速上手打榜。

一、task3_loop_feed 数据集速览

循环上料（loop feed）是一个典型的"往复作业"工业场景：机器人机械臂重复执行抓取—移动—放置的循环动作。任务基于kuavo-5w机器人平台，采用 LeRobot v3.0 数据格式。核心规格如下：

具体规格可查阅：

• sim/task3_loop_feed/meta/info.json
• sim/task3_loop_feed/20261015/meta/info.json

💡 注意：两个版本的单集时长差异明显（约 1 分钟 vs 约 2 分钟），20261015 版本更适合直接训练"长时序轨迹"策略。

二、目录结构与关键文件位置

数据、视频、元信息三者分离存储，理解布局是读取数据的第一步：

• 状态/动作数据（parquet）：sim/task3_loop_feed/data/chunk-000/file-000.parquet
• 视频文件（mp4）：sim/task3_loop_feed/videos/observation.images.head_cam_h/与.../observation.images.wrist_cam_r/
• 任务文本：sim/task3_loop_feed/meta/tasks.parquet
• episode 元数据：sim/task3_loop_feed/meta/episodes/chunk-000/file-000.parquet
• 数值统计：sim/task3_loop_feed/meta/stats.json

三、长时序轨迹训练技巧

1. 看清动作与状态的维度差异

action是 21 维，observation.state是 18 维，差值就是底座运动的 3 个维度：

• 前 7 维：右臂关节zarm_r1_link~zarm_r7_link
• 中 11 维：右手right_sg100_1~right_sg100_11
• 后 3 维（仅 action 有）：底座速度vx、vy、vyaw

定义 action space 时漏掉底座三维度，是新手最常见的维度错位来源。stats.json中可以看到vx/vy的取值范围在 ±0.2 量级，且部分版本中vyaw恒为 0，可用这一点反向校验自己的动作解码是否正确。

2. 用 stats.json 做分位数归一化

stats.json提供了每个维度的min/max/mean/std以及q01/q99分位数。对长时序数据，推荐用 q01/q99 而非 min/max 做归一化，可以抑制个别异常帧带来的梯度尖峰，训练曲线会明显更稳。

3. 长 episode 切窗策略

主数据集单集最长约 69.8 秒（按 10 fps 约 700 帧），20261015 版本可达 146.7 秒。训练时建议：

• 以frame_index为基准切固定长度窗口（如 100~200 帧），窗口之间保留重叠；
• 采样权重按 episode 分配，避免长 episode 在批次中占比过高；
• 用timestamp而非"固定步数"计算时间窗口，因为帧率固定为 10 fps，时间语义更清晰。

4. 循环任务的重复段处理

循环上料包含大量周期性重复动作（抓—移—放—回）。建议：

• 按动作阶段切分 episode（例如用action中关节速度的零交叉点粗分段），对"关键段"（抓取、放置）提高采样权重；
• 验证集按episode 级划分，而不是帧级，防止同一 episode 的相邻帧同时出现在训练与验证集中导致分数虚高。

5. 双视角图像融合

本任务只有头视角（head_cam_h）与右腕视角（wrist_cam_r）两路 480×640 视频。远距离定位（料仓、料位）依赖头视角，近距对齐依赖腕视角，建议两路特征分别过视觉编码器后再拼接，避免直接拼通道带来的域偏移。

四、避坑清单

• ⚠️相机数量不是 3 路：task3_loop_feed没有wrist_cam_l（左腕相机），而task1_parts_pick、task2_box_move是三路相机。照搬其他任务的三视角输入配置会直接报错。
• ⚠️视频编码是 av1：info.json中video.codec为av1（yuv420p），解码端需要 av1 支持（如 ffmpeg 编译 libdav1d），默认 h264 管线无法直接读取。
• ⚠️帧率只有 10 fps：对快速抓取动作偏"欠采样"，不要假设 30/60 fps 的时序关系；构建时间窗时以timestamp为准。
• ⚠️两个数据版本分布不同：主数据集（500 集、约 63 秒/集）与 20261015（200 集、约 132 秒/集）的stats.json数值范围不一致，混用时务必各自归一化或重新统计。
• ⚠️splits 只有 train：info.json中splits仅定义了train: "0:500"，没有内置验证/测试划分，需自行按episode_index留出验证集。
• ⚠️parquet 与视频文件分离：一个 100MB 的 parquet 对应约 63 个 episode（主数据集episode_index范围 0~62），视频按相机分目录存放，加载时用info.json里的video_path模板拼接路径，不要靠文件名 glob 猜测。
• ⚠️别把 task_index 当多任务用：本任务total_tasks为 1，task_index恒为 0，不要据此写多任务分支逻辑。

五、快速开始

git clone https://gitcode.com/OpenLET/Embodied-Data-Manipulation-Challenge

克隆后按以下顺序阅读元数据即可快速建立全局认知：

1. sim/task3_loop_feed/meta/info.json —— 规模、特征维度、路径模板
2. sim/task3_loop_feed/meta/stats.json —— 归一化统计
3. sim/task3_loop_feed/data/chunk-000/file-000.parquet —— 抽查 1~2 个 episode 的observation.state与action序列

掌握"维度差异、分位数归一化、episode 级验证"这三点后，你就可以基于 task3_loop_feed 数据搭建循环上料策略，并在持续打榜中验证方案、挑战更高排名了。