Cosmos3-Nano-Sim-Bimanual三大杀手级用途：VLA策略评估、RL训练与免遥操作合成演示数据

人工智能大模型基础模型媒体生成具身智能强化学习【免费下载链接】Cosmos3-Nano-Sim-Bimanual项目地址https://ai.gitcode.com/hf_mirrors/nvidia/Cosmos3-Nano-Sim-Bimanual点击查看免费下载Cosmos3-Nano-Sim-Bimanual是 NVIDIA 推出的开源双臂机器人交互式世界模拟模型给它一张初始图像和一段双臂动作序列它就能生成 480p、30 FPS 的高保真模拟视频让 VLA 策略评估、强化学习训练和免遥操作的合成演示数据生成在纯软件世界里完成大幅降低真机实验成本。 它是什么一个会响应动作的交互世界模型不同于普通文生视频模型Cosmos3-Nano-Sim-Bimanual 是一个动作条件action-conditioned的前向动力学模拟器环境会按你输入的动作演化。它基于 Cosmos3-Nano 基座模型经机器人操作视频 相机导航视频的后训练和因果蒸馏得到16B 可训练参数、Mixture-of-TransformersMoT架构。核心能力一句话概括支持在同一动作序列里交替出现相机运动与机械臂/夹爪操作在开环和闭环模式下都能连续模拟。项目说明架构TransformerMixture-of-Transformers, MoT可训练参数16B支持本体AgiBotagibotworld、AgiBot-GEAR 等 embodiment 域动作空间59 维统一动作normalized_unified_v1含相机位姿、左右腕位姿、指尖、夹爪输出480p 30 FPS 视频MP4 或流式帧推理吞吐GB200 上达 54.1 帧/秒H100 约 32.6 帧/秒推理引擎PyTorch / vLLM-Omni支持 Blackwell 与 Hopper GPU动作布局9D 相机 双腕位姿 指尖 夹爪宽度可在 action_schema.json 中查看模型权重索引见 model.safetensors.index.json。 用途一VLA 策略评估与验证无需真机真实评估一个视觉-语言-动作VLA模型通常要反复跑真机耗时且易损坏设备。用它做闭环评估的回路很简单初始图像 动作输入把场景首帧和政策模型给出的动作序列喂给世界模型生成观测视频模型以小潜帧块chunk自回归地生成后续画面基于缓存的历史和不断输入的新动作回喂策略把生成帧作为视觉观测返回给 VLA 模型让它看着自己动作的后果继续决策——这就是闭环closed-loop评估。得益于动作条件生成的高保真度该模型在 AgiBot-World 观测预测基准上的 PSNR 达 14.41 dB、SSIM 0.684超过 DreamDojo 2B/14B 教师模型详见 README.md 中的评测表格。仓库还内置了 60 秒长程开环示例可直接用这份清单跑通sim_bimanual_agibot_long60_hf.jsonl。更多推理清单与运行参数examples/inference/README.md包括混合相机/机器人动作路由的 sim_bimanual_mixed_action_hf.jsonl 和统一动作域的 sim_bimanual_unifiedv1_hf.jsonl。️ 用途二强化学习RL训练的高效环境RL 训练策略的最大瓶颈是环境交互成本。把 Cosmos3-Nano-Sim-Bimanual 当作可交互模拟环境策略每次输出动作都能立刻看到画面后果形成密集的仿真交互循环免真机损耗夹爪抓取、双臂协作等高风险动作可以无限次试错高吞吐交互单卡推理可达 30 帧/秒接近实时交互节奏支持相机视角切换训练时混合导航动作可提升策略对视角变化的鲁棒性可适配新本体官方说明支持在用户自有数据上继续后训练把模拟器适配到不同的机器人本体与臂构型。模型以forward_dynamics前向动力学模式提供服务输入当前观测 动作输出下一段观测天然契合 RL 环境接口。 用途三免遥操作合成演示数据遥操作人握着动捕/外骨骼示教是高质量机器人数据最昂贵的来源。该模型的亮点正是控制输入可以由策略模型直接供给无需人工遥操作即可批量生成演示数据。工作流程准备初始图像支持 JPG/PNG/WebP与文本场景描述可选让 VLA 模型或世界-动作模型world-action model持续输出 59 维归一化动作世界模型逐块生成视频同时把新帧回传作为策略的观测输出的 MP4 视频与动作序列天然对齐可直接作为演示/微调语料。仓库提供了完整的训练数据集成样例与校验清单包括 3 组初始图像、动作旁车和 901 帧 GT 视频以及可被原生 dataloader 消费的原始记录包配合 SHA256SUMS 校验完整性训练样例说明examples/training/README.md配对清单sim_bimanual_agibot_examples.jsonl 快速上手一条命令起服务在装有 NVIDIA GPU如 GB200/H100和 Docker 的 Linux 主机上用 vLLM-Omni 拉起服务即可固定四步采样器docker run --runtime nvidia --gpus all --ipchost \ -v ~/.cache/huggingface:/root/.cache/huggingface \ -p 127.0.0.1:8000:8000 \ vllm/vllm-omni:cosmos3 \ vllm serve nvidia/Cosmos3-Nano-Sim-Bimanual \ --omni --model-class-name Cosmos3NanoSimBimanualPipeline \ --deploy-config /app/vllm-omni/vllm_omni/deploy/cosmos3_nano_sim_bimanual_windowed.yaml \ --no-guardrails --host 0.0.0.0 --port 8000之后向/v1/videos/sync接口提交初始图像 动作 JSON 即可同步拿回 MP4。一个现成的混合动作示例动作文件是 agibot_mixed_028_normalized_mixed_action.json900 步、59 维对应 901 帧输出。完整客户端流程见 README.md 的 Quick Start 章节。 仓库关键资料索引路径内容config.json / model_index.json模型总配置与模块索引transformer/16B MoT 主干权重分片 safetensorsvae/视频 VAE 编解码器text_tokenizer/文本分词器cosmos3_nano_sim_bimanual_action_sources/59D 统一动作空间契约与归一化配置examples/inference/开环推理清单unified / mixed / long60examples/training/训练数据打包样例与校验文件 小结如果你需要一个免真机、可闭环、能批量造数据的双臂操作世界模拟器Cosmos3-Nano-Sim-Bimanual 用动作进、视频出的交互生成能力把 VLA 策略评估、RL 训练和免遥操作演示数据生成这三件最烧钱的事统一到一个模型里是目前 Physical AI 工具链中非常值得上手的一块基础设施。赞分享人工智能大模型基础模型媒体生成具身智能强化学习【免费下载链接】Cosmos3-Nano-Sim-Bimanual项目地址https://ai.gitcode.com/hf_mirrors/nvidia/Cosmos3-Nano-Sim-Bimanual点击查看免费下载相关推荐Cosmos3-Nano-Sim-Bimanual快速上手3步生成双臂操作视频的完整教程免遥操作Cosmos3 Nano Sim Bimanual快速上手3步生成双臂操作视频的完整教程免遥操作 Cosmos3 Nano Sim Bimanual 是人工智能大模型基础模型媒体生成具身智能强化学习如何用Cosmos3-Nano-Sim-Bimanual搭建闭环机器人策略评估流水线从VLA模型到视频观测如何用Cosmos3 Nano Sim Bimanual搭建闭环机器人策略评估流水线从VLA模型到视频观测 Cosmos3 Nano Sim Bimanual人工智能大模型基础模型媒体生成具身智能强化学习379条真实1895条合成演示Cosmos3-Nano-LIBERO10-SDG-Export-S5_2如何用Sim-Transfer重风格数据训练机器人策略379条真实1895条合成演示Cosmos3 Nano LIBERO10 SDG Export S5_2如何用Sim Transfer重风格数据训练机器人策人工智能大模型微调具身智能上一篇百度网盘Mac版终极破解方案免费解锁SVIP高速下载体验下一篇如何在VS Code中快速搭建现代Fortran开发环境3个核心技巧创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考