【VLN】NavGPT-3分层导航运行时

一句话定位用Harness 类 OS 运行时把「慢而强的 LLM Planner」接到「快而专的 NavGPT VLA」上工具管空间上下文与路线修补Motion Authority 管谁能动完整系统在 R2R-CE 达81.51 SRRxR-CE 首次逼近人类跟随者90.43 vs 90.4 SR。关键词系统NavGPT-3 · Agent Harness · Motion Authority · RSI Harness策略NavGPT VLA · Codec Allocation · 航点预测范式对照双系统 VLN · Hierarchical VLN · HarnessVLN · Qwen-RobotNav任务 / 指标VLN · VLN-CE · R2R · ObjectNav · SR · SPL · nDTW · OSR · NE · Visual Grounding1. 背景概念术语白话VLN听自然语言路线说明边看相机边走到终点VLN-CE连续环境里走不是只在离散拓扑图上跳节点Planner强推理 LLM想路线、调工具、决定何时结束VLA 策略看图指令高频出局部航点像「司机」Harness模型外面的缰绳看见什么、能调什么、状态怎么留Motion Authority方向盘归属谁此刻可以发任务运动Codec Allocation视觉 token 预算按「画面变了多少」分配技术线Agentic VLNNavGPT / MapGPT× 导航 VLAQwen-RobotNav、InternVLA-N1× harness 工程NavGPT-3 主张接口与运行时才是把前沿 LLM 接到物理控制的关键。2. 论文在干什么问题LLM 经长程 agentic RL 后「想得明白」但决策周期是3–19 s/次世界不会停。小 VLA「走得快」但长指令会漂需要把执行证据交回 Planner 检查、回退、修补。已有分层系统多是「规划 → 子目标 → 控制器」缺少异步线程 运动权限 可检查的委派回执。生活类比导航 App 想路线很慢司机要实时躲人需要调度台决定谁握方向盘、谁旁路可以急停以及司机开完一段要把「沿途照片」交回重新规划。设定任务R2R-CE / RxR-CE Val-Unseen迁移 ObjectNav、具身问答Go2 真机输入指令 RGB仿真四视图真机前视 harness 状态/地图输出工具调用或 VLA 航点 → 连续运动仅 Planner 可正式结束任务贡献作者侧完整导航 harness OS-like runtime线程、权限、打断NavGPT VLA~19.28M 混合数据 codec 视觉分配基准 SOTA / 人类水平 RxR-CEharness 与 Planner–VLA 交互消融3. 核心创新点系统级接两个异质模型而不是再训一个「既慢又快」的单体Planner 可全程自己走也可委派 VLA回执含关键帧、端点全景、观测地图、编号地点 → 可检查、可回退、可局部修。OS-like Runtime推理 / 执行 / 监控异步 Motion Authority审查可与执行重叠安全监控可不经 LLM 确认就收回运动权Go2急停延迟大降。Harness 用 RSI 搜出来开发期树搜索Think→Critic→Experiment→Distill→Reflect不改模型权重在 100 条训练子集上用 SR 选接口。曲线基础 66% → VLA 76% → 空间工具 ~81% SR。NavGPT VLAcodec 按场景变化分视觉 token 通才混合数据相对纯位置式分配数据覆盖指令跟随 / 点目标 / 物体目标 / 跟踪 / 户外驾驶 grounding。4. 方法细节4.1 Harness上下文、工具、回执Planner 在 harness 给出的上下文C k C_kCk​与许可工具集T k \mathcal{T}_kTk​下选动作a k ∼ π P l a n n e r ( ⋅ ∣ C k , T k ) a_k \sim \pi_{\mathrm{Planner}}(\cdot \mid C_k, \mathcal{T}_k)ak​∼πPlanner​(⋅∣Ck​,Tk​)工具四组Table 4组代表工具作用白话Basicobserve_*/navigate_relative/terminate_episode看、挪一小步、正式结束VLAnavigate_by_instruction把指令或剩余段交给 VLA 跑一段回关键帧与状态Mapobserve_map已观测区域俯视图 访问顺序编号Backtracknavigate_to_node/annotate_node回到编号地点、贴语义标签VLA 停下只结束这一次委派整集是否成功结束必须 Planner 调terminate_episode。4.2 Runtime线程与运动权限线程各有上下文、工具、权限更新周期可以不同。前景线程f ℓ f_\ellfℓ​持有 Motion Authority事件e ℓ e_\elleℓ​审查请求 / 安全打断经优先级规则σ \sigmaσ转移或收回权限。典型模式A执行中背景审查 → 打断 → 工具修补 → VLA 续跑B安全监控立刻撤权推理可继续恢复需新状态授权。4.3 NavGPT VLA骨干Qwen3-VL-Instruct MLP每步预测 8 航点( x , y , θ ) (x,y,\theta)(x,y,θ)只执行第一个。Codec AllocationI/P 帧直觉 位置权重预算紧张时把 token 挪到变化大的视图。数据约19.28Meffective records/epoch动作回归 ~65.6%NTP ~34.4%含大量 grounding。损失导航样本航点 MSE 非导航样本 next-token二者单位权重。4.4 与相近工作对照系统像什么和本文差在哪InternVLA-N1 / DualVLN慢计划 快执行常共训/共享表征NavGPT-3 更强调外置 harness 运动权限 强通用 LLMHarnessVLN零样本 MLLM 证据闸门 ST Graph本文自带强训 VLA并用执行回执做路线修订Qwen-RobotNav航点 VLA agentic 接口本文 codec 分配 完整 runtime/权限完整系统数字更高5. 整体框架Mermaid工具:观察/地图/回退/终止委派 navigate_by_instruction8 航点取第1关键帧/地图/编号点撤/授 Motion Authority语言指令Harness 上下文与工具RGB 观测LLM Planner环境或真机NavGPT VLACodec 视觉分配安全监控Runtime 调度MonitorVLARuntimePlannerMonitorVLARuntimePlanner审查可与执行重叠委派指令执行授予运动权限高频航点循环背景审查路线危险 → 立刻撤权停任务运动回退/修补/再委派或 terminate6. 实验与结论主结果Val-Unseen模型分工GPT-6 Astra / Claude Opus 5 闭源 Planner想路线、调工具不是开源导航模型。NavGPT VLA 4B/8B 作者训的执行策略承诺开源。完整 SOTA 行 两者 Harness。系统R2R-CE SRRxR-CE SRRxR nDTWNavGPT VLA 8B仅策略74.5178.1974.85NavGPT-3 Opus 579.0184.8075.09NavGPT-3 GPT-6 Astra81.5190.4378.47人类跟随者RxR 英文—90.477.7完整系统相对纯 VLAR2R 7 SRRxR 提升更大长指令更吃「回看与修补」。反应时间无 VLA 时约3–19 s/LLM 决策有 VLA 时约0.5–1 s/步表中 8B 均值 ~0.78 s。消融要点Map Backtrack大幅抬高纯 LLM 导航并降 token工具质量定上限。VLA 是否抬 SR取决于 PlannerOpus 受益明显Astra alone 已很强时 VLA 主要换反应时间与成本结构。检查频率每 16 VLA 步检查一次可抬 SR但 token 从 ~179k → ~2.3M/集——更适合事件触发审查。数据 参数混合数据从 1.7M→19.28M 的增益大于 4B→8B。Go2推理与优先监控重叠SR 73.3→83.3p95 急停 1840→180 ms。局限强依赖前沿闭源 Planner scaffoldCodex / Claude Code复现成本高。仿真 runtime 简化 vs 真机完整抢占不一致。频繁审查极贵默认配置与「最准配置」有成本鸿沟。要点总结瓶颈常在具身接口harness 权限不只在更大 VLAPlanner 保留任务终止权VLA 停止 ≠ 任务完成Codec 分配 变化大的画面多分 tokenRxR-CE 人类水平靠「委派执行 可检查回执 回退修补」堆出来开放问题开源后 Planner 换成开源模型SR 掉多少Motion Authority 与现有 BT / 运控仲裁如何一一映射Codec 分配在单目前视真机上的增益是否仍显著参考NavGPT-3