论文笔记：FAST：Efficient Action Tokenization for Vision-Language-Action Models

论文笔记FASTEfficient Action Tokenization for Vision-Language-Action Models背景视觉-语言-动作模型VLA的常见做法是把连续的机器人动作切成离散 token然后像写文本一样用自回归 Transformer 逐个吐出来。RT-2、RT-2-X、OpenVLA 都属于这一类其中 OpenVLA 沿用 RT-2 的做法把 7 维动作的每一维独立分成 256 个 bin逐时间步展开成 token 序列。这套方案的好处是工程上极其顺滑——动作 token 直接复用 VLM 已有的词表和自回归解码器不用改动任何模型结构。但它有一个被长期忽视的前提它只在低频数据上好用。论文给出了一个很有说服力的旁证OpenVLA 在低频的 BridgeV2、RT-1 数据上表现良好却一直难以拟合高频的 DROID 数据集。问题出在信号本身——对一个平滑的动作信号控制频率从 5 Hz 提到 50 Hz时间步之间的位移就缩小了 10 倍于是相邻动作 token 几乎相同。自回归模型的训练信号恰恰正比于当前 token 给定前缀后的边际信息量I ( T i ∣ T 1 : i − 1 ) I(T_i \mid T_{1:i-1})I(Ti​∣T1:i−1​)。在高频动作上这个量趋近于零模型很快学会抄上一个 token这个平凡映射损失照样下降但学不到任何东西。论文用一个合成实验把这条因果链坐实了Fig. 3让模型预测过四个随机点的三次样条插值把采样率从 25 提到 800分 bin 方案的 MSE 陡增最终退化成照抄第一个动作而数据分布本身复杂度完全没变。论文链接arXiv:2501.09747Pertsch 等Physical Intelligence / UC Berkeley / Stanford中心思想FASTFrequency-space Action Sequence Tokenization的出发点不是把 token 数压下来而是上面那条因果链机器人动作信号必须先压缩才能压低相邻 token 的冗余、把每个 token 的边际信息量抬起来。一旦每个 token 都携带真实的新信息下一个 token 预测这个目标才重新变得有信息量自回归 VLA 才终于能在灵巧、高频任务上被正常训练起来。这条思路有清晰的学科来源文本领域用 BPE 压缩图像领域用 DCT 压缩JPEG语音领域用频谱图或向量量化——动作本身就是一条时序信号应该按信号压缩的方式去处理。FAST 把 DCT 搬到动作上再用 BPE 把稀疏的频域系数压成稠密的 token 流。一个必须澄清的认知token 数减少是结果不是目的。论文里最硬的证据其实来自训练侧——π0-FAST 训练 GPU 小时数比扩散版 π0 少 5×而在推理侧自回归解码反而比扩散更慢详见「特点」。主要方法1. 前提动作分块action chunking策略输出的是动作块a 1 : H a_{1:H}a1:H​——连续H HH步、∣ A ∣ |\mathcal{A}|∣A∣维的动作序列而不是单步动作这能保证时间一致性并抑制复合误差。需要强调的是动作分块是既有的做法RT-H、Diffusion Policy、π0 等不是 FAST 的贡献FAST 要解决的是怎么把这一整块动作高效地变成 token。朴素方案即分 bin 离散化对H HH步、∣ A ∣ |\mathcal{A}|∣A∣维动作逐元素分箱后展平T a ( a 1 : H ) [ T 1 , 1 , … , T 1 , D , … , T H , 1 , … , T H , D ] \mathcal{T}_a(a_{1:H}) [T_{1,1}, \dots, T_{1,D}, \dots, T_{H,1}, \dots, T_{H,D}]Ta​(a1:H​)[T1,1​,…,T1,D​,…,TH,1​,…,TH,D​]用N 256 N256N256个 bin 时一个动作块的 token 数就是H × ∣ A ∣ H \times |\mathcal{A}|H×∣A∣——50 Hz、14 维的双臂折衣服任务直接变成700 个 token训练和推理都不可接受。2. FAST 编解码流水线论文的完整流程见 Algorithm 1四步全部可逆① 归一化。对每个动作维度取训练集第 1 与第 99 分位数映射到[ − 1 , 1 ] [-1, 1][−1,1]。用分位数而非 min-max是为了对大规模数据集中偶发的异常动作鲁棒同时也方便跨本体、不同动作量纲的数据集统一处理。② DCT。对每个动作维度沿时间轴单独做一维 DCTC D C T ( a 1 : H ) C \mathrm{DCT}(a_{1:H})CDCT(a1:H​)低频系数刻画信号的整体形状高频系数对应尖锐的跳变。由于真实动作信号平滑绝大多数能量集中在少数低频系数上。DCT 是解析变换相比 VQ 类学习式压缩实现简单、计算极快、超参极少。③ 量化——注意不是非均匀量化。论文用的是对所有系数统一的 scale-and-roundC ˉ r o u n d ( γ ⋅ C ) , γ 10 \bar{C} \mathrm{round}(\gamma \cdot C), \quad \gamma 10Cˉround(γ⋅C),γ10本质上是把量化步长定为1 / γ 1/\gamma1/γγ 10 \gamma10γ10时步长为 0.1绝对值小于 0.05 的系数就被四舍五入归零。因此γ \gammaγ越大 → 步长越细 → 保真度越高但压缩率越低反之则压得更狠。它是压缩率与重建保真度之间的唯一旋钮论文实测不敏感所有单数据集实验统一取γ 10 \gamma10γ10。④ 展平 BPE。量化后得到一个∣ A ∣ × H |A| \times H∣A∣×H的稀疏系数矩阵大部分元素是 0。展平策略有两种column-first每一列 同一动作维度的低频系数排在一起各维度的低频分量先出或 row-first整行 单个动作维度的全部分量。论文选前者因为先预测刻画整体形状的低频分量能让策略 rollout 更稳定。BPE 把整条整数序列当作字节训练码本反复合并最高频的符号对把零值和跨维度的常见系数组合压成定长码表中的 sub-token。选 BPE 而不是 Huffman 或 Lempel-Ziv是因为只有 BPE 能给出固定大小的输出词表便于直接嫁接进 VLM 现有词表。作者也承认这里存在替换空间。⑤ 解码推理时token → BPE 解码 → 反量化 → 逆 DCT → 还原a 1 : H a_{1:H}a1:H​。全流程可逆论文称解码很快。整个 tokenizer 只有两个超参舍入尺度γ \gammaγ和 BPE 词表大小统一取 1024。3. Token 压缩率论文在同等重建精度下与朴素分 bin 对比Table I全部为 1 秒动作块数据集动作维度控制频率朴素平均 tokenFAST 平均 token压缩比BridgeV275 Hz35201.75×DROID715 Hz105293.6×Bussing720 Hz140285.0×Shirt Fold1450 Hz7005313.2×更有意思的是第二层发现FAST 在所有域上都稳定产出约 30 个 token / 每臂 / 每块双臂 60。压缩比随频率升高而增大说明它去除的确实是冗余而绝对 token 数几乎与数据频率无关说明FAST 找到的表征长度近似反映了动作信号本身的复杂度。4. FAST通用动作 tokenizerFAST 唯一需要学习的组件是 BPE 码本换数据集要重训通常只要几分钟但确实增加了使用摩擦。为解决这个问题作者在约100 万条真实 1 秒动作块上训练了一个通用 tokenizerFAST覆盖单臂、双臂、移动机器人关节与末端执行器两类动作空间以及各种控制频率。FAST 以黑盒形式直接用于任意机器人动作块实测在训练时完全未见过的数据集上涵盖灵巧手、人形、移动操作、UMI 等压缩率仍达 2×多项更高用它训练策略性能与逐数据集训练的 FAST tokenizer 紧咬图 6可作为强默认选项。官方以 HuggingFaceAutoProcessor发布三行代码即可调用并提供tokenizer.fit(action_dataset)在自有数据上快速重训。特点优缺点优点诊断准确方案对症。把高频动作训不动归因到 token 间冗余导致的边际信息量坍塌并用合成插值实验Fig. 3干净地隔离出 tokenization 这一个变量——这比单纯调超参有价值得多。压缩率随频率收益递增。5 Hz 上 1.75×50 Hz 上 13.2×恰好打在使用朴素分 bin 最吃力的区间。全解析、无额外网络。只有两个不敏感的超参作为对比FSQVQ-VAE 的简化版虽是同类压缩思路但需要训练编码网络且重建质量对结构与超参敏感。实验显示FAST 训练出的策略优于 FSQ且在灵巧真实机器人任务上差距更明显却简单得多、无需独立网络。与 backbone 正交。改造成 OpenVLAPrismatic-7B FAST 后它在 T-shirt folding 上从训不动变为能训说明可直接套到任何预训练自回归 VLA 上不需要改模型结构。真正打开了新任务域。首个能在 DROID 上训出强 generalist 策略、并在完全未见环境新桌面、新背景、新物体、新视角、新桌高中零样本泛化的自回归 VLA——同一个 checkpoint 还能跨三所大学校园稳定工作甚至不需要任何 co-training 或微调。BPE 消融也显示去掉 BPE 后策略变差但仍优于朴素分 bin原因是大量重复的 0 token 稀释了学习信号并拖慢推理。工程细节考虑周到词表集成方式是覆盖 VLM 中最少被使用的 token本体感受proprioceptive状态作为输入仍沿用 256 分 bin——论文明确指出简单分 bin 对输入信号足够需要精细 tokenization 的是动作输出。缺点推理反而更慢这是本文的诚实短板。在 RTX 4090 上扩散版 π0 预测 1 秒动作块约100 ms而 π0-FAST 需要约750 ms——原因有二自回归要解 30–60 个 token扩散只要 10 步且要动用完整的2B 参数语言模型骨干而扩散版只用300M 参数的 action expert。论文坦承这没影响其在静态操作任务上的性能但评测效率显著下降对动态场景是否可接受作者留给未来工作推测解码、量化、定制 kernel 等 LLM 侧加速手段。有损压缩重建误差由γ \gammaγ控制——但方向常被搞反。论文诚实指出压缩并非无损。关键在于注意γ \gammaγ的方向γ \gammaγ越大量化步长越细压缩率越低而保真度越高想压得更狠就得调小γ \gammaγ代价是高频细节先丢。此外还有一条常见误解需要纠正高频精细化任务上传统分 bin 比 FAST 更强是不成立的。附录 B 明确指出 FAST 在低保真度下不如 VQ 类 tokenizer但在更高重建保真度上扩展性好得多因此更适合精细控制问题——在高频精细化场景恰恰是 FAST 的强项区FAST 的策略性能全面压过朴素分 binTable Bussing 20 Hz、T-Shirt Folding 50 Hz 上朴素分 bin 完全训不动。γ \gammaγ与保真度的定量关系缺失。把γ \gammaγ调到极小以追求压缩比高频系数会被整体抹平突变时刻的精细控制会丢失论文把这条压缩-重建权衡曲线放在附录 Fig. 12横轴输出 token 数、纵轴 Reconstruction Error正文未给出任何定量建议使用者需自行标定。BPE 码本仍是唯一的学习组件。FAST 大幅缓解但没有消除这个问题新机器人形态或分布差异极大的数据仍可能需要fit()重训。论文也坦承 FAST 在灵巧手、人形、移动机器人等形态上只验证了离线压缩能力尚未验证真实策略性能。收益高度依赖任务频率。在 5 Hz 的 BridgeV2 上只有 1.75×对以低频为主的场景大量桌面抓放类任务收益有限方法价值主要在高频灵巧操作。重建误差没有给出可落地的数值。这是最需要补充的信息Table I 的压缩比是在同等重建精度下测的但这个精度本身没有以动作空间的物理量弧度、厘米给出附录 Fig. 12 也只是把Reconstruction Error对输出 token 数画成曲线三种方法FAST / 朴素分 bin / FSQ在同一条曲线上扫。论文从未直接回答某个γ \gammaγ下末端位姿误差是多少因此对精度敏感的抓取、插拔类任务使用者仍必须自己做一遍重建误差标定这一步的工程成本被论文低估了。与蒸馏的兼容性未被讨论。FAST 改变了动作 token 表示与词表如果要用教师信号做蒸馏师生输出空间必须同构才能对齐 logits——这是实践中的真实约束但论文通篇未涉及 KD/蒸馏场景。先验设计带来路径依赖column-first 展平、先预测低频分量被论文定为更优解但这是在其评测集上经验选出的未做系统性理论分析。一句话总结FAST 的贡献不是把动作 token 变短而是证明了动作 tokenization 的质量直接决定自回归 VLA 能否学到东西DCT BPE 这条轻量压缩路径把高频灵巧操作从完全训不动变成了可行区间代价是推理延迟从 100 ms 涨到 750 ms。