机器人 · Robotics

Test-Time Scaling for World Action Models via Zero-Shot Geometric Verification

Gated GeoBoN:用几何一致性、训练无关地挑选机器人的动作 rollout
Zesen Zhao, Minkyoung Cho, Hui Shen, Boyuan Zheng, Kunxiao Gao, Yulong Cao, Z. Morley Mao · University of Michigan, NVIDIA

机器人控制的 test-time scaling 有个特殊之处:必须在执行动作之前就判断额外算力值不值得花。World Action Model(WAM)天然给出了这个判断依据——每次 rollout 同时吐出一段 action chunk 和它预测的未来观测。本文提出 Gated GeoBoN:一个训练无关的选择式 test-time scaling 框架,用冻结的几何基础模型给候选 rollout 打「跨视角深度重投影一致性」的分,并只在初始 rollout 看起来内部不一致时才触发额外采样。

Benchmark: RoboCasa / LIBERO Long / RoboTwin 2.0 训练无关 · 无需 task label 📄 arXiv:2607.17454 PDF
World Action Modeltest-time scalingBest-of-N机器人操作cross-view depth consistencyoptical flowVGGT geometry modelaction–future gate训练无关选择器RoboCasa / LIBERO

01 Motivation

Test-time scaling 在语言/推理模型上已经很成熟:多花算力(如 Best-of-N 采样 + 打分选择)就能换来更好的结果。但机器人控制是闭环、实时的——你不能把每一步都放大到 N 个候选再慢慢挑,既拖慢频率、又不是每一步都值得。真正的问题是:在真正下发动作之前,怎么零成本地判断这一步该不该多花算力,以及多个候选里哪个更靠谱?

“robot control requires deciding whether extra compute is useful before executing an action. World Action Models (WAMs) make this decision natural: each rollout exposes both an action chunk and predicted future observations.”

作者的关键洞察是:WAM 的 rollout 除了动作,还会预测这段动作将导致的未来画面。这就给了一个免费的自检信号——预测的未来是否在几何上/运动上自洽,可以在不知道任务是否成功、不用任何 task label 的前提下,反过来评估这次决策靠不靠谱。

Gated GeoBoN overview
Figure 1. action–future gate 先判断初始 WAM rollout 是否足够可靠、能否直接执行;一旦触发,GeoBoN 才额外采样多个 rollout,并选出「跨视角深度重投影不一致性」最低的那个候选。
66.3→68.4%RoboCasa 组均值 (Cosmos Policy, N=8)
80.8→82.5%RoboCasa 组均值 (X-WAM, N=8)
74.8%门控后仍保留的 always-on 增益
26.2%仅在此比例的决策点触发额外采样

02 Method

整套方法完全训练无关(training-free),分两层:先用 GeoBoN 做固定预算的 Best-of-N 几何选择;再套一层轻量的 action–future consistency gate,把 GeoBoN 从「always-on」变成「按需触发」,即 Gated GeoBoN

GeoBoN:跨视角深度重投影一致性打分

WAM 采样出 N 个 rollout,每个都带有预测的未来多视角观测。GeoBoN 用一个冻结的几何基础模型 VGGT-Ω 给每个候选打分:把 wrist-view 的 3D 点投影进 primary camera 视角,再和该视角直接预测的深度做对比,累计对数深度比的绝对偏差作为「不一致性」:

edepthi) = (1/|Ωi|) Σ | log( dproj(p) / dvggt(p) ) | ,在有效像素上求平均。

不一致性越低,说明预测的未来在跨视角几何上越自洽,越可能对应一次靠谱的动作。GeoBoN 直接选不一致性最低的候选——整个打分无需任务标签

Action–Future Gate:只在需要时才多花算力

门控用光流校验「动作」与「预测未来画面」是否一致:在 primary-view 的当前帧与预测帧之间算 dense optical flow,同时用 forward kinematics 把末端执行器位置投影到画面,得到「动作应产生的视觉运动」。对每条手臂计算二者的 cosine agreement:

“the cosine agreement between predicted visual motion and projected action motion.”

当 cosine agreement cl,r < τgate(阈值 −0.2)时判定为「内部不一致」,才触发 GeoBoN 采样;实现上还配有 1 cm 的 idle 阈值和投影轨迹周围 30-pixel 的 capsule 区域来过滤噪声。绝大多数决策点的初始 rollout 已足够可靠,因此门控把额外算力精准地集中在少数「可疑」步上。

03 Experiments

RoboCasa、LIBERO Long、RoboTwin 2.0 三个 benchmark 上、跨 五个 benchmark–backbone 组合评测,backbone 覆盖 Cosmos Policy、X-WAM、LingBotVA、Motus。指标为任务成功率(%),主设置为固定预算 N=8,括号内为 95% 置信区间。

Table 1 · 固定预算 GeoBoN(N=8)在每个设置都提升成功率

Benchmark · BackboneBaselineGeoBoN (N=8)Δ (95% CI)
RoboCasa · Cosmos Policy66.3%68.4%+2.1 [+0.6, +7.3]
RoboCasa · X-WAM80.8%82.5%+1.7 [+0.3, +2.6]
LIBERO Long · Cosmos Policy97.5%99.3%+1.8
LIBERO Long · LingBotVA97.2%98.3%+1.1
RoboTwin 2.0 · Motus87.8%89.9%+2.1 [+0.2, +3.4]

原文原话:fixed-budget GeoBoN “improves N=8 task success in every setting”。

Table 2 · Gated GeoBoN:用 26.2% 的触发拿回 74.8% 的增益

“Gated GeoBoN recovers on average 74.8% of the always-on success gain while triggering additional sampling on only 26.2% of decision points.”

即在 Nmax=8 下,门控只在约四分之一的决策点动用额外采样,却能保留 always-on 版本近四分之三的收益——算力代价与效果之间取得了很好的折中。

Table 3 & 5 · 选择器有效性

离线诊断(error recovery ER)显示 cross-view reprojection 是一个不需任务标签的强选择器:GeoBoN 在 4 个离线设置中的 3 个取得最好的 error recovery,并且是唯一在所有设置下都能把在线闭环成功率提升到 baseline 之上的选择器。与 Cosmos Policy 自带的 value head 相比(同样候选预算、只换选择器),GeoBoN 在 RoboCasa 上高出 +1.3 ~ +2.3 点、在 LIBERO Long 上高出 +0.7 ~ +1.3 点。

04 Limitations

Note: 以下第 1 点为作者明确指出的失败模式(论文有专门分析),第 2、3 点为由方法设计推断(inferred),论文未单列 Limitations 章节。
False low-score selection:N 越大越容易选中「伪一致」离群点(stated)

作者识别出的核心失败模式:候选池越大,Best-of-N 越有机会挑中一个 reprojection error 异常低的虚假离群候选。误选率随 N 上升——“The false low-score selection rate increases from 7% at N=2 to 12% at N=8 and 32% at N=16.” 这解释了为何性能会在 N=16 附近饱和甚至下降(evaluator noise + multiple-comparisons 效应),也是为什么「中等预算 + 选择式触发」优于「always-on 大规模采样」。

false low-score selection rate vs N
Figure 2. false low-score selection rate 随候选预算增大而上升:更大的候选池给了 Best-of-N 更多机会去选中一个 reprojection 异常低的伪一致离群点。
几何自洽 ≠ 任务成功(inferred)

选择器优化的是「跨视角深度一致性」这一代理信号,它与真实任务成功之间存在 gap——当候选之间差异极小时,打分噪声可能主导选择。

representative false low-score selection
Figure 3. 一个代表性误选案例:候选未来在视觉上几乎完全一致,但几何评估器却给其中一个赋予异常低的 reprojection error,于是被 Best-of-N 错误选中。
依赖冻结几何模型与多视角观测(inferred)

方法建立在冻结的 VGGT-Ω 几何基础模型、以及 primary/wrist 多视角观测和相机外参之上;门控还依赖 optical flow 与 forward kinematics 投影。当几何模型预测退化、视角/标定缺失或光流不可靠时,打分与门控信号的质量都会随之下降。