Intercepting the Future

01 Motivation

论文开篇引了 Wayne Gretzky 那句话：“I skate to where the puck is going to be, not where it has been.” 这正是当前 VLA 缺的东西——它们只会滑向 puck 刚才在的地方。

“VLAs map the current observation to an action and assume the scene is stationary between observation and execution, so at any non-trivial object speed the resulting latency exceeds the time available to grasp.”

作者指出，之前有两条路线试图补这个缺口，但都没打到点上：

• Reactive policies（ACT、Diffusion Policy，以及并行工作 DynamicVLA、VLA-SH）靠更快的控制回路和架构改动来缩短 perception-to-action loop。但论文的判断是：“as object speed grows, the residual latency consumes a larger fraction of the reaction window regardless of how fast the policy runs.” ——再快也只是把延迟压小，压不到零。
• World model 路线（DreamerV3、Genie、WorldVLA、LaDiWM）学前向动力学并在想象中 rollout，但既有做法「roll the entire scene over a fixed horizon」，且要么在昂贵的 pixel space 里做，要么需要 joint retraining。

于是论文把问题重新表述为三个没被回答的问题：场景里哪些部分需要预测、要预测多远、以及在什么延迟下完成。AHEAD 的三条贡献正好对应——冻结 VLA 的 predict-then-act 外挂；沿空间与时间两个轴的自适应算力分配；以及显式的 kinematic conditioning（把 velocity/acceleration 解析式地在 rollout 步间传播，从而把 world model 从 constant-velocity 扩展到 acceleration regime，“without learning second-order physics from data”）。

Problem Statement 的两条 desiderata

论文把「有效的 predict-then-act loop」拆成两条必须满足的性质：

• Scene-adaptive prediction horizon. 实际 horizon 应该匹配每个场景的可预测性，而不是固定值。线性、低不确定度的运动可以看得很远；chaotic 或 post-collision 的运动只能看很近，再远误差就爆了——所以方法必须暴露某种「per-scene prediction reliability」的信号。
• Real-time execution. 从观测→预测未来→动作的整条链路必须在延迟预算 Δt_max 内完成，因为迟到的预测在送达 action decoder 时已经过期。

Scope（作者自己划的边界）：本工作针对 dynamic scenes——物体在任务执行期间独立于机器人而运动，包括人为推动、传送带运输、接触后滚动。方法假设物体运动在预测 horizon 内可由 constant acceleration 良好近似（含 constant velocity 这个零加速度特例）。高度随机的 post-collision 动力学违反该假设，论文把它作为 stress test 评测，并明确声明报告的是 graceful degradation 而非 competitive performance。

02 Method

每个时刻 t，冻结的 VLA vision encoder φ 把 RGB 观测 o_t 映射为 N 个 patch tokens v_t ∈ ℝ^N×d。标准 VLA 直接把 v_t 送进 action decoder，动作执行时它已经过期了。AHEAD 改为预测 v̂_t+K（未来 K 步的 patch tokens），送给未改动的 action decoder：a_t = π(v̂_t+K, e_ℓ)。

三个观察塑造了整条流水线：(1) 操作场景里大多数 patch 不动、不值得花算力，只有任务相关且在动的 patch 需要预测；(2) 合适的 horizon K 取决于场景——线性运动允许长 lookahead，chaotic 运动不允许；(3) 整个预测必须在 200 ms 量级的反应式操作延迟预算内完成。

① Language-and-Motion Saliency（空间上的算力分配）

RAFT 在三帧连续观测间计算 optical flow，经 patch-level pooling 与 finite-differencing 转成每 token 的 velocity V 与 acceleration A；把它们拼到 patch token 上得到 motion-enriched tokens ṽ_t ∈ ℝ^N×(d+4)。一个可学的 cross-attention 层从 ṽ_t 注意到指令 embedding e_ℓ，产生逐 token 的 language relevance 分数 M̃ ∈ [0,1]^N；速度幅值超过标定阈值 τ_flow 的 token 会被抬到一个 relevance floor：

M_i = max( M̃_i, α_motion · 𝟙[‖V_i‖ > τ_flow] )

选中集合 S = {i : M_i > 0.2}，实验中典型只选出 N=196 个 token 里的 30–60 个。未选中的 patch 原样透传，不参与预测。

② Flow-Matching World Model + Kinematic Conditioning

world model 在 VLA feature space 而非 pixel space 里运作，理由是「对齐 action decoder 的输入分布，并避免昂贵的重建」。它用 conditional flow matching——论文的理由很实在：flow matching “produces high-quality samples in a few Euler steps against 100+ for diffusion”，从而把 world model 卡在每步延迟预算内。并行抽 S 个样本还免费同时给出均值预测和 sample-variance 形式的不确定度估计。

一个 4-layer transformer encoder 把选中的 motion-enriched tokens 压成紧凑 latent z_t，dynamics model 自回归地向前滚：z_t+k ~ p(z_t+k | z_t+k−1, V_k^(S), A^(S))。关键在于不让 world model 从数据里学完整物理，而是把 velocity 条件按 constant-acceleration kinematics 解析式地在 rollout 步间传播：

V_k = V₀ + A · k · Δt

其中 V₀ 是 RAFT 给的初始速度、A 是有限差分得到的加速度。这一步捕捉了 gravitational pull、friction decay 这类加速度场景中的主要轨迹曲率。最后 MLP decoder 重建预测的 patch tokens，拼回完整 token grid（未选中的 patch 原样透传）后交给冻结的 action decoder。

③ Adaptive Horizon Halting（时间上的算力分配）

每步抽的 S 个轨迹样本提供了场景级不确定度估计 ū_t+k（选中 token 上、样本间方差的平均）。rollout 在第一个满足 ū_t+K > τ_u 的步 K 处停止，否则滚到 K_max。于是线性、低不确定度的运动滚得久，chaotic 或 post-collision 的运动早停。实验中 K_max = 10，τ_u 取训练集上 ū 的 90th percentile；实际 realized horizon 平均为 3–5 步。

④ 训练

两阶段：先在 manipulation video 语料上 pretrain，在 VLA feature space 里建立物体动力学的先验（论文的论证是——只要特征由 φ 抽出，任何含 manipulation 相关运动的视频都提供有用信号）；语料涵盖六个公开来源，包括第一人称厨房操作（≈50K 序列）、hand-object interactions（174 actions，≈220K）、diverse robot manipulation（86 tasks，≈76K）、WidowX tabletop（≈60K）、仿真 Franka（≈100K）以及 OXE 里的 xArm 5/6/7。随后在 ≈200 条 in-domain xArm 7 轨迹上 fine-tune 以弥合 domain gap。dynamics model 用 conditional flow matching 目标；encoder/decoder 用 rollout horizon 上的 MSE 重建；feature alignment 层单独训练。

延迟拆解

在 NVIDIA H100 80GB、224×224 输入、bfloat16 下的单步端到端延迟（action head 用 OpenVLA-OFT 式 parallel decoding + action chunking）：

论文注明：各组件数值包含当前 PyTorch eager-mode 执行与 Python rollout 循环带来的框架开销，用 torch.compile、CUDA graphs 编译后还能进一步降低。

03 Experiments

仿真：自建 MuJoCo 环境、Franka Emika Panda 臂，20 个动态场景，覆盖四类运动——constant-velocity transport（conveyor / beam / pole push + red cup）、gravity-driven（rolling ball）、reactive contact（air hockey、ballistic catching）、chaotic post-collision（multi-deflection pinball、occlusion deflection、plinko drop）。真机：UFactory xArm 7 + 固定第三人称 RGB（224×224）+ 平行夹爪，五个任务。

Baselines（六个）：Open-loop VLA、Retargeting VLA（closed-loop）、VLA + Fast Replan（OpenVLA-OFT，带 action chunking）、Realtime ACT、Streaming Diffusion Policy，以及 DreamVLA——一个基于 world model 的 VLA，先预测 dynamic regions 与 depth 再生成动作。协议：仿真每格为 5 个训练 seed × 每 seed 100 rollouts（共 500 rollouts）的 mean ± standard error；真机每任务 30 次尝试。

匀速与加速/减速两种 regime（Table 1）

任务成功率（%），Conv. = conveyor，Roll (g.) = 重力驱动滚球：

差距在加速 regime 最大：最强 baseline（DreamVLA）落在 30–48%，AHEAD 保持在 87% 以上；且 AHEAD 跨 regime 的性能波动在 10 个百分点以内，而 baseline 大幅退化。作者检查失败模式后指出，没有显式预测的 baseline（Retargeting VLA、VLA + Fast Replan、Realtime ACT）最常见的失败是抓向物体刚才在的地方——夹爪合在运动物体身后的空气里；显式 kinematic update 让 AHEAD 转而瞄准预测的 intercept point。

对物体速度的鲁棒性（Table 2）

conveyor + red cup 场景下随传送带速度扫描的成功率（%）：

这张表里论文做了一个很干净的论证：静态（0 cm/s）时所有方法都在 95–98% 打平，说明感知与抓取能力本身是匹配的；差距只在引入独立物体运动后才拉开，因此可归因于 predictive lookahead，而非 perception 或 action decoder 的混淆差异。作者也如实交代了 40 cm/s 处 2.2 个点的残差来自 flow regime 高速端的 RAFT 误差，并说 motion-estimator ablation 支持这一解释。

复杂场景（Table 3）

八个复杂场景成功率（%）：AH = Air Hockey，BC = Ballistic Catch，MO = Multi-Object，PiB = Place in Box，MB = Multi-Balls，Occ = Occlusion，Mid = Mid-flight deflection，L+MO = Language + Multi-Object。

论文认为 Occ 那一列是「预测」区别于「反应」的最干净证据：除 Realtime ACT（11.4%）外，每个 baseline 在 Occ 上都是恰好 0%——因为接住一个已经消失在遮挡物后面的物体，需要预测它会从哪里重新出现，而只看最新一帧的 closed-loop policy 无解。AHEAD 达到 79.4%。

真机实验（Table 4）

UFactory xArm 7。左半：五个动态操作任务（30 次尝试）；右半：传送带速度敏感性（每个速度点 10 次）。

论文诚实地分析了 sim→real 的落差：平滑运动任务迁移得很紧（conveyor：97.3% sim、30/30 real），接触物理任务则退化（paddle hitting 94.6% sim → 23/30 real；projectile catching 87.4% sim → 19/30 real），归因于 MuJoCo 碰撞模型、夹爪柔顺性与相机快门行为的限制。11 次失败的抛体接取被逐条拆开：5 次是关节限位保护在几何上正确的 intercept 点前停住了手臂（说明预测目标原则上可达，但从当前构型不可达）；剩下 6 次分别是末端执行器在球飞过后才刚好到位、以及球接触时从网中弹出。速度扫描也显示 AHEAD 是唯一在 5 cm/s 以上超过随机水平的方法——不过注意它自身在 25 cm/s 处也降到 2/10。

Ablations（Table 5）

各消融配置的平均成功率（%）。motion estimator / spatial masking / fixed horizon 在 constant-velocity 组的四个场景上评测，velocity model 在 acceleration/deceleration 组上评测。

几点值得注意（含对方法不那么有利的读数）：No velocity input 直接归零，说明运动条件是这套方法的命门；Kinematic + accel 相比 Learned dynamics（78.7）高出 12 个点，支持「解析式传播优于让模型学二阶物理」的主张。但 Language + motion masking 相对 Full prediction 只高 2.6 个点（93.8 vs 91.2，且误差带重叠）——masking 的主要收益其实在算力而非精度上；而 adaptive horizon 与最好的固定 K = 5 打成完全平手（同为 93.8 ± 1.2），它的价值在于免去逐场景调 K，而非超越调好的固定值。

Stress tests：混沌动力学下的退化

论文额外在三个超出方法适用范围的场景上做了压力测试（按 time-to-exit 窗口参数化）。在最长的 1600 ms 反应窗下，AHEAD 取得 multiple deflection 76.4%、occlusion deflection 68.2%、Plinko drop 48.6%。Plinko 是全文最低的绝对性能，作者明确说这与「Plinko 的 post-collision 动力学本质上混沌、违反低阶运动学假设」一致——每次撞钉后的轨迹对接触位置与角度高度敏感，有限差分的加速度对下一次碰撞之后的步几乎不提供预测信号。即便如此，相对优势保持甚至放大：1600 ms 处 Plinko 上是最强 baseline 的 2.7×（48.6% vs 17.8%），multi-deflection 2.1×，occlusion deflection 2.5×。作者的措辞是：“The claim is graceful degradation under chaotic dynamics, not competitive absolute performance.”

04 Limitations

① constant-acceleration 假设在混沌 post-collision 动力学下失效

“The constant-acceleration kinematic update breaks down under chaotic post-collision dynamics.” Plinko drop 在最长反应窗下降至 48.6%，正是低阶运动学假设失效的 regime。作者提出的自然扩展是更高阶的运动模型或学习式的 post-collision dynamics。

② RAFT 光流只捕捉 image-plane 运动，深度方向运动缺失

“RAFT-derived flow captures only image-plane motion, so scenes with significant depth motion would benefit from depth-augmented flow or multi-view inputs.” 即朝向/远离相机的运动分量拿不到，需要深度增强的 flow 或多视角输入。

③ 真机评测规模有限，跨平台迁移未验证

“The physical evaluation uses ≈ 200 in-lab xArm 7 trajectories, and transfer to substantially different platforms (bimanual systems, humanoids) is untested.”

④ 不确定度估计只覆盖 dynamics model，未涵盖运动估计本身

“The S trajectory samples capture dynamics-model uncertainty but share a single RAFT velocity estimate; propagating velocity uncertainty explicitly would improve calibration when motion estimation itself is unreliable.” 也就是说，当 RAFT 自身不可靠时（例如前面提到的高速端），adaptive halting 所依赖的不确定度信号是失准的。

⑤ 把底层 VLA 当作固定组件，未做联合优化

“AHEAD also treats the underlying VLA as fixed; a faster VLA backbone would directly benefit the predict-then-act wrapper, and we leave the joint optimization of backbone and world model to future work.” 从延迟拆解也能看出这点——VLA forward pass 的 ≈70 ms 占了 ≈158 ms 总预算的近一半。

一句话总结

论文自己给的定位是：真正的贡献不止于数字，而是“an architectural template for adding predictive lookahead to pretrained VLAs without modifying or retraining the underlying model”——一个 4.9M 参数的外挂，让冻结的 7B VLA 学会对着未来动作。