AtomVLA: Scalable Post-Training for Robotic Manipulation via Predictive Latent World Models

01 Motivation

论文把当前 VLA 从"实验室示范"走向"长程稳定部署"的障碍归纳为三点：预训练成本高、语义-视觉信息不对称（instruction grounding gap）、以及真机在线 RL 代价过高。

"This instruction grounding gap leaves models without explicit intermediate guidance, leading to severe compounding errors in long-horizon tasks."

作者指出，高维 visual token 往往主导 latent space，导致 "the learned policy struggles to ground sparse linguistic instructions into sequential physical guidance"；而 "the high costs and safety risks of real-world interaction make online reinforcement learning (RL) impractical for most robotic platforms, leaving a gap between static imitation learning and dynamic policy refinement."

已有的补救路线各有短板：LLaVA-VLA / SmolVLA / TinyVLA 走轻量化，CycleVLA 改进语义理解，RoboTwin 用仿真造数据——但它们大多仍依赖 imitation learning，且是 reactive action generation，缺少对真实动态演化的 latent 预测能力。另一条路是用 generative world model 当虚拟模拟器，可 "Standard generative world models typically synthesize future states at the pixel level. This mechanism inevitably leads to the accumulation of autoregressive errors and produces visual hallucinations during long sequence predictions."

AtomVLA framework overview — **Fig. 1 · AtomVLA 总览。**左（Stage I）：用 LLM 把 high-level instruction 分解为 subtask instruction，与原指令一起作为 SFT 的条件。中（Stage II）：predictive latent world model 评估候选 action rollout，产生 reward 用于 GRPO 离线 post-training。右/下：LIBERO 与 LIBERO-PRO 上分别达到 97% / 48% 成功率，并在真机上展示泛化能力。

97.0%LIBERO 平均 SR

48.0%LIBERO-PRO 平均 SR

+4.0%GRPO post-training 相对 SFT

+18.3%真机 GE 设定下超过 π₀

typical VLA vs AtomVLA — **Fig. 2 · 范式对比。**(a) 典型 VLA 只靠 SFT 训练；(b) AtomVLA 用语言模型做 fine-grained atomic subtask instruction 分解，并用 world model 做 RL post-training。

02 Method

AtomVLA 是一个两阶段框架：Stage I 做 subtask-aware 的 SFT，Stage II 用 world-model reward 做离线 GRPO。论文称其为 "the first subtask-aware VLA framework integrated with a scalable offline post-training pipeline"。

two-stage training pipeline — **Fig. 3 · 训练管线。**Stage I：GPT-4o 把 high-level instruction 拆成 fine-grained atomic subtask instruction，与原指令一起引导 SFT。Stage II：predictive latent world model 评估候选 action rollout，为离线 post-training 提供 reward。

① 架构：Qwen3-VL-4B + flow-matching 动作头

VLM backbone 用开源多模态 Qwen3-VL-4B-Instruct。时刻 t 给定多视角观测 O_t、高层指令 I_t 与子任务指令 SI_t，backbone 编码为 H_t = f_VLM(O_t, I_t + SI_t)，再通过 cross-attention 条件化 action expert。

Action head 是一个 cross-attention Diffusion Transformer，作为 flow-matching head 回归长度为 N 的 action chunk。训练时采样 ε∼N(0,I)、τ∈(0,1)，构造 x_τ = (1−τ)ε + τ·a_t:t+N，回归目标速度 v = a_t:t+N − ε，损失为 L_FM。推理时从 a⁽⁰⁾∼N(0,I) 出发，用显式 Euler 更新迭代 K 步（Δt = 1/K）得到最终 action chunk。

② Subtask Dataset：LLM 把示范切成 atomic subtask

给 LLM 一段采样帧序列与任务上下文，让它把整条示范切成若干 atomic subtask，返回 JSON 元组列表 {(ℓ_i, s_i, e_i)}_i=1..M——ℓ_i 是子任务指令，s_i/e_i 是起止帧。为保证粒度一致，prompt 明确约束子任务对齐到一小组基本操作表达（如 Pick up [object]、Place [object] on [target position]、Open/Close [object]、Push [object]），而不是过细的中间过程描述。在这一规则下一个任务被拆成 2–5 个子任务。实现中用 GPT-4o 完成分解与标注。

③ Reward：V-JEPA2 latent world model 在隐空间打分

采用 V-JEPA2 作为冻结的视觉编码器 J(·)，把图像映射为 latent token 序列；再在其之上建一个 action-conditioned 的 predictor 网络 W_θ，把当前观测与候选 action chunk 滚动出隐空间未来：ẑ_t+N = W_θ(J(O_t), ã_t:t+N)。关键点是全程在 latent space 比较，绕开 pixel-level 合成的 autoregressive 误差与 visual hallucination。

把每个子任务的边界帧当中间目标：令 b(t) 为当前子任务结束后的第一帧，取 O_b(t) 为 subgoal、同一 episode 的 O_T−1 为最终目标，对每个候选算两个 goal energy（L1、越低越好）：

E_sub = ‖W_θ(J(O_t), ã) − J(O_b(t))‖₁ —— 阶段性指引
E_goal = ‖W_θ(J(O_t), ã) − J(O_T−1)‖₁ —— 长程一致性
D = ‖ã_t:t+N − a^★_t:t+N‖₁ —— imitation deviation 项，论文说明其作用是 "to discourage implausible actions and prevent reward hacking"

最终标量 reward 为 r = −(λ_subE_sub + λ_goalE_goal + α·D)，其中 λ_sub = 0.3、λ_goal = 0.4、α = 0.3。

④ 离线 GRPO

每个状态生成 K 个候选，组内归一化 reward 得到 advantage A^(k)，提升高 advantage 候选的似然，并对冻结的 SFT reference policy π_ref 加 KL 惩罚保证稳定性。状态直接从 Stage I 用的同一份离线示范数据集采样，因此 "enables highly efficient Group Relative Policy Optimization without the prohibitive expenses associated with online rollouts on physical robots"。post-training 阶段只更新 action head / action expert 参数，以 "preserve stable vision-language representations while improving long-horizon robustness"。

03 Experiments

仿真在 LIBERO（Spatial / Object / Goal / Long 四个 suite，每个 10 任务 × 500 条示范）与 LIBERO-PRO（加入受控扰动）上评测，指标为 success rate (SR)，每个任务评测 50 次。SFT 在 LIBERO 上训练 2 epochs；post-training 采样 100K trajectories，每个样本 10 个候选。

LIBERO 主表（Table III）

Method	w/o Pre-Training	Size	Spatial	Object	Goal	Long	Avg.
TraceVLA	✗	7B	84.6%	85.2%	75.1%	54.1%	74.8%
OpenVLA	✓	7B	84.7%	88.4%	79.2%	53.7%	76.5%
SpatialVLA	✓	4B	88.2%	89.9%	78.6%	55.5%	78.1%
CoT-VLA	✓	7B	87.5%	91.6%	87.6%	69.0%	83.9%
ThinkAct	✗	7B	88.3%	91.4%	87.1%	70.9%	84.4%
NORA	✓	3B	85.6%	89.4%	80.0%	63.0%	79.5%
π₀	✓	4B	96.8%	98.8%	95.8%	85.2%	94.2%
NORA-1.5	✓	3B	97.3%	96.4%	94.5%	89.6%	94.5%
AtomVLA (SFT)	✗	4B	94.1%	95.4%	92.4%	90.0%	93.0%
AtomVLA (SFT + Post-Training)	✗	4B	96.4%	99.6%	97.6%	94.4%	97.0%
Δ from GRPO	—	—	2.3%↑	4.2%↑	5.2%↑	4.4%↑	4.0%↑

注意：AtomVLA 并非全项最优——在 LIBERO-Spatial 上 NORA-1.5 (97.3%) 与 π₀ (96.8%) 都高于 AtomVLA 的 96.4%。它的优势集中在 Object / Goal / Long 三项与平均值上，且是在没有 cross-embodiment 大规模预训练的条件下取得的。

Key Finding 1："Cross-embodiment large-scale pre-training is not necessary to achieve strong downstream performance." —— 即便没有跨本体大规模预训练，仅 SFT 就达到 93% 平均成功率，说明只用 in-domain multi-task 示范足以学到稳健的 vision–language-to-action 映射。

Key Finding 2：post-training 在所有 LIBERO suite 上都优于 SFT baseline，其中 LIBERO-Goal 增益最大，作者归因于 group 级别的对比监督 + world model 评估强化了更满足中间 subgoal 与最终目标的轨迹。（原文正文写的是 "with the largest gain on LIBERO-Goal (+6.0%)"，但 Table III 的 Δ 行给的是 5.2%↑，92.4% → 97.6% 也确为 +5.2%——论文自身存在这处不一致，此处按表格数值理解。）

LIBERO-PRO（Table IV）：扰动鲁棒性

每个 suite 分 Obj / Pos / Sem / Task 四个扰动维度，数值为 0–1 的成功率。

Method	LIBERO-Goal				LIBERO-Spatial				LIBERO-10				LIBERO-Object				Avg.
Method	Obj	Pos	Sem	Task	Obj	Pos	Sem	Task	Obj	Pos	Sem	Task	Obj	Pos	Sem	Task	Avg.
π₀	0.94	0.00	0.93	0.00	0.95	0.00	0.97	0.00	0.79	0.00	0.82	0.00	0.94	0.00	0.90	0.00	0.45
MolmoAct	0.68	0.00	0.85	0.00	0.90	0.00	0.88	0.00	0.54	0.00	0.74	0.06	0.92	0.06	0.96	0.00	0.41
NORA	0.58	0.00	0.88	0.00	0.92	0.00	0.91	0.00	0.46	0.00	0.74	0.00	0.86	0.00	0.92	0.00	0.39
X-VLA	0.68	0.01	0.98	0.09	0.97	0.00	0.96	0.00	0.62	0.00	0.95	0.10	0.89	0.02	0.98	0.08	0.46
AtomVLA (Ours)	0.81	0.02	0.98	0.11	0.95	0.16	0.95	0.01	0.55	0.01	0.95	0.09	0.93	0.10	0.99	0.00	0.48

要看清的地方：虽然平均 0.48 领先，但 Pos 与 Task 两个扰动维度上所有方法（含 AtomVLA）基本都趋近于 0——AtomVLA 最高也只有 Spatial-Pos 0.16、Object-Task 0.00。另外在 LIBERO-10 的 Obj 维度上 AtomVLA 0.55 明显落后于 π₀ 的 0.79 和 X-VLA 的 0.62。论文自己也承认 "Many baselines drop to near-zero success on several perturbation dimensions"。

指令粒度消融（Table I，LIBERO-Long）

Input	LIBERO-Long
Image	80.4%
Image + High-level Task	90.0%
Image + High-level Task + Atomic Task	92.2%

去掉语言指令导致 LIBERO-Long 明显下降（−9.6%）；加入高层任务指令到 90.0%，再补上子任务描述额外提升到 92.2%。论文解释：子任务指令为当前阶段提供了显式中间目标，同时保留整体任务目标，改善了长程任务的 credit assignment。

Action chunk 大小（Table II）

Chunk Size	Spatial	Object	Goal	Long	Avg.
4	96.4%	99.6%	97.6%	94.4%	97.0%
8	95.6%	99.2%	98.4%	93.0%	96.6%
16	96.0%	99.8%	98.8%	91.6%	96.6%
32	96.0%	99.0%	98.8%	91.2%	96.3%

chunk size = 4 平均最优。注意 Object (99.8%) 与 Goal (98.8%) 的单项最好值其实出现在 chunk 16/32 上，只是 Long 随 chunk 增大持续退化（94.4% → 91.2%），拉低了平均。论文解释："An overly large chunk size reduces execution flexibility and exacerbates the accumulation of compounding errors."

Reward 消融（Table V）

Reward	Spatial	Object	Goal	Long	Avg.
SFT	94.1%	95.4%	92.4%	90.0%	93.0%
E_sub + D	96.3%	98.0%	96.2%	93.5%	96.0%
E_goal + D	97.1%	97.9%	96.0%	93.2%	96.1%
E_sub + E_goal + D	96.4%	99.6%	97.6%	94.4%	97.0%

两个 elementary reward 单独用都能超过 SFT 约 3.0%，组合后整体提升 4.0%，Long suite 上 +4.4%。作者认为二者协同："the combined reward mitigates noise from purely long-horizon world model predictions while avoiding short-sighted biases induced by focusing solely on immediate subgoals." 有趣的是 Spatial 上单用 E_goal+D 的 97.1% 反而高于完整 reward 的 96.4%。

真机实验：Galaxea R1 Lite

双臂移动平台（三全向轮、两条 6-DoF 臂、两个腕部相机 + 一个头部相机），实验中移动模块保持静止。任务分 Basic（stack bowls / put fruit into basket / hang cup / open drawer）与 Hard（fold T-shirt / fold towel，可形变物体 + 长程）。每任务 100 条示范，SFT 2 epochs 后 post-training（100K trajectories、每状态 10 候选），每任务评测 20 次。ST = Standard 设定；GE = Generalization 设定，引入物体位置随机、未见干扰物、目标高度变化、指令措辞变化四类扰动。

real-world task visualization — **Fig. 4 · 真机任务可视化。**上两行为 basic 任务：stack bowls、place fruit into a basket、hang the cup、open the drawer；下两行为 hard 长程任务：fold a T-shirt、fold a towel。

Task	π₀		AtomVLA (Ours)
Task	ST	GE	ST	GE
Stack bowls	95%	60%	90%	80%
Put fruit into basket	85%	45%	90%	65%
Hang cup	70%	15%	70%	35%
Open drawer	60%	30%	60%	45%
Fold T-shirt	35%	5%	40%	25%
Fold towel	50%	20%	50%	35%
Average	65.8%	29.2%	66.7%	47.5%

Key Finding 6：ST 设定下 AtomVLA 与 π₀ 基础能力相当（66.7% vs 65.8%，差距仅 0.9%，stack bowls 上 AtomVLA 90% 还低于 π₀ 的 95%）；真正拉开差距的是 GE 设定——baseline 骤降到 29.2%，AtomVLA 保持 47.5%，绝对提升 18.3%。可形变物体的长程任务差距最明显：Fold T-shirt 25% vs 5%，Fold towel 35% vs 20%。

four types of GE variations — **Fig. 6 · GE 设定下引入的四类扰动。**(a) 物体位置变化 (b) 未见过的干扰物 (c) 目标高度变化 (d) 指令语言表述变化。20 次试验的环境条件在这四类中随机分布。

04 Limitations

Note: 论文没有独立的 Limitations 章节，前两条为 Conclusion 末段作者明确陈述(stated)；后三条为从方法与实验数据推断(inferred)，非原文表述。

子任务边界是 LLM 静态生成的，难以适应高度动态环境（stated）

原文："While our framework enables long-horizon tasks, adapting to highly dynamic environments remains challenging because the current system relies on static subtask boundaries generated by LLM." 作者提出的未来方向是 "end-to-end subtask generation during execution and world models that can perceive uncertainty"（执行期在线生成子任务 + 能感知不确定性的 world model）。

对完全未见物体与新语义指令的泛化仍待加强（stated）

原文："we intend to systematically enhance the generalization capabilities of our approach to handle entirely unseen objects and novel semantic instructions."

LIBERO-PRO 的 Pos / Task 扰动几乎全线失效（inferred）

Table IV 中 AtomVLA 在 Pos 维度最好只有 0.16（Spatial），Task 维度最好 0.11（Goal），LIBERO-Object 的 Task 更是 0.00。平均 0.48 的领先主要来自 Obj 与 Sem 两个维度。也就是说"位置扰动"和"任务级扰动"这两类分布偏移，本文的方法并没有实质性解决——这是全领域共性问题，不是 AtomVLA 独有，但论文的 "strong robustness" 表述需要在这个前提下理解。

依赖闭源 GPT-4o 做离线标注，pipeline 的"可扩展性"是有条件的（inferred）

Stage I 的 atomic subtask 分解由 GPT-4o 完成，需要对每条示范采样帧序列并调用 LLM。虽然是一次性离线开销（不像在线 RL 那样反复消耗真机时间），但数据规模扩大时的标注成本、以及标注质量对下游 reward（subgoal 边界帧直接决定 E_sub）的敏感性，论文没有给出量化分析。

post-training 只更新 action head，且 reward 依赖冻结的 V-JEPA2 表征（inferred）

论文明确 "We only update the action head parameters during post-training"，以保持 vision-language 表征稳定。代价是 backbone 的语义理解不会随 RL 改进；同时全部 reward 都以冻结 V-JEPA2 编码器的 L1 latent 距离为基础，其表征若在某类场景上失准，reward 也会随之失准——论文未评估 world model 自身的预测精度。