MRO-GWM：刚体的动作条件、物体中心 Gaussian 世界模型

01 Motivation

World model 让 agent 能预判动作后果、从而提前规划。作者盯住的难点场景是日常家居桌面的 rigid-body dynamics：形状差异极大的许多物体紧挨着摆放，碰一个可能带动一片，而且因为遮挡，物体常常观测不全。

“A challenging domain are the rigid-body dynamics in everyday household scenes where many objects of highly varying shapes are closely placed next to each other. An interaction with one object might have effect on surrounding ones and the objects might not be fully observable due to occlusions.”

已有路线各有短板，作者在 Related Work 中逐条点名：

• Gaussian + 可微物理（PIN-WM、ContactGaussian-WM、Embodied Gaussians、PhysGaussian 等）：物理仿真“restricted to the model class of the simulator and cannot cope with strong violations of the physical model”，而且要求场景与物体形状已知或被完整观测才能仿真。
• 神经动力学预测 Gaussian（3DGSim、ManiGaussian、GAF 等）：3DGSim 不是 action-conditional；Zhang et al. 与 Tseng et al. 的 GNN 动力学只处理单物体或颗粒介质；多数方法只做单步预测。
• Neural Gaussian Force Fields：面向多物体，但不把机器人动作建模成末端执行器运动，且需要一个额外的 shape completion 方法来补遮挡。

MRO-GWM 的定位因此是：多物体 + 动作条件 + 多步 + 部分观测，且遮挡靠 transformer 的空间聚合隐式建模（“We use a transformer model with spatial aggregation, spatial and temporal attention layers which implicitly models unobserved parts.”）。

三点贡献（原文自述）：(1) 用 object-centric Gaussian splatting 作场景表示、用 per-object rigid transforms 编码位姿历史；(2) 提出在该表示上运行的 transformer，含 temporal / spatial block 与新的 spatio-temporal attention layer；(3) 把该 world model 集成进 MPC 做 non-prehensile manipulation。

02 Method

输入是多视角 posed RGB-D 图像 I、相机位姿 ξ^cam、物体分割掩码 O，以及交互过程中每一步的物体位姿 ξ^obj 与末端执行器位姿 ξ^robot（实验中掩码与位姿都取仿真器 ground truth）。给定物体位姿历史 τ^obj_1:h、末端执行器历史，以及一段未来末端执行器位姿轨迹 τ^ee_h+1:h+p，模型预测未来物体 SE(3) 位姿 τ^obj_h+1:h+p。

1 · 场景表示：object-aware Gaussian splatting + anchors

沿用 ObjectGS（ScaffoldGS 的物体感知扩展）：场景不是直接优化 3D Gaussian，而是用一格格带 latent feature 的体素“anchor”，每个 anchor 用 MLP 解码出固定数量的 Gaussian。ObjectGS 给每个 anchor 一个唯一 object id（object id 也参与渲染并与分割掩码求 loss），于是 anchor 与它解码出的 Gaussian 都能唯一归属到某个物体——这正是做刚体级场景变换的前提。

作者在此之上做了三处改动：

• 投票加深度校验。ObjectGS 用点云投影到各视角、按掩码给 object id 投票；作者额外比较投影深度与真实深度观测，要求误差小于 1 cm 票才算数，确保“each camera view votes only for an object it actually sees”——针对的正是密集摆放导致的遮挡。
• 用 2D Gaussian 而非 3D。采用 2DGS 变体，作者观察到在该设定下“represent surfaces better than 3D Gaussians”。
• 跨场景共享 latent 空间。把 ObjectGS 扩展到 multi-scene：scale / rotation / opacity 的 MLP 跨训练场景共享，颜色 MLP 每场景独立；32 维 anchor feature 拆成 16 维空间信息 + 16 维颜色，模型只用前 16 维、忽略颜色。验证/测试场景复用训练好的共享 MLP。末端执行器另行多视角渲染并 splat（用专用 MLP，重建质量更高；作者称相比用共享 MLP“did not observe a significiant loss in prediction performance”）。

模型支持两种输入：直接用 2D Gaussian 属性（position / rotation / scale / opacity），或用神经压缩后的 anchor。因为动力学建模要求表示与视角无关，ScaffoldGS 的 view-dependent 解码被弃用，只保留 view-independent 部分。

2 · 把「历史 + 动作」编码成 h+p 份变换后的场景

每个历史时刻，按各物体/末端执行器的位姿刚体变换其全部 anchor 或 Gaussian；每个预测时刻，只按输入动作变换末端执行器表示，物体表示保持不动。于是得到 h+p 份空间上不同的场景表示，模型沿时间轴与空间轴在其上运算。这就是「动作条件」的落地方式——动作不是拼进 feature 的向量，而是末端执行器点云在空间中的实际位移。

细节：anchor 变换的是其空间位置；anchor 本身没有朝向，作者用四元数编码其旋转作为附加特征，并把旋转后的 Gaussian offsets 与 scaling、latent feature 拼接。2D Gaussian 变体则直接施加空间变换，用 rotation / opacity / scaling 作特征。两者都会额外嵌入物体索引与一个布尔位（历史 or 未来）。为控规模，背景 anchor 中距离任何物体/末端执行器 anchor 超过 10 cm 的被过滤掉（“interactions can only occur around objects”）。

3 · Spatio-temporal transformer：三种 attention 的分工

骨架借 PTv2 的点云组件（k-NN 上的 spatial vector attention、按递增网格尺寸的 pooling）与 DiT 的残差块结构（layer norm 前置、AdaLN 式调制但用常数 conditioning、DiT 式 final layer 与初始化）。每个 stage 形如 s_i = b_i,N ∘ … ∘ b_i,1 ∘ pe ∘ pool_i，并且同时处理所有时间步。

关键技巧在 pooling：按物体独立池化（背景也算一个），而且由于各时间步之间的空间结构只差一个刚体变换，作者只在第一个时间步为所有网格尺寸算一次“谁和谁池化到一起”，然后对所有时间步复用同一套 per-object pooling。好处有二：省算力；更重要的是，即使到了点数很少的高层 stage，每个点在所有时间步都有对应点——这正是跨时间 attention 得以定义的结构基础。池化后加上编码时间索引的 sinusoidal positional embedding。

每个残差块含四种层，堆叠顺序为 spatial attn. → temporal-spatial attn. → temporal attn. → MLP：

4 · 预测目标与损失

模型预测的是预测区间内相邻时间步之间、世界坐标系下的相对位置与朝向变化；从最后一个历史时刻积分即得位姿轨迹。旋转按 hitchhikerrotations 的建议用 9D rotation matrix 表示并对预测做正交化。由于相对旋转通常很小，作者做了归一化：R̃ = (R − I) ÷ Σ_rot（逐元素除以训练集上 R − I 的逐元素标准差），网络回归 R̃、用 l2 norm 算 loss，推理时反归一化再正交化。相对位置则除以训练集上的平均模长，与预测算 squared l2 norm。

5 · 规划：把 world model 塞进 iCEM MPC

作者实现了 iCEM 的一个变体，优化关键点参数化的末端执行器轨迹。每次规划迭代从 CEM 分布采样关键点序列，线性插值到固定 20 步的稠密末端执行器位置（步距由模型步频 5 Hz 与训练数据同款的恒定 5 cm/s 末端速度决定，超出最后一个关键点的位置就停在该点），送入 world model rollout，用任务相关 cost 打分，取 elite set 更新均值、返回 cost 最低的序列。规划频率 2 Hz，且每次只做一次优化迭代、只更新均值不更新协方差——原文理由是保持恒定探索、防止 CEM 分布坍缩。若更新后首个关键点已在机器人可执行范围内，关键点均值按序列索引平移一位（受 iCEM 的 action-sequence shift 启发，但作用在更粗的关键点尺度上）。

03 Experiments

全部实验在 ManiSkill 仿真中进行。桌面场景放 1–5 个 YCB 物体，用专门的采样流程让它们紧挨着、在机器人操作时容易互相影响。机器人是带棒状末端执行器的 Franka Panda，用 3D 末端位置控制器做 IK；与仿真器交互频率 20 Hz，仿真本身跑 100 Hz（ManiSkill 默认）。

数据集与协议

• 物体池互不相交，专测未见物体的泛化：训练用 YCB 剩余 65 个物体；另有只含 YCB-V 中 16 个物体的小池；验证用 YCB-V 余下 5 个；测试池从 YCB 的五个类别各随机选 1 个（排除 YCB-V）。
• 主训练集 YCB-100-100 = 100 个原始场景 × 每个 100 个增广布局（同一批物体重新采样位姿并重新采集交互数据，复用同一份 splatting 表示）。对照组 YCB-50-200 / YCB-200-50 改变“原始场景数 : 增广数”之比，YCBV-100-100 换成 16 物体的小池。验证集 YCBV-20-20。
• 预测测试集：物体数 1–5 各 20 个场景，共 100 个场景，不做布局增广，每个采样 3 条交互轨迹。规划测试集：每种物体数 8 个场景，共 40 个，每场景 5 个 episode。
• 采集：每场景 32 张图，仰角 30° 与 60°、半径 0.4 m、方位角在完整 360° 内等距（一个 ablation 只用 0–180°）。anchor 分辨率 1 cm，splatting 优化 5,000 步。
• 训练：PyTorch + AdamW，60,000 步，half-period cosine 调度、3,000 步 warmup、base lr 4.4e-4，batch size 30，历史长度固定 h = 3，默认 p = 4 @ 5 Hz。默认模型在单张 Nvidia A40 上约 22 小时训完；推理时一个 batch(30) 平均 0.65 s。

预测精度随时间的变化

「全部」与「仅有运动」两组图差距巨大、分位带很宽，作者解释了这数据本身的性质：即使某个物体被碰到，其它物体可能纹丝不动；而且末端执行器的微小差别可能造成天壤之别——“if it narrowly passes an object, the changes are zero, but if it hits the object, it might fall over and experience a rotation change in the order of magnitude of 90° and several cm of position change in under a second.”

变体与消融（原文 Table 1）

下表仅在 moving chunks 上统计；base model 为 YCB-100-100，所有模型 prediction horizon 4 @ 10 Hz；数值为 5 个训练种子的均值，括号内为标准差。

要点（按原文口径）：

• 影响最大的是 no multiscale downsampling——不做逐级下采样、直接把每个物体的全部点一次性聚合，位置/旋转误差都明显变差（0.45→0.57 cm，5.54→6.95°）。作者认为这符合预期，因为数据集中物体几何复杂。
• 去掉新提出的 spatio-temporal attention 带来次一级、但可见的退化（0.45→0.49 cm），原文称“especially in position prediction”。注意这个提升幅度并不大，且旋转中位误差 5.54→5.94 与若干种子标准差同量级。
• 物体多样性比场景数量更重要：只从 16 个物体池采样的 YCBV-100-100 退化最明显（0.52 cm / 0.83 cm 均值）；而 50-200 与 200-50 两种原始场景:增广比只带来微小差异。
• Limited view 几乎不掉点：只用 0–180° 方位角的相机（形状信息更残缺）得到 0.47 cm / 5.98°，与全 360° 的 0.45 cm / 5.54° 很接近。作者据此下结论：“We conclude that indeed the model learned to cope with missing or imprecise shape information.”
• anchor 分辨率减半或加倍、以及直接在解码出的 Gaussian 上运行（Explicit Gaussians），都只带来小幅下降；作者的解释是几何信息在默认尺度的 anchor feature 里已被压缩编码，点太小太多反而要从大量小点里“抽取”几何。

定性预测

规划结果（原文 Table 2）

使用 prediction horizon 8 @ 5 Hz 的模型。两个任务在 40 个规划场景 × 每场景 5 个 episode 上评测，每个 episode 跑 1200 个环境步（= 1 分钟）。指标先在单个训练种子的所有 episode 上取均值，再对 5 个训练种子取均值（括号内为标准差）。final goal dist. 在成功或超时时测量。

任务定义与阈值：task 1「push object to position」随机选一个物体、在两轴各 [−15 cm, 15 cm] 内随机采一个 2D 目标位置，物体中心到目标的欧氏距离 < 1 cm 记成功（对其它物体的移动无约束）；SR AUC 是阈值从 1 cm 到 5 cm、步长 5 mm 的平均成功率。task 2「clear middle」要把所有物体推出 y 轴上 [−15 cm, 15 cm] 的中央条带，成功判据是所有物体到边界距离为零；其 AUC 阈值范围为 0–5 cm、步长 5 mm。

可以看到：单物体的 task 1 成功率（0.77 @ 1 cm）高于要推动多达 5 个物体的 task 2（0.66 @ 0 cm）；task 2 若按物体单独计成功则升到 0.82，放宽到 2 cm 阈值则为 0.88。两个任务的目标距离都从初值显著下降（14.17→2.87 cm，30.4→3.12 cm）。

失败模式（作者对 5 物体失败 episode 的目视检查，单个训练种子）：(1) 物体被推到接近或超出机械臂运动学工作空间时，机器人会卡住，在 task 2 的多个 episode 中出现；(2) 对螺丝刀、勺子这类细长物体操作吃力，作者认为这暗示“difficulty to accurately predict the movement of such elongated objects”；(3) task 2 中机器人有时在不同目标物体之间反复切换，最终超时——作者认为可通过更精细的规划 cost 设计缓解。

04 Limitations