TesserAct: Learning 4D Embodied World Models

01 Motivation

世界模型（world model）是具身智能的核心组件：它支撑 policy synthesis、数据仿真与 long-horizon planning。但论文指出一个根本错位——物理世界是三维的，现有世界模型却运行在 2D 像素空间。缺了深度与 6-DoF 位姿，机器人无法确定物体的准确位置和朝向；更糟的是 2D 模型会生成“不真实”的结果，物体尺寸和形状在时间步之间前后不一致。

"However, while the physical world is three-dimensional in nature, existing world models operate in the space of 2D pixels. This limitation leads to an incomplete representation of spatial relationships, impeding tasks that require precise depth and pose information."

直接学 4D 世界又太贵：模型要同时在三维空间和时间上产生输出，训练开销极高。作者的取舍是找一个更轻量的 4D 表征——预测一串 RGB、depth、normal 图。它既能刻画外观、几何与表面，维度又远低于显式预测世界动力学；而且这种表征与现有 video model 高度同构，可以直接借用视频生成模型的生成能力来 bootstrap 4D 世界模型。

另一个现实障碍是数据：不存在大规模、带高质量 4D 标注（RGB + depth + normal）的具身数据集。论文因此自建了一套「合成数据出 GT 深度 + 真实数据用现成估计器标注」的采集流水线。

TesserAct teaser — **Figure 1.** TesserAct 接收一张输入图像与一条文本指令，生成 RGB、depth、normal 三路视频，进而重建 4D 场景并预测动作。论文称其"not only achieves strong performance on in-domain"，同时也能泛化到未见场景与物体。

0.0811Chamfer L1（RLBench 合成域，全场最优）

~200k自建 4D embodied 视频数据总量

7 / 9RLBench 任务成功率超过 UniPi*

~1 min新视角合成耗时（SoM 需 ~2 hours）

02 Method

整条链路分三步：(1) 自动构建 4D embodied video dataset；(2) 改造并微调 CogVideoX，把它变成条件式 RGB-DN 联合生成器；(3) 用 normal integration + 两个新损失，把生成的 RGB-DN 视频优化成时空一致的 4D 点云；最后 (4) 在 4D 点云上训练 inverse dynamics model 输出动作。

TesserAct architecture — **Figure 2.** TesserAct 的架构与训练总览。CogVideoX 的 3D VAE 分别编码 RGB / depth / normal 三路视频（VAE 本身不再微调），加噪得到 *x_t*，与首帧 latent x⁰ 一起经三个独立的 InputProj 得到 embedding；DiT 取三者之和作输入，条件是文本 𝒯 与去噪步 t。RGB 分支保留原输出头；depth / normal 另加一路 Conv3D，把「输入 latent + 已去噪的 RGB 输出」拼接编码后与 DiT hidden state 融合，再过 DNProj 得到 depth/normal 的去噪预测。

1) 4D embodied video dataset：合成给 GT，真实靠估计器

合成域取 RLBench 中 20 个相对高难度的任务，每个任务从 4 个视角生成 1000 个 instance，共 80k 条合成 4D 视频；仿真器只给 metric depth，法向用 DSINE 的 depth2normal 补出；并借 Colosseum 的 scene randomization 改变背景、桌面纹理与光照以增强泛化。真实域用 RollingDepth 标注 affine-invariant depth，法向用 Temporal-Consistent Marigold-LCM-normal（论文明确指出"a reliable video normal estimator is currently unavailable"）。

Dataset	Domain	Depth Source	Normal Source	Embodiment	# videos
RLBench	Synthetic	Simulator	Depth2Normal	Franka Panda	80k
RT1 Fractal Data	Real	Rolling Depth	Marigold	Google Robot	80k
Bridge	Real	Rolling Depth	Marigold	WidowX	25k
SomethingSomethingV2	Real	Rolling Depth	Marigold	Human Hand	100k

数据量的现实：论文自己承认这套数据"comprises only about 200k data points, which is insufficient to train a world model from scratch"——所以必须从 CogVideoX 权重初始化，其余新模块全部零初始化，保证训练之初 RGB 输出与原始 CogVideoX 完全一致，把预训练知识原样保留下来。

2) RGB-DN 联合生成：一次 forward 出三种模态

任务被形式化为条件去噪生成 p(v,d,n | v⁰,d⁰,n⁰, 𝒯)：给定首帧的 RGB / depth / normal latent 与文本动作指令，预测未来的三路 latent 序列。为区分不同机械臂，文本被构造成 [action instruction] + [robot arm name]，例如 "pick up apple google robot"。训练目标就是标准的 ε-prediction MSE，只不过噪声是 [ε_v, ε_d, ε_n] 三者拼接。训练采用 multi-resolution 策略，一次预测 49 帧。

3) 4D 场景重建：法向积分 + 一致性/正则损失

生成的 depth 是 [0,1] 的相对图，无法直接重建整个场景；以往要么假设一个默认 scale，要么直接预测 metric depth，结果"often coarse and often cause reconstructed planes or walls to be tilted"。TesserAct 改用 normal integration（沿用 Bilateral Normal Integration 的迭代加权最小二乘）在空间上把 normal 的表面朝向约束灌进 depth，得到损失项 𝓛_s。

但逐帧优化没有时序一致性。于是用 RAFT 算光流 𝓕：光流幅值小于阈值 c 的像素记为静态掩码 𝓜_s，取反为动态区 𝓜_d，跨帧都静态的部分为背景 𝓜_b = 𝓜_sⁱ ∩ 𝓜_sⁱ⁻¹。借光流把上一帧深度 warp 到当前帧得到 𝒟^i→(i−1)，再对动态区与背景区分别加权，构成一致性损失 𝓛_c（式 5）；另加正则损失 𝓛_r（式 6）约束优化后的深度不要偏离生成的深度太远。总目标是三项之和：

argmin_𝒟̃ 𝓛_s(𝒟̃, 𝒩ⁱ) + 𝓛_c(𝒟̃, 𝒟̂ⁱ⁻¹, 𝓕ⁱ, 𝓕ⁱ⁻¹) + 𝓛_r(𝒟̃, 𝒟ⁱ) (Eq. 7)

从第一帧起逐帧迭代细化，每帧以生成的 depth 作初值（𝒟̃₀ = 𝒟ⁱ）。附录给出的权重为：RT-1 / Bridge 用 λ_d=20、λ_b=200、λ_g1=λ_g2=20；RLBench 用 λ_d=20、λ_b=200、λ_g1=λ_g2=2。

4) 用 4D 场景做动作规划

在得到的 4D 点云上建 inverse dynamics model：a_i = ID(s_i, s_i+1, 𝒯)。具体用 PointNet 编码点云取 3D 特征，与指令的文本 embedding 拼接后过 MLP，输出最终的 7-DoF action。推理时先一次性预测并记录所有未来 keyframe，之后只需反复查询 inverse dynamics model 即可。

03 Experiments

评测分两块：4D 场景预测质量（真实域 RT1 Fractal + Bridge 共 400 个 unseen 样本，深度/法向由估计器标注；合成域 RLBench 200 个 unseen 样本，可直接拿到 GT depth 与 normal）与具身动作规划（RLBench 9 个高难任务）。指标：视频用 FVD / SSIM / PSNR，深度用 AbsRel / δ₁ / δ₂，法向用 Mean / Median / 11.25°，点云用 Chamfer L1。每个样本生成 10 次取平均。

基线包括两个视频扩散模型（OpenSora、CogVideoX，都在同一数据集上 LoRA 微调但不带 depth/normal 标注，事后再用 RollingDepth + Marigold 补出几何）以及作者自己实现的 4D Point-E（改造 Point-E，以文本与图像 CLIP 特征均值为条件，受算力限制只输出 T=4 帧、每帧 n=8192 点的点云）。

Table 2 · 4D 场景生成（数值逐字摘自论文）

Domain	Method	FVD ↓	SSIM ↑	PSNR ↑	AbsRel ↓	δ₁ ↑	δ₂ ↑	Mean ↓	Median ↓	11.25° ↑	Chamfer L1 ↓
Real	4D Point-E	-	-	-	-	-	-	-	-	-	0.2211
Real	OpenSora	23.67	71.31	19.25	31.41	60.39	79.97	41.82	32.15	13.58	0.3013
Real	CogVideoX	20.64	79.38	22.39	26.17	64.82	81.62	19.53	10.09	22.70	0.2191
Real	TesserAct (Ours)	21.59	75.86	20.27	22.07	66.80	82.60	15.74	7.32	27.80	0.2030
Synthetic	4D Point-E	-	-	-	-	-	-	-	-	-	0.1086
Synthetic	OpenSora	54.11	65.90	19.28	18.40	65.02	91.20	12.94	7.58	25.02	0.2570
Synthetic	CogVideoX	41.23	76.60	20.87	19.81	60.07	80.16	20.36	10.47	26.04	0.2884
Synthetic	TesserAct (Ours)	40.01	77.59	19.73	16.02	69.26	93.03	14.75	6.34	36.85	0.0811

不回避的败绩：在 Real 域，CogVideoX 的 RGB 三项全面领先（FVD 20.64 vs 21.59、SSIM 79.38 vs 75.86、PSNR 22.39 vs 20.27）；合成域的 PSNR 也是 CogVideoX 更高（20.87 vs 19.73），法向 Mean 则是 OpenSora 更低（12.94 vs 14.75）。TesserAct 的优势集中在几何——深度（AbsRel / δ₁ / δ₂）、法向 Median 与 11.25°，以及最终的 Chamfer L1，论文的措辞是"predicts the depth and normal maps most accurately without hurting"（RGB 质量）。合成域的 Chamfer L1 从次优的 0.1086（4D Point-E）降到 0.0811，是最大的一档提升。

qualitative results — **Figure 4.** 定性结果：(a) in-domain 4D 生成；(b) 对未见场景与物体的泛化；(c) 新视角合成。论文指出，得益于 CogVideoX 的先验，模型在 unseen scenes / unseen objects 上生成良好，并且在 cross-embodiment 场景（如把 Bridge 的机械臂放进 RT-1 环境）也表现不错。

Table 3 · RLBench 动作规划成功率（100 episodes 平均）

Method	close box	open drawer	open jar	open microwave	put knife	sweep to dustpan	lid off	weighing off	water plants
Image-BC	53	4	0	5	0	0	12	21	0
UniPi*	81	67	38	72	66	49	70	68	35
4DWM (Ours)	88	80	44	70	70	56	73	62	41

UniPi* 是作者重实现的版本——把骨干换成同样微调过的 CogVideoX 以保证公平比较，即「同一视频模型 + 2D inverse dynamics」。9 个任务里 TesserAct 赢下 7 个。论文的解释是 4D 点云能揭示物体几何、为规划提供更好的空间引导（close box、open jar），3D 信息也有助于工具使用（sweep to dustpan、water plants）。

"However, in the open microwave and weighing off tasks, the performance is not as good as the baseline, possibly because these tasks already have sufficient information in the 2D front image."

Table 4 · RLBench 新视角合成：快了两个数量级

输入单目前置相机视频，在 overhead 与 left shoulder 相机上评估，对手是基于 Gaussian splatting 的 SOTA 视频重建方法 Shape of Motion (SoM)。

Method	PSNR ↑	SSIM ↑	LPIPS ↓	CLIP Score ↑	CLIP Aesthetic ↑	Time Costs
SoM	10.94	24.02	73.82	66.67	3.61	~2 hours
Ours	12.99	42.62	60.51	83.02	3.73	~1 mins

Ablations · 一致性与正则损失确实有用

loss ablation — **Figure 3.** 一致性损失与正则损失对 4D 场景重建的影响，红框标出不一致的区域。前两行是**同一相机视角、不同时间步**的渲染：加上 consistency loss 后机械臂的运动明显更连贯；最后一行是**同一帧的三个不同视角**，说明 regularization loss 有助于提升重建的几何准确性。

注意：这组消融是定性呈现的（Figure 3），论文没有为两个损失项给出数值化的消融表格；上面的结论直接来自论文正文对该图的描述。

04 Limitations

Note: 第 1 条是论文 §7 Limitations 中作者明确陈述的；第 2–4 条标注为 inferred，是从方法设计与实验设置推出的，并非论文原文主张。

1. RGB-DN 只能捕捉世界的「单层表面」（stated）

论文原文："While our RGB-DN representation of a 4D world model is cheap and easy to predict, it only captures a single surface of the world. To construct a more complete 4D world model, it may be interesting in the future to have a generative model that generates multiple RGB-DN views of the world, which can then be integrated to form a more complete 4D world model." 换言之，遮挡背面、物体内部都不在这套表征里，多视角 RGB-DN 生成再融合是作者点名的后续方向。

2. 真实域的「真值」本身是估计出来的（inferred）

RT1 / Bridge / SSv2 的 depth 来自 RollingDepth、normal 来自 Marigold-LCM，训练与评测用的都是同一批估计标注（论文在 §5.1.1 明确说真实域样本的 depth 和 normal "are estimated as in Sec. 4.1"）。因此 Real 域的几何指标衡量的是与估计器的一致程度，而非与物理真值的一致程度；论文自己也指出目前缺少可靠的 video normal estimator。

3. 相对深度 + 单目设定带来的尺度问题（inferred）

深度表征是 [0,1] 的相对图，靠 normal integration 与两个损失来修正几何而非恢复 metric scale。论文批评了「假设默认 scale」和「直接预测 metric depth」两条路，但自身也未给出 metric 尺度的评估，重建质量以 Chamfer L1 与新视角合成质量间接体现。

4. 规划实验的规模与场景仍然受限（inferred）

动作规划只在 RLBench 的 9 个仿真任务上验证（每任务 500 条训练样本、100 episodes 评测），没有真机结果；且该阶段的模型被 post-train 成只预测 keyframe，最大帧长 13、固定 512×512 分辨率。此外 4D 场景生成本身依赖 49 帧的视频扩散采样，实时闭环控制的开销未被讨论。