HWM：用潜空间世界模型做分层规划

01 Motivation

latent world model + MPC 的吸引力在于：只用 reward-free 的离线轨迹按 next-latent prediction 训练，推理时靠 cost-based optimization 就能零样本完成目标导向控制，不需要为任务训策略。但论文指出这套 flat planning 在两种不同的 regime 下都会失败。

"On non-greedy tasks like pick-and-place — where the optimal trajectory must temporarily move away from the goal — the goal-matching cost the planner minimizes is non-monotone along that trajectory, trapping local optimizers in greedy shortcuts even at modest horizons... On long-horizon tasks, prediction errors compound over autoregressive rollouts and the action search space grows exponentially with horizon."

失败模式 A：non-greedy 任务

要把杯子放到目标位，必须先靠近并抓起物体——这一步在图像 latent 上反而离 goal 更"远"。cost surface 非单调，CEM 这类局部优化器直接走捷径。实测 state-of-the-art 的 VJEPA2-AC planner 在真机 pick-&-place 上 0%。

失败模式 B：长时程

autoregressive rollout 让一步误差累积；同时搜索树随 horizon 与 branching factor 指数增长（curse of horizon）。Push-T 从 d=25 拉长到 d=75，DINO-WM 成功率从 84% 掉到 17%。

层次化本可以同时缓解这两点，但已有路线都对不上"零样本 + 视觉世界模型"这个设定：hierarchical RL（options / skills / hierarchical policy）需要任务专属奖励或任务分布；hierarchical world model 多数仍绑在 policy learning 上；而最优控制里的 hierarchical MPC 虽然 task-agnostic，却"largely restricted to low-dimensional state spaces, hand-engineered representations, or known dynamics"。

HWM 分层规划总览 — **Figure 1 (top)**：latent space 中的分层规划。high-level planner 用长时程世界模型优化 macro-actions 去够 goal；**high-level rollout 的第一个预测 latent 就是 subgoal**，交给 low-level planner 用短时程世界模型优化 primitive actions。两层都随新观测 replan，构成闭环 MPC。实线边框是 ground-truth 观测，其余是 decoder 重建，**仅用于可视化**，不参与规划与训练。

70%Franka pick-&-place cup
（flat VJEPA2-AC: 0%）

61%Push-T d=75
（DINO-WM: 17%）

83%Diverse Maze D∈[13,16]
（PLDM: 44%）

3×更少的 planning compute
（same-or-better 成功率）

02 Method

HWM = top-down hierarchical MPC over latent world models。假设有两个处在同一 latent space、时间分辨率不同的世界模型：低层 F⁽¹⁾(z_t+1 | z_t, a_t) 以 primitive action 为条件，高层 F⁽²⁾(z_t+h | z_t, l_t) 以 latent macro-action 为条件。因为共享 latent space，高层的预测本身就是低层能直接匹配的目标，subgoal 的传递靠 latent matching 完成，不需要中间的 goal-conditioned controller。

HWM 分层规划流程 — **Figure 2**：high-level planner 用长时程 latent world model 优化 macro-actions 去逼近 final goal embedding（`arg min_{l} ℒ_high`）；得到的第一个预测 latent 作为 subgoal，low-level 再用短时程世界模型优化 primitive actions 去够它（`arg min_{a} ℒ_low`）。两端的观测 `s₁` / `s_goal` 都经同一个 encoder `E` 进入 latent space。

High-Level Planning：在 macro-action 上最小化 latent 能量

给定当前观测 s₁ 与目标观测 s_g，编码为 z₁=E(s₁)、z_g=E(s_g)，然后在 H 个 macro-action 上最小化

ℰ₂(l̂_1:H; z₁, z_g) ≜ ‖ z_g − F⁽²⁾(l̂_1:H; z₁) ‖₁

把优化好的 plan 展开，就得到一串高层时间分辨率上的中间 latent subgoal：z̃_i ≜ F⁽²⁾(l*_1:i; z₁), i = 1,…,H。

Low-Level Planning：只对第一个 subgoal 负责

执行时，agent 只规划 primitive actions 去够 第一个 subgoal z̃₁：ℰ₁(â_1:h; z₁, z̃₁) ≜ ‖ z̃₁ − F⁽¹⁾(â_1:h; z₁) ‖₁，把最优解送进控制器，每 k 次交互用分层 planner 重新规划一次（receding horizon）。两层的能量函数形式完全一样，都是 latent 上的 ℓ₁ 距离。

Macro-Action：把动作块压成低维 latent

高层若直接在拼接的 primitive action 上搜索，维度会爆炸。HWM 引入一个可学的 action encoder A_ψ，把 waypoint 之间的动作块压成紧凑的 macro-action。注意 HWM 不假设固定的高层 horizon h——"allowing each high-level transition to correspond to a variable-length segment of low-level execution"。

高层世界模型结构 — **Figure 3**：高层世界模型用从低层动作块编码出的 macro-actions 捕捉长时程动力学，是 causal 的，用 latent prediction loss 训练。训练时从轨迹里采 `N` 个 waypoint index，把 waypoint 编成 `z_{t_k}=E(s_{t_k})`、动作块编成 `l_{t_k}=A_ψ(a_{t_k:t_k+1})`，交错序列 `(l_{t_k}, z_{t_k})` 喂给 `F⁽²⁾_φ` 预测下一个 waypoint latent，用 teacher-forcing 的 ℓ₁ loss 监督。

这样做带来两个好处（论文原话）：其一，"fewer autoregressive rollout steps are needed to reach a given goal horizon, reducing compounding error"；其二，"compressing primitive action chunks into a lower-dimensional latent space shrinks the high-level MPC search space, making long-horizon optimization more tractable"。

三个 backbone 的实例化

Franka（VJEPA2-AC）：低层照搬 VJEPA2-AC 训练配方；高层取 N=3 个 waypoint，采自跨度至多 4 秒的轨迹片段，中间 waypoint 均匀随机；macro-action 由 transformer action encoder 的 CLS token 投影得到，维度 4。两层都用 CEM，每步 replan。
Push-T（DINO-WM）：低层是冻结 DINOv2 encoder + 25M causal ViT；高层在同一 latent space 上把 ViT 扩到 75M，macro-action 维度 4。
Diverse Maze（PLDM）：低层是轻量卷积 encoder + 卷积 predictor，15 步 rollout，VICReg 防坍缩；高层复用冻结的低层 encoder，以 stride 10 预测 waypoint latent，macro-action 8 维。规划用 MPPI。

03 Experiments

论文在三个 latent world-model 架构上评测，并且都用了比原论文更难的设定：真机 Franka 操作但不给显式 subgoal（VJEPA2-AC）、Push-T 从 25 步拉到 75 步（DINO-WM）、PointMaze 带 train–test layout mismatch 且地图更大（PLDM）。

总体结果与计算量 — **Figure 1 (bottom)**：左——HWM 在 3 个 latent world model 架构、4 个任务组上都改进了长时程规划（Drawer +40%、Pick-&-Place +70%、Push-T +44%、Diverse Maze +39%）。右——成功率 vs 归一化 planning time：在固定预算下，分层规划以约 3× 更低的 planning time 追平或超过单层。

真机 Franka：零样本 non-greedy 操作

7-DoF Franka Emika Panda + 两指夹爪，沿用 VJEPA2-AC 部署设置。pick-&-place 含两种物体（cup / box）共 10 组 start–goal；drawer 开合 7 个子任务。每个配置跑 N=5 次独立试验。世界模型训练数据是 DROID 和 RoboSet 中约 130 小时无标注真机操作数据。

Method（Table 1）	P&P Cup	P&P Box	Drawer
Octo（image goal）	0%	0%	43%
π₀-FAST-DROID（language goal）	52%	18%	–
π_0.5-DROID（language goal）	68%	36%	–
VJEPA2-AC（single-level）	0%	0%	30%
VJEPA2-AC (hierarchy) = HWM	70%	60%	70%

注意口径差异：HWM 与 Octo 用单张 goal image，而 π 系列用语言目标。论文的表述是 HWM "is competitive with these baselines despite significantly less training data (∼77×), and far exceeds Octo under identical image-goal supervision"——在 P&P Cup 上 π_0.5-DROID 的 68% 与 HWM 的 70% 基本持平，Box 上 HWM（60%）高于 π_0.5（36%）。Drawer 上 flat planner 只解出 2/7 个可以线性推拉的任务。

Franka 执行序列 — **Figure 4 (top)**：双指 Franka 上 pick-&-place 与 drawer 操作的执行序列。**红色虚线列是 high-level planner 推断出的 subgoal**（解码出来只为可视化）。可以看到 subgoal 恰好落在"已经抓起杯子"和"已经把抽屉拉开"这些关键中间状态上。

Push-T 与 Diverse Maze：随时程拉长，差距变大

Push-T（Table 2）	d=25	d=50	d=75
GCIQL	40%	25%	7.5%
HIQL	55%	30%	20%
HILP	25%	13%	0%
DINO-WM	84%	55%	17%
DINO-WM (hier.)	89%	78%	61%

Diverse Maze（Table 3）	D∈[5,8]	D∈[9,12]	D∈[13,16]
GCIQL	85%	40%	33%
HIQL	88%	73%	48%
HILP	48%	20%	10%
PLDM	100%	84%	44%
PLDM (hier.)	100%	95%	83%

Maze 最难档上 hierarchy 几乎把成功率翻了一倍（44% → 83%）；最易档 D∈[5,8] 两者都是 100%，分层并没有额外收益——这也印证了论文的说法：coarse subgoal planning 主要对长时程有用。另外论文强调，Push-T 的差距"is not explained by parameter count：capacity-matched single-level planners do not match HWM and sometimes degrade with increased capacity"。Maze 上 HWM 以 4× 更少的 compute 取得更高成功率。

消融 1：Manual subgoal——问题出在 planner，不是 representation

为了区分"世界模型表征不够"还是"单层 MPC 跳不出贪心陷阱"，作者给单层 planner 人工标注了抓取点作为中间 subgoal，分两段执行。

Method（Table 4）	P&P（Manual Subgoals）		P&P（End-to-End）
Method（Table 4）	Cup	Box	Cup	Box
VJEPA2-AC	80%	80%	0%	0%
VJEPA2-AC (hierarchy)	80%	80%	70%	60%

结论很干净：有了正确的中间目标，VJEPA2-AC 世界模型完全胜任这些任务（80%/80%），所以 "the failure of single-level planning is hierarchical in nature, not representational"。HWM 在不给任何人工分解的前提下自动恢复了其中大部分性能（70%/60%）——但也确实没有完全追平这个 oracle 上界。

消融 2：macro-action 的参数化方式

High Level Action（Table 5, Maze）	D∈[9,12]	D∈[13,16]
Concat Primitive Actions	52	37
Macro-Action	95	83

High Level Action（Table 6, Franka）	Cos ↑	ℓ₁ ↓
Delta Pose	0.80 ± 0.02	0.088 ± 0.005
Macro-Action	0.88 ± 0.03	0.080 ± 0.002

学出来的 macro-action 同时胜过"拼接 primitive actions"和"手工的 end-effector 位移（delta pose）"。对后者论文的解释是：简单的位移摘要会丢掉时间结构，"they can collapse extended, non-greedy trajectories into a single endpoint displacement"。

消融 3：长时程预测精度 & macro-action 维度

Figure 6 显示两级模型的分工是有实证支撑的：预测 2 秒未来时，低层模型要跑至多 16 步 autoregressive，而高层模型只需一步。结果是短时程（≤ 1s）低层更准，长时程（≥ 1.5s）高层的单步预测误差更低。
Figure 7 则揭示了一个非单调的 trade-off：macro-action 维度 ≥ 4 时高层通常能产出 valid plan，但维度太高时提出的 subgoal 反而低层执行不了（与 expert action 的 cosine similarity 下降）。Franka 任务上维度 4 是平衡点。有意思的是，低维 macro-action 的重建更模糊、ℓ₁ 误差更高，但"reconstruction fidelity from latent predictions is not tightly correlated with hierarchical planning success"——只要保住 contact event、运动方向这类粗粒度语义结构就够用了。

04 Limitations

Note: 前三条是论文 §7 Limitations 明确写出的；后两条标注为 inferred，由实验设计与数据推断，非作者原话。

成功率仍随任务时程下降（stated）

"Despite these gains, success rates degrade with task horizon for every method we evaluate; closing this gap will require further progress in world modeling and planning." 从表 2/3 也能看出：Push-T d=75 只有 61%，Maze 最难档 83%，离饱和还很远。

各层共用同一个 latent space（stated）

"HWM uses a single latent space across hierarchy levels: while this enables direct subgoal transfer, longer horizons and more open-ended environments may benefit from coarser, level-specific abstractions." 共享 latent 是 subgoal 直接传递的前提，也因此限制了高层做更抽象的表征。

subgoal 质量受 waypoint 采样与推理方式限制（stated）

训练时高层用的是"randomly sampled or fixed-stride waypoints"；论文自己指出 skill / subgoal discovery 或 dynamic chunking 可以替换掉这套 waypoint 方案而不改动框架其余部分。推理端，"incorporating feedback from the lower-level planner into high-level subgoal optimization may help compensate for the loss of detail in high-level predictions"——目前高层规划是单向下发的，低层的可执行性没有回流。

真机评测规模有限，失败以感知误差为主（inferred + stated）

每个配置 N=5 次试验，pick-&-place 每种物体共 50 次、drawer 35 次；论文提供了 95% Clopper–Pearson 置信区间（Table 17），但样本量决定了区间不会很窄。作者观察到 "HWM failures arise mainly from perceptual imprecision (e.g., depth errors) or near-miss executions, suggesting that coarse high-level subgoals can lose details needed for precise low-level guidance."

超参敏感、且未追平 manual-subgoal 上界（inferred）

Maze 上高层 stride 从 6 到 14 扫过去，成功率是 50% / 55% / 77% / 78% / 75%（Table 15）——过小的 stride 明显掉点，说明时间尺度需要按任务调。同时 macro-action 维度也存在最优区间（Fig. 7）。而 Table 4 显示 HWM 的 70%/60% 仍低于人工 subgoal 的 80%/80%，自动产生的 subgoal 尚未达到人工分解的质量。