Offline RL · Diffusion Planning

SAGE:用自监督能量门控改进扩散规划器

Improving Diffusion Planners by Self-Supervised Action Gating with Energies
Yuan Lu, Dongqi Han, Yansen Wang, Dongsheng Li

扩散规划器(diffusion planner)在 offline RL 中很强,但 value-guided 选择常会挑中「分数高却与动力学局部不一致」的轨迹,导致执行脆弱。SAGE 是一个推理期(inference-time)重排序方法:用 JEPA 学到的 latent 一致性信号给每条候选轨迹打一个「能量」(feasibility 分数),再与 value 融合来选动作。无需环境 rollout,也无需重训 policy。

D4RL · Locomotion / Navigation / Manipulation 500 evaluation seeds 推理开销 +6.8% 📄 arXiv:2603.02650 PDF
diffusion planneroffline RLJEPAself-supervisedlatent consistency energyinference-time re-rankingaction gatingD4RLfeasibility

01 Motivation

扩散规划器先采样一批候选轨迹,再用 value 评分挑一条来执行。问题在于:value 高的轨迹不一定局部可行(locally feasible)——早期若干步可能违反环境动力学。作者称之为 feasibility gap:一条轨迹在 value 下看着诱人,但前缀(prefix)里藏着不可实现的转移,在 replanning 下执行会崩。

问题的根源:value 优化在 offline 设定下鼓励向数据外「外推(extrapolation)」,而 feasibility 需要的是「保守(conservatism)」——把「找高 value 未来」与「拒绝局部不可行轨迹」这两个相互冲突的目标混在同一个打分里,产生了张力。
Maze2D 中 SAGE 抑制不可行轨迹
Figure 3:Maze2D 采样 100 条轨迹。左:MCSS(Monte-Carlo sample selection)会选中穿墙 / 越界(wall-crossing or out-of-bounds)的轨迹;右:SAGE 的 prefix energy 过滤 + soft penalty 抑制了这些失败模式,同时保留了轨迹多样性。
+2.10Overall 平均分 95.59→97.69
0.94–0.99能量定位违规的 AUROC
+6.8%相对 DV+MCSS 的推理延迟
0 rollout无需环境交互 / 重训 policy

02 Method

SAGE 把 feasibility 与 value 解耦:在推理期为每条候选轨迹的前缀单独计算一个自监督 feasibility 分数(能量),既不重训 diffusion generator,也不动 critic。训练分两阶段,推理期做一次能量重排序。

SAGE 框架
Figure 1:SAGE 框架。(a) 用带 EMA teacher 的掩码状态窗口学习 predictive JEPA 状态表示;(b) 训练 action-conditioned latent predictor,其预测误差即 transition energy;(c) 测试期用「energy + value」门控给候选轨迹打分选动作。

Stage I — Predictive State Representation (JEPA)

仅状态(state-only)的 offline 轨迹上训练一个 JEPA encoder:给定 context window 与 future offsets,从被掩码的 context 预测未来状态的 latent embedding。目标结合 alignment loss 与 VICReg 正则(方差/协方差惩罚,防止表征坍缩):

ℒ_JEPA = ℒ_sim + λ_var · ℒ_var + λ_cov · ℒ_cov

Stage II — Action-Conditioned Latent Predictor

冻结 JEPA latent 空间,在其上训练 action-conditioned predictor f_η,用三种互补损失:teacher-forced one-step loss(真前缀下的单步预测精度)、short-horizon rollout loss(自回归一致性)、以及 action-usage hinge(用 batch 内打乱的动作惩罚「对动作不敏感」):

ℒ_AC = ℒ_tf + λ_ro · ℒ_ro + λ_neg · ℒ_neg

推理期:能量重排序(inference-time selection)

对每条候选轨迹,在前 K 个转移上计算 latent 一致性能量(能量越低越局部可行):

E(τ̂ⁱ) = (1/K) Σk ‖ f_η(zⁱt+k, aⁱt+k) − zⁱt+k+1 ‖₁

先按能量保留最低的 𝒫 比例候选(keep-rate 过滤),再把能量与 value 融合选动作:

i* ∈ argmaxi ( J(τ̂ⁱ) − λ · E(τ̂ⁱ) )

可直接插进任何「能采样轨迹 + 用 value 选动作」的扩散规划管线;每步只需 O(CK) 次轻量 latent 评估。

03 Experiments

在 D4RL 上评测:MuJoCo locomotion(HalfCheetah / Hopper / Walker2d)、Franka Kitchen manipulation、AntMaze navigation(medium/large × play/diverse)、Maze2D(umaze/medium/large),每项 500 个 evaluation episode seeds。基线覆盖 BC、BCQ/CQL/IQL、diffusion policy(DQL/IDQL)、diffusion planner(Diffuser/DV),以及 feasibility 类方法(RGG/LDCQ/LoMAP)。SAGE 主要挂在 DV(Diffusion Veteran)上,与其 MCSS 选择对比。

Domain(平均分)DV baselineSAGEΔ
MuJoCo82.984.4+1.5
Kitchen81.885.6+3.8
AntMaze81.684.5+2.9
Maze2D161.6163.1+1.5
Overall95.5997.69+2.10

统计显著性(Table 3,对 500 条 per-episode return 做 unpaired two-sample test):Overall p = 1.1×10⁻⁹、MuJoCo 4.8×10⁻¹³、Kitchen 1.1×10⁻⁴²、AntMaze 0.020;Maze2D 0.152(已接近性能天花板,ceiling effect)。

能量对可行性的判别力 AUROC
Figure 8:能量对 feasibility 的判别力(AUROC ↑)。柱为跨环境均值,误差棒为 standard error。SAGE 能量在 MuJoCo/Kitchen/Maze2D ≈0.98–0.99、AntMaze ≈0.94,说明「能量」确实能把可行与不可行转移分开。
能量定位可行性违规
Figure 2:能量能定位可行性违规——同一条 offline episode 在 clean 与「注入损坏动作段」后的逐步 latent 一致性能量对比,损坏会诱发一个尖锐、局部的能量 spike,且与被打乱区间对齐。

Ablations

三个关键超参(Figures 4–6):prefix 长度 K 约 5–10 步最好,K≥20 反而退化;keep-rate 𝒫 过激过滤会牺牲多样性,𝒫=0.8 较平衡;penalty 权重 λ 取中等值(≈0.1)最能与 value 选择互补,λ 过大则过度偏向「容易的动力学」。

prefix 长度 K 的消融
Figure 4:四个评测域上,平均性能随 prefix 窗口长度 K 的变化——收益先升后稳,K 过长时退化。

04 Limitations

Note: 原文没有单独的 Limitations 章节;以下各点均为「从方法设计与实验现象推断(inferred)」,非作者明述。
已接近天花板的任务收益有限(inferred)

Maze2D 的显著性 p=0.152、Δ 仅 +1.5,作者归因于 ceiling effect——当基线已很强时 SAGE 提升空间小。

依赖超参调优(inferred)

prefix 长度 K、keep-rate 𝒫、penalty 权重 λ 三者都会显著影响结果(见 Figures 4–6),需针对任务调参。

假设「短时可预测性」(inferred)

能量信号只看前 K 步的 latent 一致性,本质假设短 horizon 可预测;对长 horizon 的分布漂移可能力不从心。

受限于 offline 数据质量(inferred)

JEPA 表示与 latent predictor 都在 offline 轨迹上学得,其可行性判别力依赖数据覆盖与动力学一致性。