PDP：参数化扩散策略 — 用几何对齐的隐空间实现行为可控

01 Motivation

真实机器人任务往往是 underspecified 的：同一个目标在同一环境下可以由多条不同的动作序列完成（一对多结构），所以专家数据天然是 multimodal 的。理想策略既要 (i) 建模这些多模态行为，又要 (ii) 在约束变化时挑出正确的那一个去执行。Diffusion policy 因能表达多模态、高维动作序列而成为 behavior cloning 的强基线，但作者指出："diversity alone is not the same as controllability"。

论文研究的是 constraint-induced behavior shift：环境变化使训练集中的许多轨迹模式失效，成功要求"selecting or discovering a different trajectory mode"。而标准 DP 靠采样噪声来 steering 是 ill-conditioned 的——微小扰动会引起大而不可预测的轨迹变化。

observation shift vs constraint-induced behavior shift — **Figure 1.** 上：标准评测改变的是 observation，目标行为不变。中：本文研究 constraint-induced behavior shift——环境变化使训练集中的多个轨迹模式失效，需要选择/发现另一个模式。下：标准 DP 在噪声空间里 steering 病态；PDP 则暴露一个几何与轨迹相似度对齐的 behavior latent z，z 的微小变化诱导行为的平滑变化，从而支持插值与适应。

92.0约束偏移场景总体成功率 %（PDP）

64.6最强基线 VQ-BeT 同指标 %

21.5标准 DP 同指标 %

d_z=2behavior latent 维度

02 Method

PDP 在 diffusion policy 之上加入一个连续 behavior latent z∈ℝ^d_z，把控制分解为两部分：(i) 一个 geometry-aligned behavior manifold，把高维 demonstration 映射到"欧氏距离反映轨迹相似度"的隐空间；(ii) 一个 parameterized diffusion denoiser，在环境 context 与目标 z 双重条件下生成动作序列。测试时只优化 z、冻结策略权重，即可做 mode selection、行为插值与约束适应。

PDP framework: training and inference — **Figure 2.** PDP 框架。训练（左）：trajectory encoder E_φ 把每条 demonstration τ 嵌入到 Gaussian 后验采样的 behavior latent z；隐空间由联合目标优化——标准 VAE loss（重建 ℒ_rec + KL 散度 D_KL）保信息、正则化分布，几何 loss 则让隐空间距离对齐轨迹的物理相似度。推理时 denoiser ε_θ 以 context 与 z 为条件生成动作 chunk。

① Geometry-Aligned Behavior Latent（几何对齐隐空间）

核心是学一个隐流形，使 z_i 与 z_j 的距离反映两条行为的语义相似度。作者不直接在原始观测上建结构，而是从每条 demonstration 抽取一段 behavior trace（基于状态的特征序列，如位置状态）。trajectory encoder E_φ 把整条 τ 映射为 Gaussian 后验 q_φ(z|τ)=𝒩(μ_φ(τ), diag(σ²_φ(τ)))，下游条件用确定性均值 z̄(τ)=μ_φ(τ)；训练时配一个对称 decoder D_ψ 重建 τ 以保证信息完整。几何对齐用 soft-DTW 计算两条轨迹的物理距离 δ^X_ij 作为监督，使隐空间距离与之匹配——这正是"isometric"隐空间的来源（见消融）。

② Global Modulation（把 z 注入 denoiser）

behavior latent 通过 MLP 变换成每层的 γ^(l) 与 β^(l)，以 affine 变换作用在 denoiser 的 feature map 上：h^(l) ← γ^(l)(z) ⊙ h^(l) + β^(l)(z)（FiLM 式全局调制）。作者的消融显示，这种注入方式比简单 concatenation 或不加条件 (unconditioned) 收敛到明显更低的 diffusion training loss，说明它有效降低了训练中的 inter-mode ambiguity。

global modulation of denoiser — **Figure 3.** Global Modulation：behavior latent z 经 MLP 变成 layer-specific 的 γ^(l)、β^(l)，通过 affine 变换调制 denoiser 各层特征。

③ Test-Time Latent Adaptation（测试时只优化 z）

约束变化时，PDP 冻结 {E_φ, ε_θ}，只调 z：先用 semantic warm-start z₀=μ_φ(X(τ̃)) 从一条目标 demonstration 初始化，再沿 fitting loss ℒ_fit 迭代若干步。因为隐空间几何对齐，warm-start 已接近可行区，通常只需很少步数即可适应；随机初始化则几乎无法收敛（见 Table 6）。

latent-space navigation for generalization — **Figure 5.** 通过隐空间导航实现泛化：学到的 behavior latent 把 demonstration 组织成紧凑 cluster，欧氏距离反映轨迹相似度。在流形上平滑插值可让 denoiser 生成介于已示范模式之间的**全新行为**。

03 Experiments

在 9 个高多模态操作域（仿真 + 真机）上评测四点：behavior steering、原任务保真、几何驱动泛化、各组件必要性。基线共 9 种：DP、BC-GMM、BC、IBC、ADPro、Diff-ES、VQ-BeT、BESO。指标为 3 个随机种子下的成功率均值 ± 标准差。

benchmark domains — **Figure 4.** 评测域。上排为训练环境（多样专家示范，如 OpenDrawer/CloseDrawer 的不同接近路径、PickUpCup 的四个离散抓取点）；下排为带 constraint-induced shift 的测试环境——红色障碍阻断某些训练模式使其失效，或移除把手只留下唯一可行策略。

约束偏移场景成功率（Table 2 摘选，总体均值见末行）

Task · Scene	PDP	DP	VQ-BeT	BC-GMM	BESO
CloseDrawer · S3	100.0 ± 0.0	40.0 ± 13.0	100.0 ± 0.0	0.0 ± 0.0	100.0 ± 0.0
PlaceBlock · S3	86.7 ± 10.1	2.5 ± 2.5	76.0 ± 3.1	0.0 ± 0.0	16.2 ± 11.5
MeatOffGrill · S3	91.7 ± 2.9	2.5 ± 2.5	0.0 ± 0.0	0.0 ± 0.0	0.0 ± 0.0
PickUpCup · S2	85.0 ± 2.5	0.8 ± 1.4	55.0 ± 5.0	72.5 ± 4.3	22.5 ± 15.9
Overall Avg.	92.0	21.5	64.6	13.8	30.6

Scene 1–2 使除单一模式外的所有训练模式失效；Scene 3 是 zero-mode-feasible 设定——所有训练模式都失效，仅提供一条新 demonstration 用于适应。可见在 zero-mode-feasible（S3）的 MeatOffGrill 上，PDP 达 91.7% 而所有基线接近 0；总体上 PDP 92.0% 远超次优 VQ-BeT 的 64.6%。

原始（未偏移）场景成功率（Table 1）

Task	PDP	DP	Diff-ES	VQ-BeT
CloseDrawer	100.0 ± 0.0	88.3 ± 3.8	99.2 ± 0.8	100.0 ± 0.0
PlaceBlock	97.5 ± 2.5	60.0 ± 6.6	80.0 ± 0.0	77.5 ± 0.0
MeatOffGrill	73.3 ± 2.9	52.5 ± 8.7	60.0 ± 0.0	0.0 ± 0.0
PickUpCup	90.0 ± 5.0	15.8 ± 3.8	40.0 ± 0.0	79.2 ± 1.7

即使在无约束偏移的原任务上，PDP 也在这四个域全部取得最佳/并列最佳——说明 behavior latent 足够表达训练数据的多模态分布，并非以牺牲原任务保真换取适应性。

真机 OpenDrawer（Table 3，successes / 5 trials）

Method	Original	Scene 1	Scene 2	Scene 3
PDP	5/5	5/5	5/5	5/5
DP	5/5	3/5	1/5	2/5

simulation trajectory visualizations under constraint shift — **Figure 11.** 约束偏移下的仿真轨迹（CloseDrawer / PickUpCup），逐列对比 PDP 与 DP、BC-GMM、BC、IBC。PDP 保持 mode-consistent、集中在可行的绕障走廊内；无条件基线出现 mode interference 并塌缩到不可行区域。

latent space interpolation on CloseDrawer — **Figure 13.** CloseDrawer 隐空间插值。上：学到的隐分布，cluster 对应不同接近策略；中：多条插值路径（线性 / 椭圆）在 cluster 间穿行；下：以插值 latent 为条件生成的末端执行器轨迹——尽管插值方式不同，行为随 latent 平滑变化，验证了几何对齐隐空间的可插值性。

Ablations（消融）

隐空间几何（Table 4）：Isometric（对齐）在 CloseDrawer 达 100.0，而 Unaligned 仅 11.7±20.2、Discrete 为 0.0——几何对齐是可控性的关键。
latent 注入方式（Table 5）：Global Modulation（CloseDrawer 100.0 / PickUpCup 82.5）优于 Concatenation（82.5 / 25.0）与 Unconditioned（40.0 / 15.8）。
初始化 & 优化步数（Table 6）：Warm-start 即使 0 步就有 98.3%（CloseDrawer）/61.7%（PickUpCup），10 步升至 100.0/81.7；随机初始化即使 100 步也几乎为 0，凸显 semantic warm-start 的必要性。
训练 loss（Figure 10）：Global Modulation 的 diffusion training loss 明显低于 Concatenation 与 Unconditioned，说明减少了 inter-mode ambiguity。

04 Limitations

Note: 论文没有独立的 Limitations 章节。以下第 1 条为作者在 Impact Statement 中明确陈述 (stated)；其余为从方法设计推断 (inferred)。

适应依赖一条成功 demonstration，且行为局限于已学隐空间附近（stated）

作者原文："adaptation relies on a successful demonstration, and the adapted behavior is expected to lie within or near the learned behavior space induced by existing demonstrations." 即测试时适应需要一条目标 demonstration 做 warm-start，且生成行为预期位于/接近已有示范诱导出的 behavior space——离该流形太远的全新策略未必可达。

behavior latent 维度极低（d_z = 2）（inferred）

正文超参数表把 latent 维度设为 2。这利于可视化与插值，但对模式数量更多、跨阶段组合更复杂的任务，2 维隐空间的表达力是否足够，论文未在更高维度上系统验证。

behavior trace 依赖状态特征（如位置状态）（inferred）

几何对齐建立在从 demonstration 抽取的 state-based behavior trace 与 soft-DTW 物理距离之上。对于难以用低维状态轨迹刻画相似度的任务（如以视觉/接触为主的行为），该"距离 ≈ 相似度"假设是否仍成立，未展开讨论。

评测集中于操作类任务（inferred）

实验覆盖 9 个操作域（drawer/cup/block 等），虽含真机，但未涉及导航、动态/高频控制等场景，泛化范围有待进一步验证。