免重训的跨夹爪抓放：Learning-optimization Diffusion Policy

01 Motivation

当前的机器人抓放策略「typically require consistent gripper configurations across training and inference」——训练和部署必须用同一个夹爪。一旦换成新末端执行器，尤其对 imitation learning / diffusion policy 这类行为克隆方法，往往要付出高昂的重训或微调代价。换夹爪会改变末端的 tool-center-point (TCP) 位置：直接把预训练策略套到新夹爪上，生成的轨迹要么撞桌（更长的夹爪），要么抓空（更短的夹爪）。

「objects cannot be grasped with shorter grippers, and collisions can result from using longer grippers.」——换夹爪造成的轨迹偏移 ‖τ^G_i − τ^G_0‖ 超过成功阈值 δ_tol，任务随之失败。

已有的 multi-embodiment 方案（如 HPT、跨本体 latent 对齐）虽然能泛化，但需要大量 embodiment-specific 数据或策略微调，部署灵活性受限。本文的目标是：不采集新数据、不重训、不微调，仅在推理时引入夹爪配置，就让训练好的策略适配未见夹爪并完成任务。

02 Method

框架把问题拆成两半：(1) gripper-invariant knowledge learning —— 学习与夹爪几何无关的抓取知识；(2) morphology-aware trajectory optimization —— 推理时按夹爪形态优化轨迹。策略主干沿用 Simple DP3（3D Diffusion Policy），训练与 DDPM 一致；推理用 DDIM，10 步去噪。关键在于把最后几步去噪改造成一个带约束的优化过程。

① Gripper-agnostic grasping probability map G*_prob

换夹爪会改变 RGB / 点云的视觉观测，让策略陷入 out-of-distribution。作者引入一个与末端几何无关的 grasping probability map 作为额外观测通道，让策略聚焦物体本身的抓取 affordance 而非夹爪外观。该图用在 Cornell Grasping Dataset（885 张 RGB-D、240 物体）上预训练的 GG-CNN 从深度图生成。为抵抗手眼相机移动带来的尺度变化与光照噪声，再做三步稳定化：threshold filtering（丢弃概率 <0.7 的像素）、centroid 计算、以质心为中心 r=30 px 的 circular masking，得到稳定的 G*_prob。

② Gripper mapping：把新夹爪映射回 base 基准

夹爪形态差异主要沿两个维度：竖直轴 z 上的 TCP offset，以及夹爪开合 g 上的 抓取宽度差异。定义两个可微映射把新夹爪 G_(i) 的参数投影回训练用的 base gripper G₍₀₎：

z′_(i) = z_(i) + Δh_(i)， g′_(i) = α_(i) · g_(i)；其中 Δh_(i) = z₍₀₎ − z_(i) 为高度偏移，α_(i) = g^max₍₀₎ / g^max_(i) 为宽度缩放。

映射参数 {Δh, α} 通过对夹爪尺寸的离线机械测量标定。变换后的位姿 S′_rob = (x, y, z′, g′) 喂给 π_θ，保持观测空间跨夹爪一致。当前实现只做平移补偿，旋转补偿留作 future work。

③ Safety-constrained trajectory projection

光有映射还不够，视觉差异仍可能诱发不安全轨迹。作者在 DDIM 去噪步骤里插入一个投影层 Proj_C：为效率考虑，投影只在最后几步（k ≤ 2）激活。每步求解一个 quadratic program，找最小修正量 ν*，使 TCP 高度满足安全裕度 ε_safe = 0.01 m：

min ‖ν^k_t‖² s.t. S′_rob(z)_t + Φ(a^k_t) + ν^k_t ≥ ε_safe；Φ(·) 把 latent action 反归一化到 Cartesian 位移。

为在整个 T_a 步动作序列上维持安全，进一步引入累积约束（temporal consistency）：把 ν 约束作用在前缀和 Σ_r=0..j Φ(a_t+r) 上，保证「cumulative trajectory is always safe」（P = 1）。投影后动作 a* = Φ⁻[Φ(a) + ν*] 即为可执行的安全轨迹。整个过程不改动网络权重，因此对新夹爪是零样本的。

03 Experiments

平台为 Franka Emika Panda，末端可换：native 平行夹爪 + 定制 3D-printed / flexible fingertips，以及 Robotiq 2F-85。感知用 egocentric Azure Kinect DK + 固定 Intel RealSense D455，ROS noetic 同步。训练数据仅 59 条专家示范，且只用 base gripper G₀ + 一个 pink block；backbone 为改造后的 Simple DP3 MM（把 G*_prob 经 ResNet-18 编码后拼接），训练 8,000 epochs。评测覆盖 6 种不同形态夹爪（TCP 高度 16–23.5 cm、开口宽度 7.5–11.5 cm），每种夹爪重复 5 次。

跨夹爪抓放成功率（Table II，单位 %）

Baseline 为 Diffusion Policy (DP) 与 Diffusion Policy 3D (DP 3D)；消融含 Ours w/o Projection 与 Ours w/o G*_prob。μ 为跨 6 夹爪平均。

另有一个有意思的即插即用结果：把本文的 safety projection 直接接到 baseline 推理端，DP + Projection 在 G₀ 上从 20.0% 升到 100.0%、DP 3D + Projection 升到 80.0%，说明约束投影模块可迁移。当物体位置被随机化时，DP 与 DP 3D「collapse entirely（success rate is 0）」，凸显它们对位置先验的依赖。

Ablations & Safety Analysis

消融显示 Projection 与 G*_prob 各司其职：去掉 Projection 时，策略在偏离 G₀ 较大的夹爪（G₁、G₄、G₅）上失败；去掉 G*_prob 时，在 Kinect 视角下外观差异大的夹爪（G₁、G₅）成功率跌到 0–20%。安全分析（Fig. 6）进一步表明：对更长的 G₁（TCP +3.5 cm），DP / DP 3D / Ours-w/o-Projection 都撞桌，只有完整策略无碰撞完成；对更短的 G₄（TCP −4 cm），缺少 gripper mapping 会让抓取点悬在物体上方过高，而完整策略能正确下探。作者用 KL 散度（Table I）量化 G*_prob 在不同条件下的分布稳定性，明显优于原始 G_prob。

04 Limitations