ContactGuard

01 Motivation

接触密集（contact-rich）操作中的失败，往往到物理接触发生后才被察觉。尤其在腕部相机（wrist-camera）设置下，一个糟糕的接近轨迹可能已经把物体推走、错过、打滑或扰动，等常规检测器反应过来时，场景已被改变。ContactGuard 提出「接触前执行监控」（pre-contact execution monitoring）：在真正投入接触之前，评估「即将到来的动作是否很可能失败」。

核心问题：机器人能否在接触发生之前评估一个 action chunk 的后果，并在造成改变场景的破坏之前，停止糟糕的交互？

02 Method

ContactGuard 遵循 JEPA（Joint-Embedding Predictive Architecture）思想：不生成逼真的未来帧，而是把多视角观测编码成紧凑的视觉 embedding，学习这些 embedding 在机器人动作驱动下如何演化。「在表示空间中直接预测，避免了像素级视频生成的代价与歧义。」流程分两阶段：先自监督训练潜空间世界模型，再冻结后训练一个轻量失败探针（failure probe）。

多视角潜空间世界模型（Multi-View Latent World Model）

V 个固定相机提供同步观测，共享的 ViT-Tiny 编码器独立处理每个视角；逐视角 embedding 做 mean-pool 后经一层学习到的线性投影，得到单一潜向量 z_t ∈ ℝ^D。动作嵌入器（action embedder）把关节空间动作映射到同一 D 维空间。预测器由四个 AdaLN-zero 条件化的 Transformer block 加两层 MLP 组成，用「下一潜表示回归」（next-latent regression）训练，并以 SIGReg 抗坍缩正则化（anti-collapse）防止表示崩溃。

失败探针（Failure Probe）

冻结编码器与预测器后，用一个轻量 logistic regression 探针把 K 步预测潜表示 ẑ_t+K 映射为失败概率，采用 ℓ₂ 惩罚、类别平衡的 logistic 损失训练。探针仅需一小批带标签的接触前片段（pre-contact clips），每个任务约 250 次抓取尝试。

部署流程（四阶段，与策略并行运行）

• Trigger 触发：扫描即将到来的 chunk，找到第一个「开→合」夹爪转换，偏移 g 帧。
• Anchor 锚定：当计划闭合处于 ≤ k_pre 帧之内时激活（与探针训练偏移对齐）。
• Rollout & Score：编码观测历史，沿计划动作把预测器滚动 K 步，对 ẑ_t+K 应用冻结探针打分。
• Abort 决策：若 P(fail) > τ，则在夹爪闭合前中止；否则维持策略原样继续。

03 Experiments

在 14-DoF AgileX Piper 双臂机器人、3 路同步 RGB 相机上，以 ACT 作为底层策略，评估四种抓取设定：cup pick-and-place、box pick-and-place、pencil-and-notebook grasping、towel-fold grasping。每个任务在 N=50 次受监控 rollout 上做闭环真机评测，测试片段与训练/探针拟合/阈值选择互不重叠。

表 1 · 闭环真机结果（每任务 N=50 监控 rollout）

诚实对照：在 Pencil 上，ContactGuard 的 recall（0.727）低于 LeWM（0.864）与 Direct-linear（1.000），但以更低的误报率 FAR（0.071）换取整体更高的 AUC 与平衡精度。

表 2 · 与外部检测器离线对比（ROC AUC）

Ablations — 动作条件的作用（表 3，AUC）

把预测器的动作输入替换/破坏后，性能显著下降，验证「动作条件」是关键：Full（如 Box 0.956）远高于 Shuffled（0.493）、Zero（Box 0.494）、Mean（Box 0.631）与 Current latent（Box 0.844）。这说明模型确实在利用「计划动作」预测后果，而非仅凭当前状态。

运行时（表 4，RTX 5090，K=30，视界 1.00 s）：rollout 15.39 ms，完整一次监控 19.18 ms——满足在线运行。表 5 另显示单视角 LeWM 去掉本体感受状态、仅用图像反而更好（如 Pencil 0.878 vs 含 state 0.455）。

04 Limitations