FoAR: Force-Aware Reactive Policy for Contact-Rich Robotic Manipulation

01 Motivation

Contact-rich 任务（擦、削、切）对策略提出双重挑战：接触动力学复杂、且需要精确控制。纯视觉策略往往缺少像 force/torque 这样的关键接触反馈模态——单看图像很难判断工具与物体"到底接没接触上"，导致要么悬空空扫、要么用力过猛。

"Vision-based policies often struggle with the skill required for such tasks, as they typically lack critical contact feedback modalities like force/torque information."

FoAR overview — Figure 1 · FoAR 概览。上：仅凭 vision 难以区分接触与非接触状态（"Are they in contact? Vision 困惑，Force 清晰"），凸显引入 force/torque 的必要性。中：FoAR Policy 由 future contact predictor 输出接触概率 φ，指导多模态融合并预测机器人动作。右：reactive control 在 φ≈1 但力不足时做 force-aware refinement，微调动作后再执行。

0.875Wiping score（RISE 0.500）

100%Peeling 削皮 ASR（RISE 50%）

3.9Chopping 平均切段数（RISE 1.8）

100Hzforce/torque 采样，约 2s 窗口

02 Method

FoAR 建立在 real-world 模仿策略 RISE 之上：point cloud 经 sparse 3D encoder + transformer 得到 scene feature，再由 diffusion action head 输出动作序列。FoAR 在此之上并联一条 force/torque 分支，并用 future contact predictor 把两条模态"按需"融合。

FoAR architecture — Figure 2 · FoAR 架构。上支路：point cloud p_t → Sparse 3D Encoder → Transformer → scene feature h_t^s。下支路：force/torque 序列 f_{t−T_o:t} → MLP → Transformer → force feature h_t^f。future contact predictor（输入 RGB I_t 与力信号）输出接触概率 φ，用于把 force feature 与 learnable embedding h* 加权融合，再与 scene feature 拼接送入 diffusion action head 做 action denoising。

Force/Torque 编码

采集高频 force/torque 数据（100Hz、约 200 个时间步 ≈ 2 秒），先经 3 层 MLP 得到 512 维 force token，再用带 sinusoidal positional encoding 的 transformer 编码为 force feature h_t^f。相比只在末端拼一个瞬时力向量，这样保留了力信号随时间的变化趋势。

Future Contact Predictor

用 ResNet18 视觉编码器 + MLP 力编码器，输出接触概率 φ ∈ [0,1]，表示未来 ±2 秒窗口内发生接触的可能性。它是整个策略"何时相信力信息"的开关。

多模态特征融合（φ 引导）

融合特征把 scene feature 与 [φ × force feature + (1−φ) × learnable neutral embedding h*] 拼接。非接触段 φ→0，力分支被中性 embedding 顶替，避免噪声力信号干扰；接触段 φ→1，力信息被充分使用。由此实现"在非接触段与接触段之间动态调节 force/torque 数据的使用"。

Reactive Control

部署时的反应式修正：当预测接触概率超过阈值（δ_φ=0.9）但检测到的力/力矩不足（δ_f=8N、δ_t=5N·m）时，沿估计方向对预测动作做一个小位移修正（ε=0.006m）。这让 FoAR "仅用简单的 position control" 也能把接触压实到位，而无需显式的力控/阻抗控制器。

03 Experiments

在真实机器人上设计 3 类 contact-rich 任务——Wiping（擦白板，含 General 任意朝向变体）、Peeling（削黄瓜皮）、Chopping（切辣椒），每个任务都包含非接触段与接触段。指标为分阶段平均成功率 ASR(%) 与综合任务 score。Baseline 为 RISE 及其两个融合力信息的变体 RISE (force-token) / RISE (force-concat)。

tasks — Figure 3 · 三个任务的流程分解。每个任务都遵循 grasp → move → 接触操作（wipe / peel / cut）→ place 四步，覆盖非接触与接触阶段以全面评估策略。

Wiping / Peeling（Table I）

Method	Wiping score	Wiping (General) score	Peeling score	Peeling ASR
RISE	0.500	0.500	0.377	50%
RISE (force-token)	0.575	0.600	0.487	75%
RISE (force-concat)	0.475	—	0.524	80%
FoAR (ours)	0.875	0.850	0.756	100%

FoAR 在三项 score 上均大幅领先，Wiping 的 wipe 阶段 ASR 达 100%（RISE 仅 75%），Peeling 的 peel 阶段 ASR 达 100%（RISE 仅 50%）。简单地把力"塞进"RISE（force-token / force-concat）虽有小幅提升，但远不及 φ 引导的动态融合。

Chopping（Table II）

Method	# Segments	Norm. Length Avg.	Norm. Length Std.	Place ASR
RISE	1.8 ± 0.6	0.727	0.411	30%
FoAR (ours)	3.9 ± 0.9	0.353	0.094	70%

切辣椒任务鼓励切成若干均匀小段且不因半切而粘连：FoAR 平均切出 3.9 段（RISE 1.8 段），切段长度更短更均匀（Avg 0.353、Std 0.094，均优于 RISE），说明力反馈帮助刀"切透"。

Ablations（Table III · Wiping General）

Method	Score	Wipe ASR
FoAR w/o Reactive Control	0.650	80%
FoAR w/ Reactive Control	0.850	100%

去掉 reactive control 后 score 从 0.850 降到 0.650、wipe ASR 从 100% 降到 80%，验证了反应式位置修正的作用。鲁棒性测试中，面对重写、移动白板及组合扰动，FoAR 维持 0.80–0.85 的 score，而 RISE 仅维持 0.50–0.60。

04 Limitations

Note: 原文未设独立的 "Limitations" 章节，仅在结论中给出未来方向。下列第 1 条为作者明确提及的 future work（stated），第 2、3 条为依据方法设计推断（inferred）。

控制策略仍较朴素（stated）

FoAR 目前仅用 simple position control + reactive refinement 完成接触任务。作者指出未来可引入更先进的控制策略，如 compliance control、hybrid force/position control 来处理更复杂的接触。

单臂、任务集有限（stated / inferred）

实验为单臂机械臂上的 3 类任务。作者提出可扩展到 dual-arm 或 humanoid 机器人以完成更复杂任务；当前泛化到全新任务类别的能力未被验证。

依赖 future contact predictor 与人工阈值（inferred）

reactive control 依赖 δ_φ=0.9、δ_f=8N、δ_t=5N·m、ε=0.006m 等手工设定的阈值，且 φ 预测器需要额外训练；这些超参在不同硬件/任务上可能需重新标定。