Multi-Quadruped Cooperative Object Transport: Learning Decentralized Pinch-Lift-Move

01 动机 Motivation

多机器人协作搬运的既有工作，大多依赖机器人与负载之间的刚性机械耦合（螺栓、夹具、抓手锁死）。本文关注更难的设定：机械上彼此独立的机器人，只通过接触力协调，既不通信、也无中心化控制，去搬运本身无法被抓握（ungraspable）的大物体。难点在于——没有机械约束时，接触极易滑脱，团队如何"步调一致"地维持接触？

核心洞见（paraphrase from paper）："coordination can still emerge if reward shaping encourages robots to behave as if rigidly attached to the payload, even though they are only connected through pinching forces." —— 用奖励塑形让机器人"仿佛刚性连接"，而非施加真实机械约束。

**Figure 1（teaser）：**decPLM 系统总览。左：高层策略的输入/输出结构；中：仅用 **N=2** 机器人训练；右：无需重训即可泛化到 2–10 台、以及不同几何/质量的负载（box / log / barrel / couch），并给出 sim-to-real 演示。全部机器人**共享同一套策略参数**，各自仅用本地信息以 50 Hz 独立执行。

2→10训练 N=2，泛化到 2–10 台无需重训

80%2→10 台时线速度误差下降（0.1→0.02 m/s）

<1%10 台时箱子掉落率（2 台时为 5%）

~15 kg负载质量临界阈值，超过后普遍失效

02 方法 Method

方法名 decPLM（decentralized Pinch-Lift-Move）。两大支柱：分层策略把"腿部行走"与"手臂/协调"解耦；constellation reward 借鉴计算机视觉中的 point-set registration，用两组 landmark 点的对齐误差，把"维持刚性接触 + 跟踪目标位姿"统一成一个奖励。训练用 MAPPO（Centralized Training / Decentralized Execution，CTDE），仅 N=2、IsaacLab 2048 并行环境。

分层策略 Hierarchical policy

低层策略 π^b：四足底盘的速度跟踪 locomotion，预训练并冻结。高层策略 π^h：接收本体感受 s^(r)、（可选的）contact-frame 位姿 T^b_cf、contact-frame 指令 𝒞_cf、以及时间同步信号 t_sync∈[0,5]；输出手臂关节目标 + 底盘速度指令（后者喂给低层）。每台机器人独立以 50 Hz 运行两层策略，仅用本地信息，全队共享 θ^h，训练时用带特权信息的 asymmetric critic。策略网络为 2 层 128×128 MLP，拼接观测与历史动作。

**Figure 3：**constellation reward 示意——蓝色 source 点（贴在接触 pad 与底盘上）匹配到绿色 target 点（物体上的接触帧 / 刚体假设下的目标位置）。**End-effector contact constellation**：沿臂端接触 pad 法向均匀取 5 个共线点（跨约 50 cm），对齐物体接触帧法向，R_contact = −d_con(P_pad, P_cf)；**Base tracking constellation**：底盘上 3 个非共线点（形如 10×10×10 cm 立方体角），在刚体运动学假设下匹配目标位置，R_track = −d_con(P_base, P_rigid)。总奖励 R_{constellation} = R_contact + R_track。距离度量 d_con(P,P*) = (1/K)Σ‖p_i−p_i*‖²。同时匹配位置与朝向，逼出"刚性接触"行为。

训练课程 Curriculum（14 秒/回合，3 阶段）

Pinch（接触成形，0–7 s）：箱子质量固定 100 kg，指令池仅 (0,0,0,0)，只练手臂接触，重罚腿部移动。
Pinch+Lift（协同抬升）：加入高度指令，箱子质量随机化 0.1–2 kg，机器人协调同步竖直抬升。
Pinch+Lift+Move（完整搬运）：启用完整指令池（平面速度 + 旋转），移除腿部惩罚。

其它：域随机化（动力学、接触参数、负载质量 0.1–2 kg、外力、初始位姿、传感/动作噪声）。当 contact-frame 位姿被 mask 时，采用渐进退火更新率：50 Hz → 25 Hz → 5 Hz → 0.25 Hz → 0 Hz。仿真器 IsaacLab，框架 RSL-RL。

03 实验 Experiments

在 IsaacLab 中广泛评测 2–10 台机器人、多种几何/质量物体，并给出 sim-to-real。变体记法：const± 表示是否用 constellation reward；cf⁺ 表示持续提供接触帧位姿，cf^init 表示仅初始化时提供、之后 mask。指标：线/角速度误差、高度误差、Drop%（掉落率）、Fall%（倾覆率）。

Out-of-Distribution 负载（Table I，每配置 500 回合）

Payload	N	Method	Lin.Vel.Err	Ang.Vel.Err	Height Err	Drop%	Fall%
Log (2kg)	2	const⁺, cf⁺	0.103	0.290	0.017	0.3	0.0
Log (2kg)	2	const⁺, cf^init	0.117	0.278	0.049	2.6	0.0
Barrel (3kg)	3	const⁺, cf⁺	0.184	0.293	0.031	0.1	0.0
Barrel (3kg)	3	const⁺, cf^init	0.135	0.310	0.080	6.0	0.2
Couch (10kg)	5	const⁺, cf⁺	0.145	0.229	0.098	15.0	0.4
Couch (10kg)	5	const⁺, cf^init	0.264	0.268	0.187	51.5	8.8

越重/越不规则的物体（couch），持续接触帧位姿 cf⁺ 越关键：从 cf^init 的 51.5% 掉落率降到 cf⁺ 的 15.0%。

3 台抬圆桶 — 3 台 Go2 协同抬 3 kg barrel（圆柱几何、非共面接触）。

团队规模扩展（1.0×1.5×0.7 m 箱、2 kg）

2-10 台机器人环绕排布 — **Figure 4：**N∈{2,…,10} 台机器人环绕箱体的排布（自右上起顺时针索引）。同一套策略即可覆盖全部队规模。

"linear velocity error … decrease from 0.1 to 0.02 m/s when scaling from 2 to 10 robots, which is an 80% drop"；同时箱子掉落率 "fall from 5% to less than 1%"。—— 队伍越大，负载分摊越均匀、跟踪越稳。

负载质量扩展（2–20 kg）

存在约 15 kg 临界阈值，超过后即便加机器人也难以为继。在 15 kg 处：持续位姿 cf⁺ "maintains an 18% drop rate and 5% failure rate"；而 cf^init "degrades sharply to 60% drop rate and 40% failure rate"。

消融与力分布 Ablations

constellation reward 是关键：在 2–10 台各规模上，const⁺ 明显优于 const⁻。5 台时，即便接触位姿被 mask，const⁺,cf^init 在速度跟踪上仍 "approximately 50% better" 于 const⁻,cf⁺ 基线。
2 台训练已足够：用 3 台训练（decPLM_3r）相比 2 台"minimal benefit … sometimes performs worse"。
力分布（Figure 6）：在非对称 3 台配置中，"co-located robots together apply approximately the same total force as the single robot on the opposite side"；团队越大、负载分摊越均匀。

Sim-to-Real

硬件为 Unitree Go2 + D1 arm，接触 pad 覆橡胶。测试 2、3、4 台，负载为 1–2 kg 轻箱。策略"executed coordinated pinch–lift–move sequences"，但存在明显 sim-to-real gap，源于未知臂动力学、关节编码器偏置、有限臂力矩、以及箱体形变扰乱接触线索。

04 局限性 Limitations

Note: 以下各点均为作者在论文中明确陈述（stated）的局限，未作臆测。

负载质量上限（~15 kg）

即使增加机器人数量，系统在约 15 kg 以上也会可靠地失效。

硬件约束导致 sim-to-real gap

"unknown arm dynamics requiring manual gain tuning, joint encoder offsets needing external calibration, limited arm torque restricting payload capacity, and box deformability disrupting contact cues."

依赖持续接触帧位姿

对更重/更不规则的负载，"continuous knowledge of contact frame pose becomes crucial"，否则稳定性显著下降（见 couch 与 15 kg 结果）。

几何非对称的代价

奇数/非对称队伍因力矩平衡不均，速度误差略高。

接触初始化假设

方法假设回合开始时机器人已"positioned within a specified tolerance of their contact frames"，未涵盖自主接近与初始接触形成。