A Bimanual Manipulation Taxonomy

01 动机 · Motivation

行为学研究表明，双臂任务"more than the simple sum of unimanual tasks"——它必须考虑两手之间的空间/时间协调以及相互作用。理解双臂操作的底层概念，不仅对人形机器人上的任务执行至关重要，也对（如中风后的）康复有意义。在机器人抓取中，taxonomy 早已是应对手部设计与抓取综合复杂性的常用工具，但既有工作大多针对单手或一般操作；本文显式地面向 bimanuality。

目标：提出一个类别清晰可分（clearly differentiable categories）、并特别聚焦于机器人双臂操作应用的 taxonomy——服务于从人类观察中学习任务模型（learning task models from human demonstration），以及在双臂机器人上执行这些模型。

作者指出既有分类的两类不足：神经康复领域（如 Kantak 的分类）虽定义清晰但侧重"对称性/肌肉激活"等治疗评估目标；而机器人领域的分类往往"focus less on the precise definition and classification"，只给出支持控制/规划的示意框架、或仅考虑有限的几个类别。这样一种双臂模式的分类可被用于：从人类示范学习任务模型、有效的人机协作、动作识别，以及为双臂操作的协调与执行推导约束。

02 分类维度与结构 · Taxonomy

taxonomy 建立在双臂操作的四个关键维度上：(i) 两手之间的协调 coordination、(ii) 两手之间的物理交互 interaction、(iii) 每只手的角色 hand role、(iv) 任务中的对称性 symmetry。基于此，动作被逐层划分。

四个关键维度

• Coordination（协调）：是否存在由任务约束定义的空间/时间协调。Uncoordinated 动作本质上是同时执行的单手动作——"如果同一结果可以在单臂上以任意顺序先后完成，则该动作是 uncoordinated"（如一手端咖啡杯、另一手记笔记）。
• Interaction（交互）：执行时两手之间是否发生力的传递（直接、经由共同物体或多个物体）。例如一手持瓶、另一手用工具拧盖——这类交互从机器人控制视角看至关重要。
• Hand roles（手的角色）：引用 Guiard 的观点——对称任务中两手角色相同（如共同搬运大箱子，形成闭合运动链）；非对称任务中角色不同（如一手稳住、另一手操作）。人类中角色与利手高度相关：非主导手通常是稳定手，为主导手提供参考系（reference frame），且主导手运动频率通常更高。但角色不是静态绑定到左右手的。
• Symmetry（对称性）：两臂运动的对称程度。作者认为几何运动对称对机器人不如神经科学中那么重要，因此 taxonomy 只在 tightly coupled 动作中考虑对称性，且关注的是"角色分布的对称"而非严格几何对称。

层级划分与七类动作

coordinated 内部按手间依赖强度进一步区分：loosely coupled 指仅在共同途经点（via points，空间）或同步点（synchronization points，时间）上存在约束，但轨迹之间不存在永久依赖（self object hand-over 是典型例子）；tightly coupled 则不仅有空间/时间约束，还有由接触丰富交互产生的力约束与轨迹级依赖。tightly coupled 内再按 Guiard 的角色观区分 asymmetric（含 left/right dominant）与 symmetric（两手抓取并操作同一物体、存在固定相对变换）。加入 no action 表示空闲态后，用于分析的类别共七类：

（Table I。注：在纯运动特征、缺乏语义理解时，loosely coupled 与 uncoordinated bimanual 无法区分，故分析中合并为 loosely 一类——作者明确指出这是当前分类方法的一个局限。）

验证用的分类流水线

输入为：场景中各物体的 3D 几何模型与 6D 位姿、以及用 MMM（Master Motor Map）模型表示的人体（含手部构型与 6D 末端执行器位姿）。接触图逐帧构建，表示接触关系及其随任务执行的变化。手本身与直接/间接接触的物体归入 rightGroup / leftGroup；固定不被操作的物体（桌、墙）归入 background 以消除误检的接触；其余归入 scene。由于类别只由图的拓扑结构决定，方法在物体层面是 object-agnostic 的。

规则决策树（rule-based classification）

从决策树根节点开始，先判断 rightGroup 与 leftGroup 之间是否有接触边：

• 无接触：用两手平均速度范数 ‖v̄L‖、‖v̄R‖ 判断活动性；速度低于阈值 v_th = 20 mm/s 且未接触（背景物除外）则视为该手不活动。仅一手活动 → uni right / uni left；均不活动 → no action；均活动 → loosely。
• 有接触：比较窗口内两手平均间距 ‖xR−xL‖ 与窗口起始间距 ‖xR,0−xL,0‖，若差值 < 阈值 x_sym,th = 1 mm，且在最小模型膨胀（3 mm；初始接触检测用 15 mm 膨胀）下接触仍持续，则判为 tightly sym；否则按 Guiard——平均速度更高的手为主导手——判为 tightly asym right / tightly asym left。

分类采用大小为 10 帧的滑动窗口，相邻同类窗口合为一个分段，再经去碎片化消除小分段，从而同时得到分类与分割（segmentation）。作者提供了公开实现。

03 分析与验证 · Analysis

用 KIT Bimanual Manipulation Dataset 的 120 条录制（2 名受试者各 60 条）做数据驱动验证。数据由 marker-based Vicon 动捕（100 Hz）与 18-DoF 数据手套（90 Hz）采集，经 MMM 框架重建得到关节角与所有物体的 6D 位姿。自动生成的标签与人工分段的参考数据逐帧比对，用 scikit-learn 计算 micro / macro / weighted F1（micro F1 即 accuracy）。

因录制均为右利手受试者、且限于孤立的双臂操作，参考数据不含 uncoordinated 双臂任务；uni right 与 tightly asym left 两类完全未出现。各类按帧数占比：loosely 46.02%、tightly asym right 28.19%、tightly sym 15.81%、no action 7.14%、uni left 2.84%。

各动作 / 各受试者的 F1（Table II）

与受试者无关地，Stir 与 Wipe 取得最佳结果；Roll 与 Cut 最低——Cut 因数据集中蔬菜建模不精确、且切削转折点缺乏相对运动；Roll 因对称性判据并非总能精确满足。Macro F1 明显低于 Micro，反映各类别频率高度不均衡。

要点

• 整体可以约 84.66% 的准确率检出类别，表明 taxonomy 提出的类别确能在人类日常任务示范中被区分。
• tightly-coupled 内部易混淆：如 rolling 时手位姿的微小变化使"恒定间距"条件不总满足；wiping 结束时把盘子从海绵下拉走的过渡动作常被标为 tightly_asym_left。
• 作者提出改进方向：不为每一帧而是为每个动作分段赋类别，因分段内多数帧分类正确、整体标签多半正确。

04 局限性 · Limitations