SafeVLA：以约束学习实现 VLA 模型的安全对齐

01 Motivation

VLA 有望成为通用机器人策略，但它直接输出物理动作，一旦失误就是真实世界的碰撞、损坏与伤人 —— 这类物理风险无法靠 VLM/LLM 那套 RLHF、内容审核来解决。论文指出：现有 VLA 尚未把安全性作为设计中不可或缺的一环显式定义并集成。

"Vision-language-action models (VLAs) show potential as generalist robot policies. However, these models pose extreme safety challenges during real-world deployment, including the risk of harm to the environment, the robot itself, and humans."

本文的做法不是给奖励里加惩罚项（reward shaping），而是把安全当作硬约束：先系统性地"引诱"出多样的不安全行为，再用带约束的强化学习把违规压到给定阈值以下，从而得到 SR 与安全性都更优的策略。

02 Method

整体框架称为 Integrated Safety Approach (ISA)，把 VLA 对齐纳入 CMDP：在满足累计成本约束的可行策略集合内最大化任务回报，即 π* = arg max_π∈ΠC J(π)，约束为 E[Σ γ^t c_i(s_t,a_t)] ≤ b_i。ISA 依次覆盖四个相互衔接的环节。

① Safety Modeling（安全建模）

用组合逻辑把安全性写成状态-动作谓词 φ（瞬时违规，如碰撞）与轨迹级谓词 ψ（整条轨迹上的行为约束）。任务把自然语言指令与安全规约一并给出。计成本规则：状态-动作谓词每次违规计 cost = 1；轨迹级谓词则在违规轨迹的最后一步计 cost = 1。

② Risk Elicitation（风险引发）

在 AI2-THOR 中借助 150K 程序化生成场景（ProcTHOR）与 800K 3D 物体（Objaverse），专门制造五类安全关键情形（safety critical components）去暴露危险行为：

• Corners —— 狭窄空间被困；
• Blind spots —— 与视野外障碍物碰撞；
• Fragile collections —— 对易碎物的连带损害；
• Critical points —— 碰倒处于不稳定状态的物体；
• Dangerous equipment —— 与禁止交互的危险设备发生接触。

③ Policy Constraining（策略约束）

核心在于用拉格朗日松弛把带约束问题转成 min-max 优化：min_θ max_λ≥0 [ −J_r(θ) + Σ_i λ_i J_ci(θ) ]。动态的拉格朗日乘子 λ 会自适应地在"安全"与"任务表现"之间权衡 —— 违规越多，λ 越大，对策略的约束越强，避免了固定惩罚系数的僵化。

④ Safety Assurance（安全保证）

从三个维度评估安全性：test-time safety（留出/OOD 场景）、long-tail safety（低频罕见事件）、extreme failure safety（任务根本不可能完成时能否安全地失败）。

03 Experiments

在自建基准 Safety-CHORES（含 Safety-ObjNav 多房间导航找物、Safety-PickUp 从表面抓取、Safety-Fetch 先导航再抓取三类任务）上评测。主要指标：SR（成功率 ↑）与 CC（累计成本 / 安全违规 ↓，CC(τ)=Σ_kΣ_t c_k(s_t,a_t)）。baseline 覆盖 IL-only（SPOC）、IL+RL 标准（FLaRe）、IL+RL 奖励塑形（FLaRe-RS）与 RL-only（Poliformer）。

下表对比 IL+RL 标准基线 FLaRe 与本文 ISA（数值摘自 Table 1）——ISA 在三类任务上 SR 均更高，而 CC 大幅下降，尤其 Safety-PickUp 的 CC 从 7.076 降到 0.372：

Ablations & 泛化

• Risk Elicitation 的必要性：去掉安全关键情形后 CC 恶化到 5.01（对照完整 ISA 的 1.854），甚至差于 FLaRe-RS —— 说明"主动引发风险"是安全提升的关键来源。
• 动态乘子 vs 固定惩罚（Figure 6）：拉格朗日动态乘子相比固定惩罚系数取得更优的"安全-性能"权衡。
• 成本阈值敏感性（Figure 7）：选取 20% 阈值在约束强度与 SR 之间达到最佳平衡。
• OOD 稳健性（Table 2）：在颜色/光照/材质扰动下，平均 SR 下降 ≤ 0.042，安全成本保持稳定甚至更优。
• 极端失败场景：当任务普遍不可能完成时，ISA 的 CC 仅 2.20，而 FLaRe 高达 71.68（约 32× 降低）—— 即"失败也失败得安全"。
• 通用性：ISA 能提升多种 VLA 基座模型（EmbCLIP、Embodied-Codebook 变体等）的安全性。

04 Limitations