逆约束强化学习综述 · A Comprehensive Survey on Inverse Constrained Reinforcement Learning

01 背景与动机 · Motivation

在 safety-critical 应用中，RL agent 必须知道其应遵守的约束。但真实任务里约束往往「未知、难以用数学显式刻画」——它们常常是 time-varying、context-dependent，并且深植于专家自身的经验之中。手写 reward 或 cost 很容易挂一漏万；相比之下，专家的示范数据里已经隐含地体现了这些约束。

ICRL is the task of inferring the implicit constraints that expert agents adhere to, based on their demonstration data.

context-sensitive highway merging constraint — Figure 1：高速公路 merge 场景下「车距约束」是 context-sensitive 的。天气良好、车速较低、拥堵较高时，安全车距可以更小；恶劣天气或高速时则必须更大。这种随情境变化的约束几乎无法预先手工写死,却能从人类驾驶示范中被推断出来——正是 ICRL 的动机所在。

ICRL 属于「从示范学习」的谱系（apprenticeship learning）。但它不走 behavior cloning 的直接监督映射（对预测误差敏感、难以迁移到不同 dynamics），而是采用 preference modeling 思路：agent 需先恢复出专家优化的 reward 与遵守的 constraint，再在这些约束下优化 CRL 目标来模仿专家。核心难点在于 identifiability——可能存在多组等价的 reward 分布与约束组合，都能解释同一批示范。

5逐步推广的问题设定（Sec.4–8）

3评测环境层级：discrete / virtual / realistic

3+落地场景：autonomous driving、robot control、sports analytics

2×short-term / long-term 开放问题

02 统一框架与分类体系 · Framework & Taxonomy

几乎所有 ICRL 方法都可归纳为一个 bi-level（双层）交替迭代：Forward Step 在当前约束下更新策略以模仿专家，Inverse Step 则比较「专家轨迹」与「当前策略采样轨迹」的差异来更新约束函数。二者反复迭代，直到模仿策略无法再区别于专家。

ICRL forward-inverse alternating framework — ICRL 的算法框架：**Forward Step**（Policy Update，蓝色 πᵢ→πᵢ₊₁）在约束下用采样轨迹 𝒟_π 改进策略；**Inverse Step**（Constraint Update，红色 φᵢ→φᵢ₊₁）用专家轨迹 𝒟ₑ 更新约束函数 f_c(φ)。两步交替 I 轮。

round by round constraint inference on a grid world — Figure 2：一个 grid-world 上的 running example。黑色为专家策略、蓝色为模仿策略；每一轮新推断出的约束区域用橙色高亮。随着轮次推进（Round 1→4），被识别为「不可通行」的约束区域（灰色）逐步扩大，模仿轨迹也越来越贴近专家的绕行行为。

分类主轴：从简单设定逐步推广

综述以「问题设定的难度」为主轴组织全文：从最简单的 deterministic dynamics 出发，依次引入 stochastic dynamics、有限示范、reward 与 constraint 需同时推断、以及 multiple experts / multi-agent 等更贴近现实的复杂度。

survey structure and taxonomy of ICRL methods — Figure 6：全文结构与方法分类。**Sec.4** ICRL in Deterministic Environment（MEnt-ICRL，离散/连续）；**Sec.5** Stochastic Environment（Maximum Causal Entropy，含 soft constraints）；**Sec.6** Limited Demonstrations（约束后验分布 / 数据增广 / offline ICRL）；**Sec.7** 同时推断 Rewards & Constraints（Bayesian / bi-level optimization / reward decomposition）；**Sec.8** Multiple Expert Agents（shared / multi-modal / multi-agent 约束推断）。

Deterministic → Stochastic

确定性环境下用 Maximum Entropy (MEnt) 目标即可；一旦 dynamics 变随机，需转向 Maximum Causal Entropy (MCEnt) 以正确处理因果信息流，并区分 hard / soft 约束。

有限示范 & 多专家

示范稀少时可对约束建 posterior distribution、做 data augmentation 或走 offline 路线；多专家时则要区分 shared constraint、multi-modal 约束混合，乃至 multi-agent 交互下的约束推断。

03 基准与应用 · Benchmarks & Applications

综述系统整理了 ICRL 的评测环境，覆盖三个层级：discrete（grid-world 类）、virtual（MuJoCo 连续控制：Half-cheetah、Ant、Inverted Pendulum、Walker、Swimmer 等，人为注入不同类型约束）、以及 realistic（真实驾驶数据构建的 HighD 高速公路环境）。

评测层级	代表环境	约束特点
Discrete	Grid-World	已知/可枚举，便于验证 identifiability
Virtual	MuJoCo (Half-cheetah / Ant / Walker …)	连续控制，注入位置/速度等约束
Realistic	HighD Driving	真实车流轨迹，context-sensitive 约束

HighD highway driving environment — Figure 9（引自 Liu et al., 2023）：Highway Driving (HighD) 环境。ego 车为蓝色、其它车为红色，ego 只能观测蓝色区域内的信息，目标是安全（不越界、不碰撞）驶向黄色终点——真实驾驶示范成为推断约束的专家数据。

代表性应用领域

Autonomous Driving. 最优约束应当 context-sensitive 且贴合驾驶行为，却常常未知。得益于 highways / intersections / roundabouts 等大量开源自然驾驶数据集，用 ICRL 从人类示范反推约束成为该领域的关键手段。
Robot Control / Embodied AI. 具身智能通过传感器与执行器与物理世界交互，需要可迁移的通用策略；将安全规则表示为约束并从示范中推断，有助于策略在真实环境中的可靠部署。
Sports Analytics. 从运动员/球队的行为轨迹中反推其隐式遵循的战术与规则约束。

04 开放问题 · Open Questions

Note: 本节为作者在 Conclusion 中明确列出的未解问题（分 short-term 与 long-term 两组），并非本文推断——下述均为原文观点的中文转述。

短期 · Short-Term（已有可借鉴的成熟技术）

Game-Theoretic Multi-Agent Constraint Inference

现有多智能体方法（如 Liu & Zhu, 2022）多假设合作场景、且各 agent 约束互不冲突。但真实场景（如拥堵路况下的竞争性驾驶）中一车的动作会显著影响他车能否满足其车距约束。如何构建博弈论模型刻画竞争行为、并求解策略间的均衡，是重要方向；将 general-sum games 的 RL 求解器扩展到逆向约束推断仍是实质性挑战。

Inverse Constrained Learning from Offline Dataset

传统 ICRL 多为 online 交互，但在机器人、医疗、自动驾驶等场景 online 交互代价高或有风险。Quan et al. (2024) 提出了学习 hard constraint 的 offline ICRL，但 soft constraint 仍未解决；且实验表明性能不稳定，对超参、距离度量 𝒟_f 以及离线数据集中 expert / 违约 / 次优轨迹的比例都高度敏感。

Inferring Generalizable Constraints

部署环境的 dynamics 会受噪声与不可预测的不确定性干扰（天气、温度、地方驾驶习惯等）。Xu & Liu (2024b) 用 robust optimization 框架处理，但只覆盖 transition function 的失配，未考虑 reward 失配与 occupancy measure 变化。将 robust RL / inverse RL 框架推广到 ICRL、并让学到的约束泛化到真实控制，仍待解决。

长期 · Long-Term（方法尚未充分探索，但对未来至关重要）

Theoretical Grounding for ICRL

IRL 已有较多理论（identifiability 条件、feasible reward set、样本复杂度的 minimax 下界等）。但 ICRL 的最优性与约束性质（hard / soft / probabilistic）及所选约束优化方法（Lagrange、Interior Point）耦合，定义精确的 identifiability 条件与 feasible constraint set 相当困难。Yue et al. (2024) 已给出 feasible constraint set 定义，但仅限简化的离散环境。

Learning Physic-Realistic Constraints

Sora、Veo 等生成式视频模型虽表现惊艳，却常违背基本物理规律；在仿真中学到的技能若缺乏物理真实性，难以迁移到现实。一个方向是把真实世界视频当作 expert demonstrations、用约束来表示物理规律与常识规则，并从视频中可靠地推断它们——如何设计合适的约束表示与推断方法是重大挑战。