Q-VGM: Q-Guided Value-Gradient Matching for Flow-Matching VLA Policies

01 Motivation

Flow-matching action expert 已是 VLA 的主流骨干，但其后训练几乎都靠在专家演示上做 SFT——这继承了模仿学习的根本局限：只利用近优的专家数据，部署与评测时产生的大量失败与次优 rollout 无从利用，策略性能被演示的质量和覆盖度封死。RL 原则上能从成败经验中同时提取信号，让策略超越示教者。

但对 flow-matching VLA，实现这一点受两方面制约：(1) 数据 regime——PPO / GRPO 这类 on-policy 方法每次更新都要新鲜 rollout，真机上代价高昂且丢弃历史经验；(2) 参数化——policy gradient 需要可解的动作似然，而迭代去噪并不暴露它，且 policy gradient 只用到零阶奖励（标量 advantage）。相比之下，来自 learned critic 的一阶信号 ∇_AQ 样本效率显著更高。这促使转向 off-policy、value-based RL。

核心障碍是一个「错配」：critic 评估的是可执行的干净动作 chunk，而 flow policy 演化在带噪的中间状态上。因此价值改进必须表达为「去噪时刻的速度修正」，而非终端动作标签。

已有 value-based 方法都没能给速度场本身提供 value-aware 监督：反传整条去噪链（Diffusion-QL）在 VLA 规模上不稳定；test-time Q-selection / Q-guidance 不改动底层策略；把 critic 改进后的动作蒸馏成终端监督标签（PA-RL）则无视了速度场的 flow 结构。

02 Method

Q-VGM 把策略改进建成对 π0.5 去噪过程的随机最优控制（stochastic optimal control）问题：在 KL 正则的 tilted 分布下，最优速度修正 h⋆ = β·∇_xV 正比于去噪时刻价值函数的梯度。整套方法分两步——先训练一个 off-policy critic，再把 critic 的梯度转成残差速度目标去监督 action expert。只训练 action expert；推理时仅跑 v_θ，不做 critic 查询或搜索。

① Action-Sensitive Stepwise Chunk Critic（动作敏感的分步 chunk critic）

Value-gradient matching 需要可靠的动作空间梯度 ∇_AQ。为此设计一个 off-policy critic： 状态表示——把冻结 VLM backbone 产生的 prefix 用 autoencoder 压成一个 RL token z_rl∈ℝ²⁰⁴⁸，与本体感（proprioceptive）投影拼接成 critic 状态 s；重建损失作为正则让 z_rl 保持锚定在冻结 prefix 上。因 z_rl 维度远高于 A，为避免忽略动作输入，把动作 chunk A 在 critic 每一隐层重新注入（per-layer action injection），保住局部动作敏感性。

Stepwise IQL 训练——稀疏奖励长时程任务里，整段 chunk 只给一个值太弱，因此 critic 预测每个动作位置的分步值 {Q⁽ⁱ⁾(s,A)}，需要标量时再求和 Q(s,A)=Σ_iQ⁽ⁱ⁾。用 IQL（expectile τ=0.8）训练：action-free value head 预测分步 V⁽ⁱ⁾，每个 Q-head 朝分步 TD target 回归（chunk 内 bootstrap 到下一位置、边界处 bootstrap 到下一 chunk 首位）。用两个 Q-head 取最小（clipped double Q-learning）。因 backup 用 V 而非策略采样动作，critic 训练完全 off-policy。

② Q-Guided Value-Gradient Matching（价值梯度匹配）

令终端奖励 r(x₁)=Q(s,x₁)。h⋆ 需要每个去噪时刻的 ∇_xV，但 critic 只在干净动作处给 ∇_AQ。方法先估计再折算：

• Look-forward 估计：在较晚去噪步，剩余去噪极少，中间状态的价值≈其将到达的干净动作的 critic 分数。用冻结 base 速度做一步 Euler 前瞻 Â_base^[k]=x^[k]+(1−τ_k)v_base，把估计锚在行为策略分布 / critic 训练支撑内。经 Jacobian 分析（其偏离单位阵的项为 O(1−τ_k)），近似 ∇_xV ≈ ∇_AQ(s,Â_base^[k])——在边界 τ=1 精确，随 τ 减小退化，故只在最后 M=5 步施用。
• 梯度上升 + keep-best：从 Â_base 出发做 J 步 clipped Q-梯度上升，保留价值最高的候选 Â_Q^[k]=argmax_jQ。因 j=0 是未改动的 base 预测，keep-best 在上升不改善时回退到原动作——相当于对局部 Q 地形做离散 line search，自适应选择每样本的有效修正幅度 β_eff。
• 残差速度目标：把累积位移折回剩余时间得 ĥ_Q^[k]=(Â_Q^[k]−Â_base^[k])/(1−τ_k)，把 flow 从 base 目的地推向 critic 改进后的动作。

Residual velocity matching：只在晚期步（mask m_k）上训练 action expert，使其残差速度 (v_θ−v_base) 匹配 detached 的 ĥ_Q。轨迹、look-forward 估计、候选与目标都 stop-gradient，梯度只流过当前局部预测 v_θ(x^[k],τ_k)。推理时 v_θ=v_base+h_θ，critic 引导被完全 amortize 进 action expert——无 test-time search，无整链反传。

03 Experiments

统一从 few-shot SFT 的 π0.5 出发，用 SFT 策略评测 rollout 组成固定数据集，训练 stepwise IQL critic，再离线微调策略。critic-based 基线共享同一 SFT checkpoint / rollout 数据 / RL-token 特征 / critic，只在「如何用 critic」上不同。四个研究问题 RQ1–RQ4 覆盖仿真提升、抽取机制对比、样本效率、真机迁移。

LIBERO 成功率（Table 1，每任务 50 rollouts，每 suite 500 episodes）

Q-VGM 在每个 suite上都超过 test-time critic 方法与蒸馏基线。值得注意：Diffusion-QL 反而把 SFT 策略拉低到 72.6%——因为把 critic 梯度反传过整条去噪链不稳定，印证了论文的动机论证。

样本效率（Table 2，LIBERO-Spatial；成绩按各自论文报告，backbone/SFT 初始化不同）

Q-VGM 用比 online RL 微调少约 400× 的 rollout episodes 取得提升，且只用 SFT 策略标准评测中已经记录的 episodes 加一个稀疏成功奖励——不需额外专家监督或手工稠密奖励。（诚实对比：纯 online RL 的 π_RL/SimpleVLA-RL 在 Spatial 单项上以海量数据换到更高的 99+%。）

真机迭代 learn-from-experience（Table 3，每任务 20 trials）

在双臂机器人平台上做 train–deploy–collect–retrain 循环：从 few-shot SFT 起，策略仅用自生成 rollout 做完全离线更新，每个改进后的策略再部署去采新经验。第四个任务是需要毫米级对齐的插头插接（见 Figure 1）。

消融（Table 4，LIBERO，40 任务平均 SR%）

Critic 侧：用 ResNet 图像编码器替代 RL-token 状态下降最大（92.5→87.4），说明 value-gradient matching 受益于 VLA-grounded 的状态表示；per-layer 动作注入与 double-Q 最小也提升局部动作敏感性。策略侧：keep-best 避免在过冲时用最后一次上升迭代，late-step mask 把引导集中在 look-forward 估计最接近 critic 训练分布的地方，frozen-base anchor 把速度目标绑在行为策略支撑上——三者都对「梯度→速度目标」的转换起稳定作用。

04 Limitations