Continuous-Time Value Iteration for Multi-Agent Reinforcement Learning¶

会议: ICLR 2026 \n
arXiv: 2509.09135
代码: 有（GitHub 链接）
领域: Agent
关键词: continuous-time RL, MARL, HJB equation, PINN, value gradient iteration

一句话总结¶

提出 VIP（Value Iteration via PINN）框架，首次将物理信息神经网络（PINN）用于求解连续时间多智能体强化学习中的 HJB 偏微分方程，并引入 Value Gradient Iteration（VGI）模块迭代精炼价值梯度，在连续时间 MPE 和 MuJoCo 多智能体任务上始终优于离散时间和连续时间基线。

研究背景与动机¶

领域现状：多数 RL 方法在离散时间框架下工作（固定时间步 Bellman 更新），但许多真实场景（自动驾驶、机器人控制、交易）本质上是连续时间的，具有高频或不规则决策间隔。
现有痛点：离散时间 RL 近似连续过程时有两个固有问题——(1) 时间步粗糙导致控制器不平滑、行为次优；(2) 时间步精细则状态数和迭代步骤暴增。当 \(\Delta t \to 0\) 时 Bellman 算子可能病态，TD 目标被近似噪声主导。
核心矛盾：连续时间 RL（CTRL）通过 HJB PDE 替代 Bellman 递归可以避免时间离散化问题，但现有 CTRL 几乎只有单智能体工作。多智能体场景因维度灾难（状态维度随智能体数指数增长）和非平稳性（其他智能体同时学习）使得 HJB 求解极其困难。
本文要解决什么？ 如何将 HJB-based 的连续时间 RL 扩展到多智能体协同场景？
切入角度：用 PINN 近似 HJB 的 viscosity solution（克服维度灾难），并引入 VGI 模块确保价值梯度的准确性（解决 PINN 残差损失无法保证梯度精度的问题）。
核心idea一句话：PINN + VGI 双管齐下，在连续时间多智能体系统中精确学习价值函数及其梯度。

方法详解¶

整体框架¶

VIP 采用 CTDE（集中训练分散执行）范式。Critic 是一个 PINN，用三个损失训练：HJB 残差损失 + TD anchor 损失 + VGI 一致性损失。Actor 是分散的策略网络，使用从 HJB 残差导出的瞬时优势函数更新。同时学习动力学模型 \(f_\psi\) 和奖励模型 \(r_\phi\) 来支持 VGI 计算。

关键设计¶

PINN Critic 求解 HJB:
做什么：用神经网络 \(V_\theta(x)\) 近似最优价值函数，通过最小化 HJB PDE 残差来训练
核心思路：HJB 残差 \(\mathcal{R}_\theta(x_t) = -\rho V_\theta + \nabla_x V_\theta^\top f(x,u) + r(x,u)\)，PINN 通过最小化 \(\|\mathcal{R}_\theta\|_1\) 来学习满足 PDE 的价值函数。加上 TD-style anchor 损失提供价值量级的监督
设计动机：传统数值方法（动态规划、level set）在 6 维以上就不可行（维度灾难），PINN 的 Monte Carlo 特性可以缓解
Value Gradient Iteration (VGI):
做什么：迭代精炼价值梯度 \(\nabla_x V(x)\)，而非仅靠 PINN 自动微分
核心思路：VGI 目标 \(\hat{g}_t = \nabla_{x_t} r \cdot \Delta t + e^{-\rho\Delta t} \nabla_{x_t} f^\top \nabla_{x_{t+\Delta t}} V_\theta(x_{t+\Delta t})\)，本质上是梯度空间的一步 Bellman 展开。用 \(\mathcal{L}_{vgi} = \|\nabla_x V_\theta - \hat{g}_t\|^2\) 强制 PINN 的自动微分梯度与 VGI 目标一致
设计动机：仅靠 HJB 残差损失无法保证梯度精度——在高维多智能体中，小梯度误差会被耦合动力学放大。理论证明 VGI 更新是一个收缩映射（Theorem 3.4），保证收敛
连续时间瞬时优势函数:
做什么：从 HJB 残差直接导出连续时间优势函数用于策略更新
核心思路：\(A(x_t, u_t) = -\rho V(x_t) + \nabla_x V^\top f(x_t, u_t) + r(x_t, u_t)\)，恰好等于 HJB 残差。每个 agent 用 \(\mathcal{L}_{p_i} = -A_\theta \log \pi_{\phi_i}\) 更新分散策略
理论保证：证明了 Policy Improvement Lemma（一步梯度更新后 Q 值单调不减）

损失函数 / 训练策略¶

Critic 总损失：\(\mathcal{L}_{total} = \mathcal{L}_{res} + \lambda_{anchor}\mathcal{L}_{anchor} + \lambda_g\mathcal{L}_{vgi}\)。与动力学模型和奖励模型联合训练。Tanh 激活（因 PINN 需要光滑可微性）比 ReLU 显著更好。三个损失权重需平衡——不平衡会导致 PINN 训练的刚性问题。

实验关键数据¶

主实验（连续时间 MuJoCo + MPE）¶

环境	VIP (w/ VGI)	VIP (w/o VGI)	HJBPPO	DPI	离散 MADDPG
Ant 2×4	最高	显著下降	较低	较低	大幅降低
HalfCheetah 6×1	最高	下降	较低	较低	大幅降低
Cooperative Nav	最高	下降	较低	-	可比
Predator Prey	最高	下降	较低	-	可比

消融实验¶

配置	效果	说明
去掉 VGI	所有任务显著下降	VGI 对价值梯度精度至关重要
ReLU vs Tanh	ReLU 始终更差	光滑激活对 PINN 求 PDE 必要
不平衡损失权重	性能下降	PINN 训练刚性问题
变时间间隔测试	VIP 稳定，MADDPG 退化	连续时间方法对时间步变化鲁棒

关键发现¶

VGI 是核心贡献：去掉 VGI 后价值函数等高线图与 ground truth（耦合振荡器 LQR 解析解）严重偏离
所有离散时间基线（MATD3, MAPPO, MADDPG）在连续时间设置下大幅退化，尤其在 Ant 和 HalfCheetah 上
VIP 在不同时间间隔下性能几乎恒定，而 MADDPG 随间隔增大急剧下降
实验覆盖最高 113 维状态空间（Ant 4×2, 6 agents），证明了 PINN 在高维系统上的可扩展性

亮点与洞察¶

首个系统性的连续时间 MARL 框架：填补了 CTRL 从单智能体到多智能体的空白，提供了完整的理论和实验验证
VGI 的梯度空间 Bellman 展开：将轨迹上的梯度传播与全局 PDE 约束结合，是一个优雅的设计。收缩映射收敛证明提供了理论保障
对离散时间方法局限性的清晰诊断：通过变时间间隔实验和解析 LQR 对比，直观展示了离散化引入的偏差

局限性 / 可改进方向¶

当前仅处理协作（cooperative）场景（基于 HJB），竞争或混合动机场景需要 HJI 方程，留作未来工作
确定性系统假设——随机动力学需要引入随机 HJB（SHJB）
PINN 的训练稳定性仍需仔细调参（激活函数、损失权重平衡）
需要学习动力学模型和奖励模型（model-based），增加了方法复杂度

补充技术细节¶

为什么连续时间重要？¶

许多真实世界的多智能体系统（如机器人编队、自动驾驶车队）本质上是连续时间系统。离散化时间步会引入近似误差，尤其是在快动态场景下。直接在连续时间上建模可以避免时间步选择的困难，并提供更平滑的值函数近似。

PINN 在 MARL 中的作用¶

Physics-Informed Neural Network (PINN) 在这里用于求解 HJB 方程，通过将 PDE 残差纳入损失函数来约束神经网络的输出。

这避免了传统网格方法在高维状态空间中的维数诅咒，允许在连续状态-时间空间中高效近似值函数。与离散时间 step 的 RL 相比，连续时间框架无需选择时间步长，自然地适应不同时间尺度的动态。

评分¶

新颖性: ⭐⭐⭐⭐ 首个连续时间 MARL + PINN + VGI 的完整框架
实验充分度: ⭐⭐⭐⭐⭐ 两大 benchmark、解析验证、多维消融、与离散方法对比
写作质量: ⭐⭐⭐⭐ 理论推导完整，实验丰富
价值: ⭐⭐⭐⭐ 为连续时间多智能体控制开辟了新方向