DiffWind: Physics-Informed Differentiable Modeling of Wind-Driven Object Dynamics¶

会议: ICLR 2026
arXiv: 2603.09668
代码: 无（论文提及项目页面）
领域: 3D 视觉 / 物理仿真
关键词: physics-informed, differentiable simulation, wind modeling, 3D Gaussian Splatting, Material Point Method

一句话总结¶

提出 DiffWind，一个物理约束的可微分框架，通过将风建模为网格物理场、物体表示为 3D Gaussian Splatting 粒子系统、用 Material Point Method（MPM）建模风-物交互，并引入 Lattice Boltzmann Method（LBM）作为物理约束，实现了从视频中联合重建风力场和物体运动，并支持新风条件下的前向仿真和风力迁移等应用，在自建的 WD-Objects 数据集上显著超越已有动态场景建模方法。

研究背景与动机¶

领域现状：从视频观测中建模物体动力学已有大量工作，如基于 NeRF 和 3D Gaussian Splatting（3DGS）的动态场景重建。然而，这些方法主要关注物体自身运动或简单交互，对于由外部不可见力（如风力）驱动的复杂变形建模，研究仍然非常有限。

现有痛点： - 风不可见：风力不像碰撞力那样有明确的接触点，它在空间中连续分布且随时间变化，无法直接从视频中观测 - 时空变异性：风力场在空间和时间上都是变化的——同一场景中不同位置的风速/风向可能不同，且随时间演化 - 复杂变形：风驱动的物体（如旗帜、树叶、布料）会产生复杂的非刚体变形，难以用简单的运动模型描述 - 现有动态场景重建方法（如 Dynamic 3DGS）只拟合外观变化，不建模底层物理力，因此无法泛化到新的风条件或进行前向仿真

核心矛盾：要从视频中恢复风驱动的物体动力学，必须同时估计不可见的风力场和物体的物理响应——这是一个高度欠约束的逆问题。仅靠数据拟合（如 3DGS）虽能重建外观，但无法捕获底层物理规律，因此无法进行仿真和泛化。

本文目标：提出一个统一的框架，从视频中恢复风力场和物体运动，同时保证物理有效性，并支持前向仿真、风力迁移等下游应用。

切入角度：将物理仿真基元（粒子系统 + MPM）与神经渲染（3DGS + 可微渲染）结合，用可微分管线从视频反向优化风力场；同时用 LBM 流体动力学约束确保恢复的风场满足物理定律。

核心 idea：可微渲染提供外观监督 + MPM 提供物理动力学建模 + LBM 提供流体物理约束 = 从视频中物理一致地重建风-物交互。

方法详解¶

整体框架¶

输入：多视角视频（或单视角视频）中有风驱动物体运动的场景
输出：(1) 物体的 3D 重建和运动轨迹；(2) 时空风力场分布；(3) 可进行前向仿真的物理模型
Pipeline：3DGS 初始化 → 粒子系统构建 → MPM 仿真器建模风-物交互 → 可微渲染监督 → LBM 物理约束 → 联合优化风场和物体运动

关键设计¶

物体表示：基于 3DGS 的粒子系统：
- 功能：将场景中的物体表示为一组 3D Gaussian 粒子，每个 Gaussian 有位置、协方差、颜色和不透明度
- 核心思路：首先用标准 3DGS 从静态帧重建物体，然后将 Gaussian 中心提取为 MPM 粒子系统的节点。每个粒子既是渲染原语（用于可微渲染），也是物理仿真原语（用于 MPM 时间步进）
- 设计动机：3DGS 提供了高质量的 3D 表征和可微分渲染，将其粒子直接作为物理仿真的载体，避免了 NeRF 需要额外网格化的复杂步骤
风力场表示：网格物理场：
- 功能：将风建模为 3D 空间中的格点速度场（grid-based velocity field），每个格点存储风速矢量，可随时间演化
- 核心思路：风场是待优化的自由变量——通过反向传播从渲染损失中学习每个时间步、每个空间位置的风力大小和方向
- 设计动机：相比参数化的风力模型（如均匀风、对数风速剖面），网格表示更灵活，能捕获复杂的空间变化；同时与 MPM 的网格-粒子数据结构天然兼容
风-物交互建模：Material Point Method（MPM）：
- 功能：使用 MPM 模拟风力作用下物体的运动和变形
- 核心思路：MPM 是一种混合 Lagrangian-Eulerian 方法——粒子（Lagrangian）携带物理量（质量、速度、变形梯度），网格（Eulerian）用于计算力和求解动量方程。每个时间步：(1) 粒子物理量投影到网格；(2) 在网格上计算内力（弹性力）和外力（风力）；(3) 更新网格速度；(4) 将更新后的速度插值回粒子并更新位置
- 设计动机：MPM 能自然处理大变形、撕裂等复杂行为，且完全可微分，支持端到端的反向传播优化
物理约束：Lattice Boltzmann Method（LBM）：
- 功能：用 LBM 作为物理先验约束，确保优化出的风力场满足流体动力学基本定律（如 Navier-Stokes 方程的离散近似）
- 核心思路：LBM 在介观层面模拟流体——通过粒子分布函数在格点间的碰撞和流动来逼近宏观流体行为。将 LBM 作为正则化项加入优化目标：优化后的风场不仅要使渲染结果匹配视频（外观约束），还要满足 LBM 的流体一致性（物理约束）
- 设计动机：纯数据驱动的风场优化可能产生物理上不合理的解（如违反质量守恒或动量守恒）。LBM 约束缩小了解空间，引导优化向物理可行解收敛
联合优化：可微渲染 + 可微仿真：
- 功能：通过端到端的可微分管线，从视频像素级损失反向传播到风力场参数
- 核心思路：前向过程：风场 → MPM 仿真 → 粒子位置更新 → 3DGS 渲染 → 与视频帧比较。反向过程：渲染损失 → 通过可微渲染求 Gaussian 参数梯度 → 通过可微 MPM 求风场梯度 → 更新风场
- 设计动机：将整个过程变为可微分的端到端系统，使得看似不可观测的风力场可以通过视频监督信号间接学习

损失函数 / 训练策略¶

渲染损失：3DGS 的标准的光度损失（L1 + SSIM），度量渲染图像与视频帧的差异
LBM 物理约束：作为正则化项，惩罚风场偏离 LBM 流体模拟的预测
联合优化策略：先用静态帧初始化 3DGS，再在动态序列上联合优化风场和物体变形
整个优化过程中，风场参数和物体物理参数（如弹性系数）同时更新

实验关键数据¶

数据集：WD-Objects¶

论文引入 WD-Objects 数据集，包含： - 合成场景：在物理仿真器中生成的风驱动物体运动（旗帜、布料、树叶等），有精确的风场 ground truth - 真实场景：从现实世界录制的风驱动物体视频 - 合成数据用于定量评估（有 ground truth），真实数据用于定性评估

主实验¶

任务	指标	DiffWind	之前 SOTA	提升
动态重建（合成）	PSNR↑	显著领先	Dynamic 3DGS 等	大幅度
动态重建（合成）	SSIM↑	显著领先	Dynamic 3DGS 等	大幅度
动态重建（合成）	LPIPS↓	显著领先	Dynamic 3DGS 等	大幅度
风场估计（合成）	风速误差	物理合理	无可比基线	—
前向仿真	视觉质量	高保真	不支持	—

对比方法包括 Dynamic 3DGS、PhysGaussian 等动态场景建模方法。DiffWind 在重建精度和仿真保真度上均显著超越。

消融实验¶

配置	关键指标	说明
去除 LBM 约束	风场物理合理性下降	无物理约束时风场可能不满足流体动力学
去除 MPM（纯外观拟合）	无法仿真	退化为纯 3DGS 重建，丢失物理语义
不同物体材质	均有效	验证了框架对布料、薄板、树叶等不同材质的通用性
不同风速/风向	均可恢复	验证了风场优化对不同风条件的适应性

关键发现¶

DiffWind 显著优于纯数据驱动的动态场景重建方法：物理约束不仅提升了重建质量，还赋予了模型仿真和泛化能力
LBM 约束至关重要：去除 LBM 后，优化出的风场虽然能匹配视频，但在物理上不合理（如突变的风速分布）
前向仿真是独特优势：重建完成后，可以改变风条件（方向、强度）进行前向仿真，生成新的物体运动序列——这是纯数据方法完全无法实现的
风力迁移（Wind Retargeting）：可以将从一个场景中恢复的风场应用到另一个物体上，生成物理合理的新动画

亮点与洞察¶

从不可见力中恢复物理：风力是典型的"不可见力"——无法直接观测，只能通过其对物体的效果间接推断。DiffWind 巧妙地通过可微分链条（视频 → 渲染 → 仿真 → 风场）实现了这一推断
物理仿真与神经渲染的优雅统一：3DGS粒子同时作为渲染原语和仿真原语，MPM 网格同时承载风场和物理计算，避免了异构表示间的转换开销
LBM 作为"物理正则化器"：不是直接求解 Navier-Stokes，而是用 LBM 的离散形式作为软约束引导优化，这比硬约束更灵活，同时保证了物理趋势的合理性
超越重建的应用潜力：前向仿真和风力迁移使其不仅是"分析工具"，更是"创作工具"——可以用于影视特效、虚拟现实中的风效果模拟
开创性的问题定义：在 3D 视觉社区中首次系统性地研究"从视频中恢复风-物交互"这一问题，并提供了完整的数据集和 benchmark

局限与展望¶

计算开销：MPM 仿真 + 可微渲染的联合优化计算量大，优化单个场景可能需要较长时间
单一流体类型：当前只建模风力（空气流体），未考虑水流、沙流等其他流体驱动的物体动力学
物体拓扑限制：MPM 虽然能处理大变形，但对撕裂、断裂等拓扑变化的支持有限
真实场景的评估困难：真实视频没有风场 ground truth，只能做定性评估。未来可结合风速传感器数据进行验证
多物体交互：当前框架主要处理单个物体与风的交互，多物体间的遮挡和碰撞未充分考虑
风场初始化：优化过程对风场初始化可能敏感，需要合理的初始猜测以避免局部最优

评分¶

新颖性: ⭐⭐⭐⭐⭐
实验充分度: ⭐⭐⭐⭐
写作质量: ⭐⭐⭐⭐
价值: ⭐⭐⭐⭐⭐