DRIFT-Net: A Spectral--Coupled Neural Operator for PDEs Learning¶
会议: ICLR2026
arXiv: 2509.24868
代码: 待确认
领域: model_compression
关键词: neural operator, PDE, spectral coupling, dual-branch, Navier-Stokes
一句话总结¶
提出 DRIFT-Net 双分支神经算子,通过受控低频混合(谱分支)和局部细节保真(图像分支)的带宽融合(radial gating),解决窗口注意力中全局谱耦合不足导致的自回归漂移问题,在 Navier-Stokes 基准上误差降低 7%-54%。
研究背景与动机¶
- 领域现状:PDE 基础模型大多采用多尺度窗口自注意力,计算高效但全局依赖只能通过深层堆叠和窗口移位逐步传播。
- 现有痛点:窗口注意力的局部性削弱全局谱耦合,导致闭环 rollout 漂移;纯谱算子(FNO)过度强调低频。
- 核心矛盾:全局耦合和局部细节保真之间的权衡。
- 本文要解决什么? 在保持高频细节的同时增强全局谱耦合。
- 核心idea一句话:低频可学线性变换 + radial gating 带宽融合 + 频率加权损失。
方法详解¶
整体框架¶
U-Net 编码器-解码器,每个尺度有谱分支(rFFT2→低频混合→带宽融合→iFFT2)和图像分支(ConvNeXt),加法融合。
关键设计¶
- 受控低频混合: rFFT2 后仅对低频施加可学复线性变换,高频保持不变——只混合低频避免干扰细节
- 带宽融合 + Radial Gating: \(\hat{Y}(k) = \alpha(k)\hat{V}_{low}(k) + (1-\alpha(k))\hat{X}_{high}(k)\),凸组合保证无能量过冲
- 频率加权损失: \(w(r) \propto r^\alpha\) 增加高频误差权重,对抗谱偏差
训练策略¶
单步 teacher forcing 训练,测试时自回归闭环 rollout。
实验关键数据¶
主实验:7 个 PDE 基准¶
| 任务 | scOT | FNO | DRIFT-Net |
|---|---|---|---|
| NS-SL | 3.96 | 3.69 | 3.40 |
| NS-PwC | 2.35 | 4.57 | 最佳 |
| Poisson-Gauss | - | - | 最佳 |
| Allen-Cahn | - | - | 最佳 |
| Wave-Gauss | - | - | 最佳 |
效率对比¶
参数量比 scOT 少约 15%,吞吐量更高,NS 误差降低 7%-54%。
消融实验¶
| 配置 | 效果 |
|---|---|
| 无低频混合 | 误差显著增加 |
| 硬掩码替代 radial gating | 不稳定 |
| 无频率加权损失 | 高频拟合不足 |
| 完整 DRIFT-Net | 最佳 |
关键发现¶
- 受控低频混合是关键——去掉后误差显著增加
- 100 步长程 rollout 中保持低漂移
- 对椭圆、抛物、双曲 PDE 均有效
亮点与洞察¶
- 谱-空间双分支巧妙解耦全局结构和局部细节——物理直觉强
- 非扩展融合的凸组合保证确保训练稳定
- 模块化——DRIFT block 可替换现有注意力块
局限性 / 可改进方向¶
- 低频掩码大小需手动设定
- 主要在 2D PDE 上验证,3D 扩展待测
- 与 DPOT 等其他 PDE 基础模型对比不足
相关工作与启发¶
- vs scOT/POSEIDON: 用谱分支实现全局耦合,无需深层堆叠
- vs FNO: FNO 全频操作但缺局部能力,DRIFT-Net 双分支互补
- vs PDE-Refiner: Refiner 靠迭代细化,DRIFT-Net 靠架构设计
评分¶
- 新颖性: ⭐⭐⭐⭐ 受控低频混合+带宽融合+频率损失的精巧组合
- 实验充分度: ⭐⭐⭐⭐⭐ 7 个 PDE 基准+消融+长程 rollout
- 写作质量: ⭐⭐⭐⭐ 物理直觉解释好
- 价值: ⭐⭐⭐⭐ 为 PDE 基础模型提供更好骨干