Elucidating the SNR-t Bias of Diffusion Probabilistic Models¶

会议: CVPR 2026
arXiv: 2604.16044
代码: https://github.com/AMAP-ML/DCW
领域: 图像生成
关键词: 扩散模型, SNR-时间步偏差, 差分校正, 小波域, 免训练

一句话总结¶

本文揭示了扩散模型中普遍存在的 SNR-t 偏差（逆过程样本的信噪比与时间步不匹配），并提出小波域动态差分校正方法（DCW），在不训练的情况下即插即用地提升多种扩散模型的生成质量。

研究背景与动机¶

领域现状：扩散概率模型（DPM）在图像、音频、视频等生成任务中取得了巨大成功。模型在训练时将噪声样本与时间步严格绑定：\(X_t = \sqrt{\bar{\alpha}_t} X_0 + \sqrt{1-\bar{\alpha}_t} \epsilon_t\)，信噪比 \(\text{SNR}(t) = \bar{\alpha}_t / (1-\bar{\alpha}_t)\) 完全由时间步 \(t\) 决定。

现有痛点：推理时，由于网络预测误差和数值求解器离散化误差的累积，逆去噪轨迹不可避免地偏离理想路径，导致预测样本 \(\hat{x}_t\) 的实际 SNR 与预设时间步 \(t\) 对应的 SNR 不匹配——这就是 SNR-t 偏差。

核心矛盾：训练时 SNR 和时间步严格耦合，但推理时这种对应被打破。当网络收到 SNR 不匹配的样本时，会产生明显的预测偏差：SNR 更低的样本导致噪声预测过大，SNR 更高的样本导致预测过小。实验证实逆过程样本始终呈现比正向样本更低的 SNR。

本文目标：（1）提供 SNR-t 偏差的系统性实证和理论证明；（2）设计无训练的校正方法来缓解偏差。

切入角度：利用逆去噪过程中每步都会产生的重建样本 \(x^0_\theta\)，其与预测样本 \(\hat{x}_{t-1}\) 之间的差分信号包含将偏移样本推向理想轨迹的梯度信息。

核心 idea：将差分校正引入小波域，对不同频率分量分别校正，并根据扩散模型"先低频后高频"的去噪特性设计动态权重。

方法详解¶

整体框架¶

DCW 作为即插即用的推理模块嵌入到每个去噪步骤中。在每步去噪完成后：（1）将重建样本 \(x^0_\theta\) 和预测样本 \(x_{t-1}\) 通过 DWT 映射到小波域；（2）对低频（LL）和高频（LH、HL、HH）分量分别计算差分信号并施加动态加权校正；（3）通过 iDWT 映射回像素空间。

关键设计¶

SNR-t 偏差的理论证明:
- 功能：为偏差现象提供严格的数学基础
- 核心思路：假设重建模型 \(x^0_\theta(\hat{x}_t, t) = \gamma_t x_0 + \phi_t \epsilon_t\)（\(0 < \gamma_t \leq 1\)），推导出逆过程样本的实际 SNR 为 \(\text{SNR}(t) = \hat{\gamma}_t^2 \bar{\alpha}_t / (1-\bar{\alpha}_t + (\frac{\sqrt{\bar{\alpha}_t}\beta_{t+1}}{1-\bar{\alpha}_{t+1}}\phi_{t+1})^2)\)。由于 \(\hat{\gamma}_t \leq 1\) 且分母含额外正项，逆过程的 SNR 始终低于正向过程——理论上证实了偏差的必然性
- 设计动机：先验假设 \(x^0_\theta = x_0 + \phi_t \epsilon_t\) 与 Tweedie 公式和方差恒等式矛盾（会导致 \(\mathbb{E}[\|x^0_\theta\|^2] > \mathbb{E}[\|x_0\|^2]\)），因此采用更准确的 \(\gamma_t < 1\) 假设
像素空间差分校正（Differential Correction）:
- 功能：利用去噪过程的内在信息引导偏移样本回归理想轨迹
- 核心思路：差分信号 \(\hat{x}_{t-1} - x^0_\theta(\hat{x}_t, t)\) 包含指向理想 \(x_{t-1}\) 的方向信息。校正公式为 \(\hat{x}_{t-1} = \hat{x}_{t-1} + \lambda_t (\hat{x}_{t-1} - x^0_\theta(\hat{x}_t, t))\)，其中 \(\lambda_t\) 为引导系数。直觉上差分信号将预测样本推向噪声方向（增加 SNR），从而缓解逆过程 SNR 偏低的问题
- 设计动机：差分信号是去噪过程的副产品，无需额外计算。校正 \(\hat{x}_{t-1}\) 比校正 \(\hat{x}_t\) 更高效且效果更好
小波域动态差分校正（DCW）:
- 功能：对不同频率分量施加差异化校正
- 核心思路：利用 DWT 将样本分解为 LL、LH、HL、HH 四个频率分量，对每个分量独立施加差分校正 \(\hat{x}^f_{t-1} = \hat{x}^f_{t-1} + \lambda^f_t (\hat{x}^f_{t-1} - x^{0,f}_\theta)\)，其中 \(f \in \{ll, lh, hl, hh\}\)。动态权重 \(\lambda^f_t\) 根据去噪阶段自适应调整——早期侧重低频校正（全局结构），后期侧重高频校正（细节纹理）
- 设计动机：扩散模型先重建低频后高频的特性使得不同去噪阶段需要校正不同频率分量。统一的像素空间校正无法区分频率需求

损失函数 / 训练策略¶

完全免训练。DCW 以即插即用方式嵌入推理过程，不修改模型权重。计算开销仅为 DWT/iDWT 和差分操作，可忽略不计。

实验关键数据¶

主实验¶

基础模型	原始 FID	+ DCW FID	改善
IDDPM	8.45	6.72	-1.73
ADM	4.59	3.97	-0.62
DDIM (50步)	8.72	7.31	-1.41
EDM	1.97	1.79	-0.18
FLUX	改善	改善	显著

消融实验¶

配置	FID 改善
像素空间差分校正（DC）	中等
小波域差分校正（DCW）	最优
仅低频校正	部分
仅高频校正	部分
动态权重 vs 固定权重	动态更好

关键发现¶

DCW 在 8 种不同扩散模型上都有效（IDDPM、ADM、DDIM、A-DPM、EA-DPM、EDM、PFGM++、FLUX），证明 SNR-t 偏差的普遍性
可以与 exposure bias 校正模型叠加使用并获得额外增益，说明 SNR-t 偏差是比 exposure bias 更底层的问题
在不同分辨率数据集上一致有效（CIFAR-10、ImageNet 等）
小波域校正比像素空间校正效果更好，验证了频率分离校正的必要性
计算开销可忽略不计

亮点与洞察¶

揭示了一个基础性问题：SNR-t 偏差是所有 DPM 的固有问题，比 exposure bias 更本质。\(\gamma_t < 1\) 的理论推导优雅地解释了偏差的必然性
差分信号的巧妙利用：去噪过程的副产品中天然包含校正方向信息，无需额外网络或搜索
即插即用的实用性：零训练开销、几乎零推理开销，可直接应用于任何 DPM，包括 FLUX 等前沿模型

局限与展望¶

\(\lambda_t\) 的选择目前需要针对不同模型调整，自动化设置策略有待研究
理论分析基于高斯假设，对于实际数据分布的偏差可能存在gap
在步数极少（1-2 步）的一致性模型中效果有待验证
与其他改进方法的组合策略可以进一步探索

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性揭示和证明 SNR-t 偏差，理论分析深入
实验充分度: ⭐⭐⭐⭐⭐ 8 种模型、多分辨率数据集、与其他方法叠加验证
写作质量: ⭐⭐⭐⭐⭐ 从现象到理论到方法的逻辑链完整优雅
价值: ⭐⭐⭐⭐⭐ 揭示基础问题+提供实用解决方案，影响面广