Generalization of Diffusion Models Arises with a Balanced Representation Space¶

会议: ICLR 2026
arXiv: 2512.20963
领域: 图像生成 / 扩散模型理论

一句话总结¶

本文是扩散模型泛化理论领域的重要突破。通过分析两层非线性 ReLU DAE 的最优解，统一刻画了记忆化和泛化两种行为模式，并创造性地从表征空间的角度提供了一个以表征为中心的泛化理解。理论结论在 EDM、DiT 和 Stable Diffusion v1.4 上获得了一致的实验验证，且催生了两个实用应用：记忆化检测和可控编辑。理论的深度与实用性兼备。

评分¶

⭐⭐⭐⭐⭐

本文是扩散模型泛化理论领域的重要突破。通过分析两层非线性 ReLU DAE 的最优解，统一刻画了记忆化和泛化两种行为模式，并创造性地从表征空间的角度提供了一个以表征为中心的泛化理解。理论结论在 EDM、DiT 和 Stable Diffusion v1.4 上获得了一致的实验验证，且催生了两个实用应用：记忆化检测和可控编辑。理论的深度与实用性兼备。

研究背景与动机¶

领域现状¶

扩散模型已成为主流生成模型，代表系统如 Stable Diffusion、Flux 和 Veo。通过迭代去噪实现了前所未有的可扩展性、可控性和保真度。近期研究发现扩散模型不仅能学习分布还能学习有意义的表征，分布学习与表征学习之间存在深层对偶关系。

现有痛点¶

理论上，标准训练目标（去噪分数匹配）的解析解仅仅是训练样本的记忆化；实践中，模型却能生成新颖多样的输出。这种理论预期与实际行为之间的巨大鸿沟是扩散模型理解中的核心开放问题，直接影响隐私、可解释性和可信部署。

核心矛盾¶

现有理论分析方案各有局限：随机特征模型过度简化架构，线性模型分析可刻画泛化但无法捕获记忆化，手工构造的闭式解模拟了特定行为但解释碎片化、仍为现象学层面。缺乏一个统一的数学框架来同时解释记忆化和泛化。

本文方案¶

通过分析两层非线性 ReLU 去噪自编码器（DAE）的最优解，建立统一数学框架：(i) 数据局部稀疏时权重存储单个样本导致记忆化；(ii) 数据局部丰富时权重捕获数据统计实现泛化。关键创新在于表征视角：记忆化样本的表征是尖锐的（spiky），泛化样本的表征是均衡的（balanced）。

解决思路¶

本文目标：### 整体框架

考虑两层 ReLU DAE $\boldsymbol{f}_{\boldsymbol{W}_2, \boldsymbol{W}_1}(\boldsymbol{x}) = \boldsymbol{W}_2 [\boldsymbol{W}_1^\top \boldsymbol{x}]_+$，训练目标：

$$\min_{\boldsymbol{W}_2, \boldsymbol{W。

方法详解¶

整体框架¶

考虑两层 ReLU DAE $\boldsymbol{f}_{\boldsymbol{W}_2, \boldsymbol{W}_1}(\boldsymbol{x}) = \boldsymbol{W}_2 [\boldsymbol{W}_1^\top \boldsymbol{x}]_+$，训练目标：

\[\min_{\boldsymbol{W}_2, \boldsymbol{W}_1} \frac{1}{n} \sum_{i=1}^{n} \mathbb{E}_{\boldsymbol{\epsilon}} \left[ \| \boldsymbol{f}(\boldsymbol{x}_i + \sigma \boldsymbol{\epsilon}) - \boldsymbol{x}_i \|_2^2 \right] + \lambda \sum_{l=1}^{2} \| \boldsymbol{W}_l \|_F^2\]

核心定理（Theorem 3.1）证明：在 $(\alpha, \beta)$-可分性条件下，DAE 的局部极小值具有分块结构，每块对应一个数据聚类，内部结构由该聚类 Gram 矩阵的特征分解决定。

关键设计一：记忆化机制——过参数化下的样本存储¶

Corollary 3.2: 当 $p \geq n$（隐藏单元数 ≥ 样本数），每个训练样本被视为独立聚类，权重直接存储原始数据点：

\[\boldsymbol{W}_\text{mem} = (r_1 \boldsymbol{x}_1 \cdots r_n \boldsymbol{x}_n \boldsymbol{0} \cdots \boldsymbol{0}), \quad r_i = \sqrt{\frac{\| \boldsymbol{x}_i \|_2^2 - n\lambda}{\| \boldsymbol{x}_i \|_4^4 + \sigma^2 \| \boldsymbol{x}_i \|_2^2}}\]

表征特征：记忆化样本 $\boldsymbol{x}_i$ 的表征近似 one-hot：

\[\boldsymbol{h}_\text{mem}(\boldsymbol{x}_i + \sigma \boldsymbol{\epsilon}) \approx (0, \ldots, 0, r_i \boldsymbol{x}_i^\top(\boldsymbol{x}_i + \sigma \boldsymbol{\epsilon}), 0, \ldots, 0)\]

因为 $\boldsymbol{x}_i$ 与其他存储样本负相关，仅一个神经元被强烈激活，产生尖锐表征。

关键设计二：泛化机制——欠参数化下的统计学习¶

Corollary 3.3: 当 $p \ll n$，权重的每个块学习对应高斯模式的主成分：

\[\boldsymbol{W}_{\boldsymbol{X}_k} \boldsymbol{W}_{\boldsymbol{X}_k}^\top \to \left[ (\boldsymbol{S}_k - \frac{\lambda}{\rho_k} \boldsymbol{I})(\boldsymbol{S}_k + \sigma^2 \boldsymbol{I})^{-1} \right]_{\text{rank-}p_k}\]

其中 $\boldsymbol{S}_k = \boldsymbol{\mu}_k \boldsymbol{\mu}_k^\top + \boldsymbol{\Sigma}_k$ 是第 $k$ 个模式的二阶统计量。

表征特征：泛化样本的能量分布在活跃块的 $p_k$ 个坐标上，形成均衡表征——多个神经元被激活，编码分布的统计信息。

关键设计三：混合体制与实际应用¶

Corollary 3.4: 数据含重复样本时，模型同时记忆重复子集、泛化非退化子集，权重呈混合结构。

基于理论发现提出两个应用： - 记忆化检测: 利用表征标准差作为尖锐度代理，高方差→记忆化，低方差→泛化 - 表征引导编辑: 在表征空间中添加目标风格/概念的平均表征，泛化样本可平滑编辑，记忆化样本表现为脆性的阈值响应

实验关键数据¶

主实验：记忆化检测¶

在三个数据集-模型对上评估记忆化检测性能：

方法	无需Prompt	LAION AUC↑	LAION TPR↑	ImageNet AUC↑	CIFAR10 AUC↑	平均时间↓
Carlini et al.	✗	0.498	0.020	N/A	N/A	3.724%s
Wen et al.	✗	0.986%	0.961%	N/A	N/A	0.134s
Hintersdorf et al.	✗	0.957%	0.500	N/A	N/A	0.009s
Ross et al.	✓	0.956%	0.915%	0.971%	0.713%	0.545%s
Ours	✓	0.987%	0.961%	0.995%	0.998%	0.067s

本方法是首个同时无需 prompt 且基于表征的检测方法，在三个数据集上均取得最高 AUC，且效率远超基于几何的方法。

消融实验：理论验证¶

验证维度	条件	结论
记忆化权重结构	5 张 CelebA 训练	权重列存储缩放后的原始图像，与 Corollary 3.2 一致
泛化权重结构	10000 张 CelebA 训练	权重捕获数据主成分，与 Corollary 3.3 一致
噪声鲁棒性	$\sigma = 0.2, 1, 5$	分块结构在大噪声下仍然成立
优化器鲁棒性	Adam, AdamW, RMSProp	不同优化器收敛到相同稀疏结构
实际模型 Jacobian	EDM, SD1.4, DiT	记忆化样本 Jacobian 极低秩；泛化样本 Jacobian 反映数据统计
表征引导编辑	SD1.4	泛化样本平滑渐进编辑；记忆化样本脆性阈值响应

局限与展望¶

优点: - 在非线性 ReLU 设定下统一刻画了记忆化和泛化，超越了此前的线性/随机特征分析 - 表征视角是首创性贡献，建立了表征结构 ↔ 生成行为的严格对应 - 理论预测在 EDM、DiT、SD1.4 等真实模型上得到一致验证 - 催生实用工具：高效的无 prompt 记忆化检测（AUROC > 0.98） - Jacobian SVD 分析证实 ReLU DAE 是实际模型的有效局部近似

缺点: - 理论分析限于两层 ReLU 网络，与实际深层架构（U-Net, DiT）差距较大 - 可分性假设（$\beta < 0$）在真实高维数据中可能不成立 - 表征引导编辑方法较为基础，未与现有编辑方法进行系统比较 - 混合高斯假设是对真实数据流形的粗略近似

亮点与洞察¶

方法设计简洁有效，核心思路清晰
实验验证全面，消融分析充分
对领域的关键问题提供了新的解决思路

局限与展望¶

方法在特定条件下可能存在局限性，泛化性待进一步验证
计算效率和可扩展性可做进一步优化
与更多相关方法的结合值得探索

Generalization of Diffusion Models Arises with a Balanced Representation Space¶

一句话总结¶

评分¶

研究背景与动机¶

领域现状¶

现有痛点¶

核心矛盾¶

本文方案¶

解决思路¶

方法详解¶

整体框架¶

关键设计一：记忆化机制——过参数化下的样本存储¶

关键设计二：泛化机制——欠参数化下的统计学习¶

关键设计三：混合体制与实际应用¶

实验关键数据¶

主实验：记忆化检测¶

消融实验：理论验证¶

局限与展望¶

亮点与洞察¶

局限与展望¶

相关工作与启发¶

相关论文¶