The Affine Divergence: Aligning Activation Updates Beyond Normalisation¶

会议: ICLR 2026
arXiv: 2512.22247
代码: 无
领域: 优化理论
关键词: 仿射散度, 归一化理论, 梯度下降, 表示更新, PatchNorm

一句话总结¶

揭示了梯度下降中参数最速下降方向与传播到激活后的有效更新之间存在根本性不对齐（"仿射散度"\(\Delta\mathcal{L}/\Delta z_i = (\partial\mathcal{L}/\partial z_i) \cdot (\|\vec{x}\|^2+1)\)），从第一性原理推导出归一化是消除此散度的自然解，并发现一种非归一化的替代方案在实验中超越传统归一化。

研究背景与动机¶

领域现状：深度学习中参数通过梯度下降在最速下降方向更新，但激活（表示）更接近损失函数且携带样本相关信息。归一化（BatchNorm 等）的成功已被广泛验证但机制解释众说纷纭。
现有痛点：
参数的最速下降方向是否等同于激活的最优更新方向？答案是否
归一化的现有解释（内部协变量偏移、平滑损失面等）缺乏从更新对齐角度的第一性原理推导
核心矛盾：参数更新传播到激活后会产生样本相关的二次偏差因子 \((\|\vec{x}\|^2+1)\)——大幅值样本的有效学习率不成比例地大，几何上扭曲了梯度步
切入角度：不从统计正则化角度看归一化，而从"参数-激活更新对齐"角度重新推导，意外发现归一化是消除仿射散度的自然解
核心idea一句话：归一化的成功不是因为统计标准化，而是因为它恰好消除了参数更新传播到激活时产生的样本相关二次偏差。

方法详解¶

整体框架¶

从仿射层 \(z_i = W_{ij}x_j + b_i\) 出发，推导参数 \((W, b)\) 更新后激活的有效更新 \(\Delta z_i\)，发现与理想的最速下降方向存在散度因子 \((\|\vec{x}\|^2+1)\)。然后推导消除此散度的方案。

关键设计¶

仿射散度的推导:
参数更新：\(W'_{ij} = W_{ij} - \eta g_i x_j\)，\(b'_i = b_i - \eta g_i\)
传播到激活：\(z'_i = z_i - \eta g_i(\|\vec{x}\|^2 + 1)\)
理想更新：\(\Delta z_i^{ideal} = -\eta g_i\)
散度：\(\frac{\Delta\mathcal{L}}{\Delta z_i} = \frac{\partial\mathcal{L}}{\partial z_i} \cdot (\|\vec{x}\|^2 + 1)\)
含义：每个样本的有效学习率是 \(\eta_{eff} = \eta(\|\vec{x}\|^2+1)\)——高幅值样本梯度步过大
解1：归一化（意外推导出 BatchNorm）:
消除散度的最直接方法：将激活除以 \(\sqrt{\|\vec{x}\|^2+1}\)
这恰好等价于对输入向量 \([\vec{x}; 1]\)（含 bias 项的增广输入）做 L2 归一化
从第一性原理推导出归一化——动机完全独立于内部协变量偏移等传统解释
解2：非归一化替代方案:
不除以幅度而是用一个新型映射消除散度
函数形式不具有尺度不变性（与所有传统归一化不同）
实验中超越 BatchNorm、LayerNorm 等传统归一化
PatchNorm（卷积扩展）:
将仿射散度分析推广到卷积层→发现 patchwise 散度（沿空间位置变化）
提出 PatchNorm：一种"组合不可分离"的归一化——无法分解为通道归一化和空间归一化的乘积
这是全新的归一化函数形式

损失函数 / 训练策略¶

纯理论推导 + 实验验证
在 CIFAR-10/100、ImageNet 子集上对比多种归一化方法
验证辅助假设：如果仿射散度机制成立，新归一化器应与 batch size 负相关

实验关键数据¶

主实验¶

方法	CIFAR-10↑	CIFAR-100↑	尺度不变？
无归一化	基线	基线	-
BatchNorm	+X%	+X%	是
LayerNorm	+X%	+X%	是
解2（非归一化）	超越 BN/LN	超越 BN/LN	否

辅助假设验证¶

预测	验证结果
新归一化器性能应与 batch size 负相关	确认——支持仿射散度机制
尺度不变性不是成功的必要条件	确认——非尺度不变的解2也有效

关键发现¶

从第一性原理推导出归一化：不假设任何统计正则化动机，纯粹从更新对齐角度自然得出 BatchNorm 形式
非归一化替代方案有效：打破了"尺度不变性是归一化成功的关键"的假设
Batch size 负相关验证了仿射散度机制——提供了独立于传统解释的证据
PatchNorm 是全新的卷积归一化形式：组合不可分离，由理论驱动

亮点与洞察¶

从更新对齐角度重建归一化理论是本文最大的贡献——将看似不相关的"参数-激活更新不对齐"问题与归一化的成功联系起来，提供了一个全新的理论视角。
非归一化解的存在对深度学习架构设计有深刻启示——也许我们不需要归一化本身，只需要某种消除仿射散度的机制，形式可以多样化。
归一化 = 激活函数？ 论文在附录中论证归一化器和激活函数的界限应该溶解——两者都是参数化的非线性映射，这个观点值得关注。

局限性 / 可改进方向¶

单层近似 + 一阶近似——多层传播的散度分析会更复杂但更准确
实验规模有限——需要在大规模 Transformer/LLM 上验证
非归一化替代方案的具体函数形式未完全明确（论文侧重理论推导）
与自然梯度下降的关系讨论充分但未实验对比
PatchNorm 仅在卷积场景验证，未扩展到注意力机制

评分¶

新颖性: ⭐⭐⭐⭐⭐ 从第一性原理推导归一化，发现非归一化替代方案，概念深度极高
实验充分度: ⭐⭐⭐ 实验规模偏小（CIFAR 级），需要更大规模验证
写作质量: ⭐⭐⭐⭐ 数学推导严谨，但符号和推导密度较高
价值: ⭐⭐⭐⭐⭐ 对归一化理论的根本性贡献，PatchNorm 是有实用潜力的新方法