Neon: Negative Extrapolation From Self-Training Improves Image Generation¶

会议: ICLR 2026 Oral
arXiv: 2510.03597
代码: github.com/VITA-Group/Neon
领域: 图像生成 / 自训练
关键词: self-training, model collapse, weight merging, negative extrapolation, FID

一句话总结¶

提出 Neon，一种仅需 <1% 额外训练计算的后处理方法：先用模型自身生成的合成数据微调导致退化，再反向外推远离退化权重，证明 mode-seeking 采样器导致合成/真实数据梯度反对齐，因此负外推等价于向真实数据分布优化，在 ImageNet 256×256 上将 xAR-L 提升至 SOTA FID 1.02。

研究背景与动机¶

领域现状：生成模型的规模化受到高质量训练数据稀缺的制约。用模型自身合成数据做自训练（self-training）是直觉方案，但会导致 模型自吞噬障碍（MAD / Model Collapse）——样本质量和多样性快速退化。
现有痛点：(a) SIMS 等自改进方法需要 2× 推理 NFE 和大量合成样本（100K）及额外训练计算（20%）；(b) DDO 需要多轮迭代（16 轮×50K 样本）；(c) 现有方法没有统一的理论解释为什么自训练会退化以及如何利用退化。
核心矛盾：自训练退化看似浪费，但退化方向本身包含信息——如果能理解退化的方向，就能反向利用它。
本文要解决什么？ 能否将自训练的退化信号转化为自改进信号？提供理论保证？
切入角度：作者观察到 mode-seeking 采样器（temperature <1、top-k、有限步 ODE solver）会使合成数据偏向模型分布的高概率区域，导致合成数据和真实数据的群体梯度 反对齐（\(\cos\varphi < 0\)）。因此，反向利用自训练梯度等价于向真实数据分布优化。
核心idea一句话：自训练会让模型变差，但"变差的方向"恰好是"变好的反方向"，所以反向外推就能改进模型。

方法详解¶

整体框架¶

Neon 是一个极简的三步后处理流程：(1) 用基础模型 \(\theta_r\) 生成少量合成数据 \(S\)（~1K-6K 样本）；(2) 在 \(S\) 上短暂微调得到退化模型 \(\theta_s\)；(3) 权重负外推：\(\theta_{\text{neon}} = (1+w)\theta_r - w\theta_s\)，其中 \(w > 0\)。

关键设计¶

负外推权重合并
做什么：通过参数空间的反向外推获得改进模型
核心思路：\(\theta_{\text{neon}} = \theta_r + w(\theta_r - \theta_s)\)，即沿着"基础模型→退化模型"的反方向移动。实现上只是一行代码：merged[k] = base[k] - w * (aux[k] - base[k])
设计动机：无推理开销（不像 SIMS 需要 2× NFE），无需新真实数据，仅需极少量合成样本
反对齐理论（Theorem 1）
做什么：证明 mode-seeking 采样器下合成数据梯度和真实数据梯度反向
核心思路：定义 \(r_d = \nabla_\theta \mathcal{L}_{\text{real}}(\theta_r)\)（真实数据梯度）和 \(r_s = \nabla_\theta \mathcal{L}_{\text{synth}}(\theta_r)\)（合成数据梯度），证明当采样器满足单调重加权条件（monotone reweighting）且模型误差 \(|\varepsilon|\) 足够小时，\(\cos\varphi = \frac{\langle r_d, r_s \rangle}{\|r_d\| \|r_s\|} < 0\)
设计动机：这解释了为什么自训练会退化（沿 \(r_s\) 方向更新实际上增大了真实数据损失），也解释了为什么负外推有效（反转 \(r_s\) 方向就近似于沿 \(r_d\) 更新）
Neon 降低 population risk（Theorem 2）
做什么：证明适当的 \(w > 0\) 可以保证改进
核心思路：\(\mathcal{L}_{\text{real}}(\theta_{\text{neon}}) < \mathcal{L}_{\text{real}}(\theta_r)\)，最优 \(w\) 可以从梯度对齐角度预测
设计动机：提供了严格的理论保证，而非纯经验方法
U 形训练预算曲线
做什么：解释训练预算 \(B\) 对性能的非单调影响
核心思路：\(B\) 太小→高方差（退化方向估计不准），\(B\) 太大→Taylor 展开失效（高阶项主导）。最优区间在基础训练量的 1-2%
设计动机：指导超参数选择

损失函数 / 训练策略¶

微调阶段使用标准训练损失（各架构各自的原始损失），无特殊修改。\(w\) 一般在 \([0.5, 1.5]\) 范围内取值，推荐 \(w \approx 0.8\text{-}1.0\)。对于 class-conditional 模型需要与 CFG scale \(\gamma\) 联合调优。

实验关键数据¶

主实验¶

模型	类型	数据集	基线 FID	Neon FID	提升
xAR-L	Flow matching	ImageNet-256	1.28	1.02	-20.3%
xAR-B	Flow matching	ImageNet-256	1.72	1.31	-23.8%
VAR d16	Autoregressive	ImageNet-256	3.30	2.01	-39.1%
VAR d36	Autoregressive	ImageNet-512	2.63	1.70	-35.4%
EDM (cond.)	Diffusion	CIFAR-10	1.78	1.38	-22.5%
EDM (uncond.)	Diffusion	FFHQ-64	2.39	1.12	-53.1%
IMM	Moment matching	ImageNet-256	1.99	1.46	-26.6%

消融实验¶

消融维度	关键发现
训练预算 \(B\)	U 形曲线：最优在 1-2% 基础训练量
合并权重 \(w\)	\(w=-1\)（直接自训练）退化；\(w \in [0.5, 1.5]\) 一致改进
合成样本数	1K 即有效，6K 后收益递减
跨架构合成	一种架构生成的合成数据可改进另一种架构

效率对比¶

方法	FID (EDM, cond. CIFAR-10)	额外计算	合成样本数	推理开销
Neon	1.38	1.75%	6K	无
SIMS	1.33	20%	100K	2× NFE
DDO	1.30	12%	800K	无

关键发现¶

跨架构通用：同一方法无修改适用于 diffusion、flow matching、autoregressive、moment matching 四类架构
Precision-Recall 权衡：Neon 主要提升 recall（多样性），略降 precision，净效果 FID 下降
mode-seeking vs diversity-seeking：当采样器是 diversity-seeking (\(\tau > 1\)) 时梯度对齐翻转，负外推会失败。这是理论预测的边界条件
SOTA：xAR-L + Neon 达到 ImageNet 256×256 FID 1.02，仅 0.36% 额外计算

亮点与洞察¶

"退化即信号"的核心洞察极为优雅：将 model collapse 从问题转化为工具，利用退化方向的信息来改进模型。这个思路的哲学意味很深——"知道什么是错的方向，就等于知道什么是对的方向"
实现极简：整个方法只需一行权重合并代码，无需修改推理流程、无需额外数据、无需额外推理开销。这是方法论上的极致简洁
理论与实践完美对应：反对齐定理精确预测了实验中观察到的 U 形曲线和 mode-seeking 条件，是少见的理论驱动的实用方法

局限性 / 可改进方向¶

超参数调优：\(w\) 和 \(B\) 需要一定调优（虽然有效范围较宽），没有自动选择机制
仅验证图像生成：未在 NLP（语言模型也用 temperature/top-k）和视频生成上验证
一次性修正：Neon 是局部一阶近似，不可迭代应用（多次负外推会使 Taylor 展开失效）
精度-多样性权衡：不提升最高生成质量，只提升质量阈值以上的样本比例

评分¶

新颖性: ⭐⭐⭐⭐⭐ "反向利用退化"的 idea 极其新颖，理论和方法都原创
实验充分度: ⭐⭐⭐⭐⭐ 4 种架构、3 个数据集、丰富消融，效率对比充分
写作质量: ⭐⭐⭐⭐⭐ 理论清晰，图示直观，方法一行代码可实现
价值: ⭐⭐⭐⭐⭐ 通用性强、成本极低、理论保证——有望成为生成模型训后标准步骤