EVLF: Early Vision-Language Fusion for Generative Dataset Distillation¶

会议: CVPR 2026 arXiv: 2603.07476 代码: GitHub 领域: 数据集蒸馏 / 生成模型 关键词: 数据集蒸馏, 扩散模型, 视觉-语言融合, 早期融合, 即插即用

一句话总结¶

提出 EVLF，一种在编码器-骨干网络接口处进行视觉-语言早期融合的即插即用方法，解决了扩散模型数据集蒸馏中晚期语义注入导致的文本过度主导和视觉保真度下降问题。

研究背景与动机¶

数据集蒸馏（Dataset Distillation, DD）旨在合成紧凑的训练集，使模型以少量样本达到高精度。基于扩散模型的 DD 方法（如 D4M、MGD3）已成为主流，但存在一个核心结构性问题：

晚期融合的语义主导：标准扩散管道中，文本语义通过去噪阶段的跨注意力注入（late fusion），导致文本信号过度主导生成轨迹
视觉保真度下降：由于编码器衍生的视觉隐变量仅包含视觉信息，晚期注入的语义以"纠正"方式工作而非"协同演化"，导致生成的样本标签匹配但视觉失真
表现为：生成样本出现不自然的形状、类文本纹理、过度简化的轮廓

核心洞察：将语义融合从去噪阶段提前到编码器输出阶段（encoder-backbone interface），让视觉和语义信号从扩散过程开始就协同演化。

方法详解¶

整体框架¶

EVLF 的流程： 1. VAE 编码器产生视觉隐变量 $z_{\text{img}} = \mathcal{E}(x)$ 2. 文本编码器产生类别嵌入 $e_{\text{text}} = \mathcal{T}(y)$ 3. 轻量跨注意力模块在编码器输出处融合二者：$z_{\text{fused}} = \text{CA}(z_{\text{img}}, e_{\text{text}})$ 4. 融合后的 $z_{\text{fused}}$ 作为后续扩散生成的初始条件 5. 可选：对去噪器进行微调以适配融合隐变量分布

关键设计¶

早期融合跨注意力模块：以图像 token 为 Query、文本 token 为 Key/Value，确保语义以视觉为锚点注入，而非反过来由文本主导： $$Q = \tilde{z}W_Q, \quad K = \tilde{e}W_K, \quad V = \tilde{e}W_V$$ $$z_{\text{fused}} = \psi(\text{LN}(\tilde{z} + \text{softmax}(\frac{QK^\top}{\sqrt{d}})V))$$ 设计动机：图像作为 Query 保证语义"引导但不覆写"视觉结构。
双损失训练目标：
视觉保持损失 $\mathcal{L}_{\text{MSE}} = \|z_{\text{fused}} - z_{\text{img}}\|_2^2$：确保融合后隐变量不偏离原始视觉结构
语义对齐损失 $\mathcal{L}_{\text{InfoNCE}}$：通过可学习投影器将 $z_{\text{fused}}$ 映射到文本嵌入空间，在批内进行对比学习，使同类样本对齐
总损失：$\mathcal{L}_{\text{CA}} = \lambda_1 \mathcal{L}_{\text{InfoNCE}} + \lambda_2 \mathcal{L}_{\text{MSE}}$
即插即用设计：EVLF 仅在编码器-骨干接口处插入，不依赖特定训练调度或损失函数，可无缝集成到 D4M、MGD3 等任意基于编码器的扩散 DD 管线中。

损失函数 / 训练策略¶

跨注意力模块训练 4 epochs，batch 16，AdamW
$\lambda_1 = 0.1$（固定），$\lambda_2$ 从 0.05 线性增到 1.0（前 2 epochs）
可选去噪器微调：使用 $z_{\text{fused}}$ 上的标准扩散损失
D4M 集成时需微调去噪器，MGD3 集成时保持冻结
单卡 NVIDIA A5000 即可训练

实验关键数据¶

主实验¶

数据集	IPC	指标	D4M	D4M+EVLF	MGD3	MGD3+EVLF
ImageWoof	10	ResNetAP-10	33.2	37.3	36.6	39.3
ImageWoof	50	ResNetAP-10	51.7	55.8	55.6	59.0
ImageNette	20	ResNetAP-10	66.3	71.7	69.2	72.5
CIFAR-10	10	Accuracy	37.6	45.7	-	-
Tiny-ImageNet	10	Accuracy	42.5	49.2	-	-
ImageNet-1K	50	Accuracy	60.1	60.6	60.3	61.9

消融实验¶

配置	IPC=10	IPC=20	IPC=50	说明
D4M 基线	47.7	56.3	67.8	ImageIDC 上 ResNetAP-10
+去噪器微调	54.1	61.1	70.3	微调有效
+跨注意力	51.1	57.5	69.1	跨注意力有效
+两者结合	57.3	62.0	72.1	互补效果最佳

关键发现¶

EVLF 在所有 IPC 设置和数据集上一致提升性能，尤其在低 IPC 时提升更大（CIFAR-10 IPC=10 提升 8.1%）
t-SNE 可视化显示 EVLF 生成的样本分布范围更广，多样性更好
$\lambda_1 > 0$（启用 EVLF）时准确率和覆盖率都显著提升，且对 $\lambda_1$ 具体值不敏感
迁移学习实验显示 EVLF 蒸馏的数据集具有更好的特征迁移能力

亮点与洞察¶

诊断精准：准确识别了扩散 DD 中晚期语义注入导致文本过度纠正的核心问题，并用可视化（Fig.1）直观展示
设计优雅：仅一个轻量跨注意力模块即可实现即插即用的改进，无需修改管线其他部分
实验全面：覆盖 CIFAR-10/100、Tiny-ImageNet、ImageNet-1K 及其子集，多种 IPC 设置和架构
概念上的启发：早期融合 vs 晚期融合的比较揭示了条件生成中语义注入时机的重要性

局限性 / 可改进方向¶

当前仅支持类级别条件，不支持实例级或多标签场景
EVLF 在 ImageNet-1K 大规模设置上的提升相对较小（~0.5-1.6%）
未探索更复杂的融合机制（如多层融合、自适应融合权重）
未来方向：实例感知和组合提示，扩展到更细粒度的控制

评分¶

新颖性: ⭐⭐⭐⭐ 早期融合替代晚期注入的想法简单但洞察深刻
实验充分度: ⭐⭐⭐⭐ 7 个数据集、多 IPC、多架构、消融/可视化/迁移实验
写作质量: ⭐⭐⭐⭐ 问题诊断清晰，框架图优秀，逻辑流畅
价值: ⭐⭐⭐⭐ 即插即用的通用方法，对 DD 社区有实用价值