Vicinity-Guided Discriminative Latent Diffusion for Privacy-Preserving Domain Adaptation¶

会议: NeurIPS 2025
arXiv: 2510.00478
代码: 无
领域: 域适应 / 图像生成
关键词: 潜扩散模型, source-free域适应, 隐私保护, 判别式迁移, 近邻引导

一句话总结¶

提出 Discriminative Vicinity Diffusion (DVD)，首次将潜扩散模型用于判别式知识迁移，通过在源域特征的近邻潜空间中训练扩散模型生成源样式线索，实现无需源数据访问的域适应，在标准 SFDA 基准上超越 SOTA。

Source-Free Domain Adaptation (SFDA) 因隐私保护需求而日益重要——源数据不可访问，仅能使用预训练的分类器。现有方法的局限：

隐式知识迁移: 多数方法仅通过伪标签或一致性正则化间接利用源知识

缺乏显式决策边界迁移: 源域的决策边界信息在适应过程中丢失

扩散模型的潜力未被利用: LDM 主要用于生成任务，判别式迁移几乎空白

核心创新：利用扩散模型作为隐私保护的桥梁，显式迁移源域的决策边界到目标域。

DVD 框架分为三个步骤： 1. 源域训练: 在源数据上训练分类器 + 辅助扩散模块 2. 扩散模块发布: 仅发布预训练的扩散模块（不暴露原始数据） 3. 目标域适应: 利用冻结的扩散模块生成源样式线索，对齐目标编码器

近邻潜空间编码 (Vicinity Encoding):
- 对每个源特征，找到其 k-最近邻
- 在近邻集合上拟合高斯先验 $\mathcal{N}(\mu_k, \Sigma_k)$
- 扩散网络学习将噪声样本漂移回标签一致的表示
标签引导扩散 (Label-Guided Diffusion):
- 将标签信息编码到每个特征的潜在近邻区域
- 扩散过程保持标签一致性
- 关键约束：漂移后的样本应与原标签类别中心接近
目标域适应:
- 从目标特征的近邻区域采样
- 通过冻结的扩散模块生成源样式线索
- InfoNCE 损失对齐目标编码器和扩散生成的线索
- 显式迁移决策边界

源域扩散训练：标准 DDPM 损失 + 标签一致性正则化
目标域适应： $$\mathcal{L}_{\text{adapt}} = \mathcal{L}_{\text{InfoNCE}}(f_T(x_T), g_\theta(z_T)) + \lambda \mathcal{L}_{\text{pseudo}}$$

方法	Office-Home Avg ↑	VisDA-C ↑	DomainNet Avg ↑	需要源数据
SHOT	71.8	82.9	43.5	否
NRC	72.5	83.5	44.2	否
AaD	73.8	84.8	45.8	否
CoWA	74.2	85.1	46.5	否
PLUE	75.1	85.8	47.2	否
DVD (Ours)	77.5	87.8	49.8	否
Oracle (有源数据)	79.2	89.5	52.3	是

应用场景	基线准确率 ↑	+DVD 准确率 ↑	提升
源域分类器增强	85.2	87.5	+2.3
有监督分类	78.5	80.8	+2.3
域泛化	72.3	75.1	+2.8