Reimagining Parameter Space Exploration with Diffusion Models¶

会议: ICML 2025
arXiv: 2506.17807
代码: 无
领域: 扩散模型 / 元学习
关键词: 参数生成, 扩散模型, LoRA, 任务特定适配, 相机陷阱

一句话总结¶

探索用扩散模型学习任务特定参数（LoRA adapter）的分布并直接生成新参数，在野生动物分类场景中验证了其在已知任务上可匹配微调性能，但在跨任务泛化上仍面临挑战。

领域现状：将预训练模型适配到新任务通常需要梯度下降微调，耗时且依赖标注数据。参数生成方法（HyperNetworks、G.pt）尝试直接生成权重但性能有限。

现有痛点：(a) 每个新任务都需要独立微调；(b) 低资源/隐私敏感场景无法获取充足标注数据；(c) 现有参数生成方法未充分探索面对未知任务的泛化能力。

核心矛盾：能否跳过梯度优化，直接用生成模型按需"采样"好的任务参数？

本文目标 (RQ1) 能否为已知任务生成好参数？(RQ2) 能否在多任务间插值？(RQ3) 能否泛化到未知任务？

切入角度：将 LoRA adapter 参数视为高维分布，用隐扩散模型学习并采样。

核心 idea：用参数 VAE 编码 LoRA 权重到隐空间，再用条件扩散模型在隐空间中生成新参数。

Wild-P-Diff 框架包含：(1) 参数编码：VAE 将 LoRA 参数编码为隐空间表示；(2) 参数生成：DDIM 扩散模型在隐空间中生成参数隐向量；(3) 条件化：用 CLIP 编码相机陷阱的背景图像作为位置条件。

参数 VAE:
- 功能：将多层 LoRA 参数展平拼接为 1D 向量，学习紧凑隐表示
- 核心思路：Z-score 归一化 + 输入和隐空间双重高斯噪声增强 + L2 重建 loss
- 设计动机：原始参数空间维度极高，需压缩到适合扩散模型的维度
1D 扩散 UNet:
- 功能：在隐空间中生成参数
- 核心思路：用 1D 卷积替代 2D 卷积（参数向量无空间结构），DDIM 采样
- 设计动机：参数向量是 1D 序列，不应用图像生成的 2D 架构
CLIP 条件化:
- 功能：让生成的参数适配特定位置/任务
- 核心思路：用冻结的 CLIP 视觉编码器提取每个相机陷阱位置的背景图像特征，与时间步 embedding 相加注入 UNet
- 设计动机：背景图像隐含了位置的光照、植被等信息，是任务差异的自然表达

场景	Pretrain	Fine-tuned	Wild-P-Diff	Δ Acc
RQ1: 单任务 R10	81.4%	94.2%	93.8%	-0.4%
RQ1: 多位置平均 (L)	-	各~93%	各~93%	<-1%
RQ2: 多任务插值 (H)	-	-	可行	高相似度时有效
RQ3: 未见任务	-	-	失败	无法泛化

保存间隔	FTed 精度	Wild-P-Diff 精度	说明
1 (低多样性)	92.29%	93.80%	超过微调
10	92.68%	93.66%	接近
100 (高多样性)	94.19%	93.80%	轻微下降