BluRef: Unsupervised Image Deblurring with Dense-Matching References¶
会议: CVPR 2026
arXiv: 2603.14176
代码: 项目主页
领域: image_restoration
关键词: 无监督去模糊, 稠密匹配, 伪清晰图像生成, 参考图像, 迭代优化
一句话总结¶
提出 BluRef，首个利用非配对参考清晰图像通过稠密匹配生成伪 ground truth 来训练去模糊网络的无监督框架，性能逼近甚至超越有监督方法。
研究背景与动机¶
- 运动模糊普遍存在：图像/视频中运动模糊会严重降低视觉质量并影响下游视觉任务的性能，可靠的去模糊技术具有重要实用价值。
- 配对数据采集代价极高：当前主流有监督方法依赖配对的模糊-清晰训练数据，但获取这些数据需要分光器、多相机同步等复杂设备，大多数拍摄场景（如行车记录仪、执法记录仪）几乎不可能搭建这样的采集系统。
- Reblurring 方法存在域间差异：如 Blur2Blur 等方法通过将未知模糊映射到已有配对数据的中间模糊域来间接去模糊，但寻找合适的中间域本身就很困难，域间不匹配会导致性能下降，且多阶段流程增加计算开销。
- 域间差距是根本瓶颈：无论是有监督方法的训练-测试域差异，还是 reblurring 方法的中间域匹配问题，domain gap 始终制约无监督去模糊的性能上限。
- 非配对参考图像容易获取：同一场景在不同时刻可能同时存在模糊帧和清晰帧，这些非配对的同场景图像大量可得，是天然的训练资源。
- 现有参考图像方法仍依赖有监督训练：先前的参考增强去模糊方法（如 Lai 等人的双相机人脸增强）仍需配对数据训练，未真正解决无监督学习的核心挑战。
方法详解¶
整体框架¶
BluRef 是一个迭代优化框架，包含两个交替执行的步骤：(1) 伪清晰图像生成——利用稠密匹配模型在当前去模糊结果与非配对参考清晰图之间建立对应关系，生成伪 ground truth；(2) 去模糊网络训练——以伪清晰图为监督目标更新去模糊网络参数。每个 epoch 中，改进的去模糊结果又反馈给稠密匹配模块，使伪清晰图逐步趋近真实清晰图像。推理时仅需去模糊网络的单次前向传播，无需稠密匹配模块。
关键设计一：自监督稠密匹配模型 (Dense Matching)¶
- 做什么：训练一个稠密匹配模型 \(\mathcal{DM}\)，输入模糊目标图与清晰参考图，输出变换后的图像 \(I_{\text{trans}}\) 和置信度掩码 \(M_{\text{conf}}\)。
- 核心思路：采用自监督方案，对清晰图像施加随机几何变换（单应性变换、TPS 变换）生成合成训练对，再对变形图像进行模糊/噪声增强（受 BSRGAN 启发），使模型具备跨清晰-模糊域的匹配能力。基础架构为 PDC-Net+ + GLU-Net-GOCor。
- 设计动机：合成数据仅用于匹配模型的预训练，不涉及真实模糊模式，确保无监督框架的完整性；模糊增强使模型天然适应跨域匹配任务。
关键设计二：伪清晰图像生成策略¶
- 做什么：给定模糊图像和 \(N\) 张参考清晰图，通过稠密匹配聚合多个参考的对应区域，生成一张完整的伪清晰图。
- 核心思路：提出三种聚合策略——(a) 加权平均 (Weighted Average)：独立匹配后取加权平均；(b) 序列累积 (Sequential Accumulation)：迭代地用前一步结果作为下一步输入，保持细节连续性；(c) 渐进参考平均 (Progressive Reference Averaging)：每次仅对未匹配区域进行新参考匹配，融合所有迭代结果，兼顾覆盖率和细节保持。
- 设计动机：单张参考图难以覆盖全部场景内容（匹配率通常 < 40%），多参考聚合策略能互补不同参考的覆盖区域；渐进策略同时避免重复匹配和信息丢失，在实验中表现最佳。
关键设计三：迭代目标精炼 (Iterative Target Refinement)¶
- 做什么：去模糊网络和伪清晰图在训练过程中交替优化、互相提升。初始化时直接用模糊图作为第一轮匹配输入。
- 核心思路：第 \(k\) 轮去模糊结果 \(I_{\text{deblur}}^{(k)}\) → 稠密匹配生成更好的 \(I_{\text{pseudo}}^{(k)}\) → 训练更强的去模糊网络参数 \(\Theta^{(k+1)}\) → 下一轮产生更好的去模糊结果，形成正向循环。
- 设计动机：初始模糊图与参考图的匹配质量有限，但随着去模糊网络改善，匹配输入越来越清晰，伪 ground truth 质量持续提升（实验显示 PSNR 在 100K 迭代后明显收敛）。
关键设计四：推理时的轻量化部署¶
- 做什么：训练完成后，丢弃稠密匹配模块和伪清晰图生成流程，仅保留去模糊网络进行推理。
- 核心思路：伪配对数据可复用于训练任意容量的去模糊网络（包括适合移动端的轻量模型），实现灵活部署。
- 设计动机：消除推理时对参考图的依赖，保持与标准去模糊网络相同的推理成本，同时扩展了框架的实用价值。
损失函数¶
去模糊网络的训练损失为置信度掩码加权的重建损失：
\[\Theta^{(k+1)} := \arg\min_{\Theta} \mathcal{L}\left(\mathcal{D}(I_{\text{blur}};\Theta) * \bar{M}^{(k)}_{\text{pseudo}},\; I^{(k)}_{\text{pseudo}} * \bar{M}^{(k)}_{\text{pseudo}}\right)\]
其中 \(\bar{M}^{(k)}_{\text{pseudo}}\) 为二值化置信度掩码（阈值 0.7），\(\mathcal{L}\) 可选 \(L_1\)、\(L_2\) 或 PSNR loss。掩码机制使网络仅在高置信区域学习，避免错误匹配区域的噪声监督。
实验¶
表1：GoPro 与 RB2V 数据集上的定量对比（PSNR/SSIM）¶
| 方法 | GoPro Δ=1 | GoPro Δ=10 | GoPro Δ=20 | RB2V Δ=1 | RB2V Δ=10 | RB2V Δ=20 |
|---|---|---|---|---|---|---|
| DualGAN | 22.23/0.721 | 22.10/0.719 | 21.24/0.702 | 21.01/0.512 | 20.87/0.500 | 20.92/0.505 |
| UID-GAN | 23.42/0.732 | 23.18/0.724 | 22.38/0.724 | 22.22/0.578 | 22.01/0.551 | 22.13/0.569 |
| UAUD | 24.25/0.792 | 24.02/0.750 | 23.77/0.745 | 22.87/0.590 | 22.29/0.581 | 22.28/0.581 |
| NAFNet-BluRef (Prog.) | 31.94/0.960 | 31.87/0.955 | 31.52/0.947 | 27.87/0.821 | 27.72/0.820 | 27.24/0.812 |
| Restormer-BluRef (Prog.) | 31.02/0.950 | 30.97/0.949 | 30.95/0.938 | 26.82/0.839 | 26.76/0.832 | 26.13/0.829 |
| NAFNet (有监督上界) | 33.32/0.962 | — | — | 28.54/0.824 | — | — |
BluRef 在 GoPro 上达到 31.94 dB（vs 有监督 33.32 dB），在 RB2V 上 Restormer 骨干甚至超越有监督上界（27.87 vs 27.43）。Δ 从 1 增大到 20 时性能仅轻微下降，说明对参考帧时间距离鲁棒。
表2：BluRef + Blur2Blur 组合在真实场景下的表现（NIQE↓/FID↓）¶
| 方法 | NIQE/FID |
|---|---|
| BSRGAN | 13.34/10.25 |
| Blur2Blur (GoPro) | 12.01/8.93 |
| Blur2Blur (RSBlur) | 10.07/6.28 |
| BluRef | 10.43/6.45 |
| BluRef + Blur2Blur (RSBlur) | 8.47/5.62 |
在无配对 ground truth 的 PhoneCraft 真实数据集上，BluRef 与 Blur2Blur 结合后在 NIQE 和 FID 上均显著优于单独方法。此外，BluRef 生成的伪配对数据训练的去模糊模型与真实 ground truth 训练的模型性能差距 < 1 dB PSNR（RB2V 上 27.73 vs 28.54）。
表3：参考图像数量消融（GoPro, NAFNet, Δ=1）¶
| 参考帧数 | 4 | 6 | 8 | 10 |
|---|---|---|---|---|
| PSNR/SSIM | 31.42/0.942 | 31.94/0.960 | 31.93/0.961 | 31.05/0.924 |
6-8 帧为最优区间，过少覆盖不足，过多引入冗余/强不对齐内容。
亮点¶
- 首个非配对参考引导的无监督去模糊框架：完全消除对配对训练数据和预训练去模糊网络的依赖，仅需同场景非配对视频帧。
- 性能逼近/超越有监督方法：在 RB2V 真实模糊数据集上超越有监督 Restormer 上界（27.87 vs 27.43），在 GoPro 上与有监督仅差 ~1.4 dB。
- 推理零额外开销：训练时的稠密匹配和伪 GT 生成模块在推理时全部丢弃，推理成本等同于标准去模糊骨干网络。
- 伪配对数据可复用：生成的伪配对可训练任意容量的网络（含移动端轻量模型），一次训练多模型受益。
- 对参考帧时间距离鲁棒：Δ=20 时匹配率仅 25-28%，但性能下降极小，展现强鲁棒性。
局限性¶
- 依赖同场景参考图：需要获取与模糊图相同或相似场景的清晰参考图，对于无法获取参考图的孤立图像场景不适用。
- 稠密匹配模型的预训练成本：虽然使用合成数据训练，但 PDC-Net+ 的训练和推理仍有一定计算开销，限制了 BluRef 在大规模数据上的训练效率。
- 伪 GT 质量上限：当参考图与模糊图覆盖区域极少（如大幅度运动或场景切换）时，伪清晰图质量受限，可能影响训练效果。
- 无端到端联合优化：稠密匹配模型与去模糊网络分开训练、交替迭代，未实现端到端联合优化，可能存在次优解。
相关工作¶
- 无监督去模糊：DualGAN、UID-GAN、UAUD 等基于 CycleGAN 或自增强的方法，性能远低于 BluRef（PSNR 差距 7-9 dB）。
- Reblurring 方法：Blur2Blur 通过域转换间接去模糊，依赖中间域的选择质量，可与 BluRef 互补组合使用。
- 参考图像增强去模糊：Xiang 等人利用参考视频增强去模糊网络，Zou 等人和 Liu 等人也做过参考增强，但均在有监督框架下工作。
- 稠密匹配：DGC-Net、GLU-Net、PDC-Net+ 等方法被本文创新性地用于跨清晰-模糊域的语义对应。
评分¶
- 新颖性: ⭐⭐⭐⭐ — 首次将稠密匹配+非配对参考引入无监督去模糊，框架设计新颖且直觉清晰
- 实验充分度: ⭐⭐⭐⭐ — 涵盖合成/真实数据集、多骨干网络、多策略消融、与有监督上界和组合方法的全面对比
- 写作质量: ⭐⭐⭐⭐ — 行文结构清晰，问题动机阐述充分，图表信息量大
- 价值: ⭐⭐⭐⭐ — 极大降低去模糊训练数据门槛，伪配对数据复用机制扩展了实用价值