Exploiting Deblurring Networks for Radiance Fields¶

会议: CVPR 2025
arXiv: 2502.14454
代码: 无
领域: 3D视觉
关键词: 辐射场去模糊, 深度学习去模糊, 新视角合成, 3D高斯溅射, 迭代优化

一句话总结¶

本文提出DeepDeblurRF，首次将DNN去模糊网络引入辐射场构建流程，通过设计RF引导去模糊机制和迭代交替框架，在模糊图像输入下实现高质量新视角合成，训练速度比现有方法快10-100倍，同时支持体素网格和3D高斯溅射等多种3D表示。

研究背景与动机¶

领域现状：从多视角图像构建辐射场（NeRF/3DGS）是新视角合成的主流方法。然而实际拍摄的图像通常存在运动模糊或散焦模糊，直接用于辐射场训练会导致模糊的3D表示。现有辐射场去模糊方法（Deblur-NeRF、DP-NeRF、BAD-NeRF、BAGS等）通过联合优化模糊核和辐射场来处理这个问题。

现有痛点：(1) 现有方法依赖线性模糊模型，将模糊像素描述为清晰像素的线性组合，无法处理饱和像素、噪声等非线性退化；(2) 缺乏清晰图像先验，仅依赖不同视角的互补信息来估计模糊核，当所有输入视角都有相似模糊方向时会完全失败；(3) 基于射线的方法需要为每个像素采样多条射线模拟模糊效果，导致训练时间极长（DP-NeRF需要30+小时，且需要双GPU）。

核心矛盾：DNN去模糊方法在处理非线性模糊、利用清晰图像先验、推理速度方面都有明显优势，但直接对模糊图像逐张去模糊后训练辐射场效果不佳——因为单张图像的信息量不足以完全恢复清晰细节。如何有效结合DNN去模糊的优势与辐射场的多视角信息聚合能力？

本文目标 (1) 突破线性模糊模型的限制，处理真实世界的非线性退化；(2) 利用DNN的清晰图像先验弥补互补信息不足的问题；(3) 大幅减少训练时间。

切入角度：辐射场构建过程中，来自多个去模糊图像的信息被"聚合"到统一的3D表示中，渲染出的图像比任何单张去模糊结果都更清晰。反过来，这些更清晰的渲染图像可以作为引导信号，帮助去模糊网络在下一轮产生更好的结果。

核心 idea：通过"DNN去模糊→辐射场构建→渲染图引导再去模糊"的迭代交替流程，逐步提升去模糊和辐射场的质量。

方法详解¶

整体框架¶

DeepDeblurRF输入M张模糊图像，输出清晰的辐射场。流程分三步迭代执行：(1) 初始去模糊——用现成的NAFNet对每张模糊图像进行单图去模糊；(2) 辐射场构建——用去模糊图像估计相机位姿（COLMAP）并训练辐射场（支持Plenoxels或3DGS两种表示）；(3) RF引导去模糊——从辐射场渲染对应视角的图像作为引导，与原始模糊图像一起输入改进的去模糊网络，得到更清晰的去模糊结果。迭代N=5次。

关键设计¶

RF引导去模糊 (RF-guided Deblurring):
- 功能：利用辐射场渲染的聚合信息引导DNN去模糊网络产生更高质量的结果
- 核心思路：在每次迭代中，从当前辐射场\(V^i\)渲染出与每个输入视角对应的图像\(R_m^i\)。虽然去模糊图像\(D_m^{i-1}\)可能含有残余模糊和伪影，但渲染图像\(R_m^i\)通过聚合多视角信息获得了更准确的细节。将渲染图像\(R_m^i\)与原始模糊图像\(B_m\)拼接后输入修改版NAFNet（第一层改为接受6通道输入），用渲染图像引导去模糊过程，输出更高质量的去模糊图像\(D_m^i\)。
- 设计动机：单图去模糊受限于单张图像的信息量，但辐射场通过"跨视角信息聚合"天然产生更高质量的图像。将这种聚合信息反馈给去模糊网络，形成良性循环。
BlurRF-Synth 大规模合成数据集:
- 功能：为训练辐射场去模糊框架提供大规模模糊-清晰配对数据
- 核心思路：使用Blender渲染100个3D模型场景，分别生成运动模糊和散焦模糊的训练/测试集。运动模糊通过Bézier插值采样6DOF相机轨迹，在51个中间位姿渲染后平均。散焦模糊通过调整Blender的景深参数生成。关键创新在于引入了RSBlur的真实退化模拟Pipeline——在线性sRGB空间平均后添加饱和像素，转入RAW空间添加shot/read噪声，再转回sRGB空间。总计4,350对模糊-清晰配对。
- 设计动机：此前所有辐射场去模糊方法都不需要大规模训练集（因为它们采用迭代优化而非学习方法），导致没有合适的训练数据。现有评估数据集（Deblur-NeRF等）规模小且忽略了真实相机噪声等非线性因素。
迭代交替优化框架:
- 功能：逐步提升辐射场质量和去模糊质量
- 核心思路：设置N=5次迭代。每次迭代包含两步：(1) 用上一轮的去模糊图像重建辐射场；(2) 用辐射场渲染引导图像，执行RF引导去模糊。不同迭代使用独立训练的去模糊网络权重（每个迭代对应固定的噪声和模糊特性）。最后一次迭代只做辐射场构建。去模糊图像可能含有残余模糊和伪影，但辐射场构建步骤通过聚合多个有重叠区域的去模糊图像，天然抑制了个体图像中的错误信息。
- 设计动机：一次性去模糊+辐射场构建效果不佳（实验证实PSNR仅28.40），但通过迭代，每一轮的辐射场渲染图像都比上一轮更清晰，从而为下一轮去模糊提供越来越好的引导信号，实现质量的逐步攀升。

损失函数 / 训练策略¶

去模糊网络使用Adam优化器（\(\beta_1=0.9\)，\(\beta_2=0.9\)），学习率从\(10^{-3}\)通过余弦退火降至\(10^{-7}\)。辐射场构建使用各自框架（Plenoxels/3DGS）的标准训练策略。对于DeepDeblurRF-P，每38,400步进行体素剪枝和上采样；对于DeepDeblurRF-G，使用Deblurring-3DGS的深度剪枝和额外点策略应对稀疏点云。

实验关键数据¶

主实验¶

方法	3D表示	PSNR↑ (运动模糊)	PSNR↑ (散焦模糊)	训练时间
Deblur-NeRF	MLP	27.67	30.03	31.33h
DP-NeRF	MLP	28.03	30.15	30.00h*
PDRF-10	Voxel	28.33	30.03	4.26h
DeepDeblurRF-P	Voxel	29.81	32.51	1.14h
Deblurring-3DGS	3DGS	26.30	29.37	0.33h
BAGS	3DGS	27.41	29.90	1.25h
DeepDeblurRF-G	3DGS	29.94	32.58	0.28h

BlurRF-Synth测试集上。DeepDeblurRF-G在所有方法中PSNR最高且训练最快。运动模糊上比BAGS高+2.53dB，散焦模糊上高+2.68dB。*DP-NeRF需双GPU。

消融实验¶

配置	PSNR (运动模糊)	PSNR (散焦模糊)	说明
N=1 (无迭代)	28.40	30.74	仅单次去模糊+构建
N=3	29.63	32.15	3次迭代
N=5 (完整)	29.94	32.58	5次迭代最优

关键发现¶

DeepDeblurRF-G训练仅需0.28小时，比DP-NeRF（30h）快107倍，比PDRF-10（4.26h）快15倍。
在BlurRF-SB（所有视角相同模糊方向）上，现有方法因缺乏互补信息完全失败，DeepDeblurRF-G的PSNR达到29.59（vs BAGS的24.49），证明了DNN清晰图像先验的价值。
在真实世界低光噪声场景（BlurRF-Real）上，DeepDeblurRF-G的非参考图像质量指标NIQE=5.423（最低=最优），显著优于其他方法，验证了处理非线性退化的能力。
迭代过程中PSNR持续上升：N=1→3→5对应运动模糊PSNR为28.40→29.63→29.94。

亮点与洞察¶

思路转变非常聪明：现有方法都试图在辐射场框架内建模模糊核，本文完全跳出这个范式，借用成熟的DNN去模糊方法，通过巧妙的迭代框架弥补单图去模糊的信息不足。这种"站在巨人肩膀上"的策略避免了重复造轮子。
RF引导去模糊利用了辐射场独特的信息聚合特性：辐射场本质上是多视角信息的3D融合，其渲染结果天然具有"去噪"效果。将这种特性作为反馈信号用于去模糊，是对辐射场能力的创造性利用。
BlurRF-Synth数据集具有长远价值：它是首个专为辐射场去模糊设计的大规模训练+评估数据集，模拟了真实相机的非线性退化过程，可以惠及后续研究。

局限与展望¶

需要额外训练去模糊网络（虽然训练一次后可复用），增加了方法的初始部署成本。
每次迭代都需要重新运行COLMAP估计位姿，在去模糊质量较差的早期迭代中位姿估计可能不准确。
5次迭代中每次都用独立的去模糊网络参数，总共需要训练9个网络（1个初始+4×2种模糊类型），参数量较大。
对极端模糊（如超长曝光）的处理能力受限于预训练去模糊网络的能力上限。

评分¶

新颖性: ⭐⭐⭐⭐ 首次将DNN去模糊引入辐射场，RF引导迭代框架设计巧妙
实验充分度: ⭐⭐⭐⭐⭐ 运动/散焦两种模糊，合成/真实多个数据集，两种3D表示
写作质量: ⭐⭐⭐⭐ 结构清晰，动机阐述充分
价值: ⭐⭐⭐⭐⭐ 大幅推进了辐射场去模糊的实用性，BlurRF-Synth数据集有持续价值