跳转至

Efficient Diffusion as Low Light Enhancer (ReDDiT)

会议: CVPR 2025
arXiv: 2410.12346
代码: 有（项目页）
领域: 图像修复
关键词: 低光增强、扩散蒸馏、反射率先验、轨迹精炼、快速推理

一句话总结

提出 ReDDiT 将扩散式低光增强从 10+ 步蒸馏到 2-4 步——通过线性外推修正拟合误差、用 Retinex 分解的反射率做轨迹精炼弥合推理间隙，4 步即在 10 个基准上全面达到 SOTA。

研究背景与动机

领域现状：扩散模型在低光增强（LLIE）上取得了优秀效果（如 GSAD），但需要 10-1000 步推理，速度慢不利于实时应用。

现有痛点：(1) 扩散蒸馏方法（如 Progressive Distillation/Consistency Models）在 LLIE 上直接应用效果差——因为低光图像有独特的退化模式，标准蒸馏假设不完全适用。(2) 教师模型的轨迹本身存在拟合误差——学生学的是不完美的轨迹。(3) 蒸馏时从高斯噪声出发的扩散过程与从低光图像出发的恢复任务之间存在推理间隙。

核心矛盾：蒸馏需要学生忠实复现教师轨迹，但教师轨迹本身有误差；且从纯噪声到干净图像的扩散路径与低光→正常的恢复路径不完全吻合。

本文目标 设计专门针对低光增强的蒸馏方案——修正教师轨迹误差 + 利用反射率先验弥合推理间隙。

切入角度：(1) 对教师的 score function 做线性外推修正拟合误差（不需要重训教师）。(2) 用 Retinex 分解提取反射率——反射率是低光和正常光照图像共享的属性——作为确定性先验精炼扩散轨迹。

核心 idea：用线性外推修正教师轨迹拟合误差 + 用 Retinex 反射率作为轨迹精炼的确定性锚点，实现 2-4 步高质量低光增强。

方法详解

整体框架

教师扩散模型（多步）→ 线性外推修正 score function → 反射率轨迹精炼（RATR）→ 学生模型学习修正后的 2nd-order 轨迹端点 → 辅助像素/感知损失。

关键设计

  1. 线性外推修正拟合误差:

    • 功能：不重训教师就修正其 score function 的系统偏差
    • 核心思路：教师模型的 score function 有系统拟合误差。通过观察两个时间点的预测差异进行线性外推，补偿这种系统偏差
    • 设计动机：教师模型已训练完毕，重训代价高。线性外推是无成本的近似修正

  2. Reflectance-Aware Trajectory Refinement (RATR):

    • 功能：用反射率先验将扩散轨迹从高斯噪声空间拉向残差恢复空间
    • 核心思路：用 Retinex 分解（max-channel 光照估计 + 非学习去噪）提取反射率 \(\tilde{x}_s\)。精炼轨迹 \(\tilde{x}^{\eta}_{s,u,t} = \omega x^{\eta}_{s,u,t} + (1-\omega)\tilde{x}_s\)——在教师预测和反射率之间线性插值。反射率是理想的中间量——它既与干净图像共享信息（同一反射率），又与低光图像有关（可由低光图估算）
    • 设计动机：标准扩散从纯高斯噪声出发与低光恢复的实际路径不匹配。反射率作为确定性锚点弥合了这一间隙

  3. 辅助像素/感知损失:

    • 功能：在蒸馏损失之外提供像素级和感知级监督
    • 核心思路：L2 像素损失 + 感知损失作为蒸馏损失的补充
    • 设计动机：纯蒸馏可能产生模糊输出，辅助损失提升锐利度

损失函数 / 训练策略

蒸馏损失（匹配教师修正轨迹的端点）+ L2 + 感知损失。非学习的反射率估计——无需额外神经网络。

实验关键数据

主实验

方法 步数 LOLv1 PSNR LOLv2-real PSNR LOLv2-synth PSNR
GSAD 10 27.84 28.82 28.67
Retinexformer 1 27.18 27.71 29.04
ReDDiT-4 4 27.98 31.25 30.03
ReDDiT-2 2 27.40 30.61 29.35

消融实验

组件 效果
无线性外推 PSNR 下降 ~0.5
无 RATR PSNR 下降 ~1.0
无辅助损失 输出略模糊

关键发现

  • 2 步即匹配 10 步扩散：ReDDiT-2 的 LOLv2-real PSNR（30.61）已超越 10 步 GSAD（28.82）
  • 4 步在 10 个基准全面 SOTA：ReDDiT-4 在所有测试集上建立新最优
  • 反射率先验是关键：RATR 贡献最大的性能提升（~1.0 PSNR），验证了反射率作为跨光照不变量的有效性

亮点与洞察

  • Retinex 反射率作为扩散锚点是精彩的跨领域知识融合——经典图像处理理论（Retinex）指导了现代深度扩散模型的蒸馏
  • 线性外推修正拟合误差是免费且通用的——可推广到任何扩散蒸馏场景
  • 2 步低光增强使实时应用成为可能

局限与展望

  • Retinex 反射率估计的质量依赖于 max-channel 方法，极端低光下可能不准
  • 仅做低光增强，对其他图像恢复任务（去雨、去雾）的适用性未验证
  • 非学习去噪用于反射率估计可能限制了精度上限
  • 2 步模型虽接近实时但仍慢于非生成式方法（Retinexformer 仅需单次前向传播）
  • ω 参数的选择对性能有影响，论文未提供自动选择策略

相关工作与启发

  • vs GSAD：10 步扩散，LOLv1 PSNR 27.84。ReDDiT-4 步达 27.98，ReDDiT-8 步达 28.09，兼顾性能和效率
  • vs Retinexformer：单步确定性方法，不需要迭代。但 ReDDiT 的反射率先验+扩散灵活性取得更好效果——SID 上 PSNR 高 0.88
  • vs PyDiff：用金字塔条件+DDIM 加速到 4 步，LOLv2-real PSNR 29.63。ReDDiT-2 步就达 30.61，说明任务定制蒸馏比通用加速更有效
  • vs Consistency Distillation：通用方法不考虑 LLIE 的确定性恢复需求，推理间隙未被解决，导致 LLIE 上效果不如 ReDDiT
  • vs WCDM：在小波空间做扩散，10 步达 LOLv2-real 30.46。ReDDiT-4 步即超越（31.25），且不需要额外的小波变换计算

评分

  • 新颖性: ⭐⭐⭐⭐ 反射率轨迹精炼和线性外推修正都有创新
  • 实验充分度: ⭐⭐⭐⭐⭐ 10 个基准、多步数配置、组件消融
  • 写作质量: ⭐⭐⭐⭐ 退化因素分析清晰
  • 价值: ⭐⭐⭐⭐ 对低光增强的实时部署有重要意义

相关论文