跳转至

Low-Light Image Enhancement using Event-Based Illumination Estimation (RetinEV)

会议: ICCV 2025
arXiv: 2504.09379
代码: 未公开
领域: 低光照图像增强 / 事件相机
关键词: 低光照增强, 事件相机, Retinex理论, 时间映射事件, 光照估计, 反射率增强

一句话总结

RetinEV 提出利用事件相机的"时间映射事件"（temporal-mapping events，由透射率调制触发）而非传统"运动事件"进行光照估计，结合 Retinex 理论将低光照图像分解为光照和反射率分量，通过光照辅助反射率增强（IRE）模块实现高质量低光照图像增强，在 640×480 分辨率下达到 35.6 FPS 实时速度。

研究背景与动机

领域现状：低光照图像增强（LLIE）是计算机视觉中的基础任务。传统方法分为直方图均衡化和基于 Retinex 的方法两大类。深度学习方法（RetinexNet、SCI、Diff-Retinex 等）已取得显著进展。事件相机因其高动态范围和出色的低光响应性而引起关注。

现有痛点： - 现有的事件辅助低光照增强方法（如 eSL-Net、EvLight）依赖运动事件（motion events，由场景中物体运动或相机运动触发），存在三大问题： - (a) 低光环境需要长曝光，运动事件在这种场景下会叠加运动模糊降质 - (b) 运动事件只提供边缘信息，无法覆盖平坦区域的光照估计 - (c) 容易产生伪影 - 纯图像方法的局限性：在极低光照下缺乏有效的光照先验信息

核心矛盾：事件相机具有优秀的 HDR 和低光照响应能力，但现有方法仅利用了运动触发的事件，没有充分利用事件相机在光照维度上的潜力。

本文切入角度：转变范式——不依赖场景运动，而是通过改变光学系统的透射率（打开机械快门）主动生成"时间映射事件"。这些事件直接编码了场景的亮度变化，能提供比运动事件更稠密、更精确的光照信息。将事件时间戳转换为亮度值，即可获得精细的光照估计。

方法详解

整体框架

RetinEV 基于 Retinex 理论：观察图像 = 反射率 × 光照（\(I = R \cdot S\)），设计了以下流程：

  1. 光照估计：从时间映射事件中估计光照分量 \(S\)
  2. 图像分解：利用分解网络 \(\mathcal{F}_{Decom}\) 将低光照图像和正常光照图像分解为反射率 \(R\) 和光照 \(S\)
  3. 反射率增强：通过 IRE 模块利用估计的光照作为先验来增强反射率分量中的细节
  4. 亮度控制：引入系数 \(\beta\) 实现任意光照强度的操控

训练阶段使用正常光照图像作为监督，反射率约束保证低光照和正常光照图像共享相同的反射率。

关键设计

  1. 时间映射事件驱动的光照估计：

    • 功能：通过打开机械快门（耗时约 2ms），使光学系统的透射率从 0 变为 1。这个透射率变化在事件相机上触发密集的事件信号。
    • 核心思路：对于像素 \((x,y)\)，事件触发的时间戳 \(t(x,y)\) 与该像素的亮度 \(I(x,y)\) 成反比——亮的像素因为光变化更快所以更早触发事件，暗的像素更晚触发。因此，将事件时间戳转换为亮度值就能获得精密的光照估计。
    • 设计动机：运动事件的信息密度有限（只在运动边缘触发），而时间映射事件能在整个图像区域提供密集的光照信息，且不依赖场景运动。

  2. 光照辅助反射率增强（IRE）模块：

    • 功能：将估计的光照分量作为先验，通过跨模态注意力机制增强反射率分量
    • 核心思路：传统 Retinex 方法仅关注增强光照分量，但低光照下的反射率同样受到噪声和色偏的严重影响。IRE 利用高质量的光照先验来指导反射率的去噪和细节恢复。
    • 设计动机：光照分量包含场景的整体亮度结构信息，可以帮助识别反射率中的噪声模式和纹理细节

  3. 低光照下时间映射事件的退化模型：

    • 功能：考虑低光照对事件相机的影响，建模事件触发阈值的变化
    • 核心思路：低光场景下事件相机的信噪比降低，暗区域的事件可能缺失或噪声增大。退化模型使得合成训练数据更接近真实低光条件，提升泛化性。

  4. 亮度可控性：引入系数 \(\beta\) 乘以光照分量 \(S\)，用户可以自由调整输出图像的亮度。

硬件与数据集

  • 分光棱镜系统（Beam-splitter）：由 DVS 事件相机和 RGB 图像传感器组成的同轴光路系统，确保事件流和低光照图像精确对齐
  • EvLowLight 数据集：60 个极低照度和高对比度场景，包含对齐的图像、时间映射事件和运动事件
  • 机械快门的开启过程（约 2ms）同时完成图像感光和时间映射事件的采集

损失函数/训练策略

  • 分解损失：保证低光照/正常光照图像的反射率一致性
  • 重建损失：增强图像的质量约束
  • 事件退化增强：在合成数据上考虑低光照事件特性
  • 训练数据：5 个合成数据集 + EvLowLight 真实数据集

实验关键数据

主实验

在 5 个合成数据集和 EvLowLight 真实数据集上全面评估：

  • 相比运动事件方法：RetinEV 超越前 SOTA 事件方法（EvLight）高达 6.62 dB PSNR
  • 相比纯图像方法：在客观有参考/无参考指标以及主观用户研究中均持续优于传统 LLIE 方法
  • 推理速度：640×480 图像上达到 35.6 FPS 实时处理

与运动事件方法对比的核心优势

对比维度 运动事件方法 RetinEV（时间映射事件）
事件来源 场景/相机运动 透射率调制（快门开启）
信息密度 仅边缘区域 覆盖全图像
光照信息 间接（需推断） 直接编码亮度
运动模糊 低光照下严重 不依赖运动，无此问题
伪影 容易产生 显著减少

关键发现

  • 时间映射事件是 LLIE 的更优事件信号来源：从信息论角度看，时间映射事件直接编码光照信息，比运动事件的间接边缘信息更适合光照估计任务
  • IRE 模块的有效性：同时增强反射率和光照比仅增强光照的传统 Retinex 方法效果更好
  • 事件退化建模的重要性：考虑低光照对事件相机的影响后，合成数据训练的模型在真实数据上表现显著提升
  • 简洁高效的架构：与生成模型方法（GAN/扩散模型）相比，RetinEV 架构更轻量，实时速度 35.6 FPS

亮点与洞察

  • 范式转换的价值：从"运动事件"到"时间映射事件"是一个非常聪明的范式转换。通过主动生成事件（调制透射率）而非被动等待事件（场景运动），将事件相机的 HDR 和低光能力从"可能有用"变成了"直接用于光照估计"。
  • 物理先验的深度利用：事件时间戳 → 亮度值的转换有清晰的物理基础（透射率变化与亮度的对应关系），这种基于物理先验的设计比纯数据驱动方法更具可解释性和泛化性。
  • 跨模态融合的巧妙设计：IRE 模块将光照先验注入反射率增强，是一种很有见地的跨模态注意力设计。它认识到 Retinex 分解中光照和反射率并非独立的——高质量的光照估计可以反过来帮助反射率去噪。
  • 完整的系统方案：从硬件（分光棱镜系统）到数据集（EvLowLight）到算法（RetinEV），提供了一套完整的端到端解决方案，便于后续研究跟进。

局限与展望

  • 硬件依赖：需要专门的分光棱镜系统同时安装 DVS 和 RGB 传感器，以及精确控制的机械快门，限制了实际部署的便利性
  • 时间映射事件的采集条件：必须在曝光开始时获取快门开启产生的事件，对拍摄流程有特殊要求，不适合连续视频增强
  • EvLowLight 数据集规模有限：仅 60 个场景，可能不足以覆盖丰富的低光照退化模式
  • 对极端低光靠近事件噪声底限的场景：事件相机在极暗区域也可能无法有效触发事件，导致光照估计的缺失
  • 未与最新的扩散模型 LLIE 方法全面对比：如 DiffLL 等方法在感知质量上可能有优势，虽然其速度远不如 RetinEV

亮点与洞察

局限与展望

相关工作与启发

评分

  • 新颖性: 待评
  • 实验充分度: 待评
  • 写作质量: 待评
  • 价值: 待评

相关论文