Dual Exposure Stereo for Extended Dynamic Range 3D Imaging¶

会议: CVPR 2025
arXiv: 2412.02351
代码: 无（将公开）
领域: 3D视觉 / 立体视觉
关键词: 双曝光立体, 高动态范围, 深度估计, 自动曝光控制, 机器人视觉

一句话总结¶

提出双曝光立体方法（Dual-Exposure Stereo），通过自动控制立体相机的双曝光参数扩展有效动态范围，并设计运动感知的双曝光深度估计网络，在宽动态范围场景中实现鲁棒的 3D 成像。

领域现状：立体成像是流行的 3D 成像技术，但传统相机的动态范围有限，在极端光照条件下（如隧道出口、夜间强光），过曝和欠曝区域会严重影响视差估计。

现有痛点：现有自动曝光控制（AEC）方法为每帧单独调整，无法扩展相机的原生动态范围；曝光包围技术使用预定义曝光，不能自适应场景变化。

核心矛盾：场景动态范围可能远超相机原生动态范围，单一曝光无法同时覆盖亮暗区域。

本文目标：设计一种双曝光策略，在交替帧中使用不同曝光，结合 AEC 和曝光包围的优点。

切入角度：在交替帧中用不同曝光拍摄立体图像，当场景 DR 超过相机 DR 时自动发散双曝光。

核心 idea：自动双曝光控制（ADEC）动态调整双曝光参数 + 运动感知特征融合网络利用双曝光图像进行深度估计。

系统分两部分：(1) ADEC 根据直方图统计自动控制双曝光参数；(2) 双曝光深度估计网络从四张图像（两帧×两视角）估计视差图，通过光流对齐和加权特征融合扩展有效 DR。

自动双曝光控制（ADEC）:
- 功能：自适应调整双曝光参数以覆盖更宽的场景动态范围
- 核心思路：计算直方图偏度 \(S_i\) 和极端像素比例 \(L_i, H_i\)。当 \(L_i > \tau_h\) 且 \(H_i > \tau_h\) 时判定场景 DR 超过相机 DR，发散双曝光；否则通过零化偏度使双曝光收敛
- 设计动机：结合 AEC 的自适应性和曝光包围的 DR 扩展能力
双曝光特征融合:
- 功能：融合不同曝光下的特征以获得覆盖亮暗区域的统一特征
- 核心思路：用光流网络估计帧间运动并对齐第二帧特征到第一帧，通过梯形权重函数 \(W_i^c\) 根据像素亮度加权融合：\(\hat{F}^c = (W_1^c \cdot F_1^c + W_{2\to1}^c \cdot F_{2\to1}^c) / (W_1^c + W_{2\to1}^c + \epsilon)\)
- 设计动机：过曝/欠曝像素权重降低，良好曝光像素权重提高，确保融合特征质量
运动感知视差估计:
- 功能：从融合特征构建代价体并估计视差图
- 核心思路：用预训练特征提取器获取双曝光特征，光流对齐后加权融合，构建左右视角的相关体 \(C(x,y,d)\)，送入视差估计网络
- 设计动机：双曝光特征融合编码了亮暗区域的信息，扩展了 3D 成像的有效 DR

使用 CARLA 模拟器生成包含 1000 个训练视频的合成数据集，包含日间、黄昏、夜间等多种光照条件。在合成数据上微调视差估计网络。

在合成和真实世界数据集上都优于其他曝光控制方法，在宽 DR 场景中深度估计准确度显著提升。