跳转至

A Real-world Display Inverse Rendering Dataset

会议: ICCV 2025
arXiv: 2508.14411
代码: https://michaelcsj.github.io/DIR/
领域: 3D视觉 / 逆渲染
关键词: 逆渲染, 显示器光源, 偏振成像, 数据集, 漫射-镜面分离

一句话总结

本文构建了首个基于LCD显示器-偏振相机系统的真实世界逆渲染数据集（DIR），包含多种反射特性物体在OLAT照明下的偏振立体图像、标定的显示器背光/非线性和高质量GT几何，并提出了显示器逆渲染的简单有效基线方法。

研究背景与动机

领域现状：逆渲染旨在从图像中恢复几何和反射率。现有成像系统包括光舞台（LED球形阵列）、闪光摄影和显示器-相机系统。前两者要么成本高昂、要么需移动相机多次拍摄。

现有痛点：显示器-相机系统有独特优势——每个像素可作为可编程点光源，LCD发出的偏振光便于漫射-镜面分离。但尽管潜力巨大，目前没有公开的显示器-相机逆渲染数据集，严重阻碍了该方向的研究发展。现有数据集都使用光舞台/光探针/机械臂等其他系统采集。

核心矛盾：显示器逆渲染面临近场照明、低光功率（单像素仅0.06 mcd）、背光泄漏、偏振效应和非均匀角度采样等独特挑战，需要专门的数据集和方法来研究。

本文目标：(1) 构建并标定显示器-偏振相机成像系统；(2) 采集首个高质量真实世界显示器逆渲染数据集；(3) 评估现有方法并提供基线。

切入角度：利用LCD的两个关键特性——可编程性（OLAT照明）和偏振性（漫射-镜面分离），配合结构光扫描获取GT几何。

核心 idea：系统性地解决显示器逆渲染的数据缺失问题：标定显示器背光和非线性、设计144超像素OLAT模式、使用偏振相机分离漫射/镜面成分、结构光扫描提供GT几何。

方法详解

整体框架

成像系统：Samsung Odyssey Ark LCD显示器 + 双偏振RGB相机（FLIR BFS），捕获多种物体在144个OLAT超像素照明模式下的偏振立体图像对。每个物体配有结构光扫描的GT几何。

关键设计

  1. 显示器背光和非线性标定:

    • 功能：精确建模显示器的实际光输出
    • 核心思路：LCD即使设置为黑色也有不可忽略的背光泄漏，且亮度-设定值关系非线性。建模为 \(L_i = s(P_i + B_i)^\gamma\)，其中 \(B_i\) 是空间变化背光，\(\gamma\) 是非线性指数。通过已知几何和反射率的球体在OLAT下的拍摄来联合优化标定参数
    • 设计动机：不标定背光会在所有OLAT图像中引入系统误差，严重影响逆渲染精度

  2. 偏振漫射-镜面分离:

    • 功能：将每张捕获图像分解为漫射和镜面成分
    • 核心思路：LCD发出垂直偏振光，偏振相机在0°/45°/90°/135°四个偏振角同时成像。利用偏振特性，镜面反射保持偏振性而漫射反射去偏振化，从而分离两种成分
    • 设计动机：漫射和镜面成分遵循不同的BRDF模型，分离后可更准确地估计法线和反射率

  3. OLAT + 线性组合的灵活重照明:

    • 功能：支持任意显示器照明模式下的图像合成
    • 核心思路：由于光照的线性叠加性，任意显示器模式的图像可通过OLAT基础图像的线性组合得到。数据集还支持不同噪声级别的模拟
    • 设计动机：144个OLAT图像作为"光照基函数"，极大扩展了数据集的使用灵活性

损失函数 / 训练策略

基线方法使用物理感知的优化策略：利用标定后的近场照明模型和偏振分离信息，迭代优化法线和反射率参数。

实验关键数据

主实验

方法 法线估计精度 反射率估计 近场处理
传统光度立体 中等 不适用 差（假设远场）
NeRF-based逆渲染 中等 一般 差
本文基线 最优 最优 好（显式近场建模）

消融实验

配置 效果 说明
无背光标定 显著下降 背光泄漏引入系统误差
无偏振分离 下降 无法准确建模BRDF
远场照明假设 下降 近场效应不可忽略
完整标定+偏振 最优 精确建模至关重要

关键发现

  • 现有逆渲染方法在显示器设定下表现均不佳——近场照明效应是主要原因
  • 背光标定对准确重建至关重要——未标定背光导致法线估计误差增大数倍
  • 偏振成分分离显著提升镜面物体的反射率估计
  • 简单但考虑近场的基线方法超越了所有SOTA方法

亮点与洞察

  • 填补数据空缺：首个显示器逆渲染真实数据集，为一个有前景但缺乏基准的领域奠定研究基础
  • 背光标定的重要性：揭示了一个被忽视的实际问题——LCD背光泄漏在逆渲染中是不可忽略的误差源
  • 低成本高质量：相比光舞台（数十万美元），显示器系统成本极低，有望推动逆渲染方法的普及化

局限与展望

  • 显示器亮度有限（单超像素0.06 mcd），低信噪比是固有挑战
  • 仅144个超像素的角度采样相当粗糙，限制了法线分辨率
  • 目前物体种类和数量有限，需要扩展
  • 可探索时分复用策略提升信噪比

相关工作与启发

  • vs 光舞台数据集（如OpenIllumination）: 精度更高但成本极高且不便携；本数据集成本低且支持偏振分离
  • vs Choi et al. (3D打印物体): 材质多样性不足；本数据集使用真实物体覆盖多种材质
  • 显示器逆渲染的系统标定方法可推广到其他近场照明系统

评分

  • 新颖性: ⭐⭐⭐⭐ 首个同类数据集，填补重要空缺
  • 实验充分度: ⭐⭐⭐⭐ 包含多种现有方法的对比评估
  • 写作质量: ⭐⭐⭐⭐ 系统设计和标定描述详细清晰
  • 价值: ⭐⭐⭐⭐ 数据集和标定方法对显示器逆渲染社区有持久价值

相关论文