PS-EIP: Robust Photometric Stereo Based on Event Interval Profile¶

会议: CVPR 2025
arXiv: 2503.18341
代码: 无
领域: 人体/场景理解
关键词: 光度立体, 事件相机, 表面法线估计, 异常值检测, 事件间隔轮廓

一句话总结¶

提出基于事件间隔轮廓（Event Interval Profile, EIP）的鲁棒光度立体方法，通过利用事件间隔时间序列的连续性和轮廓形状来检测阴影与镜面反射引起的异常值，无需深度学习即可显著超越 EventPS-FCN。

研究背景与动机¶

领域现状：光度立体法（Photometric Stereo）通过在不同光照方向下观测物体来恢复像素级表面法线，是三维重建的经典方法。近年来，事件相机因其低功耗、高动态范围、微秒级时间分辨率等优势被引入光度立体领域，代表方法 EventPS 利用移动方向光源触发的事件来恢复表面法线。

现有痛点：EventPS 将每个事件间隔独立处理，这使其对噪声、阴影和非朗伯反射极为敏感。当场景中存在阴影区域或镜面高光时，单个事件间隔可能产生严重偏差，导致法线估计不准确。即使其深度学习变体 EventPS-FCN 也无法充分解决这一鲁棒性问题。

核心矛盾：事件间隔蕴含丰富的时间序列信息，但现有方法仅利用单个间隔值进行计算，丢弃了时间维度上的连续性和结构信息。

本文目标：设计一种无需深度学习的鲁棒光度立体方法，充分利用事件间隔的时间序列轮廓来检测和剔除异常值。

切入角度：事件间隔随光源移动呈现特定的连续轮廓形态，朗伯反射区域的轮廓是光滑且可预测的，而阴影和镜面反射会在轮廓中引入明显的形状异常。

核心 idea：用事件间隔的完整时间序列轮廓（EIP）替代单个事件间隔进行法线估计，并基于轮廓形状进行异常值检测。

方法详解¶

整体框架¶

输入为事件相机在移动方向光源下采集的事件流，输出为像素级表面法线图。首先将每个像素的事件间隔序列组织为事件间隔轮廓（EIP），然后利用 EIP 的连续性和形状特征检测异常值，最后用清洁数据求解法线。

关键设计¶

事件间隔轮廓（Event Interval Profile, EIP）:
- 功能：将像素级事件间隔从孤立值映射为完整的时间序列表示
- 核心思路：对于每个像素，记录其在光源完整旋转周期内所有事件的触发间隔，形成一条随光源方向变化的连续曲线。在朗伯反射模型下，事件间隔与光照方向变化的对数导数相关，EIP 应呈现光滑的周期性变化。异常区域（阴影、镜面反射）会在 EIP 中产生突变或异常峰值
- 设计动机：EventPS 独立处理每个间隔导致无法区分正常值与异常值；EIP 利用时间连续性将异常检测转化为曲线形状分析问题
基于轮廓形状的异常值检测:
- 功能：自动识别并剔除 EIP 中受阴影和镜面反射影响的区间
- 核心思路：朗伯反射产生的 EIP 具有特定的光滑形状特征。阴影区域对应事件间隔的突然增大（亮度急剧下降导致事件稀疏），镜面反射区域对应事件间隔的突然减小（亮度急剧增大导致事件密集）。方法通过分析 EIP 的局部形状变化、检测不符合朗伯模型预期的区间，将其标记为异常值并从法线求解中排除
- 设计动机：传统光度立体的异常值处理多依赖 RANSAC 或深度学习，而 EIP 的轮廓形状提供了物理可解释的异常值判据
基于清洁 EIP 的鲁棒法线求解:
- 功能：利用剔除异常值后的 EIP 数据求解表面法线
- 核心思路：在异常值检测后，仅使用标记为正常的事件间隔参与法线求解。由于朗伯反射下事件间隔与法线方向存在确定性关系（通过对数亮度随光照方向变化率建模），清洁数据可以通过最小二乘法或类似方法精确求解法线。EIP 的连续性还允许对残余噪声进行平滑处理
- 设计动机：异常值剔除后的数据质量大幅提升，简单的求解方法即可获得高精度法线

损失函数 / 训练策略¶

PS-EIP 是一个无需训练的方法（non-learning），不涉及损失函数和训练策略。法线通过基于物理模型的优化求解获得。

实验关键数据¶

主实验：3D 打印物体法线估计精度¶

方法	平均角度误差 (°) ↓	是否需要训练	对阴影鲁棒性	对镜面反射鲁棒性
EventPS	较高	否	差	差
EventPS-FCN	中等	是（深度学习）	中等	中等
PS-EIP (Ours)	最低	否	强	强

消融实验：异常值检测模块的贡献¶

配置	平均角度误差 (°)	说明
无异常值检测	较高	等同于直接使用所有事件间隔
仅阴影检测	中等	剔除阴影区域异常值
仅镜面检测	中等	剔除镜面反射异常值
完整 PS-EIP	最低	同时检测两类异常值

关键发现¶

PS-EIP 在真实事件数据上显著优于 EventPS-FCN，证明基于轮廓形状的异常值检测比深度学习方法更有效
方法无需训练数据和 GPU 计算，具有更好的泛化性和实用性
阴影和镜面反射的异常值检测模块互补，二者结合效果最好
在具有复杂反射特性的 3D 打印物体上验证了方法的有效性

亮点与洞察¶

EIP 概念的提出：将事件间隔从孤立值组织为时间序列轮廓，是一种巧妙的表示变换。这种变换使得异常值检测从困难的单点判断变为简单的曲线形状分析，大幅降低了问题难度
无需深度学习：在深度学习主导的时代，PS-EIP 证明了基于物理模型的方法在拥有正确表示时可以超越学习方法。EIP 的物理可解释性也使方法更可信赖
通用异常值检测范式：基于轮廓形状的异常值检测思路可以迁移到其他事件相机应用中，如光流估计、深度估计等需要处理异常事件的场景

局限与展望¶

目前仅在 3D 打印物体上验证，场景复杂度有限，未在大规模自然场景中测试
假设光源运动轨迹已知且为简单的旋转，实际应用中光源配置可能更复杂
方法依赖朗伯反射模型的先验假设，对强非朗伯材质（如金属、玻璃）可能效果有限
未与最新的基于神经网络的光度立体方法（如基于 NeRF 的方法）进行对比

评分¶

新颖性: ⭐⭐⭐⭐ EIP 概念新颖，将时间序列分析引入事件驱动光度立体
实验充分度: ⭐⭐⭐ 仅在 3D 打印物体上验证，场景和基线较有限
写作质量: ⭐⭐⭐⭐ 问题定义清晰，方法描述条理清楚
价值: ⭐⭐⭐⭐ 为事件相机在光度立体中的应用提供了新范式