Benchmarking Burst Super-Resolution for Polarization Images: Noise Dataset and Analysis¶

会议: ICCV 2025
arXiv: 2503.18705
代码: KAIST-VCLAB/polarns (开源，含数据集+5个模型代码+预训练权重)
领域: 3D视觉 / 偏振成像
关键词: 偏振成像, Burst超分辨率, 噪声建模, 数据集基准, Stokes参数

一句话总结¶

针对偏振相机"光效低、分辨率低、噪声大"的硬件瓶颈，构建了两个专用数据集（PolarNS用于噪声统计分析，PolarBurstSR用于burst超分的训练/评测），提出偏振噪声传播分析模型，并将5种SOTA burst超分方法适配到偏振域，证明偏振专用训练在强度图(s0)和偏振角(AoLP)重建上显著优于RGB通用训练。

背景与动机¶

偏振相机（snapshot polarization camera）利用双Bayer模式传感器同时捕获颜色和偏振信息。传感器上每个像素前有一个微偏振片（0°/45°/90°/135°四个方向），再叠加Bayer颜色滤波阵列，形成4×4的超级像素结构。这种设计带来两个根本性问题： 1. 光效率极低：每个像素只接收特定偏振方向和颜色的光，实际光通量仅为普通传感器的1/4到1/16，导致严重噪声 2. 空间分辨率低：需要从4×4超级像素池中解算出Stokes参数(s0, s1, s2)，有效分辨率大幅下降

Burst超分辨率是一种通过融合多帧低分辨率图像来同时降噪和提升分辨率的有效手段。但将其应用于偏振成像面临两个关键缺失：（1）缺乏偏振图像的噪声统计真值（ground truth noise statistics）——不知道噪声长什么样就无法正确建模；（2）缺乏专门的偏振burst超分数据集和基准——过去只能用RGB数据集勉强训练，忽略了偏振特有的噪声传播机制。

核心问题¶

偏振相机的噪声统计特征是什么？噪声如何从raw数据传播到最终的Stokes参数和偏振属性（DoLP、AoLP）？
如何构建可靠的偏振burst超分基准？用偏振专用数据训练的模型比RGB通用训练好多少？

方法详解¶

整体框架¶

本文的核心贡献是一个数据集+噪声分析+基准评测的系统性工作，而非单一的模型创新。整体工作分三部分： 1. PolarNS数据集 → 偏振噪声统计分析 2. 偏振噪声传播模型 → 从raw像素到Stokes参数的噪声量化 3. PolarBurstSR数据集 + 5种适配模型 → burst超分基准

关键设计¶

PolarNS数据集（噪声统计数据集）: 包含244个场景，在暗室环境和真实室内外场景下采集。每个场景提供：(a) 对同一静态场景大量拍摄取均值得到的降噪GT；(b) 像素级的均值和标准差统计（raw值范围[0, 4095]，12-bit传感器）。利用该数据集，作者验证了偏振传感器噪声服从异方差高斯模型（方差随信号强度线性增长，即shot noise + read noise的经典模型），并进一步分析噪声如何从4个偏振方向的raw通道传播到Stokes向量s0、s1、s2，以及DoLP（线偏振度）和AoLP（偏振角）等物理量。
偏振噪声传播模型: 偏振相机的Stokes参数通过线性组合计算：\(s_0 = I_0 + I_{90}\), \(s_1 = I_0 - I_{90}\), \(s_2 = I_{45} - I_{135}\)。由于s1和s2涉及减法运算，噪声会被放大。作者推导了从raw像素噪声到Stokes参数噪声的传播公式，并在PolarNS的暗室数据上验证了模型的准确性。这个分析揭示了一个关键发现：偏振属性（尤其是AoLP）对噪声极其敏感——即使raw图像的噪声看起来不大，经过Stokes变换后偏振角的误差也会被显著放大。
PolarBurstSR数据集（burst超分数据集）: 专为偏振burst超分设计，包含train/val/test划分。GT通过对多帧拍摄取均值得到（降噪+高分辨率参考）。每个样本包含14帧burst输入（模拟手持微抖动）和对应的Stokes参数GT (s0, s1, s2)。数据在各种真实场景条件下采集。合成数据部分使用Sony RSP数据集生成（通过偏振马赛克+添加噪声实现）。
5种偏振适配burst超分模型: 将5种现有RGB burst超分方法（BSRT、BurstM、Burstormer、FBAnet、MFIR）适配到偏振域，统一命名为p-BSRT、p-BurstM、p-Burstormer、p-FBAnet、p-MFIR。适配关键：(a) 输入通道从RGB 3通道改为偏振马赛克的16通道（4个偏振方向 × 4个Bayer颜色）；(b) 输出改为9通道的Stokes参数（s0/s1/s2各3个颜色通道）；(c) 噪声添加模拟偏振特有的shot noise + read noise（噪声级别从log-log线性分布中采样）。

损失函数 / 训练策略¶

损失函数: L1损失，作用于预测Stokes参数和GT之间（也支持L2、偏振属性空间的损失变体）
两阶段训练: 先在合成数据（Sony RSP数据集生成的偏振数据）上预训练，再在PolarBurstSR真实数据上finetuning
训练配置: Adam优化器，ExponentialLR学习率调度，DDP多GPU训练（4 GPU），burst size=14帧，2×超分
评估指标: 合成数据用通用指标（PSNR、SSIM、LPIPS），真实数据用Aligned Metric（因为真实数据的GT与输入之间存在微小位移，需先对齐再计算）

实验关键数据¶

设置	指标	Polar训练 (p-BSRT)	RGB训练 (BSRT)	差异
合成数据 (s0强度)	PSNR	显著优于RGB版本	基线	偏振训练一致优于RGB
合成数据 (AoLP)	角度误差	显著更低	较高	AoLP改善最为明显
真实数据	Aligned PSNR	优	差	证实真实场景泛化
所有方法	综合排名	p-BSRT/p-Burstormer最优	-	5种方法各有优劣

注：论文的核心结论是偏振专用训练vs RGB通用训练的定性优势，而非刷绝对数字。从项目页面可视化结果看，偏振训练后AoLP图的噪声被大幅抑制，颜色一致性明显改善。

消融实验要点¶

噪声模型验证: PolarNS数据集上的噪声分布拟合实验证实了异方差高斯模型的准确性
噪声传播分析: 从raw到Stokes各参数的噪声放大因子量化，验证了s1/s2比s0噪声更大的理论预测
合成 vs 真实: 先合成预训练+真实finetuning的两阶段策略优于直接在真实数据上训练
偏振 vs RGB训练: 所有5种模型在偏振训练后都一致优于对应的RGB训练版本，且在AoLP指标上改善幅度最大

亮点¶

开创性的偏振burst超分基准: 填补了偏振成像领域缺乏系统性burst超分数据集和评测的空白，244场景的噪声统计覆盖了多样化的真实条件
噪声传播的物理洞察: 通过严格的噪声传播分析，揭示了偏振属性对噪声敏感的物理机制，为未来的偏振去噪/超分方法设计提供理论指导
5种方法的全面适配和对比: 不是只改一个模型，而是系统性地将5种最新burst超分方法统一适配到偏振域，提供了公平且全面的基准对比
数据集+代码全部开源: 从数据采集到模型训练的完整pipeline都开源，极大降低了后续研究的门槛

局限性 / 可改进方向¶

仅做2×超分: 当前只评测了2×超分因子，4×或更高倍数的偏振超分尚未探索
无偏振感知架构创新: 5种适配模型只是修改了输入输出通道，未设计偏振特有的网络模块（如利用s0/s1/s2之间的物理约束关系）
GT质量受限于帧均值: 真实数据的GT是多帧平均，仍包含残余噪声，不如合成GT精确
未考虑运动场景: burst采集假设场景近似静态，对运动物体或高动态场景未处理
噪声模型仅考虑shot+read noise: 未纳入其他噪声源（如串扰噪声、温度漂移等偏振相机特有的系统噪声）

与相关工作的对比¶

vs BurstSR (Bhat et al., ICCV 2021): BurstSR是RGB领域的经典burst超分基准。本文的PolarBurstSR在数据结构上借鉴其设计，但专门针对偏振的16通道马赛克数据和Stokes参数GT
vs Sony RSP数据集: RSP提供了偏振合成数据的GT reference，本文使用它生成合成训练数据，但PolarBurstSR补充了RSP缺少的真实场景burst数据
vs BSRT/Burstormer等burst超分模型: 本文不提出新架构，而是将这些方法适配到偏振域并提供统一的公平对比基准
vs 偏振去噪方法: 已有一些偏振去噪工作，但大多是单帧方法且缺乏系统的噪声统计研究，本文首次提供了大规模噪声统计数据集

启发与关联¶

偏振感知的网络设计: 当前的适配只是简单改通道，可以设计利用Stokes参数物理约束（\(DoLP = \sqrt{s_1^2 + s_2^2}/s_0\)）的专用模块，这是一个明确的改进方向
跨域迁移: 噪声传播分析框架可以推广到其他计算摄影场景（如光谱相机、事件相机），为不同传感器类型的噪声建模提供模板
与图像修复方向相关的ideas: 本文的噪声分析方法论可启发 VLM引导修复和过程感知对齐等idea中考虑特殊传感器数据的场景

评分¶

新颖性: ⭐⭐⭐⭐ (核心贡献在数据集和基准而非方法，但填补了重要空白)
实验充分度: ⭐⭐⭐⭐⭐ (244场景噪声统计+5种方法对比+合成/真实双轨评测，非常全面)
写作质量: ⭐⭐⭐⭐ (物理分析清晰，但实验结果的呈现可以更突出核心发现)
价值: ⭐⭐⭐⭐ (为偏振成像社区提供了急需的基准和工具，但受众相对小众)