跳转至

PI-Light: Physics-Inspired Diffusion for Full-Image Relighting

会议: ICLR 2026
arXiv: 2601.22135
代码: 无
领域: 图像生成 / 图像重光照
关键词: 扩散模型, 图像重光照, 逆渲染, 物理引导, 内蕴分解

一句话总结

提出 π-Light（PI-Light），一个两阶段的全图像重光照框架：第一阶段通过物理引导的扩散模型进行内蕴属性（albedo、法线、roughness 等）分解，第二阶段通过物理引导的神经渲染模块实现光照条件下的重新渲染，引入批量感知注意力机制和物理启发损失以实现对真实场景的优秀泛化能力。

研究背景与动机

全图像重光照（Full-Image Relighting）是计算机视觉与图形学中的长期挑战性问题，目标是在保持场景内容不变的情况下，改变图像中的光照条件。该任务面临三大核心困难：

大规模成对数据稀缺：相同场景在不同光照条件下的高质量配对数据极难收集，严重限制了数据驱动方法的训练

物理合理性难以保证：端到端学习容易产生物理上不合理的光照效果（如错误的阴影方向、不自然的高光反射）

合成到真实的域差距：用渲染数据训练的模型往往难以泛化到真实世界场景，已有的弥合 synthetic-to-real gap 的尝试仍不理想

现有方法大致分为两类：（1）直接端到端学习图像级暗箱变换，缺乏物理约束；（2）依赖精确的 3D 几何重建再渲染，计算量大且对重建质量敏感。本文的创新在于将物理约束"注入"到扩散模型中，在不需显式 3D 重建的情况下实现物理合理的重光照效果。

方法详解

整体框架

PI-Light 采用两阶段设计，将全图像重光照分解为逆渲染（Inverse Rendering）和前向渲染（Forward Rendering）两个物理上明确的子问题：

  • Stage 1 — 物理引导的内蕴分解：给定输入图像，利用微调的扩散模型预测其内蕴属性，包括 albedo（反照率）、法线（normal）、roughness（粗糙度）等
  • Stage 2 — 物理引导的神经前向渲染：给定分解得到的内蕴属性和目标光照条件，通过物理引导的神经渲染模块合成目标光照下的图像

关键设计

  1. 批量感知注意力（Batch-Aware Attention）：

    • 功能：在扩散模型微调过程中，让同一场景/物体在不同光照下的多张图像共享注意力计算
    • 核心思路：同一物体在不同光照条件下的内蕴属性（albedo、法线等）应该完全一致，因此利用跨图像的注意力来增强预测一致性
    • 设计动机：单张图像的内蕴分解是高度不适定的，通过在批量内共享信息可以有效降低歧义性。这类似于多视角一致性的思想，但应用在了多光照设定中

  2. 物理引导的神经渲染模块（Physics-Guided Neural Rendering）：

    • 功能：接收内蕴属性和目标环境光照贴图，合成重光照后的图像
    • 核心思路：模块设计遵循物理光传输方程（rendering equation），将漫反射和镜面反射分开处理
    • 设计动机：强制模型遵循物理光传输规律，避免产生物理不合理的光照效果。与纯神经渲染不同，这里的物理结构约束使模型能够正确生成镜面高光和漫反射

  3. 物理启发损失函数（Physics-Inspired Losses）：

    • 功能：在训练过程中施加物理约束损失
    • 核心思路：不仅最小化像素级重建损失，还通过物理约束正则化训练动态，引导优化朝物理意义明确的方向发展
    • 设计动机：防止扩散模型在微调时遗忘物理先验，增强从合成数据到真实场景的泛化能力

  4. 精心策划的数据集：

    • 收集了多样化的物体和场景在受控光照条件下的数据
    • 包含不同材质（金属、塑料、织物、玻璃等）以涵盖各种光照交互
    • 作为重光照研究的标准化基准

损失函数 / 训练策略

Stage 1 训练：在预训练的扩散模型基础上进行高效微调 - 内蕴分解的重建损失（L1/L2 对各内蕴属性通道） - 跨光照一致性损失（利用 batch-aware attention 隐式实现） - 可能的对抗损失保证生成质量

Stage 2 训练： - 像素级重建损失：目标光照条件下的 L1/L2 损失 - 感知损失（Perceptual Loss）：在 VGG 特征空间中衡量质量 - 物理约束损失：基于渲染方程的正则项，确保漫反射和镜面反射的物理合理性 - 可能的 SSIM/LPIPS 等图像质量指标作为辅助损失

实验关键数据

主实验

方法 数据集 PSNR ↑ SSIM ↑ LPIPS ↓ 亮点
之前 SOTA 合成测试集 — — — 物理合理性差
PI-Light 合成测试集 最佳 最佳 最佳 全面超越
之前 SOTA 真实场景 较差泛化 — — 域差距显著
PI-Light 真实场景 最佳泛化 — — 保持物理合理性

内蕴分解质量： - Albedo 预测：在不同光照条件下一致性优异 - 法线预测：与 GT 高度吻合 - 材质属性：正确区分金属/非金属等材质差异

重光照效果： - 正确生成镜面高光（specular highlights） - 正确处理漫反射（diffuse reflections） - 在多样化材质（金属、塑料、织物等）上均表现良好 - 真实场景泛化能力显著优于之前方法

消融实验

组件 去除后效果 说明
Batch-Aware Attention 内蕴分解一致性下降 不同光照下的 albedo 预测出现不一致
物理引导渲染模块 物理合理性变差 高光方向和强度错误增加
物理启发损失 泛化能力下降 真实场景效果退化
精选数据集 材质覆盖不足 特定材质（如半透明材质）处理变差

关键发现

  1. 物理引导是泛化的关键：在有物理约束的情况下，即使在合成数据上训练，模型也能很好地泛化到真实场景
  2. 批量感知注意力显著提升一致性：同一物体不同光照下的内蕴属性预测一致性大幅提升，这对于后续渲染的质量至关重要
  3. 两阶段设计优于端到端：将问题分解为逆渲染+前向渲染两个物理上清晰的阶段，比端到端映射更可控
  4. 扩散模型美术+物理强知识：预训练扩散模型的丰富视觉先验与物理约束的结合是本文成功的基础

亮点与洞察

  1. 物理先验与生成模型的优雅结合：不是简单地将物理损失加到扩散模型上，而是在模型架构（batch-aware attention）、训练目标（physics-inspired losses）和推理流程（两阶段物理分解）三个层面同时嵌入物理先验
  2. 批量感知注意力的创新设计：利用同一场景多光照条件下内蕴属性不变的物理事实，在注意力机制层面实施约束，是将领域知识注入 Transformer 架构的好范例
  3. 实用性强：对于影视特效、虚拟现实、增强现实等应用场景具有直接实用价值，能在单张图像输入下实现高质量重光照
  4. 数据贡献：精心策划的受控光照数据集为社区提供了标准化基准

局限与展望

  1. 两阶段流水线的误差累积：内蕴分解的误差会传播到渲染阶段，端到端联合优化可能进一步提升性能
  2. 光照表示的局限：环境光照贴图（environment map）可能不足以表达复杂的近场光照、区域光照或多光源场景
  3. 计算开销：基于扩散模型的两阶段推理在速度上可能不如单阶段方法，限制实时应用
  4. 室外场景泛化：受控光照数据集主要覆盖室内/物体级场景，对复杂室外场景的泛化能力有待验证
  5. 编辑灵活性：固定的两阶段流程难以支持更灵活的编辑需求（如局部光照调整、光照插值等）
  6. 分辨率限制：受扩散模型生成分辨率限制，高分辨率图像可能需要额外的超分辨率处理

相关工作与启发

  • 内蕴图像分解（Intrinsic Image Decomposition）：Retinex 理论到深度学习方法的演化，PI-Light 将其升级为扩散模型驱动
  • 神经辐射场与重光照（NeRF-based Relighting）：NeRFactor、NVDiffrec 等通过 3D 重建实现重光照，PI-Light 避免了显式 3D 重建
  • 扩散模型用于逆问题（Diffusion for Inverse Problems）：DDPM/DDIM 用于去噪、超分辨率等逆问题，PI-Light 将其拓展到重光照
  • Zero-1-to-3, Wonder3D 等工作中的多视角一致性注意力设计启发了 batch-aware attention 的概念

评分

  • 新颖性: ⭐⭐⭐⭐ — 将物理引导系统性嵌入扩散模型重光照框架的方法设计新颖
  • 实验充分度: ⭐⭐⭐⭐ — 合成和真实场景验证充分，消融完整，数据贡献有价值
  • 写作质量: ⭐⭐⭐⭐ — 两阶段框架叙述清晰，物理动机阐述到位
  • 价值: ⭐⭐⭐⭐ — 实用性强的重光照方案，物理引导+扩散模型的范式具有推广价值

相关论文