7DGS: Unified Spatial-Temporal-Angular Gaussian Splatting¶
会议: ICCV 2025
arXiv: 2503.07946
代码: https://gaozhongpai.github.io/7dgs/
领域: 3D视觉 / 动态场景渲染 / 3D Gaussian Splatting
关键词: 7D Gaussian, Dynamic Scene, View-Dependent, Conditional Slicing, Real-Time Rendering
一句话总结¶
提出7DGS，将场景元素建模为7维高斯分布（3D空间+1D时间+3D视角方向），通过条件切片机制将7D高斯转换为与时间和视角相关的条件3D高斯，统一处理动态场景+视角依赖效果，在自定义7DGS-PBR数据集上比4DGS PSNR提升高达7.36dB，仅用15.3%的高斯点数，401FPS实时渲染。
背景与动机¶
动态场景的实时高质量渲染需同时建模三个维度：(1)空间几何、(2)时间动态、(3)视角依赖外观。现有方法只解决了其中的子集：4DGS处理动态(空间+时间)但忽略视角依赖效果；6DGS处理视角依赖(空间+方向)但仅限静态场景。真实世界中三者互相耦合——例如运动物体上的镜面高光随物体位置和观察方向同时变化。没有方法能统一处理这三者。
核心问题¶
如何在统一框架中同时建模空间、时间和视角方向的依赖关系，实现动态场景+视角依赖效果的实时渲染？
方法详解¶
整体框架¶
每个场景元素 = 7D高斯 \(\mathcal{N}(\mu, \Sigma)\)，其中\(\mu = [\mu_p, \mu_t, \mu_d]\)（3D位置 + 1D时间 + 3D方向），\(\Sigma\)为7×7协方差矩阵。渲染时给定当前时间\(t\)和视角\(d\) → 条件切片得到3D高斯 → 标准3DGS光栅化。
关键设计¶
-
7D高斯表示：7×7协方差矩阵用Cholesky分解\(\Sigma = LL^T\)参数化（保证正定）。交叉协方差\(\Sigma_{pt}\)、\(\Sigma_{pd}\)、\(\Sigma_{td}\)编码空间-时间-方向间的耦合关系——这是关键，使得单个高斯能同时捕获"运动导致的位置变化"和"视角导致的外观变化"。
-
条件切片机制：对给定的\((t, d)\)，用多元高斯的条件分布公式，将7D高斯切片为条件3D高斯： $\(\mu_{cond} = \mu_p + \Sigma_{p,(t,d)} \Sigma_{(t,d)}^{-1} \begin{pmatrix} t - \mu_t \\ d - \mu_d \end{pmatrix}\)$ $\(\Sigma_{cond} = \Sigma_p - \Sigma_{p,(t,d)} \Sigma_{(t,d)}^{-1} \Sigma_{p,(t,d)}^T\)$ 条件不透明度通过时间和方向衰减因子调制：\(\alpha_{cond} = \alpha \cdot f_{temp} \cdot f_{dir}\)。
-
自适应高斯精细化（AGR）：条件切片调整了位置和不透明度，但协方差形状保持静态。AGR用轻量MLP(2层×64维)预测残差修正关键参数（位置、时间、方向、协方差），根据时间编码\(\gamma(t)\)动态调整高斯形状，捕获非刚体变形。
-
兼容3DGS pipeline：切片后的条件3D高斯可直接送入标准3DGS的投影+光栅化流程，利用现有的自适应密度控制和高效渲染，仅需增加最小不透明度阈值(\(\tau_{min}=0.01\))。
损失函数 / 训练策略¶
- 与3DGS相同的损失函数（L1+SSIM）
- 时间致密化：当空间-时间协方差\(\Sigma_{pt}\)幅度>0.05且时间尺度>0.25时分裂
- 单卡V100(16GB)，Adam优化器
- AGR在3000步后开始训练，\(\lambda_t\)和\(\lambda_d\)在15000步后变为可训练
实验关键数据¶
7DGS-PBR数据集（动态+视角依赖）¶
| 方法 | PSNR↑ | SSIM↑ | LPIPS↓ | #点数 | FPS |
|---|---|---|---|---|---|
| 4DGS | 27.79 | 0.934 | 0.079 | 641K | 193 |
| 7DGS | 32.50 | 0.958 | 0.051 | 98K | 175 |
| 7DGS (w/o AGR) | 31.77 | 0.955 | 0.055 | 88K | 376 |
+4.71dB PSNR！仅15.3%高斯点数。heart1场景+8.18dB！
D-NeRF数据集（合成动态）¶
| 方法 | PSNR↑ |
|---|---|
| 4DGaussians | 33.30 |
| 4DGS | 33.21 |
| 7DGS | 34.34 |
Technicolor数据集（真实多视角）¶
| 方法 | PSNR↑ | SSIM↑ |
|---|---|---|
| Ex4DGS | 33.49 | 0.917 |
| STG | 33.23 | 0.912 |
| 7DGS | 33.58 | 0.912 |
消融：无AGR vs 有AGR¶
- 7DGS-PBR: 31.77 vs 32.50 (+0.73dB)，但FPS从376降到175
- D-NeRF: 33.26 vs 34.34 (+1.08dB)
- AGR对质量有显著贡献，但以渲染速度为代价
亮点¶
- 优雅的统一：用7D高斯自然编码空间-时间-方向的交叉协方差，数学上完备且直觉自然
- 条件切片的妙处：将高维问题降为标准3D问题，完全兼容现有pipeline
- 参数效率惊人：仅15%的高斯点数即可超越4DGS 4.7dB——高维表示的压缩力量
- 视角依赖效果突破：在7DGS-PBR上的心脏/云/火焰等场景，4DGS完全无法处理的视角依赖效果被7DGS有效捕获
- 灵活降配：去掉AGR可达400+FPS，适合对速度更敏感的场景
局限性 / 可改进方向¶
- AGR的MLP增加了计算开销（FPS从376降到175）
- 在Technicolor等真实数据上优势相对较小
- 7D协方差有28个独立参数（Cholesky下三角），训练不如3DGS稳定
- 未结合关键帧插值等显式运动建模策略
与相关工作的对比¶
- 4DGS：仅4D(空间+时间)，无法处理视角依赖。7DGS在所有数据集上全面超越
- 6DGS：6D(空间+方向)但仅静态。7DGS增加时间维度统一了动态+视角
- Ex4DGS：用关键帧插值显式建模运动。在Technicolor上两者接近，可互补
- SSS/3D-HGS：改进核函数。7DGS改进的是维度扩展——两个正交方向，可结合
启发与关联¶
- "从低维特例统一到高维通解"的思路非常优雅——3DGS(3D)→4DGS(4D)→6DGS(6D)→7DGS(7D)
- 条件切片本质是多元高斯的条件概率——基础但强大
- 为未来更高维表示（如8D加入wavelength做光谱渲染？）铺平了道路
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 7D统一表示+条件切片的idea优雅自然，填补了4DGS和6DGS之间的空白
- 实验充分度: ⭐⭐⭐⭐ 3数据集+SOTA对比+消融，但缺少更多真实世界场景验证
- 写作质量: ⭐⭐⭐⭐⭐ 数学推导严谨完备，从3DGS到6DGS到7DGS的逻辑线清晰
- 价值: ⭐⭐⭐⭐⭐ 统一了动态+视角依赖的渲染框架，15%点数+5dB提升的实用价值极高