RetimeGS: Continuous-Time Reconstruction of 4D Gaussian Splatting¶
会议: CVPR 2026
arXiv: 2603.13783
代码: 暂无
领域: 3D视觉 / 动态场景重建
关键词: 4D Gaussian Splatting, continuous-time, optical flow, spline trajectory, temporal aliasing
一句话总结¶
提出 RetimeGS, 通过 Catmull-Rom 样条轨迹建模高斯基元的时间行为, 结合双向光流监督和正则化时间不透明度, 解决 4DGS 帧插值时的时间混叠问题, 在 Stage-Capture 数据集上达到 30.08 dB PSNR (比前 SOTA +1.29 dB).
研究背景与动机¶
- 领域现状: 4D 高斯溅射 (4DGS) 方法将 3D 高斯基元扩展到时间维度, 但多数方法将时间建模为离散帧索引.
- 现有痛点: (a) 对离散帧索引过拟合, 帧间插值能力差 (时间混叠); (b) 基元可能退化到仅在单帧可见; (c) 缺乏显式的时间运动监督.
- 核心idea一句话: 用连续样条轨迹替代离散帧索引, 用光流监督轨迹, 用时间不透明度正则化防止基元退化.
方法详解¶
关键设计¶
- Catmull-Rom 样条轨迹: 4 个控制点参数化, 由速度向量驱动, 建模基元的连续空间运动
- 双向光流轨迹监督: 将 3D 光流投影为 2D 特征图, 用真实光流监督
- 时间不透明度: Sigmoid 分布限制基元的时间可见范围, 防止退化到单帧
- 三重渲染: 全集 + 两个独立子集分别监督每帧
实验关键数据¶
主实验: Stage-Capture 数据集 (前景区域)¶
| 方法 | PSNR | SSIM | LPIPS |
|---|---|---|---|
| STGS | 25.34 | 0.825 | 0.0357 |
| GaussianFlow | 25.91 | 0.825 | 0.0339 |
| 2D Lifting | 28.79 | 0.886 | 0.0267 |
| RetimeGS | 30.08 | 0.904 | 0.0225 |
消融实验¶
| 配置 | PSNR | 下降 |
|---|---|---|
| Full | 30.08 | - |
| w/o 光流监督 | 27.24 | -2.84 |
| w/o 三重渲染 | 27.16 | -2.92 |
| w/o 动态拉伸 | 28.81 | -1.27 |
关键发现¶
- 三重渲染和光流监督贡献最大 (各约 -2.9 dB)
- 动态拉伸在静态区域复用基元, 提升效率
亮点与洞察¶
- 时间混叠是 4DGS 的根本问题: 过拟合帧索引导致插值失败, 连续样条是正确解法
- 光流提供自然的运动监督: 无需额外标注, 光流既是监督信号又是几何约束
局限性 / 可改进方向¶
- 依赖光流估计质量, 大运动场景可能退化
- 4 控制点的样条可能不足以建模复杂非刚体运动
评分¶
- 新颖性: ⭐⭐⭐⭐ 连续时间建模 + 光流监督组合有效
- 实验充分度: ⭐⭐⭐⭐ 主实验 + 完整消融
- 写作质量: ⭐⭐⭐⭐ 方法描述清晰
- 价值: ⭐⭐⭐⭐ 解决了 4DGS 帧插值的关键问题