A Constrained Optimization Approach for Gaussian Splatting from Coarsely-posed Images and Noisy LiDAR Point Clouds¶

会议: ICCV 2025
arXiv: 无
代码: 未公开
领域: 3D视觉 / 3D重建 / 3D Gaussian Splatting
关键词: Pose Estimation, Constrained Optimization, LiDAR, SfM-Free, Multi-Modal

一句话总结¶

提出一种无需SfM的约束优化方法，同时估计相机位姿和做3DGS重建——将相机位姿分解为相机-设备中心和设备中心-世界两步优化，设计参数敏感性条件约束和几何约束，从粗糙位姿和噪声LiDAR点云直接重建3D场景，显著优于COLMAP辅助的3DGS基线。

背景与动机¶

3DGS需要精确的相机位姿和高保真点云初始化，通常依赖SfM（如COLMAP）。但SfM耗时且限制了3DGS在大规模场景和实时应用中的部署。实际中，LiDAR设备可提供点云但精度有限（噪声），IMU/GPS可提供粗略位姿但不够精确。如何从这些"不完美"输入直接做3DGS重建是关键挑战。

核心问题¶

如何在没有SfM的情况下，仅使用粗略相机位姿和噪声LiDAR点云，同时优化相机位姿和3DGS重建？

方法详解¶

整体框架¶

粗略位姿 + 噪声LiDAR点云 → 位姿分解（相机-中心 + 中心-世界）→ 参数敏感性条件约束限制搜索空间 → 几何约束改善噪声点云上的重建质量 → 联合优化位姿+3DGS

关键设计¶

位姿分解：将相机外参分解为Camera-to-Center（小范围精调）和Center-to-World（全局对齐）两步，降低优化难度
参数敏感性约束：不同位姿参数（旋转/平移的各分量）对渲染的影响不同。根据每组参数的敏感度设计不同的约束范围，限制搜索空间以避免发散
几何约束：直接从噪声LiDAR点云学习场景几何。设计几何正则化使3DGS的高斯分布更好地拟合噪声点云，提升重建质量

损失函数 / 训练策略¶

光度损失（渲染-GT图像对比）+ 几何约束损失
参数空间约束
联合优化位姿和高斯参数

实验关键数据¶

在自采数据集和两个公共基准上显著优于：
现有多模态3DGS基线
COLMAP辅助的3DGS方法
无需SfM预处理，端到端完成位姿估计+3D重建

亮点¶

摆脱SfM依赖：对实际部署意义重大——LiDAR+IMU组合在自动驾驶中随处可见
位姿分解策略：将复杂6DoF位姿估计分解为两步更小的优化问题
参数敏感性条件约束：根据各参数对渲染的影响设计不同约束——既不过紧（影响表达力）也不过松（导致发散）
多模态融合：将LiDAR几何信息与图像光度信息统一在3DGS框架中

局限性 / 可改进方向¶

仅基于摘要信息，缺少消融实验和定量对比细节
位姿分解需要已知设备中心（如LiDAR-相机标定关系）
对于极大位姿误差的鲁棒性未知
未与最新的无SfM 3DGS方法（如CF-3DGS, InstantSplat）对比

与相关工作的对比¶

COLMAP+3DGS：SfM耗时且可能在弱纹理/大规模场景失败。本方法直接从粗位姿优化
CF-3DGS / BARF：也做联合位姿和重建优化，但本方法专门针对LiDAR+图像的多模态场景
SplaTAM：同时建图和位姿估计但用SLAM范式。本方法用离线约束优化

启发与关联¶

位姿分解+条件约束的策略可推广到其他需要联合优化的3D任务
对自动驾驶中LiDAR+Camera融合的3D重建有直接应用价值

评分¶

新颖性: ⭐⭐⭐⭐ 位姿分解+敏感性约束是实用创新
实验充分度: ⭐⭐⭐ 仅基于摘要，缺少全文细节
写作质量: ⭐⭐⭐ 摘要清晰但无法完整评判
价值: ⭐⭐⭐⭐ 无SfM重建对实际应用有重大价值