FreeScale: Scaling 3D Scenes via Certainty-Aware Free-View Generation¶

会议: CVPR 2026
arXiv: 2604.10512
代码: https://mvp-ai-lab.github.io/FreeScale
领域: 3D视觉
关键词: 新视角合成, 数据增强, 3D高斯溅射, 前馈重建, 确定性采样

一句话总结¶

FreeScale 通过从已有场景重建中以确定性引导的方式采样高质量自由视角图像，将有限的真实世界数据扩展为大规模训练数据，在前馈新视角合成模型上获得 2.7 dB PSNR 提升。

研究背景与动机¶

领域现状：新视角合成（NVS）正从逐场景优化（NeRF、3DGS）向可泛化的前馈模型（LVSM 等）发展，后者能从大规模数据中学习跨场景先验，在推理时高效完成 3D 重建。

现有痛点：前馈模型的瓶颈在于缺乏大规模、具有多样精确相机轨迹的训练数据。真实数据虽然逼真但采集稀疏昂贵，合成数据有域差距，扩散模型生成的数据无法提供精确相机位姿。

核心矛盾：真实场景捕获仅提供离散稀疏的视角覆盖，而重建后的连续 3D 表示虽然理论上可采样任意视角，但直接从不完美重建中采样会放大伪影。

本文目标：设计一个数据生成引擎，从已有真实场景重建中生成多样、高质量、带精确位姿的自由视角图像。

切入角度：不完美的重建场景可作为丰富的几何代理，关键在于识别哪些新视角既有信息量又不受重建误差污染。

核心 idea：用确定性感知的自由视角采样策略，从 3DGS 重建中识别高确定性区域，生成高质量训练数据来扩展前馈模型训练。

方法详解¶

整体框架¶

输入稀疏图像序列 → 3DGS 重建 → 确定性网格构建 → 虚拟视角放置（10 种轨迹模式） → 视图图筛选冗余视角 → 图像质量评估与位姿矫正 → 扩散模型增强 → 输出高质量自由视角图像用于训练前馈模型或增强逐场景优化。

关键设计¶

确定性网格（Certainty Grid）:
- 功能：量化场景各区域的重建可靠度
- 核心思路：将场景包围盒离散化为 \(128^3\) 的体素网格，每个体素的确定性分数 \(\mathcal{C}(v_i) = \sum \alpha_j / (\text{Vol}_j + \epsilon)\)，即累积落入该体素的高斯的不透明度除以体积。小而不透明的高斯代表高确定性区域
- 设计动机：直接渲染的图像中高确定性区域质量好，低确定性区域容易出伪影，需要区分对待
虚拟视角放置与视图图（View Graph）:
- 功能：生成大量候选视角并高效筛选出最优子集
- 核心思路：设计 10 种相机轨迹模式（轨道、螺旋、飞越等），从训练相机中选取锚点，看向确定性网格中的高确定性区域。生成 2000+ 候选视角后，构建基于加权 IoU（WIoU）的视图图来衡量视角间的信息重叠度，用 NMS 剔除冗余视角
- 设计动机：直接使用图像特征匹配来衡量视角冗余度计算量太大，利用确定性网格的 WIoU 可以在几何层面高效完成这一过程
自由视角矫正与课程学习:
- 功能：修复低质量候选视角并引导稳定训练
- 核心思路：对质量不合格的视角通过插值向最近锚点靠拢来矫正位姿，然后用 DIFIX3D 扩散模型增强图像质量。训练前馈模型时用课程学习策略，先从高 WIoU 邻居开始（稳定），逐步转向低 WIoU 视角（增加多样性）
- 设计动机：直接丢弃低质量候选太浪费，矫正后可恢复有价值的视角；课程学习避免大相机运动带来的训练不稳定

损失函数 / 训练策略¶

用于增强逐场景 3DGS 优化时，选取与训练相机 WIoU 最低的 top-K 自由视角作为辅助目标，损失为 L1 + SSIM 的加权组合。

实验关键数据¶

主实验¶

数据集/设置	指标	LVSM 基线	LVSM + FreeScale	提升
DL3DV (大运动)	PSNR	18.75	21.45	+2.7 dB
DL3DV (小运动)	PSNR	22.20	24.20	+2.0 dB
MipNeRF360 (大运动)	PSNR	13.88	17.27	+3.39 dB

消融实验¶

配置	说明
w/o 确定性引导	采样到低质量区域导致性能下降
w/o 视图图筛选	冗余视角增多，训练效率和质量下降
w/o 课程学习	大相机运动训练不稳定

关键发现¶

仅增加 22% 的生成数据就显著提升了稀疏视角重建的泛化能力
在逐场景 3DGS 优化中，利用非确定性区域的探索性视角也能带来一致提升
视图图比简单的帧距离采样更适合引导训练批次选择

亮点与洞察¶

确定性网格的巧妙复用：一个简单的体素统计量同时用于视角筛选、视图图构建和探索性训练，设计非常统一优雅
数据引擎思路：把 3D 重建当作数据工厂而非最终产品，这种思路可以推广到更多 3D 任务的数据增强

局限与展望¶

依赖初始 3DGS 重建质量，极稀疏输入下重建很差时效果有限
生成数据仍有合成-真实域差距，尤其在边缘区域
未来可结合更强的生成模型进一步提升自由视角的质量

评分¶

新颖性: ⭐⭐⭐⭐ 确定性引导的数据扩展思路新颖但整体是工程集成
实验充分度: ⭐⭐⭐⭐⭐ 前馈和逐场景两个应用场景都有充分验证
写作质量: ⭐⭐⭐⭐ 结构清晰，方法描述详细
价值: ⭐⭐⭐⭐ 解决了 3D 视觉的数据瓶颈问题，实用性强