FACT-GS: Frequency-Aligned Complexity-Aware Texture Reparameterization for 2D Gaussian Splatting¶

会议: CVPR 2026
arXiv: 2511.23292
代码: 有（基于gsplat框架）
领域: 3D Vision / 新视角合成
关键词: 2D Gaussian Splatting, 纹理参数化, 自适应采样, 频率对齐, 变形场

一句话总结¶

提出FACT-GS，将纹理参数化重新定义为采样密度分配问题，通过可学习变形场实现频率自适应的非均匀纹理采样，在固定参数预算下显著提升高频细节恢复能力。

研究背景与动机¶

领域现状: 3DGS/2DGS通过球谐函数建模外观，缺乏每个primitive内部的空间颜色变化。纹理扩展方法为每个高斯附加可学习纹理图，但使用均匀采样网格。

现有痛点: 均匀纹理参数化导致采样-复杂度不匹配： - 高频区域（锐利边缘、精细纹理）分配的纹理空间不足，产生细节丢失 - 大面积平滑区域浪费参数来表示近似均匀的颜色 - 每个高斯只能存储低分辨率纹理（如4×4×4），加剧了均匀采样的表达力限制

核心矛盾: 增大纹理分辨率会使内存和带宽二次方增长，但收益极其有限（因为采样模式仍然均匀）；神经纹理场虽能解决此问题但破坏了实时渲染性能

本文目标: 在固定纹理分辨率下，如何将更多采样容量分配给高频区域

切入角度: 从自适应采样理论出发，将纹理参数化视为采样密度分配问题

核心idea: 引入可学习变形场，通过Jacobian行列式调制局部采样密度，使纹理容量自然流向视觉细节需要的地方

方法详解¶

整体框架¶

FACT-GS基于2D Gaussian Splatting构建，采用两阶段优化： 1. 第一阶段（30k迭代）：标准2DGS训练 2. 第二阶段（30k迭代）：引入纹理和变形场的联合优化

关键设计¶

频率对齐的变形场（Frequency-Aligned Deformation Field）

功能: 为每个高斯学习一个变形场 $\mathbf{D}_i \in \mathbb{R}^{\tau \times \tau \times 2}$，预测逐纹素位移

核心思路: 变形坐标通过残差形式获得： $$(u', v') = (u, v) + \lambda \mathbf{D}_i(u, v)$$

这定义了连续映射 $\Phi_i$，其Jacobian行列式 $|\det J_{\Phi_i}(u,v)|$ 决定局部采样密度。更大的 $|\det J_\Phi|$ 意味着更高的局部纹理容量。

设计动机: 根据自适应采样理论，采样密度应随信号局部频率增加而增加。目标密度为： $$\rho^\star(u,v) \propto (\|\nabla C(u,v)\| + \epsilon)^\alpha$$

变形场通过光度损失端到端训练，光度梯度自然集中在高频区域，驱动 $\Phi$ 在这些区域扩展采样，使 $|\det J_\Phi|$ 自然趋近 $\rho^\star$。

梯度调制机制（Gradient Modulation）

功能: 变形场自动调制纹理的局部梯度场

核心思路: 通过链式法则，变形纹理的梯度为： $$\nabla c_i^{\text{tex}}(u,v) = J_{\Phi_i}(u,v)^\top \nabla \mathbf{T}_i^{\text{RGB}}(\Phi_i(u,v))$$

$J_\Phi$ 的奇异值分别放大或衰减原始纹理梯度分量，使变形后的纹理能够忠实响应地面真实颜色函数的高频变化。

设计动机: 这建立了几何重参数化和频率对齐密度分配之间的数学联系——变形场不仅是空间变换，更是频率内容的主动调制器。

参数高效设计

功能: 变形场与原始纹理共享分辨率，仅额外增加2通道

核心思路: 对于每个高斯，变形场 $\mathbf{D}_i \in \mathbb{R}^{\tau \times \tau \times 2}$ 在原 $\tau \times \tau \times 4$ 纹理基础上仅增加50%参数，但通过非均匀采样实现远超分辨率增加的质量提升。

设计动机: 直接增大纹理分辨率的内存开销是二次方的，而变形场是线性增长。且变形场修改的是采样模式而非数据量，保持实时渲染性能不变。

损失函数 / 训练策略¶

标准GS损失组合： $$\mathcal{L} = \eta \mathcal{L}_1 + (1-\eta)\mathcal{L}_{\text{SSIM}} + \mathcal{L}_\alpha, \quad \eta = 0.2$$

纹理和变形场学习率分别为 $2.5 \times 10^{-3}$ 和 $1 \times 10^{-3}$。第二阶段不进行剪枝或致密化。

实验关键数据¶

主实验（五个标准benchmark，100%原语预算）¶

方法	NeRF Synthetic PSNR↑	MipNeRF360 PSNR↑	DTU PSNR↑	T&T PSNR↑	LLFF PSNR↑
2D GS	33.38	28.96	27.85	22.79	27.32
Textured GS	33.91	29.30	28.76	23.56	29.04
FACT-GS	34.02	29.34	28.76	23.53	28.99

消融实验（低原语预算下的优势）¶

方法	原语比例	NeRF Synthetic PSNR	LPIPS
2D GS	10%	30.35	-
Textured GS	10%	-	-
FACT-GS	10%	显著优于上述	-

关键发现¶

在完整参数预算下，FACT-GS在所有benchmark上一致优于Textured GS（最高提升0.11 PSNR，LPIPS改善更显著）
低参数预算（10%/1%）时优势大幅放大：当参数受限时，非均匀采样的价值尤为突出
变形场引入的推理开销可忽略不计，保持实时渲染
相比直接增大纹理分辨率，FACT-GS在相同参数预算下获得更好质量

亮点与洞察¶

理论优雅: 将纹理参数化问题重新定义为自适应采样问题，建立了完整的理论框架（目标密度→变形场→Jacobian→采样密度）
普适性: 虽然在高斯纹理上实例化，但原则上适用于任何空间参数化的外观表征（特征平面、神经纹理、体素网格）
实时友好: 仅修改纹理参数化方式，渲染管线完全不变
从"几何驱动"到"信息驱动": 将纹理布局从静态空间均匀转变为动态频率感知

局限与展望¶

在完整参数预算下提升相对有限（0.1-0.4 PSNR），主要优势体现在参数受限场景
变形场本身也需要学习和存储，对超大规模场景的可扩展性需验证
当前仅支持静态场景
固定的两阶段训练策略可能不是最优的

评分¶

新颖性: ⭐⭐⭐⭐ 理论视角新颖，变形场实现优雅
实验充分度: ⭐⭐⭐⭐ 五个benchmark+完整消融，低预算场景对比有说服力
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰，自适应采样理论的引入非常自然
价值: ⭐⭐⭐⭐ 在参数受限场景实用意义大，原则具有广泛适用性