A3GS: Arbitrary Artistic Style into Arbitrary 3D Gaussian Splatting¶
会议: ICCV 2025
arXiv: 无
代码: 未公开
领域: 3D视觉 / 风格迁移 / 3D Gaussian Splatting
关键词: 3D Stylization, Zero-Shot, Feed-Forward, GCN, AdaIN, 3DGS
一句话总结¶
提出A³GS,首个前馈式零样本3DGS风格迁移网络——使用图卷积网络(GCN)自编码器将3DGS场景编码到潜在空间,通过AdaIN注入任意风格图像特征,仅需10秒即可将任意风格迁移到任意3D场景,无需逐风格优化,可处理大规模3DGS场景。
背景与动机¶
3D场景风格化对元宇宙应用至关重要。现有方法分两类:(1) 基于优化的方法(如StyGS):利用隐式表示+梯度优化做风格迁移,质量好但每种风格需独立优化(几十分钟),无法快速切换;(2) 2D风格化后提升到3D:多视角一致性差。缺乏一种能零样本、前馈式地将任意风格快速迁移到任意3DGS场景的方法。
核心问题¶
如何实现零样本(无需逐风格优化)的3DGS场景风格化,使得给定任意参考风格图像,能在秒级时间内将风格迁移到任意3D场景,同时保持内容结构和空间布局?
方法详解¶
整体框架¶
3DGS场景 → GCN编码器(聚合空间结构特征→潜在空间) → AdaIN(注入风格图像特征) → GCN解码器(输出风格化3DGS参数) → 风格化渲染
关键设计¶
-
GCN自编码器:3DGS场景是非规则的点集(无固定拓扑),用图卷积网络处理。编码器将3DGS的高斯属性(位置、颜色、不透明度等)通过邻接图汇聚为潜在特征;解码器将潜在特征恢复为风格化的高斯属性
-
AdaIN风格注入:在潜在空间中,对3DGS潜在特征做自适应实例归一化(AdaIN)——将内容特征的均值和方差替换为风格图像特征的统计量。这是2D风格迁移中经典方法的3D扩展
-
3DGS数据集构建:使用生成模型构造大规模3DGS-风格化配对数据集,提供训练监督
-
两阶段训练策略:分阶段训练GCN自编码器和风格注入模块
损失函数 / 训练策略¶
- 重建损失(保持内容结构)+ 风格损失(匹配风格统计量)
- 推理时前馈式,10秒/场景
实验关键数据¶
- 任意风格 → 任意3DGS场景的零样本迁移
- 10秒完成(vs 优化方法几十分钟)
- 可处理大规模3DGS场景(优化方法内存受限)
- 广泛实验证明高质量、一致性的3D风格化
亮点¶
- 首个前馈式3DGS风格迁移:不需要逐风格优化,10秒完成
- GCN处理3DGS:巧妙地用图卷积处理3DGS的非规则点云结构
- 大规模场景可行:前馈设计避免了优化方法的内存瓶颈
- 零样本泛化:训练后可迁移任意未见风格
局限性 / 可改进方向¶
- 仅基于摘要信息判断,缺乏论文全文细节
- 未见与最新StyGS等方法的定量对比数据
- 基于AdaIN的风格注入可能丢失精细风格纹理
- 3DGS数据集构建的质量直接影响训练效果
与相关工作的对比¶
- StyGS等优化方法:质量可能更好但需要逐风格优化(慢)。A³GS用前馈网络牺牲少量质量换取速度
- 2D AdaIN:A³GS是AdaIN在3DGS上的自然扩展,通过GCN处理3D结构
- NeRF风格化方法:训练和推理都慢。A³GS继承了3DGS的效率优势
启发与关联¶
- GCN处理3DGS的自编码器架构可推广到其他3DGS编辑任务
- 前馈式3D编辑是未来趋势——类似2D领域从优化范式到前馈编辑的演进
评分¶
- 新颖性: ⭐⭐⭐⭐ 首个前馈式零样本3DGS风格迁移,GCN+AdaIN的组合有创意
- 实验充分度: ⭐⭐⭐ 仅基于摘要,缺少全文定量数据
- 写作质量: ⭐⭐⭐ 摘要清晰,但无法评估全文
- 价值: ⭐⭐⭐⭐ 10秒风格化对元宇宙应用有直接实用价值