跳转至

A3GS: Arbitrary Artistic Style into Arbitrary 3D Gaussian Splatting

会议: ICCV 2025
arXiv: 无
代码: 未公开
领域: 3D视觉 / 风格迁移 / 3D Gaussian Splatting
关键词: 3D Stylization, Zero-Shot, Feed-Forward, GCN, AdaIN, 3DGS

一句话总结

提出A³GS,首个前馈式零样本3DGS风格迁移网络——使用图卷积网络(GCN)自编码器将3DGS场景编码到潜在空间,通过AdaIN注入任意风格图像特征,仅需10秒即可将任意风格迁移到任意3D场景,无需逐风格优化,可处理大规模3DGS场景。

背景与动机

3D场景风格化对元宇宙应用至关重要。现有方法分两类:(1) 基于优化的方法(如StyGS):利用隐式表示+梯度优化做风格迁移,质量好但每种风格需独立优化(几十分钟),无法快速切换;(2) 2D风格化后提升到3D:多视角一致性差。缺乏一种能零样本、前馈式地将任意风格快速迁移到任意3DGS场景的方法。

核心问题

如何实现零样本(无需逐风格优化)的3DGS场景风格化,使得给定任意参考风格图像,能在秒级时间内将风格迁移到任意3D场景,同时保持内容结构和空间布局?

方法详解

整体框架

3DGS场景 → GCN编码器(聚合空间结构特征→潜在空间) → AdaIN(注入风格图像特征) → GCN解码器(输出风格化3DGS参数) → 风格化渲染

关键设计

  1. GCN自编码器:3DGS场景是非规则的点集(无固定拓扑),用图卷积网络处理。编码器将3DGS的高斯属性(位置、颜色、不透明度等)通过邻接图汇聚为潜在特征;解码器将潜在特征恢复为风格化的高斯属性

  2. AdaIN风格注入:在潜在空间中,对3DGS潜在特征做自适应实例归一化(AdaIN)——将内容特征的均值和方差替换为风格图像特征的统计量。这是2D风格迁移中经典方法的3D扩展

  3. 3DGS数据集构建:使用生成模型构造大规模3DGS-风格化配对数据集,提供训练监督

  4. 两阶段训练策略:分阶段训练GCN自编码器和风格注入模块

损失函数 / 训练策略

  • 重建损失(保持内容结构)+ 风格损失(匹配风格统计量)
  • 推理时前馈式,10秒/场景

实验关键数据

  • 任意风格 → 任意3DGS场景的零样本迁移
  • 10秒完成(vs 优化方法几十分钟)
  • 可处理大规模3DGS场景(优化方法内存受限)
  • 广泛实验证明高质量、一致性的3D风格化

亮点

  • 首个前馈式3DGS风格迁移:不需要逐风格优化,10秒完成
  • GCN处理3DGS:巧妙地用图卷积处理3DGS的非规则点云结构
  • 大规模场景可行:前馈设计避免了优化方法的内存瓶颈
  • 零样本泛化:训练后可迁移任意未见风格

局限性 / 可改进方向

  • 仅基于摘要信息判断,缺乏论文全文细节
  • 未见与最新StyGS等方法的定量对比数据
  • 基于AdaIN的风格注入可能丢失精细风格纹理
  • 3DGS数据集构建的质量直接影响训练效果

与相关工作的对比

  • StyGS等优化方法:质量可能更好但需要逐风格优化(慢)。A³GS用前馈网络牺牲少量质量换取速度
  • 2D AdaIN:A³GS是AdaIN在3DGS上的自然扩展,通过GCN处理3D结构
  • NeRF风格化方法:训练和推理都慢。A³GS继承了3DGS的效率优势

启发与关联

  • GCN处理3DGS的自编码器架构可推广到其他3DGS编辑任务
  • 前馈式3D编辑是未来趋势——类似2D领域从优化范式到前馈编辑的演进

评分

  • 新颖性: ⭐⭐⭐⭐ 首个前馈式零样本3DGS风格迁移,GCN+AdaIN的组合有创意
  • 实验充分度: ⭐⭐⭐ 仅基于摘要,缺少全文定量数据
  • 写作质量: ⭐⭐⭐ 摘要清晰,但无法评估全文
  • 价值: ⭐⭐⭐⭐ 10秒风格化对元宇宙应用有直接实用价值