跳转至

AR-1-to-3: Single Image to Consistent 3D Object Generation via Next-View Prediction

会议: ICCV 2025
arXiv: 2503.12929
代码: 有 (项目页面见arXiv)
领域: 3D视觉 / 单图3D重建 / 新视角合成
关键词: 单图3D生成, 自回归多视角合成, 扩散模型, 下一视角预测, 多视角一致性

一句话总结

提出AR-1-to-3，一种基于扩散模型的自回归下一视角预测框架，通过"先近后远"的渐进式生成策略，配合Stacked-LE（堆叠局部特征编码）和LSTM-GE（全局特征编码）两种条件注入机制，显著提升了单图到多视角生成的一致性，在GSO数据集上PSNR达13.18（相比InstantMesh的10.67提升23.5%），Chamfer Distance降至0.063（InstantMesh为0.117）。

背景与动机

单图3D物体生成是计算机视觉和图形学的基础问题。当前主流方法分为两类： 1. 离散视角生成（如Zero123）：微调扩散模型在<输入视角, 相机位姿, 输出视角>三元组上，为每个目标视角独立生成； 2. 联合多视角生成（如Zero123++）：将6个目标视角拼成3×2网格图，用扩散模型一次性生成所有视角。

这两类方法都存在一个核心痛点：当目标视角与输入视角的相机位姿差距较大时，生成的视角与输入视角之间存在严重的几何和纹理不一致。例如Zero123++生成的碗和鞋子在远离输入视角的方向出现明显形变和纹理错误。

作者发现根本原因在于：这些方法以同等优先级对待所有目标视角，没有利用"离输入视角越近，生成质量越高"这一观察。这启发了一种渐进式的生成策略。

核心问题

如何在单图到多视角生成中，充分利用已生成视角的上下文信息，使远离输入视角的目标视角也能保持高一致性？核心挑战在于：(1) 如何建立目标视角之间的顺序关系；(2) 如何将部分生成的视角序列编码为有效的条件信息注入扩散模型。

方法详解

整体框架

AR-1-to-3基于Zero123++的3×2网格布局，但将一次性生成改为三步自回归生成。6个目标视角按行划分为3组（每组2个视角，分别对应20°和-10°仰角，方位角间隔60°），相邻组之间的方位角间隔为120°。生成顺序从离输入视角最近的一对开始，逐步向远处扩展。每步生成时，之前已生成的视角作为额外条件信息。最终6个视角送入预训练的InstantMesh进行3D重建。

关键设计

  1. Stacked-LE（堆叠局部特征编码）: 处理像素级空间对应关系的局部条件策略。在第k步自回归时，有2k-1个参考视角。将每个参考视角单独送入去噪UNet，记录各自在self-attention层的key/value矩阵。然后在去噪目标视角时，将所有参考视角的key/value在空间维度上堆叠(concat)，修改self-attention的key和value矩阵。核心优势：(1) 可编码任意数量的参考特征；(2) 直接复用UNet权重，无需额外网络模块。

  2. LSTM-GE（长短期记忆全局特征编码）: 处理高层语义信息的全局条件策略。将条件视角的CLIP图像特征按仰角分成两组（各对应一个仰角），分别送入两个独立的LSTM模块。取第k步的隐状态作为输出，拼接后经MLP和可训练全局权重变换为cross-attention的条件嵌入。相比简单矩阵乘法(matmul)方案，LSTM能更好地建模序列关系，捕捉3D物体的高层语义。

  3. 从近到远的生成顺序: 根据相机位姿与输入视角的距离，按从近到远的顺序生成。实验表明这种顺序(Normal)优于反序(Reverse)和随机序(Random)，其中随机序最差(PSNR 17.36 vs 20.28)，说明建模视角间的顺序关系至关重要。

损失函数 / 训练策略

  • 使用标准的扩散模型训练目标（v-prediction loss + 线性噪声调度，继承自Zero123++）
  • 训练时随机选择k∈{1,2,3}构建自回归模式，前2k-1个视角为条件，后两个为目标
  • 条件图像resize到128-512之间随机大小以适应不同分辨率，目标视角固定320
  • 训练150k步，batch size 32，8×A100(80G)，学习率1e-5，CosineAnnealingWarmRestarts调度

实验关键数据

与SOTA方法对比（Image-to-3D，OOD数据集）

方法 GSO-PSNR↑ GSO-LPIPS↓ GSO-CD↓ GSO-F-Score↑ Omni3D-PSNR↑ Omni3D-CD↓
Michelangelo 9.323 0.408 0.165 0.105 9.969 0.174
SyncDreamer 10.82 0.332 0.108 0.125 9.485 0.196
LGM 9.139 0.429 0.157 0.075 10.02 0.152
InstantMesh 10.67 0.338 0.117 0.135 9.91 0.178
AR-1-to-3 13.18 0.232 0.063 0.258 10.25 0.148

消融实验（Objaverse测试集，新视角合成）

配置 PSNR↑ LPIPS↓ SSIM↑
Baseline (Zero123++) 14.83 0.201 0.815
+ Stacked-LE 17.59 0.174 0.833
+ LSTM-GE 17.91 0.170 0.836
+ Both (完整AR-1-to-3) 20.28 0.121 0.857

消融实验要点

  • 两个编码策略各自有效且互补：Stacked-LE单独提升PSNR 2.76，LSTM-GE单独提升3.08，组合提升5.45
  • 生成顺序很重要：Normal(20.28) ≈ Reverse(20.19) >> Random(17.36)；反序接近正序的原因是在环形相机轨迹下反序等价于另一方向的从近到远
  • LSTM优于矩阵乘法：matmul方案在全局语义理解上存在偏差（如物体形状失真），LSTM更好地捕捉序列语义

亮点

  • 简洁有效的核心洞察：利用"近视角生成质量更高"这一经验观察，将并行生成改为从近到远的自回归生成，不需要复杂的3D先验
  • 即插即用的设计：Stacked-LE和LSTM-GE都不引入大量新参数，Stacked-LE直接复用UNet权重，LSTM-GE仅需两个轻量LSTM模块
  • 大幅度超过基线：相比Zero123++基线，在新视角合成质量上PSNR从14.83提升到20.28（+36.7%），提升非常显著
  • 在OOD数据集上泛化良好：GSO和Omni3D上全指标超越所有对比方法

局限性 / 可改进方向

  • 推理速度：三步自回归比一步生成慢约3倍，每步需要完整的扩散采样过程
  • 固定视角布局：严格绑定Zero123++的3×2网格和特定相机配置(20°/-10°仰角，60°方位角间隔)，难以推广到任意视角
  • 6视角限制：仅生成6个视角，对于复杂物体的3D重建可能不够密集
  • 依赖InstantMesh：3D重建质量受限于下游重建模型，文中未联合优化
  • 未涉及更强的基础模型：基于SD 1.5的UNet架构，未探索DiT等更新架构的潜力

与相关工作的对比

  • vs Zero123++: 同样的网格布局和6视角配置，但Zero123++一次性并行生成所有视角，AR-1-to-3改为三步自回归。结果：AR-1-to-3在GSO上PSNR +2.51，LPIPS -0.106，尤其在大角度变化场景下优势明显
  • vs Cascade-Zero123: 最相似的工作，也利用已生成视角作为条件。但Cascade-Zero123先用多视角扩散模型生成大量额外视角，再用另一个扩散模型生成特定目标视角；AR-1-to-3则建模目标视角与输入视角的距离关系，用单个模型渐进生成
  • vs SyncDreamer: SyncDreamer用3D-aware attention在16个视角间建立对应关系，但仍一次性生成；AR-1-to-3不需要3D感知模块，通过自回归顺序隐式建立一致性

启发与关联

  • 与ideas/3d_vision/20260317_diffusion_view_augment_3dgs.md的联系: 该idea提出用扩散模型幻想额外视角来增强稀疏视角3DGS重建。AR-1-to-3的核心思想——已生成的近视角作为远视角生成的条件——可以直接用于该idea中的语义条件视角幻想模块，使幻想视角的一致性更好。特别是Stacked-LE的堆叠注意力机制可以为幻想视角提供pixel-level的空间引导
  • 与ideas/3d_vision/20260317_graph_autoregressive_3dgs_edit.md的联系: 两篇工作都探索自回归在3D任务中的应用。AR-1-to-3采用线性自回归（按距离排序），而该idea将自回归扩展为图结构以处理360度场景，这两者的思路可以结合——例如在多视角生成中也考虑视角间的图结构关系而非简单线性顺序
  • 潜在扩展: AR-1-to-3的从近到远策略可推广到视频扩散模型（如SV3D），其时序自回归可替换为空间自回归（按视角距离），解决长序列多视角生成的一致性问题

评分

  • 新颖性: ⭐⭐⭐⭐ 核心洞察简洁而有效（近视角优先），Stacked-LE和LSTM-GE设计合理但技术复杂度一般
  • 实验充分度: ⭐⭐⭐⭐ 在3个数据集上测试，消融实验覆盖各关键组件和生成顺序，但缺少推理速度对比和更多SOTA方法对比
  • 写作质量: ⭐⭐⭐⭐ 结构清晰，图表丰富，动机阐述convincing，但部分公式符号可以更简洁
  • 价值: ⭐⭐⭐⭐ 提出的自回归视角生成范式有启发性，提升幅度大，但绑定Zero123++框架限制了通用性