Rectified Point Flow: Generic Point Cloud Pose Estimation¶

会议: NeurIPS 2025
arXiv: 2506.05282
代码: 项目主页
领域: 3D Vision / Point Cloud Registration
关键词: 点云位姿估计, 矫正流, 形状组装, 配准, 对称性处理

一句话总结¶

提出 Rectified Point Flow，一种统一的生成式框架，将成对点云配准和多部件形状组装统一为条件生成问题，通过学习连续点级速度场来估计部件位姿。

研究背景与动机¶

从 3D 点云中估计刚体部件的相对位姿是计算机视觉和机器人学的核心任务，包括成对配准和多部件形状组装。现有方法存在几个问题：

任务碎片化: 物体位姿估计、部件配准和形状组装使用不同假设和架构，难以跨任务泛化

对称性处理困难: 传统逐部件位姿回归方法需要手工处理对称性和部件互换性

组装歧义: 部件可能对称、可互换或几何模糊，导致多个局部有效但全局不一致的配置

核心思想：将位姿估计重新定义为在输入几何上学习连续点级流场的生成问题，隐式编码部件变换。

方法详解¶

整体框架¶

Pipeline 分为两个阶段： 1. 重叠感知点编码（Overlap-aware Point Encoding）: 预训练编码器识别部件间重叠区域 2. 条件矫正点流（Conditional Rectified Point Flow）: 条件生成模型预测组装后的点云位置，再通过 SVD 恢复位姿

关键设计¶

重叠感知编码器预训练: 使用 PointTransformerV3 (PTv3) 作为骨干网络。预训练任务为二分类：对每个点预测其是否与其他部件存在重叠（距离<ε）。用随机刚性变换做数据增强。相比 GARF 依赖网格物理模拟生成裂缝监督信号，本方法更轻量可扩展，不需水密网格。预训练数据来源多样：部件分割、形状组装、配准数据集及 Objaverse。
矫正点流生成模型: 基于 Rectified Flow 框架，在 3D 欧几里得空间直接操作点云坐标。前向过程：\(X_i(t) = (1-t)X_i(0) + tX_i(1)\)，其中 \(t=0\) 为组装点云，\(t=1\) 为高斯噪声。学习速度场 \(dX_i(t)/dt = X_i(1) - X_i(0)\)。使用 Diffusion Transformer (DiT) 作为流模型，包含两阶段自注意力：部件内注意力和全局注意力。
从形状到位姿的恢复: 预测完组装后点云 \(\hat{X}_i(0)\) 后，通过 Procrustes 问题（SVD）恢复每个非锚定部件的刚性变换 \(\hat{T}_i = \arg\min \|\hat{T}_i X_i - \hat{X}_i(0)\|_F\)。锚定部件（最大体积部件）的速度被置零。

损失函数 / 训练策略¶

使用条件流匹配（CFM）损失：\(\mathcal{L}_{CFM}(V) = \mathbb{E}_{t,X}[\|V(t, X_i(t) | X) - \nabla_t X(t)\|^2]\)
时间步从 U 形分布采样
8×NVIDIA A100 80GB，400k 迭代，有效 batch size 256
AdamW 优化器，初始学习率 \(5 \times 10^{-4}\)，275k 后每 25k 减半
编码器预训练后冻结权重

实验关键数据¶

主实验¶

数据集	方法	RE↓ (deg)	TE↓ (cm)	Part Acc↑ (%)
BreakingBad	GARF	9.9	2.0	93.0
BreakingBad	Ours (Joint)	7.4	2.0	91.1
TwoByTwo	GARF	22.1	7.1	-
TwoByTwo	Ours (Joint)	13.2	3.0	-
PartNet-Assembly	GARF	66.9	21.9	25.7
PartNet-Assembly	Ours (Joint)	21.8	14.8	53.9

配准任务（TUD-L 和 ModelNet-40）上也全面超越 GeoTransformer 和 Diff-RPMNet。

消融实验¶

配置	指标	说明
Single vs Joint 训练	RE/TE	Joint 训练在多数数据集上更优
有/无编码器预训练	精度	预训练显著提升所有任务性能
Anchor-free 设置	Part Acc	提出更公平的评估标准

关键发现¶

在 PartNet-Assembly 上 Part Acc 从 25.7% 翻倍至 53.9%（vs GARF）
联合训练能学到跨数据集的共享几何先验，提升单个任务性能
首个在 PartNet-Assembly 和 IKEA-Manual 数据集上的家具组装解决方案
GARF 迁移到配准任务时失败，而本方法在组装和配准上都表现最优

亮点与洞察¶

统一参数化的设计哲学很优雅：通过在欧几里得空间操作密集点云，同时编码形状和位姿
对称性的内在处理是关键创新：Theorem 1 证明了学习目标在组装对称群 \(\mathcal{G}\) 下不变，无需对称性标签或手工增强
联合训练跨不同部件定义的数据集学到可迁移的几何知识，这是生成式方法的独特优势
轻量的重叠预测预训练比 GARF 的物理模拟预训练更可扩展

局限与展望¶

SVD 恢复位姿是后处理步骤，可能引入误差
锚定部件的选择（最大体积）在实际应用中可能不现实
推理时需要多步 ODE 求解，速度慢于直接回归方法
仅处理刚性变换，未考虑非刚性形变
点采样数 \(M_i\) 的选择对性能的影响未充分讨论

评分¶

新颖性: ⭐⭐⭐⭐⭐ 统一配准和组装的生成式框架，对称性的优雅处理
实验充分度: ⭐⭐⭐⭐⭐ 6个数据集、多个任务、充分的对比和消融
写作质量: ⭐⭐⭐⭐ 结构清晰，理论支撑扎实
价值: ⭐⭐⭐⭐⭐ 为3D位姿估计提供了新的统一范式，影响力大