3D Test-time Adaptation via Graph Spectral Driven Point Shift¶

会议: ICCV 2025
arXiv: 2507.18225
代码: 无
领域: 3D视觉
关键词: 测试时自适应, 点云分类, 图谱域, 图傅里叶变换, 域偏移

一句话总结¶

提出 GSDTTA，将3D点云测试时自适应从空间域转移到图谱域，仅优化最低10%频率分量即可适配点云的全局结构，配合特征图引导的自训练策略，在 ModelNet40-C 和 ScanObjectNN-C 上达到 SOTA。

点云分类模型（如 DGCNN）在干净数据上训练后，遇到真实世界噪声（背景干扰、遮挡、LiDAR 噪声等）时精度可下降 35% 以上。测试时自适应（TTA）方法能够在推理阶段动态适配模型，但现有的3D TTA方法存在以下痛点：

空间域优化维度高：CloudFixer 和 3DD-TTA 需要学习每个点的偏移 \(\Delta P \in \mathbb{R}^{N \times 3}\)（N 通常超过1024），优化空间大、收敛慢

需要额外训练数据：MATE 需要源域辅助任务，BFTT3D 需要提取源域原型，违反了严格的 TTA 设定

依赖扩散模型：CloudFixer 和 3DD-TTA 利用预训练扩散模型修复点云，增加了计算开销

核心洞察：点云图谱域具有两个关键性质——(1) 能量高度集中在低频分量（约95%能量集中在低频），只需优化最低10%频率即可控制全局形状，参数量减少约90%；(2) 拉普拉斯特征图是域无关的描述子，不受源域偏差影响，适合在适配早期引导伪标签生成。

核心 idea：在图谱域进行可学习的低频调整，通过逆图傅里叶变换生成点偏移（Graph Spectral Driven Point Shift），同时利用特征图引导的自训练策略交替优化输入和模型参数。

GSDTTA 由两个核心模块组成：图谱驱动点偏移（GSDPS） 和 图谱引导模型适配（GSGMA）。两者交替迭代运行：每批测试数据先做4步输入适配，再做1步模型适配，循环10次。

异常感知图构建：对输入点云构建 kNN 图，用径向基函数 \(w_{ij} = \exp(-d^2(x_i,x_j) / 2\delta^2)\) 作为边权重。通过度阈值 \(\tau = \frac{\gamma}{Nk}\sum A_{ij}\) 过滤离群点（度值低于阈值的点被移除），提高后续谱分析的鲁棒性。
图谱域低频调整：对异常感知图计算拉普拉斯矩阵 \(L_o = D_o - A_o\) 并特征分解得到特征向量矩阵 \(U_o\)。通过 GFT 将点云变换到谱域 \(\hat{X} = U_o^T X\)，然后仅在前 M=100 个低频分量上加可学习调整量 \(\Delta\hat{X} \in \mathbb{R}^{M \times 3}\)，高频分量不动。最后通过 IGFT 变回空间域 \(X_s = U_o \hat{X}_a\)。
- 设计动机：约95%的能量集中在低频分量（图2验证），仅优化 M=100 个参数（而非 N=1024 个点 × 3维 = 3072 个参数），大幅降低优化难度。
特征图引导的自训练策略：综合深度特征描述子 \(f_d\)（模型提取的全局特征）和谱描述子 \(f_s\)（特征图 max-pooling），按凸组合生成伪标签：\(\hat{y}_i = \arg\min_c (\alpha \frac{f_d^T q_d^c}{\|f_d\|\|q_d^c\|} + (1-\alpha) \frac{f_s^T q_s^c}{\|f_s\|\|q_s^c\|})\)，其中 \(q_d^c, q_s^c\) 为类中心。
- 设计动机：谱描述子是域无关的，在适配初期模型尚未调整时特别有价值，可补偿深度特征的源域偏差。

输入适配目标：\(\mathcal{L}_{IA} = \mathcal{L}_{pl} + \beta_1(\mathcal{L}_{ent} + \mathcal{L}_{div}) + \beta_2\mathcal{L}_{cd}\)
- \(\mathcal{L}_{pl}\)：伪标签交叉熵损失
- \(\mathcal{L}_{ent} + \mathcal{L}_{div}\)：信息最大化损失（个体确信 + 整体多样）
- \(\mathcal{L}_{cd}\)：Chamfer Distance，确保适配后点云不偏离原始位置太远
模型适配目标：\(\mathcal{L}_{MA} = \mathcal{L}_{pl} + \beta_3(\mathcal{L}_{ent} + \mathcal{L}_{div})\)
优化器：AdamW，学习率 0.0001，batch size 32

Backbone	Method	Background	Occlusion	LiDAR	Mean
DGCNN	Source-only	49.71	33.26	14.91	66.51
DGCNN	TENT	60.65	42.94	33.38	75.91
DGCNN	CloudFixer	74.55	35.94	37.48	76.54
DGCNN	GSDTTA	88.57	45.38	31.52	79.07
CurveNet	SHOT	66.49	58.63	56.04	81.24
CurveNet	CloudFixer	66.07	37.13	38.76	77.91
CurveNet	GSDTTA	87.84	50.73	44.45	82.63
PointNeXt	TENT	80.43	51.90	46.92	81.08
PointNeXt	CloudFixer	79.28	38.32	35.73	76.04
PointNeXt	GSDTTA	91.29	55.06	46.84	82.51

在 ModelNet40-C 上，GSDTTA 在 DGCNN backbone 下平均准确率 79.07%，超越 CloudFixer 2.53%，超越 3DD-TTA 7.38%。在 Background 腐蚀上提升尤为显著（88.57% vs CloudFixer 74.55%）。

在 ScanObjectNN-C 上，GSDTTA 同样一致优于所有对比方法，DGCNN backbone 下达到 61.83% 均值（对比 CloudFixer 60.73%）。