3D Test-time Adaptation via Graph Spectral Driven Point Shift¶
会议: ICCV 2025
arXiv: 2507.18225
代码: 无（论文中未提供）
领域: 3D视觉/域适应
关键词: 测试时适应, 图谱分析, 点云分类, 图傅里叶变换, 特征图引导自训练
作者: Xin Wei, Qin Yang, Yijie Fang, Mingrui Zhu, Nannan Wang（西安电子科技大学）
一句话总结¶
提出GSDTTA，首次将3D点云的测试时适应从空间域转移到图谱域，通过仅优化最低10%频率分量（减少约90%参数）实现全局结构调整，并结合特征图引导的自训练策略生成伪标签，在ModelNet40-C和ScanObjectNN-C上显著超越现有3D TTA方法。
背景与动机¶
核心挑战：深度点云分类模型（如DGCNN）在干净数据上训练后，面对真实世界中不可避免的噪声（传感器误差、场景复杂性等），性能可下降超过35%。
现有方法的痛点： 1. 2D TTA方法不能直接迁移：点云的不规则、无序结构限制了2D TTA方法（TENT、SHOT等）在3D中的直接应用 2. 计算代价高：CloudFixer和3DD-TTA依赖扩散模型在空间域修复点云，需要优化高维变换（ΔP ∈ R^{N×3}，N通常>1024） 3. 需要额外源域数据：MATE、CloudFixer、3DD-TTA均需要访问源域训练数据或在源域额外训练辅助任务，不符合严格TTA设定 4. 误差积累：BFTT3D虽无需反向传播但精度有限
本文的两个关键观察： 1. 能量紧凑性：点云图谱中约95%的能量集中在低频分量，仅用最低10%频率系数即可重建全局形状，优化参数减少~90% 2. 域无关性：图拉普拉斯特征图（eigenmap）是等距不变的形状描述子，天然域无关，可补偿深度特征的源域偏置
核心问题¶
如何在测试时以更少的参数、不依赖源域数据，高效地适应3D点云的分布偏移？
方法详解¶
整体框架¶
GSDTTA包含两个核心模块，交替迭代优化： 1. GSDPS（Graph Spectral Driven Point Shift）：在图谱域调整输入点云 2. GSGMA（Graph Spectral Guided Model Adaptation）：利用图谱引导更新模型参数
对每个测试batch，先执行4步输入适应（GSDPS），再执行1步模型适应（GSGMA），循环共10步。
关键设计¶
1. Outlier-Aware图构建
给定点云 X ∈ R^{N×3}，使用RBF加权的kNN图： - 边权：w_{ij} = exp(-d²(x_i, x_j) / 2δ²) - 邻接矩阵：A_{ij} = w_{ij} · I(x_j ∈ N(x_i)) - 异常点剔除：通过度阈值 τ = γ/(Nk) · Σ A_{ij} 移除低度节点（outlier远离inlier，度数极低） - 最终邻接矩阵增加约束 I(Σ_j A_{ij} > τ)，有效处理背景噪声
2. 图谱驱动点偏移（核心创新）
- 对outlier-aware图计算图拉普拉斯：L_o = D_o - A_o
- 特征分解：L_o = U_o Λ_o U_o^T
- GFT变换到谱域：X̂ = U_o^T X
- 学习低频谱调整：X̂_a = X̂ + [ΔX̂, 0]，其中 ΔX̂ ∈ R^{M×3}，M=100 ≪ N（仅调整最低10%频率）
- IGFT逆变换回空间域：X_s = U_o X̂_a
优势：优化变量仅 M×3 = 300 维，远小于空间域方法的 N×3 > 3072 维。
3. 特征图引导自训练策略
- 全局深度描述子 f_d：由预训练模型 f_θ 提取
- 全局谱描述子 f_s：对eigenmap做element-wise max-pooling（类似Global Point Signature）
- 分别计算两个空间中各类的软质心 q_d^c 和 q_s^c（按模型预测概率加权平均）
- 伪标签生成：对深度相似度和谱相似度做凸组合 ŷ_i = argmin_c ( α · cos(f_d^i, q_d^c) + (1-α) · cos(f_s^i, q_s^c) )
- 关键思想：谱描述子域无关，在适应早期（模型尚未充分调整）时提供稳健补充
损失函数 / 训练策略¶
输入适应损失（优化 ΔX̂）： L_IA = L_pl + β₁(L_ent + L_div) + β₂ L_cd - L_pl：伪标签交叉熵损失 - L_ent：熵损失，鼓励模型做出更自信的预测 - L_div：多样性损失，防止预测坍缩到单一类 - L_cd：单向Chamfer距离（从原始点云到适应后点云），约束点偏移幅度
模型适应损失（优化 θ）： L_MA = L_pl + β₃(L_ent + L_div)
超参数设置：k=10，δ=0.1，γ=0.6，M=100，α=0.5，β₁=0.3，β₂=1000，β₃=3，学习率0.0001（AdamW），batch=32
实验关键数据¶
ModelNet40-C（Mean Accuracy %）¶
| Backbone | Source-only | TENT | SHOT | CloudFixer | 3DD-TTA | GSDTTA | vs CloudFixer |
|---|---|---|---|---|---|---|---|
| DGCNN | 66.51 | 75.91 | 77.36 | 76.54 | 71.69 | 79.07 | +2.53 |
| CurveNet | 71.38 | 77.88 | 81.24 | 77.91 | - | 82.63 | +4.72 |
| PointNeXt | 66.99 | 81.08 | 80.46 | 76.04 | - | 82.51 | +6.47 |
ScanObjectNN-C（Mean Accuracy %）¶
| Backbone | Source-only | TENT | SHOT | CloudFixer | 3DD-TTA | GSDTTA | vs CloudFixer |
|---|---|---|---|---|---|---|---|
| DGCNN | 55.72 | 57.31 | 56.32 | 60.73 | 57.08 | 61.83 | +1.10 |
| CurveNet | 53.06 | 58.71 | 58.17 | 58.96 | - | 62.59 | +3.63 |
| PointNeXt | 50.66 | 58.05 | 57.06 | 59.01 | - | 60.84 | +1.83 |
亮点数据¶
- 在Background corruption上表现突出：DGCNN上88.57% vs CloudFixer 74.55%（+14%），因outlier-aware图有效剔除背景噪声
- 在Shear、Cutout等语义corruption上，GSDTTA比CloudFixer平均高4.68%/3.60%
消融实验要点¶
在ScanObjectNN-C（DGCNN）上：
| 配置 | GSDPS | GSGMA | Eigenmap | Mean Acc |
|---|---|---|---|---|
| Source-only | ✗ | ✗ | - | 55.72 |
| w/o GSDPS | ✗ | ✓ | ✓ | 57.28 |
| w/o GSGMA | ✓ | ✗ | ✓ | 58.35 |
| w/o Eigenmap | ✓ | ✓ | ✗ | 61.20 |
| Full GSDTTA | ✓ | ✓ | ✓ | 61.83 |
- GSDPS贡献+4.55%，GSGMA贡献+3.48%
- Eigenmap引导 vs 仅用deep feature引导：+0.63%
- 移除outlier-aware图（γ=0）：Background corruption从69.54%暴跌至18.24%
- 超参数敏感性：β₁∈[0,1]，β₂∈[0,3000]，β₃∈[0,5] 范围内性能稳定（标准差<1%）
亮点¶
- 视角新颖：首次将3D TTA从空间域转移到图谱域，利用图信号处理理论为点云适应提供了全新范式
- 参数高效：仅优化300维参数（100×3），比空间域方法减少约90%优化变量
- 理论驱动：基于图谱能量紧凑性和eigenmap域无关性两个清晰的理论动机
- Outlier-aware设计：通过度阈值自然地剔除异常点，对Background corruption极其有效（+14%）
- 通用性强：在三种不同backbone（DGCNN、CurveNet、PointNeXt）上均一致提升
局限性 / 可改进方向¶
- 可扩展性：全局图谱操作（特征分解）计算复杂度为O(N³)，限制了对大规模点云的应用。作者提出未来用无监督分割+多尺度局部谱分析来缓解
- 基础噪声处理较弱：在Uniform、Gaussian、Impulse等基础噪声上，CloudFixer（利用扩散模型去噪能力）平均高8.35%，谱域方法在点级去噪上不如专门的生成模型
- Dropout/Cutout等极端corruption：在Cutout_15和Cutout_30上性能仍然较差（31-46%），所有方法都面临挑战
- 不支持动态/流式场景：当前需要batch-wise处理，单样本适应未探索
- 限于分类任务：未扩展到3D分割、检测等下游任务
与相关工作的对比¶
| 方法 | 域 | 需要源域数据 | 适应对象 | 核心机制 |
|---|---|---|---|---|
| TENT | 模型参数 | ✗ | BN层 | 熵最小化 |
| SHOT | 模型参数 | ✗ | 特征提取器 | 信息最大化+伪标签 |
| MATE | 模型参数 | ✓（训练辅助任务） | 编码器 | 掩码自编码器重建 |
| BFTT3D | 模型参数 | ✓（特征原型） | 非参数网络 | 无反向传播 |
| CloudFixer | 输入数据 | ✓（预训练扩散模型） | 点云 | 扩散模型去噪 |
| 3DD-TTA | 输入数据 | ✓（预训练扩散模型） | 点云 | 扩散模型 |
| GSDTTA | 输入+模型 | ✗ | 谱系数+模型参数 | 图谱域调整+eigenmap自训练 |
GSDTTA的独特优势：(1) 同时适应输入和模型；(2) 不需要任何源域数据访问；(3) 参数效率最高。
启发与关联¶
- 频域思路可推广：图谱域的低频=全局结构这一思想，可能迁移到其他3D任务（分割、检测、配准），低频调整可作为通用的domain-agnostic策略
- 多模态特征互补：深度特征（源域偏置但判别力强）+ 谱特征（域无关但判别力弱）的凸组合思路，类似于多视角/多模态融合，可推广到其他TTA场景
- 与频域prompt的关联：类似于2D中的频域prompt tuning，GSDTTA的spectral adjustment本质上是3D版的"频域prompt"
- 图谱+扩散的潜在结合：CloudFixer在点级去噪上更强，GSDTTA在结构性corruption上更强，两者结合（先谱域全局调整再扩散去噪）可能获得更优结果
评分¶
| 维度 | 评分 | 说明 |
|---|---|---|
| 新颖性 | ⭐⭐⭐⭐ | 首次将图谱域引入3D TTA，视角独特 |
| 技术深度 | ⭐⭐⭐⭐ | 理论动机清晰，方法设计精巧 |
| 实验充分性 | ⭐⭐⭐⭐ | 三种backbone、两个数据集、完整消融 |
| 写作质量 | ⭐⭐⭐⭐ | 结构清晰，动机阐述到位 |
| 实用价值 | ⭐⭐⭐ | 受限于特征分解的计算开销 |
| 综合 | ⭐⭐⭐⭐ | 优质工作，图谱域TTA开辟新方向 |