On Geometry-Enhanced Parameter-Efficient Fine-Tuning for 3D Scene Segmentation¶

会议: NeurIPS 2025
arXiv: 2505.22444
代码: https://github.com/LiyaoTang/GEM
领域: 3D视觉
关键词: 参数高效微调, 点云分割, 几何编码, 3D场景理解, Transformer

一句话总结¶

提出 Geometry Encoding Mixer (GEM)，一种专为3D点云Transformer设计的几何感知PEFT模块，通过空间适配器捕获局部几何细节和上下文适配器注入全局场景信息，仅更新1.6%参数即可达到甚至超越全量微调性能。

研究背景与动机¶

大规模预训练点云模型（如Sonata、PTv3）在3D场景理解方面取得了显著进展，但将这些模型适配到下游任务通常需要全量微调，带来高昂的计算和存储开销。NLP和2D视觉领域的PEFT方法（LoRA、Adapter、Prompt Tuning等）已被广泛验证，但直接迁移到3D点云时表现不佳。

核心矛盾在于：点云是无序的3D坐标集合，具有强不规则性、稀疏性和结构变异性，导致预训练数据集和下游领域之间存在显著的几何和空间分布偏移。现有PEFT方法要么在逐点层面做适配（Adapter、LoRA），忽略空间结构；要么插入固定的全局token（Prompt Tuning），无法捕获场景特定的上下文。更关键的是，当前3D Transformer普遍采用局部注意力机制，限制了全局上下文的建模。

本文的切入角度是：有效的3D PEFT必须同时显式建模细粒度局部空间模式和全局几何上下文，二者缺一不可。

方法详解¶

整体框架¶

GEM作为轻量级模块插入到预训练点云Transformer的每一层中，包含两个互补组件：Spatial Adapter处理局部几何，Context Adapter捕获全局上下文。两者均遵循残差瓶颈设计，但操作在空间维度而非通道维度。整体流程为：先通过Spatial Adapter增强位置编码，再通过Context Adapter补充局部注意力的全局信息。

关键设计¶

Spatial Adapter（空间适配器）: 通过轻量级3D卷积瓶颈操作在点的邻域上，增强预训练的位置编码。具体地，对每个点考虑3D网格中的相邻体素作为邻居，通过降维投影→局部卷积核加权→升维投影的瓶颈结构学习细粒度的局部空间细节。卷积核维度k=3，每个点最多触及k³=27个邻居，额外参数量为2rd + k³r²，计算复杂度O(nd)，非常高效。本质上是一种高效的卷积位置编码，与预训练位置编码并行工作。
Context Adapter（上下文适配器）: 引入m个可学习的latent token作为全局上下文向量，通过两步注意力与整个点云交互：首先latent token作为query对所有点做注意力聚合全局信息（复杂度O(nm)），然后所有点通过注意力从这些latent token中获取全局上下文。关键创新是latent token在每层通过残差更新(L ← L + L_c)实现跨层共享，形成动态的场景特定提示，而非Prompt Tuning中的静态前缀。
残差瓶颈结构: 两个组件都采用降维-处理-升维的瓶颈设计，rank r=32，latent token数量m=4，确保参数量极少（仅1.6%）。Spatial Adapter通过残差连接叠加到原始位置编码上，Context Adapter通过残差连接叠加到局部注意力输出上。

损失函数 / 训练策略¶

训练时冻结预训练backbone权重，仅更新GEM插入的模块参数。遵循标准微调设置，使用交叉熵损失进行语义分割监督。所有PEFT baseline均使用其官方实现和最佳验证配置。

实验关键数据¶

主实验¶

数据集	指标(mIoU)	GEM	Full FT (Sonata ft.)	LoRA	Adapter	Prompt
ScanNet Val	mIoU	78.3	78.3	76.7	77.0	74.3
ScanNet200 Val	mIoU	35.6	37.3	33.6	33.6	31.4
ScanNet++ Val	mIoU	46.6	49.8	44.2	42.6	41.2
S3DIS Area5	mIoU	75.1	72.4	74.5	73.8	73.4
S3DIS 6-fold	mIoU	77.9	79.5	77.4	76.4	73.7

GEM仅用1.6%参数(1.8M)即在多数数据集上匹配全量微调(108.5M, 100%)性能，在S3DIS Area5上甚至超过全量微调2.7个mIoU。

消融实验¶

配置	ScanNet mIoU	说明
Linear Probing	72.5	仅训练分类头
+ Spatial Adapter only	~76	局部几何建模
+ Context Adapter only	~76	全局上下文建模
+ GEM (SA + CA)	78.3	两者互补，最佳

数据效率实验中，在1%标注场景下GEM达47.5 mIoU，超过Sonata full.(45.3)和Sonata ft.(44.4)，在极端低数据场景下优势尤为明显。

关键发现¶

GEM在ScanNet++上超越全量微调，该数据集具有亚毫米分辨率和高多样性场景，与预训练分布差异大，证明了显式几何建模在大域偏移下的价值
LoRA和Adapter表现相近，说明当不显式建模几何时，适配目标的选择是次要的
Prompt Tuning在S3DIS 6-fold上甚至不如线性探测，揭示了忽略空间结构的惩罚
在监督预训练backbone（PTv3-PPT）上，现有PEFT方法可能导致性能退化（负迁移），而GEM仍能提升性能至79.1 mIoU

亮点与洞察¶

首次系统性地探索和验证针对大规模3D场景的PEFT方法，填补了一个重要空白
局部+全局的双路径设计思想简洁而有效，Spatial Adapter和Context Adapter各自解决一个明确问题
Context Adapter中latent token的跨层残差更新是一个巧妙设计，将静态prompt变为动态的场景感知上下文
实验覆盖面广：室内外场景、自监督/监督预训练、有无解码器、数据效率等多维度验证

局限与展望¶

室内预训练模型迁移到室外（SemanticKITTI）仍有较大性能差距，跨域PEFT是未来方向
Context Adapter的latent token数量固定(m=4)，对于非常大的场景可能不够
当前仅验证了语义分割任务，在实例分割、目标检测等任务上的泛化性有待探索
仅在PTv3系列backbone上验证，对其他3D backbone架构的适用性尚未充分验证

评分¶

新颖性: ⭐⭐⭐⭐
实验充分度: ⭐⭐⭐⭐⭐
写作质量: ⭐⭐⭐⭐⭐
价值: ⭐⭐⭐⭐