Efficient Test-Time Adaptive Object Detection via Sensitivity-Guided Pruning¶

会议: CVPR 2025
arXiv: 2506.02462
代码: 无
领域: 目标检测 / 域自适应
关键词: 持续测试时自适应, 通道剪枝, 敏感性度量, 域偏移, 高效推理

一句话总结¶

提出一种高效的持续测试时自适应目标检测（CTTA-OD）方法，发现源模型中某些特征通道对域偏移敏感且会损害跨域性能，通过在图像级和实例级度量通道敏感性来引导加权稀疏正则化实现选择性剪枝，辅以随机通道重激活机制防止误剪，在减少 12% 计算量的同时超越 SOTA 方法的自适应精度。

研究背景与动机¶

领域现状：目标检测在实际部署中面临域偏移问题——训练数据与测试环境（天气、光照等）存在差异导致性能下降。持续测试时自适应（CTTA）旨在推理过程中在线适应不断变化的目标域，无需访问源数据。对于目标检测任务，STFAR、ActMAD 等方法通过伪标签自训练或特征分布对齐取得了不错效果。

现有痛点：现有 CTTA-OD 方法几乎只关注适应效果而忽视计算效率，这对自动驾驶、无人机等资源受限场景而言是严重的实用性限制。更关键的是，这些方法不加区分地适应所有源域特征，但实验发现源模型中存在"有害通道"——某些通道在源域内有正向贡献（删除后源域性能下降），但对跨域性能有负面影响（删除后跨域性能反而提升）。

核心矛盾：不加区分的全通道适应不仅浪费计算资源在那些对域偏移敏感的"有害通道"上，而且增加了适应难度。这些敏感通道既消耗计算资源又拖累跨域性能。

本文目标 如何识别并剪枝对域偏移敏感的特征通道，将适应精力集中在域不变特征上，从而同时提升适应效果和计算效率？

切入角度：作者对源模型的特征通道逐个做消融实验，发现存在一类"红点"通道：删除后源域性能下降但跨域性能上升。这说明这些通道编码了域特定的信息，在跨域时会产生负面干扰。由此联想到网络剪枝——不是为了压缩模型，而是为了"移除域偏移的噪声源"。

核心 idea：用敏感性度量找到对域偏移最敏感的通道加以剪枝，保留域不变通道做适应，实现"减法即增效"。

方法详解¶

整体框架¶

以 ResNet+Faster R-CNN 为基础检测器。在持续测试时：(1) 在每个优化步之前，根据 BN 层缩放因子 \(\gamma\) 是否低于阈值 \(t\) 来动态决定哪些通道被剪枝，构建当前步的子网络；(2) 前向传播做预测；(3) 如果剪枝率 \(\rho < p\)（阈值），则同时优化适应损失和加权稀疏正则化损失继续剪枝；否则仅优化适应损失并按概率重激活被剪通道；(4) 反向传播更新参数。核心是利用 BN 层的缩放因子 \(\gamma\) 作为通道开关。

关键设计¶

敏感性引导的通道剪枝:
- 功能：量化每个特征通道对域偏移的敏感程度，引导选择性剪枝
- 核心思路：敏感性权重 \(\omega = \omega_{img} + \omega_{ins}\)，由图像级和实例级两部分组成。图像级敏感性 \(S_{img}\) 计算当前目标域特征图与预存源域平均特征图之间的 L1 距离，按通道维度聚合：\(S_{img} = \frac{1}{ND} \sum_{n=1}^N \|F_t^n - \bar{F_s}\|_1\)。实例级敏感性 \(S_{ins}\) 对检测器预测的 RoI 区域做同样的距离计算，捕获前景物体级别的域偏移。两者分别归一化后作为加权稀疏正则化的权重：\(\mathcal{L}_{wreg} = \sum_i \|\omega_i \cdot \gamma_i\|_1\)。
- 设计动机：图像级敏感性反映全局统计量的偏移（如整体色调变化），实例级敏感性反映前景物体的局部偏移（如雾天导致物体模糊）。两个粒度互补，确保敏感通道不被遗漏。
基于 BN 缩放因子的通道剪枝机制:
- 功能：通过 BN 层的可学习参数 \(\gamma\) 实现结构化通道剪枝
- 核心思路：BN 层的缩放因子 \(\gamma\) 直接控制每个通道的输出幅度。对 \(\gamma\) 施加加权 L1 正则化使敏感通道的 \(\gamma\) 趋近于零，当 \(\gamma_i < t\)（阈值）时剪枝该通道及对应卷积滤波器。由于 ResNet 中相邻 BN 层之间的卷积具有输入输出双重稀疏性，剪枝比例对计算量的减少呈二次方关系——保留一半通道可使中间卷积计算量降为 1/4。
- 设计动机：利用已有的 BN 参数避免引入额外参数；结构化剪枝无需专用硬件即可获得实际加速。
随机通道重激活:
- 功能：防止早期误剪或域变化导致的有用通道永久丢失
- 核心思路：当剪枝率 \(\rho\) 超过预设阈值 \(p\) 时，对每个已剪通道以概率 \(r\) 进行 Bernoulli 采样：\(b_i^j \sim \text{Bernoulli}(r)\)。若采样为 1，则将该通道的 \(\gamma\) 重置为源域预训练值，使其重新参与前向和反向传播。模型可重新评估这些通道在当前目标域的效用。
- 设计动机：CTTA 场景中目标域不断变化，某个通道在当前域可能无用但在未来域可能有用。重激活提供了纠错机会，避免不可逆的信息丢失。

损失函数 / 训练策略¶

总损失：\(\mathcal{L}_{total} = \mathcal{L}_{adp} + \lambda \mathcal{L}_{wreg}\)（当 \(\rho < p\) 时），或 \(\mathcal{L}_{total} = \mathcal{L}_{adp}\)（当 \(\rho \geq p\) 时停止剪枝）。适应损失 \(\mathcal{L}_{adp} = \mathcal{L}_{img} + \mathcal{L}_{ins}\) 基于图像级和实例级的 KL 散度对齐。实例级对齐引入类别感知权重 \(w_k\) 动态调节稀有类的对齐力度。

实验关键数据¶

主实验¶

Cityscapes → Cityscapes-C 持续自适应检测（10 轮平均 mAP 与 FLOPs）：

方法	Avg mAP	前向 FLOPs	反向 FLOPs	总 FLOPs
Direct Test	4.5	250.7	0.0	250.7
STFAR	7.6	501.4	501.4	1002.9
ActMAD	8.9	250.7	501.4	752.2
WHW	9.1	253.0	255.2	508.2
Ours	11.4	224.6	225.0	449.6

本方法在适应精度上超越所有对比方法（比 WHW 高 2.3 mAP），同时总 FLOPs 最低（比 ActMAD 减少 40%，比 WHW 减少 12%）。

消融实验¶

配置	Avg mAP	总 FLOPs	说明
Full model	11.4	449.6	完整方法
均匀剪枝（无敏感性引导）	9.8	450.1	不区分通道敏感性
仅图像级敏感性	10.6	449.9	缺少实例级信息
仅实例级敏感性	10.3	450.0	缺少全局统计信息
w/o 通道重激活	10.8	441.2	计算量更少但精度下降

关键发现¶

敏感性引导 vs 均匀剪枝：引导后 mAP 提升 1.6（11.4 vs 9.8），说明"剪什么"比"剪多少"更重要。
图像级 + 实例级双粒度优于任一单粒度，两者提供互补的域偏移信息。
通道重激活贡献了 0.6 mAP（10.8→11.4），虽然增加了少量计算，但有效避免了误剪。
在 UAVDT→UAVDT-C（无人机场景）上同样验证了一致的优势，说明方法具有跨场景泛化性。
剪枝比例的二次方效率增益：保留 75% 通道可使某些卷积层计算量减至 ~56%。

亮点与洞察¶

"减法即增效"的逆直觉发现：通常认为更多特征通道带来更好性能，但本文证明在域偏移下，移除敏感通道反而提升跨域精度。这为 TTA 研究提供了全新视角——不要试图适应所有特征，而是识别并去除干扰。
剪枝用于自适应（而非压缩）：传统剪枝目标是压缩模型，本文将剪枝重新定义为"移除域偏移噪声源"，这个思路可迁移到域泛化、分布外检测等任务。
随机重激活机制巧妙——以 Bernoulli 采样的低成本操作实现了被剪通道的"试探性恢复"，是处理非平稳分布下剪枝决策不确定性的有效方案。

局限与展望¶

依赖 BN 层作为剪枝媒介，对于不使用 BN 的架构（如 ViT、LayerNorm 模型）适用性有限。
敏感性度量需要预存源域特征统计量（均值和方差），增加了部署前的准备工作。
当前仅在 Faster R-CNN 上验证，对单阶段检测器（YOLO 系列）和 Transformer 检测器的适用性待验证。
剪枝阈值 \(t\) 和剪枝比例阈值 \(p\) 是手动设定的超参数，自适应确定这些阈值可能进一步提升性能。

评分¶

新颖性: ⭐⭐⭐⭐ "剪枝用于自适应"视角新颖，敏感性度量设计合理
实验充分度: ⭐⭐⭐⭐⭐ 三个基准 + 多轮持续自适应 + 充分消融 + FLOPs 详细分析
写作质量: ⭐⭐⭐⭐ 动机图（Fig.2）和方法流程图清晰，一目了然
价值: ⭐⭐⭐⭐ 效率与精度的双重提升对实际部署有直接意义