跳转至

Hybrid-TTA: Continual Test-time Adaptation via Dynamic Domain Shift Detection

会议: ICCV 2025
arXiv: 2409.08566
代码: 未公开
领域: 持续测试时自适应 / 语义分割
关键词: 测试时自适应, 域偏移检测, 全参数微调, 高效微调, 掩码图像建模, 语义分割, Teacher-Student

一句话总结

Hybrid-TTA 提出一种持续测试时自适应（CTTA）框架，通过动态域偏移检测（DDSD）模块判断当前输入是否来自新域，自适应地在全参数微调（Full Tuning）和高效微调（Adapter Tuning）之间切换；同时引入掩码图像建模自适应（MIMA）作为辅助任务增强模型稳定性，在 Cityscapes-to-ACDC 基准上达到 62.2% mIoU，且推理速度比可比方法快约 20 倍。

研究背景与动机

领域现状：深度学习模型在训练数据分布上表现优秀，但面对动态变化的真实环境（如天气变化：晴天→雾→夜间→雨天→雪天）性能显著下降。持续测试时自适应（CTTA）旨在模型部署后在线适应持续变化的目标域，且不能访问源域数据，每个目标样本只见一次。

现有方法的两难： - 全参数微调（FT）：更新所有模型参数，适应性强但存在三大问题：(a) 依赖自生成伪标签导致误差累积；(b) 计算开销大；(c) 容易灾难性遗忘源域知识 - 高效微调（ET/AT）：只更新少量参数（如 Adapter），能更好保留源域知识且效率高，但适应性有限，在严重域偏移下收敛不充分 - 两者优缺点互补：FT 要适应性，ET 保稳定性，但何时用何种策略是关键

核心矛盾：CTTA 需要同时实现可塑性（适应新域）和稳定性（不遗忘旧知识），这两个目标天然矛盾。现有方法要么全程用 FT（牺牲稳定性），要么全程用 ET（牺牲可塑性），缺乏自适应切换机制。

本文切入角度：核心问题不是"用哪种调参策略"，而是"什么时候用哪种"。如果能检测到域偏移发生，就用 FT 全力适应新域；如果没有域偏移，就用 ET 保持稳定。这需要一个可靠的域偏移检测机制。

方法详解

整体框架

Hybrid-TTA 基于 Teacher-Student 框架，包含两个协同策略：

  1. DDSD（Dynamic Domain Shift Detection）：检测域偏移，决定 FT 或 AT
  2. MIMA（Masked Image Modeling Adaptation）：辅助重建任务增强稳定性

工作流程： - Teacher 模型通过 EMA 更新生成伪标签 - 对每个输入 \(x_t\)，DDSD 判断是否发生域偏移 - 若域偏移：启用 FT，更新全部模型参数以最大化适应 - 若无域偏移：启用 AT，仅更新 AdaptMLP 参数以保持稳定 - 同时，MIMA 将原始图像随机遮蔽后输入 Student，既做分割又做图像重建

关键设计

  1. Dynamic Domain Shift Detection (DDSD)：

    • 基于时序相关性的域偏移检测：
      • 核心观察：在持续变化的环境中，相邻帧通常来自同一域（如连续的雾天场景），域偏移时视觉信号发生突变
      • 域偏移会降低 Teacher 伪标签与 Student 预测之间的一致性——新域图像的预测差异突然增大
      • 具体做法：监控每个 \(x_t\) 上 Teacher 伪标签和 Student 预测之间的任务损失 \(\mathcal{L}^{seg}_t\)
    • 动态损失阈值（Dynamic Loss Thresholding）：
      • 不使用固定阈值，而是维护一个随时间动态更新的阈值（通过历史损失的统计量）
      • 当 \(\mathcal{L}^{seg}_t\) 突然超过动态阈值时，判定为域偏移，启用 FT
      • 设计动机：不同目标域的损失基准不同（雾天整体 loss 高于夜间），固定阈值无法适应

  2. Masked Image Modeling Adaptation (MIMA)：

    • 功能：对输入图像随机遮蔽部分 patch，Student 模型同时做两个任务——语义分割和图像重建
    • 核心思路：
      • 分割损失 \(\mathcal{L}^{seg}\)：Student 对遮蔽图像的分割预测 vs. Teacher 对完整图像的伪标签
      • 重建损失 \(\mathcal{L}^{rec}\)：Student 重建遮蔽区域 vs. 原始图像的像素值
      • 双目标联合训练
    • 设计动机：
      • MIM 的自监督特性无需标注，能提供额外的自监督信号稳定伪标签生成
      • 重建任务鼓励模型学习上下文关系，增强对目标域的整体理解
      • 与 MIC（UDA 方法）的区别：CTTA 是在线逐样本训练，无法访问源数据或重复访问目标数据，MIMA 专门针对这些约束设计
    • 无需 Test-time Augmentation（TTA 方法常用但大幅降低 FPS），MIMA 就能实现稳定自适应

  3. Adapter Tuning 的实现：

    • 采用 AdaptMLP（在 Transformer 的 MLP 中插入轻量 adapter 层）
    • AT 模式下只更新 adapter 参数，其余参数冻结

损失函数/训练策略

  • 分割损失：\(\mathcal{L}^{seg} = \text{CE}(\hat{y}_t, \hat{y}'_t)\)（Student 预测 vs. Teacher 伪标签）
  • 重建损失：\(\mathcal{L}^{rec}\)（只在遮蔽区域计算像素级重建误差）
  • 总损失：\(\mathcal{L} = \mathcal{L}^{seg} + \lambda \mathcal{L}^{rec}\)
  • Teacher 通过 EMA 更新：\(\theta'_{t+1} = \alpha \cdot \theta'_t + (1-\alpha) \cdot \theta_{t+1}\)
  • 在线训练，每个目标样本只用一次

实验关键数据

主实验

Cityscapes-to-ACDC 语义分割基准（雾→夜间→雨→雪的持续域偏移）：

方法 mIoU (%) 速度特征
前最优方法 61.6 -
Hybrid-TTA 62.2 约 20x 更快的 FPS
Hybrid-TTA++ (加TTA) 63.4 使用 TTA 增强

Hybrid-TTA 在不使用 TTA 的情况下就超越了使用 TTA 的前 SOTA，这是非常显著的效率优势。

效率对比

  • 需要 TTA 的方法（CoTTA、SVDP 等）FPS 极低（因为需要多次前向传播做数据增强）
  • Hybrid-TTA 的 DDSD 判断几乎无额外开销（仅需计算和比较一个损失值），AT 模式下只更新少量参数
  • 结果：在可比性能下，FPS 提升约 20 倍

消融实验

  • DDSD vs. 固定策略：仅用 FT → 误差累积严重；仅用 AT → 域偏移时适应不足；DDSD 动态切换 → 两者兼得
  • MIMA 的贡献：加 MIMA 后 mIoU 提升约 1-2%，且伪标签质量更稳定
  • 动态阈值 vs. 固定阈值：动态阈值在多域序列中显著优于固定阈值
  • 掩码比率：合适的遮蔽比率平衡了分割和重建任务的学习

关键发现

  • 域偏移检测是实现 FT/AT 混合策略的核心前提，而基于时序相关性的检测方法比基于不确定性或统计散度的方法更适合 CTTA 的在线场景
  • MIMA 无需 TTA 就能实现稳定自适应，避免了多次前向传播的效率代价
  • Hybrid-TTA 的设计是"模块即插即用"的——DDSD 和 MIMA 都不依赖特定的模型架构
  • 在长序列持续自适应中，Hybrid-TTA 的性能退化比纯 FT 方法慢得多

亮点与洞察

  • "何时用哪种策略"比"用哪种策略"更重要：这是 Hybrid-TTA 最核心的洞察。FT 和 ET 各有所长，关键在于自适应选择。这个思路可以推广到其他需要在不同策略间切换的场景（如学习率调度、模型选择等）。
  • DDSD 的设计简洁高效：仅需比较当前样本的损失与动态阈值，不需要维护复杂的分布估计或特征距离计算。这种"用模型自身的反应来探测环境变化"的思路非常优雅。
  • MIMA 将掩码建模从预训练迁移到测试时自适应：MAE 风格的掩码重建原本用于预训练，将其作为 CTTA 的辅助任务是一个巧妙的迁移应用。重建任务的自监督性质完美适配 CTTA 无标注的设定。
  • 速度优势巨大：在 CTTA 领域，大多数方法为了稳定性牺牲速度（TTA 需要多次前向传播），Hybrid-TTA 通过 AT 模式 + 无需 TTA 的 MIMA 实现了 20x 加速，这对实际部署至关重要。

局限与展望

  • DDSD 的域偏移检测粒度：当前是 instance-wise 的二元判断（有/无域偏移），但实际中域偏移可能是渐进的（如天气逐渐变化），需要更细粒度的适应策略
  • AT 的适应性上限：AT 模式下只更新 adapter 参数，对于极端域偏移（如白天到黑夜）可能仍然不够。可以考虑更多中间策略（如部分层更新）
  • 伪标签噪声累积：虽然 MIMA 缓解了误差累积，但 Teacher 伪标签的质量在长期运行后仍可能退化
  • 评估场景有限：主要在 Cityscapes-to-ACDC（4 种天气退化）上评估，缺乏更多元的 CTTA 基准（如不同城市、不同传感器的域偏移）
  • MIMA 的计算开销：虽然避免了 TTA 的多次前向传播，但重建解码器和双任务训练本身也增加了计算量，实际加速比可能因模型架构而异

亮点与洞察

局限与展望

相关工作与启发

评分

  • 新颖性: 待评
  • 实验充分度: 待评
  • 写作质量: 待评
  • 价值: 待评

相关论文