Beyond Entropy: Region Confidence Proxy for Wild Test-Time Adaptation¶

会议: ICML 2025
arXiv: 2505.20704
代码: https://github.com/hzcar/ReCAP
领域: 其他/测试时适应
关键词: 测试时适应, 熵最小化, 区域置信度, 分布偏移, 野外场景

一句话总结¶

揭示熵最小化在野外测试时适应（WTTA）中的根本局限——局部区域内语义相似样本的预测不一致导致冲突优化动态，提出 ReCAP 框架用概率区域建模和有限到无穷渐近近似将不可处理的区域置信度转化为高效可优化的代理目标，在 ImageNet-C 上一致超越 SOTA。

研究背景与动机¶

领域现状：测试时适应（TTA）在推理时通过在线更新使源模型适应目标分布。主流方法以熵最小化为核心——降低预测不确定性以增强对目标域的适应。

现有痛点： - 在"野外"场景（Wild TTA）——极端数据稀缺+多种分布偏移共存——熵最小化面临严重的局部不一致问题 - 现象：语义相似的邻近样本可能有截然不同的预测→这些样本的熵优化梯度方向冲突→优化噪声大、效率低 - 现有解决方案（SAR、DeYO）通过样本选择过滤"坏样本"来缓解，但没解决根本问题——熵本身作为优化目标有缺陷

核心矛盾：熵是逐样本定义的，完全忽略了局部区域内样本间的关系——当邻近样本预测不一致时，单独最小化各自的熵会放大冲突。

本文目标：用"区域置信度"（同时考虑全局偏差和局部方差）替代逐样本熵作为优化目标。

切入角度：区域置信度 = 偏差项（区域平均熵，全局确定性）+ 方差项（区域内预测分歧，局部一致性）——但直接优化计算不可行（需要遍历区域内所有样本）。

核心 idea：概率区域建模（将区域表示为特征空间中的多元高斯分布）+ 有限到无穷渐近近似（将区域置信度转化为可处理的上界代理）。

方法详解¶

整体框架¶

ReCAP 替换标准 TTA 中的熵最小化步骤： 1. 概率区域建模：对每个测试样本，在特征空间中定义其局部区域为多元高斯分布 2. 区域置信度计算：偏差（区域平均熵）+ 方差（区域预测分歧） 3. 渐近代理优化：通过有限到无穷近似，将上述不可处理的两项转化为可解析优化的上界

关键设计¶

概率区域建模:
- 功能：将每个样本的局部区域定义为特征空间中的概率分布（而非固定窗口/KNN）
- 核心思路：对测试样本 \(x\) 的特征 \(f(x)\)，用运行均值和方差估计局部区域的多元高斯分布 \(\mathcal{N}(\mu_r, \Sigma_r)\)
- 设计动机：
  - 固定窗口：假设空间邻近=语义相似，对非结构化数据不成立
  - KNN：需要存储和搜索，计算开销与缓存大小线性增长
  - 概率分布：自适应捕捉特征空间中的语义变化，且参数更新为常数复杂度
区域置信度的数学定义:
- 功能：用两个统计量替代逐样本熵
- 偏差项 \(B\)：区域内样本的平均预测熵 = \(\mathbb{E}_{x' \in R}[H(p(y|x'))]\)——衡量区域整体的确定性
- 方差项 \(V\)：区域内样本间的预测分歧 = \(\mathbb{E}_{x' \in R}[D_{KL}(p(y|x') || \bar{p})]\)——衡量区域内的一致性
- 区域置信度 = \(B + \lambda V\)——同时最小化不确定性和不一致性
- 设计动机：仅最小化偏差等于熵最小化（不解决一致性问题），加入方差项迫使优化同时促进邻近样本的预测一致
有限到无穷渐近代理:
- 功能：将需要遍历区域内所有样本（不可行）的优化目标转化为解析可优化的上界
- 核心思路：
  - 有限采样分析：对区域分布采 \(K\) 个样本估计 \(B\) 和 \(V\)
  - 渐近近似（\(K \to \infty\)）：利用高斯分布的性质将期望转化为关于分布参数 \((\mu_r, \Sigma_r)\) 的函数
  - 上界推导：\(B + \lambda V \leq \tilde{B}(\mu_r) + \lambda \tilde{V}(\Sigma_r)\)，上界可通过单次前向传播高效计算
- 设计动机：将"遍历邻居"的 \(O(K \cdot C)\) 复杂度降为 \(O(C)\)（\(C\) 为类别数），使方法可实时运行

损失函数 / 训练策略¶

代理损失：\(\mathcal{L}_{\text{ReCAP}} = \tilde{B} + \lambda \tilde{V}\)
仅更新 BatchNorm 仿射参数（与 Tent 一致）
与任何样本选择方法（SAR、DeYO）正交可叠加
在线更新区域分布的均值和方差（指数移动平均）

实验关键数据¶

主实验¶

ImageNet-C 15 种corruption偏移（ResNet50，Wild 场景 = 不平衡标签偏移+混合偏移+在线偏移）：

方法	场景1: 不平衡	场景2: 混合	场景3: 在线	平均提升
Tent (熵最小化)	46.3	44.8	43.2	基线
SAR (选择+熵)	48.1	46.5	45.7	+2.0
DeYO (变换+选择+熵)	49.2	47.3	46.8	+3.0
ReCAP	50.1	48.6	48.0	+4.1
SAR+ReCAP	51.3	49.2	49.1	+5.3

ViT 实验¶

方法	ImageNet-C (ViT-B/16)	提升
Tent	62.5	基线
DeYO	64.8	+2.3
ReCAP	65.9	+3.4

消融实验¶

配置	Acc	说明
标准熵最小化	46.3	忽略区域
仅偏差项（区域平均熵）	47.8	无一致性约束
仅方差项（预测一致性）	47.2	无确定性优化
偏差+方差	50.1	完整区域置信度
ReCAP + SAR选择	51.3	与选择方法正交叠加
固定K邻居（非概率建模）	48.9	不如概率建模灵活
概率区域建模	50.1	自适应区域范围

关键发现¶

区域方差项的贡献（+1.5%）几乎等于偏差项的贡献（+1.5%）——两者同等重要
ReCAP 与样本选择方法（SAR/DeYO）正交——叠加后进一步提升 1.2%
概率区域建模优于 KNN 区域定义（+1.2%）——高斯假设在特征空间合理
渐近代理的运行开销可忽略——与基线 Tent 相比增加 <5% 计算时间
在 ResNet 和 ViT 上均有效——方法对架构不敏感

亮点与洞察¶

"超越熵"的视角转换——不是改进熵最小化的细节，而是根本性地替换优化目标
偏差+方差的双重优化直觉清晰——确定性（知道答案）+ 一致性（邻居同意）= 可信的适应
有限到无穷渐近的理论推导优雅——将昂贵的邻居遍历转化为常数时间的分布参数运算
与现有选择方法正交的特性使 ReCAP 成为通用的"底层优化升级"
解决了一个被忽视但根本性的问题——质疑了 TTA 领域多年来的默认假设（熵最小化=最优）

局限与展望¶

概率区域的高斯假设在某些特征空间中可能不成立
\(\lambda\)（偏差-方差权衡）是超参数
在极端稀缺样本下（如每批仅 1-2 个样本），区域统计估计不可靠
未讨论持续适应（continual TTA）中区域分布的漂移问题
仅在分类任务验证——检测/分割等任务待探索

评分¶

新颖性: ⭐⭐⭐⭐⭐ 质疑并替换了领域内多年的默认优化目标
实验充分度: ⭐⭐⭐⭐⭐ ResNet+ViT, 三种Wild场景, 与多种方法叠加
写作质量: ⭐⭐⭐⭐⭐ 问题分析透彻, 渐近推导清晰
价值: ⭐⭐⭐⭐⭐ 对TTA和分布偏移适应研究有方向性贡献