Adaptation of Weakly Supervised Localization in Histopathology by Debiasing Predictions¶
会议: CVPR 2026
arXiv: 2603.12468
代码: anonymous.4open.science/r/SFDA-DeP-1797
领域: 医学图像 / 计算病理 / 域适应
关键词: 弱监督定位, 源自由域适应, 预测去偏, 机器遗忘, 病理图像
一句话总结¶
提出SFDA-DeP方法，受机器遗忘启发，将源自由域适应建模为迭代识别过度预测类的不确定样本并选择性降低其置信度的过程，同时联合训练像素级分类器恢复定位判别力，在跨器官/跨中心病理基准上显著优于SFDA baselines。
背景与动机¶
弱监督对象定位（WSOL）通过图像级标签同时实现分类和ROI定位，避免了昂贵的像素级标注。但WSOL模型在跨域部署时（新器官、新中心、不同染色协议/扫描仪），分布偏移导致性能严重退化。更关键的是，在较大域偏移下，WSOL的预测会偏向优势类（dominant class），产生严重倾斜的伪标签分布。传统SFDA方法（如SFDA-DE、ERL、CDCL）依赖自训练，会进一步强化这种初始偏差而非纠正它——偏向的伪标签在迭代中不断自我确认，导致分类和定位双重退化。作者通过实验发现：从小源域（GlaS）迁移到大目标域时，source-only预测的类别偏差可高达90%以上偏向癌症类，而现有SFDA方法反而恶化了这一问题。
核心问题¶
SFDA的自训练机制会放大WSOL的预测偏差，如何在不访问源数据的前提下纠正域偏移导致的类别预测失衡？
方法详解¶
整体框架¶
SFDA-DeP在目标域上每隔m个epoch重新划分"遗忘集"和"保留集"，通过遗忘损失消除优势类中不确定样本的偏差、通过保留损失维持可靠预测的稳定性，同时联合优化像素级分类器恢复空间判别特征。
关键设计¶
- 遗忘-保留集划分: 将预测为优势类的样本集合记为B，在B中按归一化熵排序取top-ρ最不确定的样本为遗忘集B_f（ρ∈{5%,15%,25%}），其余所有目标样本为保留集B_r。每m个epoch用当前模型重新划分，防止错误遗忘决策累积。
- 遗忘损失 + 保留损失: 保留损失L_retain是标准交叉熵（用伪标签自训练），遗忘损失L_forget = -log(1-p(ŷ))，最小化它让模型"忘记"对遗忘集样本预测为优势类，迫使决策边界向均衡方向移动。
- 像素级定位监督: 联合训练轻量像素级分类器h，用源模型CAM生成的前景/背景伪标签监督。仅对每类中熵最低的top-ρ_loc样本提取CAM标签，用BCE损失训练，恢复域偏移后的前景-背景判别能力。
损失函数 / 训练策略¶
总损失 L = λ_retain·L_retain + λ_forget·L_forget + λ_loc·L_loc。λ_retain/λ_forget ∈ {0.2,0.5,1.0,2.0}，λ_loc ∈ {0.5,1.0,5.0}。学习率从{10⁻⁵,10⁻⁴,10⁻³}中选。CNN用ResNet-50，Transformer用DeiT-Tiny。在三种WSOL模型（SAT/PixelCAM/DeepMIL）上验证。
实验关键数据¶
| WSOL模型 | 方法 | GlaS→Avg PxAP | GlaS→Avg CL | 改进vs SFDA-DE |
|---|---|---|---|---|
| PixelCAM | Source-only | 36.9 | 49.3 | — |
| PixelCAM | SFDA-DE | 28.0 | 54.6 | baseline |
| PixelCAM | SFDA-DeP(Ours) | 44.1 | 67.1 | +16.1 PxAP, +12.5 CL |
| DeepMIL | Source-only | 20.9 | 49.8 | — |
| DeepMIL | SFDA-DE | 20.5 | 53.9 | baseline |
| DeepMIL | SFDA-DeP(Ours) | 40.7 | 73.4 | +20.2 PxAP, +19.5 CL |
| SAT | Source-only | 21.3 | 52.1 | — |
| SAT | SFDA-DE | 21.6 | 68.7 | baseline |
| SAT | SFDA-DeP(Ours) | 30.3 | 69.2 | +8.7 PxAP, +0.5 CL |
PixelCAM在C17-0上：SFDA-DeP CL达86.2%（vs SFDA-DE 50.0%），完全消除了类别坍塌。DeepMIL在C17-0：SFDA-DeP CL 82.8%（vs SFDA-DE 50.0%），定位PxAP 34.0（vs 14.5）。
消融实验要点¶
- 动态重采样（每m epoch更新遗忘/保留集）比静态划分显著更优，防止错误遗忘累积
- 像素级定位损失L_loc对PxAP提升重要（如PixelCAM上有明显增益）
- 遗忘比例ρ在5%-25%范围内影响有限，方法对此超参不敏感
- 定性可视化显示SFDA-DeP的CAM激活集中在肿瘤组织上，而SFDA baselines常高亮背景区域
亮点¶
- 精准诊断了SFDA在WSOL上失败的根因：预测偏差放大，而非一般性的域偏移
- 用"遗忘"思路纠偏，概念新颖，类比清晰：遗忘旧的偏置决策边界，建立新的均衡边界
- 跨三种不同架构（CNN/Transformer/MIL）和三个基准一致有效，泛化性好
- 在SFDA-DE完全失效的场景（CL坍塌到50%即随机猜测）中仍能恢复到80%+
局限性 / 可改进方向¶
- 仅在二分类（肿瘤/正常）上验证，多类病理场景下优势类识别和遗忘策略需要扩展
- 遗忘/保留集的划分完全基于预测熵，未利用特征空间的结构信息（如聚类密度）
- 像素级CAM伪标签质量受源模型质量限制，跨域场景下CAM可能本身就不可靠
- 未探索目标域中存在源域没有的新类别的open-set场景
与相关工作的对比¶
- SFDA-DE (CVPR'22): 基于分布估计的经典SFDA方法，在预测偏差严重时反而恶化定位（PxAP平均下降），CL在多个中心坍塌到50%；SFDA-DeP通过主动去偏避免了这一问题
- RGV (CVPR'25): 通过不确定性控制重访SFDA，保守策略使其接近source-only水平，几乎无适应增益；SFDA-DeP通过激进的遗忘-保留二分法获得了显著改进
- ERL (ICLR'23): 结合噪声标签学习处理domain shift，在某些中心CL改善但PxAP频繁下降，未能解决定位退化问题
启发与关联¶
- 预测偏差放大是自训练域适应的通用问题，去偏思路可推广到检测/分割的SFDA
- 机器遗忘与域适应的交叉借鉴值得进一步探索
评分¶
- 新颖性: ⭐⭐⭐⭐ 将机器遗忘引入SFDA进行预测去偏，动机清晰且方法简洁有效
- 实验充分度: ⭐⭐⭐⭐ 三种WSOL模型×多个跨域设定，消融和可视化充分；但数据集规模偏小
- 写作质量: ⭐⭐⭐⭐ 问题定义清晰，图1的偏差可视化非常直观
- 价值: ⭐⭐⭐⭐ 揭示并解决了SFDA+WSOL的核心瓶颈，对计算病理领域有实际意义