A Unified Framework for Heterogeneous Semi-supervised Learning¶

会议: CVPR 2025
arXiv: 2503.00286
代码: 无
领域: 半监督学习 / 域适应
关键词: 异构半监督学习, 跨域伪标签, 原型对齐, 渐进式Mixup, 2C类分类

一句话总结¶

提出异构半监督学习(HSSL)新问题设定——标记数据和无标记数据来自不同分布的域，目标是训练能在两个域上都泛化的模型；通过将C类问题扩展为2C类分类（每个域的同一语义类视为不同类），结合WMA伪标签、跨域原型对齐和渐进式跨域Mixup三个组件统一解决。

领域现状：传统半监督学习(SSL)假设标记和无标记数据同分布，无监督域适应(UDA)只关注目标域性能。两者都不适用于标记和无标记数据来自不同域、且需在两个域上都泛化的场景。

现有痛点：医学影像、航拍图像等实际场景中，标记数据来自高端设备/研究医院，无标记数据来自多种农村诊所的不同设备——分布差异显著。标准SSL方法忽略分布差异会失效，UDA只优化目标域会牺牲源域性能。

核心矛盾：HSSL同时面临三大挑战：(1) 域间特征分布不同 \(p_L(x|y) \neq p_U(x|y)\)；(2) 域间标签分布不同 \(p_L(y) \neq p_U(y)\)；(3) 测试集来自两个域的混合。

核心idea：将C个语义类扩展为2C个细粒度类（前C个对应标记域，后C个对应无标记域），用统一的2C类分类器自然处理域差异，辅以三个组件促进跨域知识迁移。

预训练C类模型 → 为无标记数据生成初始伪标签 → 扩展为2C类模型 → 联合训练：监督损失(标记集) + WMA伪标签损失(无标记集) + 跨域原型对齐损失 + 渐进式Mixup损失。

加权移动平均(WMA)伪标签：
- 功能：自适应更新无标记数据的伪标签
- 核心思路：\(\hat{y}_i^t = \beta \hat{y}_i^{t-1} + (1-\beta) h(f(x_i^u))\)，其中 \(\beta=0.8\)。仅使用置信度超过阈值 \(\epsilon\) 的伪标签参与训练
- 设计动机：由于跨域差距，初始伪标签噪声大。WMA提供平滑自适应的标签更新，避免振荡
跨域语义原型对齐：
- 功能：对齐两个域中相同语义类的原型向量
- 核心思路：计算标记域第k类原型 \(p_k\) 和无标记域第k类原型 \(p_{C+k}\)，用对称对比损失拉近对应类对、推开非对应类对：\(\mathcal{L}_{pa} = -\sum_{k=1}^{C} [\log \frac{\exp(\cos(p_k, p_{C+k})/\tau)}{\sum_{k'\neq k} \exp(\cos(p_k, p_{C+k'})/\tau)} + ...]\)
- 设计动机：利用两个域共享的语义类关系促进知识迁移
渐进式跨域Mixup：
- 功能：生成跨域合成样本桥接两个域
- 核心思路：\(x^m = \lambda x^u + (1-\lambda) x^l\)，关键在于渐进式调度——\(\lambda \sim \psi(t) \times \text{Beta}(\alpha, \alpha)\)，其中 \(\psi(t) = 0.5 + t/(2T)\)。训练初期 \(\lambda \in [0, 0.5)\) 侧重标记域，后期逐渐扩展到 \([0, 1]\) 平等融合
- 设计动机：训练初期伪标签不可靠，应偏向标记域；随训练进展伪标签质量改善，逐步增加无标记域权重

\(\mathcal{L}_{total} = \mathcal{L}_{cl}^L + \lambda_{pl} \mathcal{L}_{pl}^U + \lambda_{pa} \mathcal{L}_{pa} + \lambda_{Mixup} \mathcal{L}_{Mixup}\)

消融验证了WMA伪标签、原型对齐和渐进Mixup三个组件的贡献。