Towards Robust Pseudo-Label Learning in Semantic Segmentation: An Encoding Perspective¶
会议: NEURIPS2025
arXiv: 2512.06870
代码: GitHub
领域: segmentation
关键词: pseudo-label learning, error-correcting output codes, semantic segmentation, domain adaptation, semi-supervised learning
一句话总结¶
提出 ECOCSeg，用纠错输出码（ECOC）替代 one-hot 编码来表示伪标签，将 N 类分类分解为 K 个二分类子任务，通过 bit 级去噪和可靠位挖掘生成更鲁棒的伪标签，在 UDA 和 SSL 分割任务上一致提升。
背景与动机¶
- 伪标签学习广泛用于标注稀缺场景（UDA、SSL），但伪标签中的错误会在训练中被放大
- 现有方法主要关注伪标签的选择策略（阈值过滤、加权），但忽略了类别编码形式的影响
- 关键观察：相似类别共享视觉属性（如 sheep/cow 都有角和蹄），one-hot 编码无法利用这种共性
- 当伪标签预测错误时，共享属性仍可提供有效监督
核心问题¶
如何利用类别间的共享属性设计适合伪标签学习的编码形式，使其对标签噪声更鲁棒？
方法详解¶
- ECOC 编码替代 one-hot：
- 为每个类别分配一个 K-bit 二进制码字，将 N 类分类分解为 K 个二分类器
- 两种编码策略：Max-min 距离编码（最大化码距鲁棒性）和文本编码（利用类间语义关系）
- 分类通过软 Hamming 距离最近邻查询码本实现
- Bit 级伪标签去噪：
- Bit-wise 标签：直接量化网络输出为 bit 级编码（更软的监督）
- Code-wise 标签：查询码本最近码字（可纠正错误 bit 但可能引入新噪声）
- 可靠位挖掘算法：识别候选类别的共享 bit 作为可靠位，融合两种标签
- 定制优化准则：
- Pixel-code distance：拉近像素特征与正确码字的距离
- Pixel-code contrast：类内紧凑 + 类间分离
实验关键数据¶
- UDA（GTAv→Cityscapes）：
- DACS+ECOCSeg: +2.4% mIoU；DAFormer+ECOCSeg: +2.2%；MIC+ECOCSeg: +1.0%
- UDA（SYNTHIA→Cityscapes）：
- DACS+ECOCSeg: +2.9%；DAFormer+ECOCSeg: +2.4%；MIC+ECOCSeg: +1.7%
- SSL（Pascal VOC，1/16~1/4 标注）：
- 在 3 种 SSL 框架上一致提升 1.1%~3.7%
- 消融：ECOC 编码在全监督下也优于 one-hot（+0.5%），且在伪标签学习下优势更大
- 理论保证：在充分大的最小码距下，ECOC 的分类错误界更紧
亮点¶
- 从编码角度分析伪标签学习是全新视角，与现有选择/加权策略正交
- 理论分析：ECOC 在伪标签噪声下具有更紧的错误界
- 即插即用：可直接集成到现有 UDA/SSL 框架上一致提升
- 可靠位挖掘算法巧妙融合两种伪标签形式的优势
局限性 / 可改进方向¶
- ECOC 码长 K 的选择需要平衡（太短区分不够，太长计算开销大）
- 当前编码策略（max-min、text-based）仍较简单，可探索学习的编码方式
- 仅在分割任务验证，可推广到其他伪标签学习场景（检测、深度估计等）
- 需要额外的 K 个二分类器头，增加了一定计算开销
与相关工作的对比¶
| 方法 | 关注点 | 编码形式 | 即插即用 |
|---|---|---|---|
| 阈值过滤 | 选择策略 | one-hot | ✓ |
| 加权/CPS | 选择策略 | one-hot | ✓ |
| 负学习 | 优化准则 | one-hot | 部分 |
| ECOCSeg | 编码形式 | ECOC | ✓ |
启发与关联¶
- 核心 insight：编码形式本身就是应对标签噪声的有效工具，不仅仅是选择"哪些标签可靠"
- 共享属性的利用思路可以推广到其他需要处理类别混淆的任务
- 与信息论中纠错码的思想高度一致，两个领域的交叉值得深入
评分¶
- 新颖性: ⭐⭐⭐⭐ (编码视角非常新颖，引入纠错码理论到分割)
- 实验充分度: ⭐⭐⭐⭐ (UDA+SSL，多框架多数据集，有理论分析)
- 写作质量: ⭐⭐⭐⭐ (问题分析到解决方案逻辑清晰)
- 价值: ⭐⭐⭐⭐ (即插即用特性有实际价值)