An Analysis of Concept Bottleneck Models: Measuring, Understanding, and Mitigating Noisy Annotations¶
会议: NeurIPS 2025
arXiv: 2505.16705
代码: 有
领域: 可解释AI
关键词: 概念瓶颈模型, 噪声标注, SAM, 不确定性, 可解释性
一句话总结¶
首次系统研究噪声概念标注对 CBM 的影响——发现即使中等噪声也同时损害预测性能、可解释性和干预效果，识别出"脆弱概念"子集是性能下降的主因，提出训练阶段用 SAM 稳定脆弱概念学习 + 推断阶段用预测熵排序仅校正最不确定概念的两阶段缓解框架。
研究背景与动机¶
- 领域现状：CBM 通过将预测分解为人类可解释的中间概念实现透明性（如鸟类分类先预测尾巴形状、体色，再分类）。
- 现有痛点：概念标注昂贵且容易出错（人为错误、主观分歧、标注者差异），但噪声标注对 CBM 的影响从未被系统研究。
- 核心矛盾：CBM 的可解释性完全依赖概念层的准确性。与端到端模型不同，噪声直接破坏这个中间瓶颈。
- 切入角度：测量噪声影响→理解机制（哪些概念脆弱？）→缓解方法（SAM+不确定性校正）。
- 核心idea一句话：用 SAM 让优化更平坦以稳定脆弱概念，用熵作为噪声代理在推断时只校正最不确定的概念。
方法详解¶
关键设计¶
-
脆弱概念识别：发现一小部分概念的准确率下降远超平均水平，且这些概念的损坏占总性能损失的大部分
-
训练阶段：SAM：
- Sharpness-Aware Minimization 稳定脆弱概念的学习，使模型找到更平坦的损失minima
-
理论分析说明为什么平坦极小值对标注噪声更鲁棒
-
推断阶段：不确定性引导干预：
- 无干净标签时，用预测熵排序概念
- 只校正熵最高的 top-k 概念
- 理论分析为什么不确定性能可靠地识别脆弱概念
实验关键数据¶
主实验（CUB-200 鸟类分类）¶
| 噪声比例 | 标准 CBM Acc | + SAM Acc | + SAM + 干预 Acc |
|---|---|---|---|
| 0% (clean) | 高 | 持平 | — |
| 20% | 显著下降 | 改善 | 进一步改善 |
| 40% | 大幅下降 | 明显改善 | 恢复大部分性能 |
关键发现¶
- 噪声不仅降低准确率，还破坏可解释性（概念预测不再有意义）和干预效果（校正概念不再有效）
- 脆弱概念数量少但影响大（符合帕累托分布）
- SAM 对脆弱概念的改善尤其显著
- 预测熵与概念噪声高度相关，是很好的无标签代理
亮点与洞察¶
- "脆弱概念"的发现有实际指导意义——标注时应优先质控这些概念
- SAM + 不确定性干预的两阶段组合优雅地覆盖了训练和推断两个阶段
局限性 / 可改进方向¶
- 仅在对称噪声下测试，非对称/结构化噪声未探索
- 干预需要人在环（推断时校正概念）
评分¶
- 新颖性: ⭐⭐⭐⭐ 首次系统研究CBM的噪声鲁棒性
- 实验充分度: ⭐⭐⭐⭐ 多噪声水平+消融+理论分析
- 写作质量: ⭐⭐⭐⭐ 测量→理解→缓解的结构清晰
- 价值: ⭐⭐⭐⭐ 对CBM实际部署有直接指导