CLoE: Expert Consistency Learning for Missing Modality Segmentation¶
会议: CVPR 2026
arXiv: 2603.09316
代码: 待确认
领域: 医学图像分割 / 多模态学习
关键词: 缺失模态, 一致性学习, 多模态分割, 可靠性融合, 脑肿瘤
一句话总结¶
将缺失模态下的鲁棒性问题重新定义为决策级专家一致性控制，提出双分支一致性学习（全局MEC+区域REC），并通过轻量门网络将一致性分数转化为模态可靠性权重用于融合。
背景与动机¶
多模态MRI分割（如脑肿瘤）在训练时假设所有模态可用，但临床中模态缺失极为普遍（扫描中断、协议差异、质量问题）。模态缺失不只是信息减少的问题，更导致模态专家间预测分歧加大——固定权重融合或无约束注意力反而放大这种分歧。现有应对策略的缺陷：(1)基于GAN的模态合成计算昂贵且引入幻觉；(2)HeMIS等算术融合方法在零填充时注意力失效；(3)RFNet的空间先验是被动的（指定看哪里但不知哪个专家可信）；(4)Mean Teacher等一致性学习被体积MRI中背景像素主导，全局一致≠前景对齐。
核心问题¶
缺失模态导致模态专家预测不一致，现有方法缺乏显式机制判断哪个专家可信——如何将专家间一致性转化为可靠性信号来引导融合？
方法详解¶
整体框架¶
CLoE包含并行模态编码器、一致性驱动门控模块和共享融合解码器。每个模态编码器提取多尺度特征，共享专家解码器生成单模态预测，ECL模块计算一致性分数，门控网络根据分数分配可靠性权重进行特征融合，融合特征送入融合解码器输出最终分割。
关键设计¶
- 模态专家一致性(MEC): 强制可用专家间预测的全局分布对齐。将每对专家的概率预测向量化后计算余弦相似度，对所有可用专家对取平均作为损失L_MEC = 1/|P| Σ(1-S(p^a, p^b))。这约束专家在模态缺失时不要各自漂移。
- 区域专家一致性(REC): 解决全局一致性被背景像素主导的问题。通过轻量投影头从可用专家浅层特征聚合生成概率区域图r（sigmoid激活），r高亮任务相关的前景区域。用r对专家预测加权后再计算余弦相似度，使一致性约束聚焦在临床关键的肿瘤子区域。
- 一致性驱动动态门控: 每个专家的全局一致性分数u_m和区域一致性分数v_m送入轻量门网络G，输出可靠性logit g_m，对所有可用专家softmax归一化得到融合权重w_m。多尺度特征按w_m加权融合。推理时门网络开销可忽略。
损失函数 / 训练策略¶
总目标L_total = L_seg + α·L_ECL + β·L_contrast。 - L_seg: 融合预测的加权交叉熵+Dice损失 - L_ECL: 包含各专家独立监督（WCE+DL）+ η·(L_MEC + λ_rec·L_REC) - L_contrast: 对比表征损失，对齐解剖内容、聚类模态风格、保证生成有效性 训练用Adam优化器，lr=0.0002, weight decay=0.0001, batch size=1, 500 epochs。输入为112×112×112的3D patch随机裁剪。
实验关键数据¶
| 数据集 | 指标 | CLoE | DC-Seg | M³AE | RFNet |
|---|---|---|---|---|---|
| BraTS2020 (15种缺失组合Avg) | WT Dice% | 88.09 | 87.54 | 86.90 | 86.98 |
| BraTS2020 (15种缺失组合Avg) | TC Dice% | 80.23 | 79.63 | 79.10 | 78.23 |
| BraTS2020 (15种缺失组合Avg) | ET Dice% | 65.06 | 65.00 | 61.70 | 61.47 |
| BraTS2020 Full | WT Dice% | 91.30 | 90.95 | 90.40 | 91.11 |
| MSD Prostate PZ Avg | Dice% | 80.12 | 79.59 | - | 77.35 |
消融实验要点¶
- 去掉REC: 平均Dice -1.98%, ET最严重-3.41%——区域一致性对小前景至关重要
- 去掉Weight Fusion: 平均Dice -2.47%, ET -3.96%——动态融合权重贡献最大
- 去掉MEC: 仅-0.70%——全局一致性是精细调优角色
- 去掉Gating Network: 仅-0.47%——门网络参数化贡献有限但方向正确
- REC和Weight Fusion是CLoE最关键的两个组件
亮点¶
- 将鲁棒性问题重新formulate为决策级一致性控制，视角清晰
- REC用概率区域图自动识别前景关键区域，避免手动标注ROI
- 一致性分数→可靠性权重的转化设计优雅：不仅约束一致性，还用一致性信号引导融合
- 在前景极小的ET分割上改进明显（+3.59% vs RFNet），说明REC对临床关键小目标有效
- 跨数据集泛化（BraTS→MSD Prostate）验证了框架通用性
局限性 / 可改进方向¶
- 消融显示MEC和Gating独立贡献较小，设计空间可能还有压缩余地
- 仅在2个数据集上验证，更多器官/更多模态组合的验证有价值
- 极端缺失（仅剩1个模态）时一致性分数的意义退化——只剩一个专家时无法做成对比较
- 区域概率图r由浅层特征生成，可能早期训练阶段不稳定
与相关工作的对比¶
vs DC-Seg: DC-Seg通过VAE对比学习做潜在空间解耦来增强表征，CLoE在此基础上增加了决策级一致性控制和动态融合。二者互补而非替代。 vs M³AE: M³AE是大规模预训练方案（掩码自编码器），CLoE用更轻量的框架超越了它。 vs RFNet: RFNet用区域感知先验指定关注区域但方式被动，CLoE的REC主动学习前景区域并量化专家可靠性。 vs MedSAM: 即使给bbox提示，通用基础模型MedSAM也无法生成清晰肿瘤边界——专用多模态框架仍有价值。
启发与关联¶
- 一致性→可靠性的框架可推广到其他多源信息融合场景
- 区域一致性的前景聚焦思路对小目标检测/分割有借鉴意义
评分¶
- 新颖性: ⭐⭐⭐ 一致性学习+动态门控的组合虽然每个组件不算全新，但问题formulation清晰
- 实验充分度: ⭐⭐⭐⭐ 15种缺失组合全覆盖、跨数据集验证、消融细致
- 写作质量: ⭐⭐⭐ 方法描述清楚但论文篇幅有限、部分细节需看算法框
- 价值: ⭐⭐⭐ 缺失模态分割是重要临床问题，改进幅度合理但不dramatic