Federated Modality-specific Encoders and Partially Personalized Fusion Decoder for Multimodal Brain Tumor Segmentation¶

会议: CVPR2025
arXiv: 2603.04887
代码: GitHub
领域: medical_imaging
关键词: federated learning, brain tumor segmentation, multimodal MRI, personalized FL, missing modality

一句话总结¶

提出 FedMEPD 联邦学习框架，通过模态专属编码器（全局联邦）和部分个性化融合解码器，同时解决多模态 MRI 脑肿瘤分割中的模态间异质性和客户端个性化问题，在 BraTS 2018/2020 上客户端平均 mDSC 达 75.70%/75.90%。

研究背景与动机¶

联邦学习（FL）允许多机构协作训练而不泄露隐私。现有医学图像 FL 方法主要处理模态内异质性（如数据分布不同），但忽略了模态间异质性：在多模态 MRI 脑肿瘤分割中，不同机构可能仅拥有 T1/T1c/T2/FLAIR 四种模态的部分子集。这带来两个并发挑战：(1) 如何在模态不完整的情况下有效训练全局模型；(2) 每个参与者期望获得适配其本地数据特征的个性化模型。现有方法要么要求所有客户端拥有相同模态（Xiong et al.），要么仅训练单一全局模型无法满足个性化需求（FedIoT），要么需共享数据违反隐私约束（CreamFL）。

方法详解¶

整体框架¶

FedMEPD 包含四个核心组件：

模态专属编码器：每种模态 $m \in \{T1, T1c, T2, FLAIR\}$ 有独立编码器 $E_m$，全局联邦共享
多模态融合解码器：服务器端融合所有模态特征；客户端部分联邦、部分个性化
多锚点多模态表示：从服务器融合特征中提取类别锚点分发给客户端
LACCA 模块：客户端通过交叉注意力将缺失模态表示向全局锚点校准

模态专属编码器（全联邦）¶

每种模态使用独立编码器提取特征，允许高度参数特化。服务器聚合同一模态的编码器参数：$W_m^s = \frac{1}{N_m} \sum_i W_m^i$。服务器端的融合解码器通过反向传播桥接不同模态的分布差距。

部分个性化融合解码器¶

核心思想：基于全局与本地参数更新的一致性，动态决定解码器的哪些滤波器联邦共享、哪些个性化保留。

客户端聚合：$W_d^{i,agg} = (1 - B^{i,r-1}) W_d^{i,r-1} + B^{i,r-1} W_d^{s,r-1}$
一致性判断：计算每个滤波器的全局/本地更新余弦相似度 $\delta_j^{i,r} = \cos(\Delta \mathbf{w}_j^{s,r}, \Delta \mathbf{w}_j^{i,r})$
个性化规则：若某滤波器连续 $P$ 轮 $\delta_j^{i,r} < 0$，则永久个性化
服务器聚合：使用 EMA 策略平衡服务器与客户端贡献，$\lambda$ 动态设为 1（全个性化）或 0.3（其他）

多锚点多模态表示 + LACCA¶

服务器端从融合特征中提取 $N_k = 4$ 个锚点/类，通过 K-means 聚类并用 EMA（$\omega = 0.999$）平滑更新
客户端通过缩放点积交叉注意力将本地缺失模态特征向全局锚点校准： $$F_l^{cal} = \text{softmax}\left[\frac{F_l W_0 (A_l W_1)^T}{\sqrt{C_l}}\right] A_l W_2$$

损失函数¶

Dice loss + 交叉熵损失（标准医学图像分割损失），Adam 优化器，lr=0.0002。

实验关键数据¶

BraTS 2018（285 例，9个站点划分，8客户端+1服务器）：

方法	客户端平均 mDSC (%)	服务器 mDSC (%)
Local models	66.95	82.56
FedAvg	59.04	80.10
FedMSplit	71.23	79.93
FedIoT	69.18	84.89
CreamFL*	67.21	82.83
FedMEPD	75.70	84.98

BraTS 2020（369 例）：

方法	客户端平均 mDSC (%)	服务器 mDSC (%)
FedMSplit	73.80	86.88
FedIoT	71.20	88.77
FedMEPD	75.90	89.39

客户端平均 mDSC 比次优方法高 4.47%（BraTS 2018）和 2.10%（BraTS 2020）
单模态客户端（如仅 T1c）提升最为显著：58.87% vs FedMSplit 的 48.99%
*CreamFL 需共享数据，违反隐私约束

亮点¶

同时优化全局全模态模型和个性化缺模态客户端模型，双目标兼顾
部分个性化策略基于参数更新一致性动态决定，理论直觉明确
多锚点表示+交叉注意力校准：仅传递抽象的人群级原型，保护隐私同时补偿缺失模态信息
相比完全个性化解码器（前序工作），部分联邦策略显著提升客户端性能
框架模型无关，可适配各种多模态分割骨干网络

局限性¶

假设存在一个拥有全模态数据的服务器，实际中可能不易满足
一旦滤波器被标记为个性化则不可逆，可能过早锁定部分参数
通信成本分析不够充分（虽提及 mask 传输开销小）
仅在脑肿瘤分割任务上验证，其他多模态医学任务（如心脏、肝脏）未探索
客户端数量较少（8个），大规模场景的可扩展性未验证

评分¶

新颖性: ⭐⭐⭐⭐ (模态专属编码器+部分个性化解码器+多锚点校准的组合设计新颖)
实验充分度: ⭐⭐⭐⭐ (两个基准、多种 FL 基线对比、消融充分、统计检验)
写作质量: ⭐⭐⭐⭐ (结构完整，算法描述清晰)
价值: ⭐⭐⭐⭐⭐ (解决了多模态 FL 中的实际痛点，临床意义显著)