Multimodal Classification of Radiation-Induced Contrast Enhancements and Tumor Recurrence Using Deep Learning¶

会议: CVPR2025
arXiv: 2603.11827
代码: 待确认
领域: medical_imaging
关键词: glioblastoma, radiation-induced contrast enhancement, tumor recurrence, multimodal classification, 3D ResNet

一句话总结¶

提出 RICE-NET，一个多模态 3D 深度学习模型，融合纵向 MRI 数据与放疗剂量分布图，用于区分胶质母细胞瘤术后放射性对比增强（RICE）与肿瘤复发，在独立测试集上达到 F1=0.92。

研究背景与动机¶

胶质母细胞瘤（GBM）患者在手术切除后需接受放射治疗以消除残余肿瘤细胞，但放疗也可能损伤正常脑组织
术后随访影像中出现的新对比增强病灶面临关键诊断难题：是肿瘤复发还是放射性对比增强（RICE）？两者在 MRI 上表现极为相似
现有临床流程依赖跨学科肿瘤委员会的复杂耗时评估，需回顾术前术后影像、多次随访扫描及放疗计划
已有方法多依赖临床上稀缺的扩散 MRI，或未考虑放疗剂量图（而剂量图在肿瘤委员会中越来越受关注）
大多数既有研究忽略了影像的纵向演变信息

方法详解¶

数据与预处理¶

数据来源：海德堡大学医院 92 例 GBM 患者，训练/验证集 80 例（48 例肿瘤复发 + 32 例 RICE），独立测试集 12 例（7 + 5）
每位患者三种 3D 输入体积：
术后 MRI（MRI post-OP）：T1 增强 MRI，术后基线，用于规划放疗
事件 MRI（MRI event）：发现新对比增强病灶时的 T1 增强 MRI
放疗剂量图（RD map）：放疗累计剂量的 3D 空间分布
预处理流程：各向同性重采样 → ANTs 配准 → HD-BET 颅骨剥离 → Z-score 归一化 → 裁剪至 224×224×224 体素
金标准由活检结果确认

网络架构¶

基于 MONAI 框架实现的 3D ResNet-18，将原始 2D ResNet 扩展至三维以处理体积数据
结构：初始 3D 卷积层 → 4 个残差块（3D BatchNorm + ReLU）→ 全局平均池化 → 全连接分类层
残差连接确保更稳定的梯度流和收敛性，这对小型医学数据集尤为关键
多模态融合方式：沿通道维度拼接输入（channel-wise concatenation），即多个 224×224×224 体积沿第一个维度堆叠
对于不同模态组合实验，分别训练独立模型（而非共享权重后选择性输入）
选择 ResNet-18 而非更深网络，以平衡表达能力和计算效率，降低 92 例样本场景下的过拟合风险

训练策略¶

训练 800 epochs，5 折交叉验证（折划分在患者级别固定，跨所有实验保持一致）
Adam 优化器 + 交叉熵损失函数
加权随机采样器确保两类训练均衡（48 例复发 vs 32 例 RICE 的不均衡）
评估指标选择 macro F1-score：对两类 F1 取不加权平均，在类别不均衡下更鲁棒
数据增强：弹性变形、旋转、缩放、高斯噪声、亮度和 gamma 调整
测试集评估采用 5 折交叉验证模型的多数投票集成策略

可解释性分析¶

采用遮挡敏感度图（occlusion sensitivity maps）：系统性地遮挡 3D 小立方体区域，观察输出概率变化
在所有配准体积上同步遮挡，识别对分类最具影响力的区域

实验关键数据¶

消融实验（F1-score）¶

输入模态	验证集 F1	测试集 F1
仅 MRI post-OP	0.70	—
仅 MRI event	0.58	—
仅 RD map	0.78	—
MRI post-OP + MRI event	—	—
MRI post-OP + RD	0.828	—
MRI event + RD	0.83	—
全部三种（RICE-NET）	0.804	0.916

关键发现¶

放疗剂量图是最具信息量的单模态输入（F1=0.78 vs MRI post-OP 0.70 vs MRI event 0.58）
融合 MRI 与 RD 进一步提升性能，验证了模态互补性
集成交叉验证模型在独立测试集上 F1 达到 0.916（多数投票）
仅使用 MRI 的实验中，验证与测试 F1 差距约 0.35，反映了小样本统计不确定性
遮挡分析显示模型关注区域与高剂量区域高度相关，同时也关注对比增强病灶

亮点¶

首次融合放疗剂量图的端到端分类：将放疗计划作为显式输入，验证了其作为最强单模态信号的重要性
纵向 MRI 建模：同时利用术后基线和事件时间点的影像，捕获病灶演变信息
系统性消融：7 种模态组合的完整消融定量了每种模态的诊断贡献
临床可解释性：遮挡敏感度图与临床关注区域一致，有助于辅助决策
使用常规 T1 MRI：不依赖稀缺的扩散 MRI，提升临床适用性

局限性¶

样本量极小：仅 92 例患者（训练 80 例、测试 12 例），统计可靠性不足，验证与测试性能差距明显
缺乏未受影响对照组：数据集仅含复发和 RICE 两类，未包含无病变对照
简单通道融合：channel-wise concatenation 可能无法捕获 MRI 与剂量图之间的复杂交互模式
单中心数据：所有数据来自海德堡大学医院，跨中心泛化性未知
未纳入临床变量：未整合患者年龄、治疗方案等临床元数据
全部模态组合验证 F1 反而低于部分组合（0.804 vs 0.83），可能存在过拟合或模态冲突

评分¶

新颖性: ⭐⭐⭐⭐ — 首次将放疗剂量图作为深度学习输入用于 RICE vs 复发分类
实验充分度: ⭐⭐⭐ — 消融设计全面但样本量太小，统计显著性不足
写作质量: ⭐⭐⭐⭐ — 问题动机清晰，临床背景描述充分
价值: ⭐⭐⭐ — 临床问题重要但需大规模多中心验证才能确认实用价值

方法	特点	与本文对比
Bernhardt et al.	DEGRO 指南，基于扩散 MRI 的临床流程	RICE-NET 使用常规 T1 MRI，更易获取
Wang et al.	DTI + DSC-MRI 区分假进展	依赖扩散成像，临床可及性低
Eichkorn et al.	分析 RICE 与缺血性卒中风险因素关联	非深度学习方法，RICE-NET 提供自动化分类
标准临床流程	肿瘤委员会多学科评估	RICE-NET 可辅助加速决策，但仍需临床验证