NOIR: Neural Operator Mapping for Implicit Representations

会议: CVPR2025
arXiv: 2603.13118
代码: GitHub
领域: medical_imaging
关键词: Implicit Neural Representations, Neural Operator, 分辨率无关, 医学图像分割, 图像翻译

一句话总结

NOIR 将医学图像计算任务重新建模为连续函数空间之间的算子学习问题，通过隐式神经表示(INR)将离散医学信号嵌入连续函数空间，再用神经算子(NO)学习函数间的映射，实现分辨率无关的分割、形状补全、图像翻译和合成。

研究背景与动机

• 当前医学图像计算的深度学习方法几乎全部基于离散网格（像素/体素），对体素间距、插值方式和重采样伪影敏感
• 医学图像本质上源自连续物理域，在临床流程中频繁经历重采样和变换，离散表示会引入不一致性
• 已有的 Neural Operator 方法（如 FNO）局限于规则网格，且存在混叠误差(aliasing error)问题
• 需要一种分辨率无关、任务不可知的通用框架来统一处理多种医学图像下游任务

方法详解

整体架构

NOIR 包含两个核心模块： 1. 连续函数表示模块：用 INR 将离散信号嵌入连续函数空间 2. 神经算子映射模块：在隐式表示的潜在调制空间之间学习映射

连续函数表示

• 对每个离散信号 \(f_i^d\)，学习一个连续函数 \(f_i\)，用 INR \(\phi_i(x; \theta, \gamma_i)\) 参数化
• \(\theta\) 为数据集级别的共享参数，\(\gamma_i\) 为信号特定参数
• \(\gamma_i\) 不直接优化，而是通过 hypernetwork \(M_\psi\) 从潜在向量 \(z_i\) 映射得到：\(\gamma_i = M_\psi(z_i)\)
• 共享参数捕获通用结构（背景、解剖、采集特征），\(\gamma_i\) 编码个体差异（解剖变异、病理）

元学习训练方案

• 外循环：优化共享参数 \((\theta, \psi)\)
• 内循环：对每个信号优化其潜在表示 \(z_i\)（初始化为 0，K 步梯度下降）
• 测试时冻结 \((\theta, \psi)\)，仅优化新信号的 \(z^*\)

神经算子映射

• 对输入输出信号对分别得到潜在表示 \(z_{in}^i\) 和 \(z_{out}^i\)
• 用 MLP + 残差连接学习映射 \(\hat{z}_{out} = \mathcal{T}(z_{in})\)
• 损失函数为 MSE：\(\mathcal{L}_{NO} = \frac{1}{N}\sum_{i=1}^N \|\mathcal{T}(z_{in}^i) - z_{out}^i\|_2^2\)

ε-ReNO 理论保证

• NOIR 在实验上满足 Bartolucci 等人提出的 ε-ReNO 性质
• 输入潜在表示跨分辨率差异 \(\epsilon_{z_{in}} = 4.0 \times 10^{-6}\)，输出 \(\epsilon_{z_{out}} = 2.2 \times 10^{-5}\)
• 分割级别误差 \(\epsilon_{seg} = 1.8 \times 10^{-2}\)，证明了极小的混叠误差

实验关键数据

分割任务

数据集	方法	100% DSC	10% DSC
Shenzhen	U-Net	0.95	0.75
Shenzhen	NOIR	0.94	0.93
OASIS-4	U-Net	0.95	0.40
OASIS-4	NOIR	0.85	0.85

• NOIR 在低分辨率(10%)下显著优于所有基线：Shenzhen 上 DSC 0.93 vs U-Net 0.75
• OASIS-4 在 10% 分辨率下 NOIR DSC 0.85 vs U-Net 0.40，优势极为明显

形状补全（SkullBreak 3D）

• NOIR 在 10% 分辨率 DSC 0.86，优于 3D U-Net 的 0.71
• 全分辨率下 NOIR 0.87 vs 3D U-Net 0.96，有差距但跨分辨率稳定

图像合成与翻译

任务	方法	100% PSNR
US Synthesis	NOIR	31.83
US Synthesis	AttU-Net	28.55
fastMRI	NOIR	22.87
fastMRI	DDPM	25.45

• 超声合成任务 NOIR PSNR 31.83 大幅领先所有基线(+3.28 dB)
• fastMRI 翻译任务相对较弱，但跨分辨率完全稳定

分辨率鲁棒性

• 从 32² 到 200² 五种分辨率，DSC 稳定在 0.93-0.94
• 所有基线在低分辨率下性能显著下降，NOIR 几乎不变

亮点

1. 范式创新：首次系统性地将医学图像计算任务统一建模为连续函数空间之间的算子学习，涵盖分割、补全、翻译、合成四大任务
2. 分辨率无关：NOIR 在不同分辨率下性能高度一致，克服了传统方法对网格分辨率的依赖
3. ε-ReNO 验证：实验证明 NOIR 满足神经算子的关键理论性质，混叠误差极小
4. 模块化设计：输入 INR、输出 INR 和 NO 独立训练，INR 可跨任务复用
5. 架构简洁：NO 模块仅用 MLP+残差连接即可完成函数空间映射

局限性

1. 全分辨率性能仍有差距：在分割和形状补全任务的全分辨率设定下，NOIR 比最佳网格方法低 1-11%
2. 依赖监督学习：需要成对标注数据，无法应用于无监督场景（如配准）
3. 潜在维度与 NO 复杂度耦合：高维潜在空间需要更大数据集和更复杂 NO 架构
4. 细粒度细节恢复不足：形状补全中眶区等精细几何特征恢复较差
5. 训练流程复杂：需分阶段训练输入 INR、输出 INR 和 NO，整体流程较繁琐

评分

• 新颖性: ⭐⭐⭐⭐⭐ — 将 INR + Neural Operator 系统性引入医学图像计算，范式级创新
• 实验充分度: ⭐⭐⭐⭐ — 4 个任务 5 个数据集，消融和理论验证完整，但数据集规模偏小
• 写作质量: ⭐⭐⭐⭐ — 理论建模清晰，公式推导严谨
• 价值: ⭐⭐⭐⭐ — 分辨率鲁棒性有实际临床价值，但全分辨率性能差距限制了即时应用