跳转至

Adaptive Selection of Sampling-Reconstruction in Fourier Compressed Sensing

会议: ECCV 2024
arXiv: 2409.11738
代码: 无公开链接
领域: 模型压缩 / 医学图像
关键词: 傅里叶压缩感知, 自适应采样, MRI加速, 贝叶斯不确定性, 超分辨率

一句话总结

提出ℋ1.5框架：为每个输入数据自适应选择最佳采样mask-重建网络对（J=3对），利用超分辨率空间生成模型量化高频贝叶斯不确定性来决定采样策略，理论证明优于联合优化ℋ1（非自适应）和自适应采样ℋ2（Pareto次优）。

背景与动机

傅里叶压缩感知(CS)中（如MRI），采样策略和重建网络需要共同优化。现有两类方法各有致命缺陷： - ℋ1（联合优化采样-重建）：学习全局固定采样mask，对所有数据用同一mask，无法适配不同图像的频率特性 - ℋ2（自适应采样）：为每个输入生成最优mask，但(1)mask生成器优化困难（离散空间反向传播）且(2)单一重建网络无法对所有不同mask都最优（Pareto次优）

核心问题

如何实现对每个输入自适应的采样，同时避免离散空间优化和Pareto次优问题？

方法详解

整体框架

  • 预训练J=3组(采样mask, 重建网络)对：{(M₁,θ₁), (M₂,θ₂), (M₃,θ₃)}
  • 推理时：先采低频分量→用SR空间生成模型量化高频不确定性→选择最匹配的(Mⱼ,θⱼ)对→额外采对应高频→用θⱼ*重建

关键设计

  1. 分段回归思想: ℋ1.5类似分段线性回归，将数据空间按高频特性聚类，每个子集有专属的采样-重建对。定理3.1证明ℋ1⊆ℋ1.5（自适应一定不比非自适应差），定理3.2证明当mask生成器产生有限种mask时ℋ1.5优于ℋ2（分离的θⱼ实现Pareto最优）。

  2. 高频贝叶斯不确定性量化: 用条件normalizing flow的SR空间生成模型从低频重建图像生成S个候选高分辨率样本，计算k空间的样本方差作为不确定性估计。高方差位置代表高频信息不确定→更需要被采样。

  3. Mask构建: 根据不确定性聚类为J个簇，对每个簇通过rejection sampling生成随机化mask（引入随机性有利于SSIM）。每个mask配专属重建网络独立训练。

  4. 推理时的自适应选择: 比较输入的不确定性分布与J个聚类中心的匹配度（相关系数最大的中心对应的mask），选择最佳对。

损失函数 / 训练策略

  • 重建损失：1-SSIM（面部图像用L1）
  • J个重建网络独立训练，互不干扰
  • SR生成模型单独预训练
  • 单卡A100或3090Ti

实验关键数据

场景 指标 本文(ℋ1.5) ℋ1最佳(VD/LOUPE) ℋ2(Policy)
CelebA 8× SSIM 0.9405 0.9073 0.8501
CelebA 16× SSIM 0.8952 0.8734 0.8394
fastMRI 2D 4× SSIM 0.9704 0.9698 0.9698
fastMRI 2D 8× SSIM 0.9585 0.9578 0.9572
fastMRI 1D 4× SSIM 0.9624 0.9603 0.9569
fastMRI 1D 8× SSIM 0.9407 0.9367 0.9240

消融实验要点

  • J=1→2提升最大，J=2→3→4平均性能趋于平稳，但J↑对离群值鲁棒性持续提升
  • rejection sampling vs sorted-k-means：SSIM差异显著（0.9704 vs 0.9612）
  • 自身不确定性排序(Sorted-Self) vs 他人(Sorted-Another)：自身一致最优，验证SR不确定性有效

亮点 / 我学到了什么

  • ℋ1.5=ℋ1和ℋ2的"中间路线"非常实用：用有限数量(J=3)的采样-重建对覆盖数据变异，避免了连续搜索离散mask空间的难题
  • 用SR生成模型的样本方差作为不确定性估计是一个巧妙的代理——不需要重建，只需在低频信息基础上生成多个超分辨率样本
  • 理论推导(定理3.1, 3.2)简洁有力，证明了方法论的性优性
  • 对MRI临床场景考虑周到：多切片成像中SR计算可与其他切片ACS采集并行

局限性 / 可改进方向

  • SR生成模型可能有不准确性，高频不确定性估计可能有误差
  • J的选择是手动的，未自适应确定
  • 需要预训练SR模型+J个重建网络，训练总量较大
  • 高加速率下（如16×）MRI实验的改进幅度较小

与相关工作的对比

  • LOUPE (ℋ1): 固定采样mask联合优化，非自适应；本文自适应且理论更优
  • Policy-based (ℋ2): 试图自适应但单重建网络Pareto次优，且在多线圈设置下收敛为非自适应
  • 贝叶斯自适应采样(Sanchez): 也用生成模型估不确定性，但仍单重建网络

与我的研究方向的关联

  • "有限专家选择"的思路（J个mask-网络对）类似mixture of experts，可迁移到其他需要自适应处理策略的场景
  • 目前ideas/中无直接关联idea

评分

  • 新颖性: ⭐⭐⭐⭐ 分段回归视角处理CS问题的统一框架有理论新意
  • 实验充分度: ⭐⭐⭐⭐ 多数据集(CelebA+fastMRI)、多采样模式(1D/2D)、多加速率，消融全面
  • 写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰完整，ℋ1/ℋ1.5/ℋ2的层次类比很好理解
  • 对我的价值: ⭐⭐ CS-MRI非我主攻，但自适应选择的框架思路值得借鉴