Adaptive Compressed Sensing with Diffusion-Based Posterior Sampling¶
会议: ECCV 2024
arXiv: 2407.08256
代码: 无公开代码
领域: 医学图像 / 压缩感知 / 扩散模型
关键词: Adaptive Compressed Sensing, Posterior Sampling, Diffusion Models, MRI, CT
一句话总结¶
提出AdaSense，利用预训练扩散模型的零样本后验采样来量化重建不确定性，从而自适应地选择最优测量矩阵，无需额外训练即可在人脸图像、MRI和CT等多领域实现优于非自适应方法的压缩感知重建。
背景与动机¶
压缩感知（CS）通过只采集少量测量就能高保真重建图像，在MRI和CT等采集耗时或有辐射的场景中意义重大。自适应CS更进一步：根据已获取的数据动态选择后续测量方向，理论上比固定策略能用更少的测量达到更好的重建。然而，现有的自适应CS方法普遍存在两大痛点：(1) 需要针对特定模态和采样策略训练复杂模型（如用强化学习训练策略网络），适配新场景成本高；(2) 很多方法只支持特定的退化类型（如仅支持像素子采样），泛化性差。
核心问题¶
如何设计一个免训练、跨模态通用的自适应压缩感知算法？关键难点在于：自适应选择下一步测量需要知道当前重建的不确定性分布（后验协方差），而这个分布通常难以显式获得。论文的核心问题就是：能否利用扩散模型的后验采样能力，通过生成多个样本来估计不确定性，从而指导测量选择？
方法详解¶
AdaSense的思路非常直观：每一轮先用扩散模型生成多个条件后验样本，用这些样本的统计信息（协方差）估计当前重建的不确定性，然后选择不确定性最大方向作为下一次测量方向。如此迭代，直到采集足够多的测量。
整体框架¶
输入：预训练的扩散模型、当前已有的测量 \(\mathbf{y}_{0:nr}\)。每一步： 1. 用零样本后验采样器（DDRM）从 \(p(\mathbf{x}|\mathbf{y}_{0:nr})\) 生成 \(s\) 个后验样本 2. 用样本计算经验后验协方差矩阵 \(\text{Cov}[\mathbf{x}|\mathbf{y}_{0:nr}]\) 3. 取协方差最大的 \(r\) 个特征方向（主成分）作为新的测量方向 \(\mathbf{H}_{nr:nr+r}\) 4. 用新方向做测量，得到 \(\mathbf{y}_{nr:nr+r}\)，并入已有测量 5. 重复 \(N\) 步后，用所有测量做最终重建
关键设计¶
-
基于PCA的测量选择：在非约束场景下，最优的下一步测量矩阵就是后验协方差的前 \(r\) 个特征向量。这本质上是对条件分布做PCA——选择信息量最大（方差最大）的方向测量。这种选择在线性MMSE意义下是最优的。
-
约束测量场景的处理：在MRI中测量受限于傅里叶变换的行，CT中受限于Radon变换的行。直接优化Eq.5需要协方差矩阵满秩（要求 \(s \geq r\)，当 \(r\) 很大时不现实）。论文提出次优但实用的简化：固定重建矩阵为 \(\mathbf{H}^{\dag}\)，将问题简化为遍历所有可选测量矩阵并评估Eq.6的目标函数，用穷举搜索找最优。
-
后验采样加速：利用一致性后验采样器的性质——已选方向上方差为零，因此新选择的方向必然与之前正交。这意味着累积测量矩阵的SVD可以直接构造（\(U=I, \Sigma=I, V^T=\mathbf{H}\)），无需反复计算昂贵的SVD分解。此外，DDRM仅用25步NFE，大幅降低每次采样的计算成本。
损失函数 / 训练策略¶
AdaSense是完全免训练的。唯一需要的是一个预训练的扩散模型（用DDPM U-Net架构在对应领域数据上训练）。采样使用DDRM作为后验采样器，每个样本25步NFE。样本数量的经验规则是 \(s \approx \frac{4}{3} r\)，即样本数略多于每步测量数即可获得足够好的协方差估计。
实验关键数据¶
人脸图像重建（CelebA-HQ, 256×256, 192维测量）¶
| 方法 | PSNR↑ | SSIM↑ | LPIPS↓ | Face Sim↓ |
|---|---|---|---|---|
| Block Downsampling | 20.50 | 0.6128 | 0.3035 | 0.6134 |
| Bicubic Downsampling | 20.86 | 0.6193 | 0.2964 | 0.5865 |
| PCA (训练集) | 24.60 | 0.7190 | 0.2307 | 0.3010 |
| AdaSense | 26.20 | 0.7515 | 0.1950 | 0.2674 |
| AdaSense (Mean) | 26.87 | 0.7713 | 0.2449 | 0.2614 |
MRI重建（FastMRI膝关节, 640×368）¶
| 采样策略 | PSNR↑ | SSIM↑ |
|---|---|---|
| Random R10 (vertical) | 24.56 | 0.4786 |
| Equi-spaced R10 | 24.73 | 0.4767 |
| AdaSense R10 | 27.01 | 0.5229 |
| Poisson Disk R400 | 23.06 | 0.3728 |
| AdaSense R400 | 25.26 | 0.4124 |
MRI主动采集对比（与训练方法比较）¶
| 方法 | R8-30L PSNR | R8-30L SSIM | R16-2L PSNR | R16-2L SSIM |
|---|---|---|---|---|
| Low-to-High (非自适应) | 28.32 | 0.5948 | 25.66 | 0.4908 |
| Reducing Uncertainty | 28.66 | 0.6021 | 26.43 | 0.5386 |
| SS-DDQN | 28.99 | 0.6129 | 27.70 | 0.5691 |
| DS-DDQN | 28.98 | 0.6135 | 27.60 | 0.5650 |
| Greedy Oracle (上界) | 29.22 | 0.6264 | 28.23 | 0.5846 |
| AdaSense (Reconstructor) | 28.89 | 0.6108 | 27.51 | 0.5547 |
消融实验要点¶
- 自适应程度：总测量数 \(N \cdot r\) 固定，增加迭代次数 \(N\)（更自适应）显著提升PSNR和LPIPS，验证了自适应的价值
- 样本数量 \(s\)：\(s \approx \frac{4}{3}r\) 就足够，更多样本只带来边际提升。生成样本的结果与使用真实训练数据的PCA结果接近
- 约束 vs 非约束：非约束场景选PCA特征向量，约束场景用Eq.6遍历搜索，二者都有效
亮点¶
- 完全免训练的自适应压缩感知框架，只需要一个预训练的扩散模型，无需针对退化类型做任何微调
- 不确定性驱动的贪心测量选择策略非常直觉且理论上有solid的PCA/MMSE支撑
- 跨域通用性强：同一个算法框架无缝适配人脸图像、MRI k-space采样、CT稀疏视角重建三种完全不同的场景
- SVD加速技巧利用了一致采样器的正交性质，避免了反复SVD计算，使算法在实际中可行
- 在MRI主动采集上，免训练的AdaSense与基于强化学习训练的方法（SS-DDQN等）性能接近
局限性 / 可改进方向¶
- 计算成本高：每步需要生成多个后验样本，即使用快速DDRM仍然耗时。对于实时性要求高的临床场景是瓶颈
- 依赖后验采样器质量：AdaSense的天花板被底层扩散模型的质量决定，采样器的近似误差会影响不确定性估计
- 仅支持线性测量：无法处理非线性退化模型，限制了应用范围
- 贪心策略非全局最优：每步独立选择最优测量，未考虑对未来步骤的影响。全局优化可能进一步提升效果
- 可扩展方向：burst photography、best-next-view 3D重建、利用前一步样本加速后续采样
与相关工作的对比¶
- vs SS-DDQN/DS-DDQN（Pineda et al., MICCAI 2020）：基于强化学习的MRI主动采集方法，需要训练策略网络。AdaSense免训练但性能相当（差0.1-0.2 dB），且更灵活——换采样方案不需重新训练
- vs Reducing Uncertainty（Zhang et al., CVPR 2019）：也基于不确定性选择测量，但需要训练专门的重建网络。AdaSense用预训练扩散模型替代，思路更通用
- vs Active Deep Probabilistic Subsampling（van Gorp et al., ICML 2021）：端到端训练的自适应子采样，只支持像素级子采样。AdaSense支持任意线性测量（傅里叶、Radon等）
启发与关联¶
- 与扩散模型用于医学图像重建的ideas关联：本文证明了扩散模型后验采样在MRI/CT重建场景的实用性，可为 2D→3D医学蒸馏 提供重建阶段的baseline。不确定性估计的思路也可用于主动学习——选择最不确定的样本标注
- 自适应采样策略的泛化：不确定性驱动的贪心选择思路不局限于压缩感知，可以迁移到主动学习（选择信息量最大的样本）、实验设计（选择最优参数配置）等问题
- 免训练 = 强泛化：这个设计哲学值得借鉴——避免端到端训练的模块，只用预训练模型的通用能力，换来跨域的灵活性
评分¶
- 新颖性: ⭐⭐⭐⭐ 将零样本扩散后验采样引入自适应CS是全新视角，但核心思想（PCA选测量方向）是经典的
- 实验充分度: ⭐⭐⭐⭐ 覆盖人脸/MRI/CT三个领域，有自适应程度和样本数量消融，但CT实验相对简略
- 写作质量: ⭐⭐⭐⭐ 数学推导清晰，动机阐述到位，但约束测量部分的近似处理可以讲得更直观
- 价值: ⭐⭐⭐⭐ 免训练+跨域通用是很强的卖点，对医学成像领域有实际价值，但计算成本限制了即时临床应用