M3SR: Multi-Scale Multi-Perceptual Mamba for Efficient Spectral Reconstruction

会议: AAAI 2026
arXiv: 2601.08293
代码: https://github.com/zhangyuzecn/M3SR
领域: 遥感 / 高光谱重建
关键词: 高光谱重建, Mamba, 多尺度U-Net, 多感知融合, 光谱建模

一句话总结

提出 M3SR，基于 Mamba 的 U-Net 架构，通过多感知融合 (MPF) 模块在空间、频率和光谱三个维度并行建模并自适应融合，以 2.17M 参数和 100.9G FLOPs 实现 4 个基准上的 SOTA 高光谱重建（NTIRE2022 PSNR 31.40）。

研究背景与动机

1. 领域现状：从 RGB 图像重建高光谱图像 (HSI) 是遥感重要任务。MST++ 等 Transformer 方法有效但计算量大，Mamba 以线性复杂度成为替代选择。

2. 现有痛点：现有 Mamba 方法 (1) 仅单一空间感知，忽略频率和光谱维度；(2) 单尺度特征提取，缺乏多尺度结构。

3. 核心 idea：三分支并行感知（空间 VMamba + 频率 DWT + 光谱 S6 SSM）+ U-Net 多尺度融合。

方法详解

整体框架

U-Net 编码器-解码器，三尺度（全局/中间/局部），DWT 下采样、IDWT 上采样。核心是 MPF 模块。

关键设计

1. 空间感知分支：VMamba 的 SS2D（2D 选择性扫描）捕获长程空间依赖
2. 频率感知分支：DWT 分解为 4 子带(LL/LH/HL/HH)，各自经 VSS 块处理后 IDWT 重建
3. 光谱感知分支：S6 选择性 SSM 沿通道维度建模光谱依赖，G 组扩展
4. 自适应融合：三个可学习权重 \(\omega_a, \omega_f, \omega_e\) 加权组合 + 残差

损失函数 / 训练策略

MAE (L1)。Adam, lr=0.0004, 余弦退火, 100 epochs, 单 4090 GPU。

实验关键数据

主实验

方法	参数(M)	FLOPs(G)	NTIRE2022 PSNR↑	CAVE PSNR↑
MST++	1.62	177.7	30.18	34.65
GMSR	0.019	8.0	26.92	34.58
M3SR	2.17	100.9	31.40	35.61

消融实验

变体	RMSE↓	PSNR↑	SAM↓
无空间分支	0.0381	30.49	12.55
无频率分支	0.0365	30.59	6.52
无光谱分支	0.0369	30.36	6.28
完整M3SR	0.0343	31.40	6.62

关键发现

• 去掉空间分支 SAM 劣化最大(6.62→12.55)——空间依赖对光谱角度映射关键
• G=4 组最优；G=8/16 增加成本但无收益
• 三分支互补且均不可或缺

亮点与洞察

• 三维感知解耦+自适应融合可迁移到其他多维信号重建任务
• 2.17M 参数即达 SOTA，远轻于 FMNet(11.8M) 和 HRNet(31.7M)

局限性 / 可改进方向

• 仅在高光谱重建上验证，其他光谱成像任务效果未知
• 固定 G=4 超参，自适应分组策略可能更优

相关工作与启发

• vs MST++: PSNR 提升 1.22dB 且 FLOPs 仅 56%
• vs GMSR: 精度大幅领先但参数量较高(2.17M vs 0.019M)

评分

• 新颖性: ⭐⭐⭐⭐ Mamba+三维感知融合组合有新意
• 实验充分度: ⭐⭐⭐⭐ 4个基准+详细消融+分组分析
• 写作质量: ⭐⭐⭐⭐ 架构描述清晰
• 价值: ⭐⭐⭐⭐ 轻量高效有部署价值