MEGState: Phoneme Decoding from Magnetoencephalography Signals¶

会议: NeurIPS 2025
arXiv: 2512.17978
代码: 无
领域: 脑机接口 / 语音解码
关键词: MEG, 音素解码, 状态空间模型, 多分辨率卷积, 脑机接口

一句话总结¶

提出 MEGState，一种融合多分辨率卷积和传感器级 SSM 的架构，用于从脑磁图(MEG)信号中解码音素，在 LibriBrain 数据集上显著超越基线方法。

研究背景与动机¶

现有痛点¶

现有痛点：领域现状：从脑活动解码语音表征对恢复瘫痪或严重语言障碍者的交流能力具有重要意义。侵入式脑机接口(如 ECoG)已能实现词错误率低于 5% 的连续语音重建，但其依赖神经外科植入，限制了可扩展性和临床可行性。

脑磁图(MEG)作为非侵入式替代方案，提供安全、可重复的语音相关神经活动探测手段，但面临三大挑战：

低信噪比: MEG 信号极其微弱

高时间分辨率: 产生高维度时间序列

稀疏神经表征: 语音信息在 MEG 中的表征稀疏

本文的动机是设计一种能同时捕获局部精细时间动态和长程时间依赖的架构，以克服上述挑战。

方法详解¶

整体框架¶

MEGState 以 MEG 信号 \(\mathbf{X} \in \mathbb{R}^{M \times T}\)（\(M\) 个传感器，\(T\) 个时间步）为输入，依次通过多分辨率卷积模块提取局部时间特征，再通过传感器级 SSM 建模全局时间依赖，最终通过平均池化和全连接层输出音素分类概率。

关键设计¶

多分辨率卷积模块(Multi-Resolution Convolution): 使用四个并行的一维卷积层，核大小分别为 \(f_{sample}/2\)、\(f_{sample}/4\)、\(f_{sample}/8\) 和 \(f_{sample}/16\)（\(f_{sample}\) 为采样率）。不同核大小捕获不同时间尺度的皮层响应特征。四路输出拼接得到 \(\mathbf{H} \in \mathbb{R}^{F \times M \times T}\)。设计动机：不同音素的皮层响应在不同时间尺度表现出不同特征，多分辨率设计能全面捕获这些差异。
传感器级 SSM (Sensor-wise SSM): 基于 S5 变体的状态空间模型，以传感器为单位建模全局时间依赖。模块包含 \(L\) 个层级化的 block，每个 block 由 SSM 层 + LayerNorm + 残差连接 + FFN 组成。S5 使用 HiPPO-N 矩阵作为状态矩阵 \(\mathbf{A}\)，通过对角化和零阶保持离散化实现高效递推。设计动机：SSM 擅长建模连续信号的长程依赖，传感器级处理保留了空间信息。
训练数据采样策略: 创新性地结合平滑和数据增强来提升信噪比并缓解音素标签不均衡。每步均匀采样两个音素标签 \(y_1, y_2\)，对每个标签采样 \(N'\) 个样本取平均构建类条件原型（降噪），然后用 mixup 系数 \(\alpha\) 混合两个原型及其标签。原型大小 \(N'=100\)，\(\alpha=0.5\)。

损失函数 / 训练策略¶

使用交叉熵损失训练
AdamW 优化器，\(\beta_1=0.9\)，\(\beta_2=0.999\)，学习率 \(10^{-4}\)
Batch size 32，训练 50 epochs
SSM block 数 \(L=2\)
利用类条件原型平均 + mixup 增强来同时解决低 SNR 和类别不均衡问题

实验关键数据¶

主实验¶

数据集：LibriBrain，包含单个被试听有声书的 MEG 记录，306 传感器 1kHz 采样，预处理后降至 250Hz，52.32 小时数据，39 个 ARPAbet 音素标签。

模型	Accuracy↑	Cohen's Kappa↑	Macro-F1↑	Leaderboard F1↑
Baseline	38.80±2.40	45.71±0.74	34.82±1.92	—
w/o Multi-Resol Conv	40.25±3.15	37.90±2.83	34.77±1.83	—
w/o Sensor-wise SSM	40.37±3.20	49.60±6.25	37.18±4.44	—
MEGState (完整)	45.53±1.88	54.19±2.42	41.11±2.20	55.74 (68.41)

消融实验¶

配置	Accuracy↑	Kappa↑	Macro-F1↑	说明
完整 MEGState	45.53	54.19	41.11	两模块协同最佳
去除多分辨率卷积	40.25 (-5.28)	37.90 (-16.29)	34.77 (-6.34)	Kappa 下降最大
去除 Sensor-wise SSM	40.37 (-5.16)	49.60 (-4.59)	37.18 (-3.93)	影响较温和

关键发现¶

MEGState 在所有指标上显著超越基线(p<0.05)：Accuracy +6.73，Kappa +8.48，Macro-F1 +6.29
两个模块都不可或缺：去除多分辨率卷积影响更大(尤其是 Kappa 从 54.19 骤降至 37.90)
音素级分析显示：MEGState 在 39 个音素中的 19 个上优于基线，10 个达到统计显著
Leaderboard 上通过 5 模型集成策略进一步将 Macro-F1 提升至 68.41%
训练样本多的音素通常解码效果更好，但有些低频音素也能被有效解码

亮点与洞察¶

训练数据采样策略出色: 通过类条件原型平均来降噪 + mixup 解决类别不均衡，一举两得，是应对低 SNR 脑信号的实用技巧
多分辨率卷积的设计直觉明确：不同音素在不同时间尺度有不同的皮层响应模式，这与语音处理的神经科学知识一致
SSM 相比 Transformer 更适合连续高采样率信号(如 250Hz MEG)，因为其对序列长度的扩展性更好
5 模型集成从 55.74 到 68.41 的巨大提升表明个体模型间存在较大互补性

局限与展望¶

仅在单个被试上验证，跨被试泛化能力未知
论文内容偏短(会议短文)，方法描述相对简洁，缺少深入分析
仅用音素分类评估，未尝试端到端语音重建或词级解码
多分辨率卷积的核大小与采样率硬绑定，不同采样率需要调整
未与其他 MEG 解码方法(如 MAD-MEG、NeuSpeech)进行直接比较
SSM 变体(如 Mamba)可能带来进一步改善
38~46% 的准确率虽显著超越基线，但距实用的脑机接口仍有差距

评分¶

新颖性: ⭐⭐⭐
实验充分度: ⭐⭐⭐
写作质量: ⭐⭐⭐
价值: ⭐⭐⭐⭐