MPD-SGR: Robust Spiking Neural Networks with Membrane Potential Distribution-Driven Surrogate Gradient Regularization¶

会议: AAAI 2026
arXiv: 2511.12199
代码: 无
领域: AI安全
关键词: 脉冲神经网络, 对抗鲁棒性, 代理梯度, 膜电位分布, 正则化

一句话总结¶

从理论上建立了 SNN 鲁棒性误差与代理梯度（SG）幅值之间的联系，揭示减少膜电位分布（MPD）与 SG 梯度可用区间的重叠比例可有效降低对抗扰动敏感度，据此提出 MPD-SGR 正则化方法，在 vanilla training 和 adversarial training 设置下均大幅超越现有 SNN 防御方法。

研究背景与动机¶

脉冲神经网络（SNN） 模拟大脑以二进制脉冲编码信息的方式，相比 ANN 具有天然的鲁棒性优势——噪声过滤特性和脉冲编码的随机性被认为是关键因素。然而随着代理梯度（SG）方法使深层 SNN 训练成为可能，SNN 也开始暴露于基于梯度的对抗攻击威胁之下。

现有 SNN 鲁棒性研究的三条路线：

结构参数：泄漏因子 τ、阈值 $v_{th}$ 等（如 FEEL 演化泄漏因子）→ 利用膜电位泄漏特性的噪声过滤效果

神经编码：Poisson 编码的随机性比直接编码更鲁棒（如 NDL、StoG）→ 利用信息传递过程中的噪声减弱

从 ANN 借鉴：对抗训练（AT）、Lipschitz 正则化（RAT）→ 但未充分考虑 SNN 的独特性

被忽视的关键因素：梯度幅值反映了模型对输入扰动的敏感度，而 SNN 中梯度幅值主要由膜电位分布（MPD）与 SG 函数的交互决定。现有工作（InfLoR-SNN、RecDis-SNN、LSG 等）研究 MPD 与 SG 的对齐是为了改善训练性能，但忽略了其对鲁棒性的影响。

核心动机：减少 MPD 与 SG 梯度可用区间的重叠比例 → 降低 SG 幅值 → 减小对扰动的敏感度 → 提升鲁棒性。但需谨慎平衡——过度减少重叠会阻碍梯度传播，影响训练。

方法详解¶

整体框架¶

MPD-SGR 在训练过程中对 SNN 每一层、每个通道、每个时间步的膜电位分布施加正则化，约束其与 SG 函数梯度可用区间的重叠面积 Ω，在保证训练有效性的同时增强鲁棒性。

关键设计¶

鲁棒性误差的理论分析

对抗扰动引起的误差上界： $$|\mathcal{L}(x+\delta) - \mathcal{L}(x)| \leq |\delta \odot \nabla_x \mathcal{L}(x)|_1 + g(\delta, x)$$

利用 LIF 动力学和 BPTT 将输入梯度优化重写为网络内部梯度优化： $$\min \sum_t \left|\frac{1}{L} \sum_{l=1}^{L} (P_1 \cdot P_2 \cdot P_3) \frac{\partial \mathcal{L}}{O_l^T}\right|_1$$

其中三个关键项： - $P_1$：扰动项（与泄漏因子相关 → FEEL 方法的依据） - $P_2$：权重项（→ Lipschitz 正则化的依据） - $P_3 = \prod_v \frac{\partial O_v^t}{\partial U_v^t}$：SG 项（本文关注且此前被忽视的因素）

设计动机：降低 SG 项 $P_3$ 的幅值可以直接减小鲁棒性误差上界。而 SG 幅值由膜电位在 SG 梯度可用区间内的比例决定。

膜电位分布的理论建模

定理 1：在带 tdBN 的迭代 LIF 模型中，膜电位服从高斯分布： $$\overline{U}_c^l(t) \sim \mathcal{N}(\beta_c D(\tau, t) - S(t), (\lambda_c \alpha V_{th})^2 D(\tau^2, t))$$

其中 $D(\tau, t) = \sum_{i=1}^{t} \tau^{t-i}$ 是累积衰减函数。

即 MPD 的均值 μ 和标准差 σ 由 tdBN 参数（$\beta_c$, $\lambda_c$）、LIF 参数（$\tau$, $V_{th}$）和时间步 t 共同决定 → MPD 可通过学习网络参数来优化。

MPD-SG 重叠面积的推导与正则化

假设 SG 函数（三角形）的梯度可用区间为 $[-\gamma, \gamma]$，MPD 为 $\mathcal{N}(\mu, \sigma^2)$，重叠面积： $$\Omega = \Phi\left(\frac{\mu + \gamma}{\sigma}\right) - \Phi\left(\frac{\mu - \gamma}{\sigma}\right)$$

其中 $\Phi$ 是标准正态 CDF。最终 MPD-SGR 正则化损失： $$\mathcal{L}_{MPD-SGR}^b = \frac{1}{LCT} \sum_{l,c,t} \left[\Phi\left(\frac{\mu_c^l(t) + \gamma}{\sigma_c^l(t)}\right) - \Phi\left(\frac{\mu_c^l(t) - \gamma}{\sigma_c^l(t)}\right)\right]$$

对每一层 l、每个通道 c、每个时间步 t（除最后线性输出层）的重叠面积求和。

设计动机：Ω 越小 → SG 幅值越小 → 模型对扰动越不敏感。但 Ω 过小会阻断梯度传播，系数 η 平衡鲁棒性与训练效果。

损失函数 / 训练策略¶

\[\mathcal{L}^b = \mathcal{L}_{task}^b + \eta \mathcal{L}_{MPD-SGR}^b\]

$\mathcal{L}_{task}$：标准分类交叉熵损失
η 控制正则化强度
对抗训练（AT）时使用 PGD 对抗样本（k=2, ε=2/255）
攻击设置：ε=8/255, PGD/BIM 迭代步数 k=7, 步长 α=0.01

实验关键数据¶

主实验：与 SOTA 方法对比（VGG11, T=8）¶

Vanilla Training：

方法	Clean	FGSM	PGD	BIM
REG	92.49	25.18	0.88	0.60
StoG	91.64	16.22	0.28	0.12
DLIF	92.01	11.52	0.08	0.06
FEEL	90.08	29.17	6.67	5.99
SR	91.04	31.72	8.55	7.28
MPD-SGR	91.63	47.59	20.55	16.85
提升	-0.86	+15.87	+12.00	+9.57

Adversarial Training：

方法	Clean	FGSM	PGD	BIM
RAT	91.41	45.00	22.95	20.80
FEEL	89.00	45.62	29.52	28.39
SR	88.26	44.28	28.63	27.03
MPD-SGR	90.69	59.27	33.38	32.61
提升	-0.72	+13.52	+3.86	+4.22

CIFAR-100 上同样大幅领先（Vanilla: FGSM +18.35%；AT: FGSM +16.35%）。

消融实验：不同 SG 函数（CIFAR-10, VGG11）¶

模型+SG函数	方法	Clean	FGSM	PGD	BIM
VGG11+Rectangular	REG	91.85	24.00	3.13	2.33
VGG11+Rectangular	Ours	91.23	43.28	15.82	14.20
VGG11+Sigmoid	REG	92.15	19.42	0.24	0.15
VGG11+Sigmoid	Ours	89.38	37.25	9.26	7.23
VGG11+Superspike	REG	86.82	21.39	0.82	0.50
VGG11+Superspike	Ours	84.45	43.42	6.32	4.50

→ MPD-SGR 在三种 SG 函数上均一致提升鲁棒性，验证了方法的泛化性。

不同编码方式（Tiny-ImageNet, VGG16）¶

编码方式	方法	Clean	FGSM	PGD
Direct (DIR)	基线	57.90	2.04	0.01
Direct (DIR)	+Ours	54.78	14.33	5.72
Poisson (POS)	基线	48.14	6.79	2.68
Poisson (POS)	+Ours	47.83	20.42	8.21
RSC	基线	47.47	22.63	13.75
RSC	+Ours	46.98	35.06	17.60

→ MPD-SGR 与不同脉冲编码方案兼容，可叠加使用。

关键发现¶

Vanilla Training 下效果最显著：无 AT 时基线 SNN 在 PGD 下几乎为 0%，MPD-SGR 提升到 ~20%
Clean 精度损失极小：-0.86%（CIFAR-10）→ 鲁棒性-精度 trade-off 优异
SR 方法虽然也提升鲁棒性，但 clean 精度暴跌（CIFAR-100 上 66.76%），MPD-SGR 则保持 70.42% → 实用性更强
黑盒攻击下同样有效 → 鲁棒性源于方法的内在特性而非梯度混淆
非梯度攻击（随机噪声）下也适用：Gaussian Noise 下 CIFAR-100 精度 53.01% vs FEEL 的 32.63%
跨架构有效：VGG11 和 WRN16 上一致提升

亮点与洞察¶

理论贡献扎实：
- 建立了 SG 幅值 → 鲁棒性误差的形式化关系
- 证明了 MPD 在 LIF+tdBN 下的高斯分布形式（定理 1）
- 推导了 MPD-SG 重叠面积 Ω 的解析表达式
正则化设计优雅：基于 CDF 的重叠面积公式可以直接反向传播，无需额外近似
极强的泛化性：跨 SG 函数、跨编码方式、跨架构、跨攻击类型均有效
与现有方法正交：可以和对抗训练、编码方法叠加使用
连接了 SG 优化和鲁棒性两个研究方向：此前 SG-MPD 对齐只用于改善训练，本文首次将其用于增强鲁棒性

局限与展望¶

η 参数需要调节（虽然附录有分析但没有自适应机制）
理论分析基于三角形 SG 函数，虽然实验验证了其他 SG 函数也有效，但理论扩展到任意 SG 函数有待完善
仅在图像分类任务上验证，事件驱动任务（如 neuromorphic vision）的适用性未探索
时间步 T 固定（T=4 或 T=8），更长时间序列上的效果和效率待研究
定理 1 的推导假设了 tdBN 的使用 → 不使用 tdBN 的 SNN 需要重新推导 MPD

评分¶

新颖性: ⭐⭐⭐⭐⭐（SG-MPD 交互用于鲁棒性的全新视角，理论推导严谨）
实验充分度: ⭐⭐⭐⭐⭐（3 数据集 × 2 架构 × 4 攻击 × 3 SG 函数 × 3 编码 × AT/非AT）
写作质量: ⭐⭐⭐⭐（理论→方法→实验的逻辑链清晰）
价值: ⭐⭐⭐⭐⭐（为 SNN 鲁棒性提供了理论根基扎实的通用防御策略）