Math Neurosurgery: Isolating Language Models' Math Reasoning Abilities Using Only Forward Passes¶

会议: ACL 2025
arXiv: 2410.16930
代码: https://github.com/bryanchrist/MathNeuro
领域: LLM Reasoning
关键词: 数学推理定位, 参数重要性, 技能隔离, 模型可解释性, 权重缩放

一句话总结¶

MathNeuro 提出了一种仅用前向传播就能隔离 LLM 中数学推理特定参数的方法，通过计算权重×激活的重要性分数并过滤掉通用语言任务也需要的参数，实现了精准的数学能力"手术"——剪除这些参数删除数学能力，缩放它们则提升 4-35% 数学性能。

领域现状：LLM 数学推理是活跃研究方向，但极少有工作探索数学推理如何编码在模型参数中
现有痛点：
现有参数重要性方法（如 Wanda）能找到对特定任务重要的参数，但无法隔离任务"特有"参数——数学重要参数与语言理解重要参数高度重叠
基于梯度的方法计算成本高，不适用于大模型
LAPE 等方法在不同模型上表现不一致
核心矛盾：数学推理涉及语言理解、计算、逻辑等多种能力交织，如何分离出数学"特有"的参数
本文要解决什么：高效隔离 LLM 中专门编码数学推理的参数
切入角度：用集合差集——数学重要参数减去通用语言重要参数 = 数学特有参数
核心idea一句话：\(T_{math} = \text{TopK}_{math} \setminus \text{TopK}_{non-math}\)

数学数据和非数学数据分别前向传播 → 计算每个参数的 \(S_{ij} = |W_{ij}| \cdot \|X_j\|_2\) → 每层取 Top-K% 参数 → 数学重要参数集减去非数学重要参数集 = 数学特有参数 → 可以剪除（删数学能力）或缩放（提升数学性能）。

完全无需训练。仅需前向传播（甚至单样本就几乎一样有效）。

干预方式	GSM8K 变化	MATH 变化	非数学任务变化
剪除 MathNeuro 参数	大幅下降	大幅下降	≈随机剪除
缩放 MathNeuro 参数	+4-17%	+5-35%	无显著变化