Understanding and Enforcing Weight Disentanglement in Task Arithmetic¶

会议: CVPR 2026
arXiv: 2604.17078
代码: GitHub
领域: 模型压缩
关键词: 任务算术, 模型合并, 权重解耦, 正交正则化, 任务向量

一句话总结¶

本文提出任务特征专业化（TFS）作为权重解耦的充分条件，揭示其几何结果是权重向量正交性，并基于此提出 OrthoReg 正则化方法，通过在微调时强制权重更新矩阵的列向量正交来促进任务向量解耦，显著提升各种任务算术方法的性能。

研究背景与动机¶

领域现状：任务算术（Task Arithmetic）是一种高效的无训练模型编辑范式，通过计算任务向量 \(\tau_t = \theta_t^* - \theta_0\)（微调权重与预训练权重之差）并进行代数运算（加法、减法）来组合、移除或类比不同技能。
现有痛点：虽然任务算术在实践中有效，但缺乏根本性的理论解释。现有的"权重解耦"概念（TTA 提出）描述了理想结果——不同任务向量的效果互不干扰——但没有揭示其根本原因。具体来说，预训练模型 \(\theta_0\) 或任务向量 \(\tau_t\) 需要什么内在属性才能实现解耦，这一问题未被充分探索。
核心矛盾：权重解耦是现象描述而非因果解释。现有方法要么计算开销大（如 TTA 需要计算 Jacobian），要么缺乏理论保证，无法可靠地生成高质量任务向量。
本文目标：回答两个核心问题：(1) 预训练模型的什么属性使其适合任务算术？(2) 如何构造能主动促进权重解耦的任务向量？
切入角度：从模型的内部特征分配机制入手，发现"任务特征专业化"是解耦的充分条件，而权重向量正交性是其可观测的几何结果。
核心 idea：TFS 是抽象不可直接强制执行的，但其几何结果——正交性——是具体可操作的。通过在微调时强制权重更新矩阵的内部正交结构，可以间接促进权重解耦。

方法详解¶

整体框架¶

输入是预训练模型 \(\theta_0\) 和多个下游任务。对每个任务分别微调时，在标准任务损失之外加上正交正则化项，约束权重更新矩阵 \(\Delta W\) 的列向量互相正交。微调完成后通过标准任务算术（\(\theta_{MT} = \theta_0 + \sum \alpha_t \tau_t\)）合并，得到多任务模型。

关键设计¶

任务特征专业化（TFS）理论:
- 功能：为任务算术的成功提供根本性理论解释
- 核心思路：定义任务特征专业化——模型能为不同任务分配不同的内部特征（权重矩阵的列向量）。形式化地，任务 \(t\) 的专业特征集 \(I_t\) 是使模型输出对激活值 \(z_k\) 敏感的特征索引集合。TFS 要求不同任务的特征集不相交（\(I_t \cap I_j = \emptyset\)）。证明 TFS 是权重解耦的充分条件：在 NTK 线性化假设下，TFS 保证干扰项 \(\tau_j^\top J(x) = 0\) 对所有 \(x \in \mathcal{D}_t\) 成立。同时证明 TFS 自然导致权重矩阵的块正交性。
- 设计动机：将 TFS 定位为连接功能属性（权重解耦）和几何属性（正交性）的共同原因，为方法设计提供理论指导
OrthoReg 正则化方法:
- 功能：在微调时主动促进权重解耦
- 核心思路：在标准微调损失上添加正交正则化项 \(\mathcal{L} = \mathcal{L}_{\text{task}}(\theta_0 + \Delta\theta) + \lambda \cdot \mathcal{L}_{\text{ortho}}(\Delta\theta)\)，其中 \(\mathcal{L}_{\text{ortho}} = \sum_l \|(\Delta W^{(l)})^\top \Delta W^{(l)} - I\|_F^2\)。该正则项惩罚每个更新矩阵的 Gram 矩阵偏离单位矩阵的程度，驱使 \(\Delta W\) 的列向量互相正交且具有单位范数。理论证明 OrthoReg 通过双重控制机制促进解耦：(1) 范数控制——约束 \(\|\tau_j\|_2\)；(2) 角度控制——驱使不同任务向量间的夹角趋近 90°。
- 设计动机：TFS 是理想化属性，实际中特征集会重叠。直接强制 TFS 不可行，但可以强制其几何结果（正交性）来间接实现解耦。OrthoReg 是简单的即插即用正则项，适用于任何微调方法
与 TTA 的理论统一:
- 功能：揭示不同方法成功的共同机制
- 核心思路：证明 OrthoReg 和 TTA（Tangent Task Arithmetic）虽然实现不同，但都通过实现任务向量间的正交性（\(\langle \tau_t, \tau_j \rangle \approx 0\)）来促进解耦。TTA 通过模型的 NTK 几何隐式实现，但计算代价高（内存翻倍，训练时间 2-3x）。OrthoReg 通过正则项显式实现，更直接高效。
- 设计动机：统一理论视角有助于理解现有方法的本质，并指导未来方法设计

损失函数 / 训练策略¶

总损失 \(\mathcal{L} = \mathcal{L}_{\text{task}} + \lambda \cdot \mathcal{L}_{\text{ortho}}\)，其中 \(\lambda\) 在 [0.1, 100] 范围内通过验证集选择。训练时冻结文本编码器，更新图像编码器。合并时使用统一缩放系数 \(\alpha\)，在 {0.0, 0.05, ..., 1.0} 上网格搜索。

实验关键数据¶

主实验¶

任务加法（8 个任务，ViT-L-14）：

方法	绝对准确率	归一化准确率	提升
Non-lin. FT	84.07%	89.19%	—
Non-lin. FT + OrthoReg	88.23%	100.08%	+4.16
TTA	86.19%	93.14%	—
TTA + OrthoReg	87.52%	96.44%	+1.33
ATT-FT	87.81%	93.59%	—
ATT-FT + OrthoReg	90.41%	100.05%	+2.60

任务否定（遗忘目标任务，ViT-L-14）：

方法	目标准确率↓	控制准确率↑	遗忘提升
ATT-FT	24.85%	76.42%	—
ATT-FT + OrthoReg	14.67%	75.40%	-10.18

消融实验¶

配置	绝对准确率	说明
ATT-FT + OrthoReg (ViT-L-14)	90.41%	完整方法
ATT-FT (无正则)	87.81%	去掉 OrthoReg 后降 2.6%
LoRA-ATT + OrthoReg	89.16%	PEFT 方法也有效
LoRA-ATT (无正则)	87.02%	去掉后降 2.14%

关键发现¶

归一化准确率超过 100%：Non-lin. FT + OrthoReg 在 ViT-L-14 上达到 100.08%，意味着合并后的多任务模型性能等同甚至超过 8 个独立微调模型，实现了近乎理想的权重解耦
任务向量余弦相似度显著降低：OrthoReg 使不同任务向量的余弦相似度接近 0，直接验证了理论预测的"角度控制"机制
对超参数不敏感：性能随 \(\lambda\) 增加稳步提升，且在宽范围的 \(\alpha\) 值上一致优于基线

亮点与洞察¶

TFS → WVO → WD 的因果链非常优雅：识别出"任务特征专业化"是连接功能属性和几何属性的共同原因，为从抽象性质到可操作约束的桥梁提供了范式。这种"找不到直接原因就强制其结果"的思路可广泛迁移。
归一化准确率超 100% 是最令人印象深刻的结果：证明正交约束不仅减少了任务间干扰，甚至让合并模型超越了独立模型，暗示某种正则化效应带来了额外收益。
OrthoReg 的简洁性令人赞赏：仅需一个正则项 \(\|(\Delta W)^\top \Delta W - I\|_F^2\)，无需修改架构或推理流程，可直接嵌入任何微调 pipeline。

局限与展望¶

理论依赖 NTK 线性化假设，对深度非线性网络的适用性有待进一步验证
目前仅在 CLIP-based ViT 上验证，缺乏对其他预训练范式（如 MAE、DINOv2）的实验
仅考虑了 8 个分类任务，未验证在更多任务（如 20+）或异构任务类型（检测、分割）上的表现
正交约束在列数 \(d\) 远大于行数 \(m\) 时可能过强，限制了表达能力
未来可探索自适应正交约束（根据任务相似度调整约束强度）

评分¶

新颖性: ⭐⭐⭐⭐⭐ TFS→正交性→解耦的理论链条新颖且完整，OrthoReg 设计简洁有力
实验充分度: ⭐⭐⭐⭐ 三个模型规模、多种基线方法的全面对比，但任务类型单一
写作质量: ⭐⭐⭐⭐⭐ 理论与方法的推导逻辑清晰，从原理到方法到实验一气呵成
价值: ⭐⭐⭐⭐⭐ 为任务算术提供了深刻的理论基础，OrthoReg 即插即用的实用性很强