SEPT: Semantically Expanded Prompt Tuning for Audio-Language Models¶

会议: ACL 2026
arXiv: 2601.20867
代码: 无
领域: 音频语言模型 / 提示调优
关键词: 提示调优, 音频语言模型, 语义扩展, Base-New权衡, 泛化性

一句话总结¶

SEPT 通过利用 LLM 生成语义邻居并设计带边距约束的语义扩展损失来正则化提示嵌入空间，显著缓解了音频语言模型（ALM）提示调优中的 Base-New Tradeoff 问题，建立了 ALM 提示泛化的首个系统性评估基准。

研究背景与动机¶

领域现状：提示调优在视觉语言模型（VLM）中已取得显著进展，并开始向音频语言模型（ALM，如 CLAP）扩展。CoOp 等方法通过学习连续提示向量替代手工模板，在 seen 类别上显著提升性能。

现有痛点：提示调优在 ALM 中严重过拟合于 base（已见）类别，导致对 new（未见）类别的泛化能力大幅下降——即 Base-New Tradeoff（BNT）。这个问题在 ALM 中比 VLM 更严重，因为音频基准通常只有几十个类别（语义稀疏），学习到的提示缺乏足够的语义支撑来维持几何内聚性。

核心矛盾：学习到的提示嵌入破坏了预训练文本嵌入空间的语义结构——类别与其语义邻居之间的相似性在提示调优后显著减弱，导致模型无法利用语义关系泛化到未见类别。

本文目标：(1) 建立 ALM 提示泛化的首个评估基准；(2) 设计即插即用的框架缓解 BNT。

切入角度：用 LLM 为每个类别生成语义邻居（同义词、声学变体），将这些邻居融入提示调优过程，显式正则化嵌入空间使每个类别与其语义邻居形成紧凑簇。

核心 idea：通过语义邻居扩展每个类别的语义覆盖范围，用拉近正样本-推远负样本的损失保持嵌入空间的语义结构，从而在提升 base 性能的同时保持对 new 类别的泛化。

方法详解¶

整体框架¶

SEPT 是即插即用框架，可集成到任何提示调优方法中。流程：(1) 用 LLM 为每个类别生成 N 个语义邻居；(2) 计算边距约束（用 T 个手工提示的平均距离作为参考）；(3) 训练时在标准交叉熵损失基础上添加语义扩展损失 \(\mathcal{L}_{se}\)。推理时不增加任何计算开销。

关键设计¶

语义邻居生成:
- 功能：扩展每个类别的语义覆盖范围
- 核心思路：用 LLM 为每个类名 \(c_i\) 生成 \(N\) 个语义相关词汇 \(\{p_i^1, ..., p_i^N\}\)，捕捉细粒度的声学变体和自然语言表达。这些邻居通过共享的可学习提示和冻结文本编码器产生嵌入
- 设计动机：音频数据集类别少导致语义空间稀疏，邻居提供额外的语义锚点
边距约束的语义扩展损失:
- 功能：在保持自然语义距离的前提下正则化嵌入空间
- 核心思路：两个组件——(a) 类内对齐损失 \(\mathcal{L}_{\text{intra}}\)：当类别嵌入 \(\mathbf{z}_i\) 与其正邻居 \(\mathbf{p}_i^n\) 的距离超过预计算边距 \(m_{i,i,n}\) 时施加拉力；(b) 类间分离损失 \(\mathcal{L}_{\text{inter}}\)：当类别嵌入与其他类的邻居的距离小于预计算边距 \(m_{i,j,n}\) 时施加推力。边距通过 \(T\) 个手工提示的平均 L2 距离计算，反映原始语义距离
- 设计动机：朴素的拉近-推远可能过度压缩正样本或过度分离负样本——边距约束保留了自然的语义层次（如"铃"和"钟"应近，"爆炸"和"鸟鸣"应远）
即插即用集成:
- 功能：无缝集成到多种提示调优基线
- 核心思路：总损失 \(\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{ce}} + \lambda \cdot \mathcal{L}_{\text{se}}\)，\(\lambda\) 为平衡超参数。可与 CoOp、CoCoOp、KgCoOp、DePT 等方法兼容，不影响推理效率
- 设计动机：提供通用的正则化机制，而非绑定到特定方法

损失函数 / 训练策略¶

标准交叉熵 + 语义扩展损失（类内对齐 + 类间分离，均为 hinge 损失形式）。文本和音频编码器冻结，仅优化提示向量。

实验关键数据¶

主实验¶

11 个音频数据集平均（Base-to-New 泛化）

方法	Base	New	H (调和均值)
CoOp	65.00	34.09	42.83
CoOp + SEPT	64.36	42.98	49.70
CoCoOp	69.13	36.83	46.26
CoCoOp + SEPT	68.63	42.59	50.65
KgCoOp	37.99	37.42	36.39
KgCoOp + SEPT	58.92	45.28	49.79

消融实验¶

配置	Base	New	H	说明
CoOp + SEPT (完整)	64.36	42.98	49.70	最优
仅 \(\mathcal{L}_{\text{intra}}\)	—	—	下降	缺少类间分离
仅 \(\mathcal{L}_{\text{inter}}\)	—	—	下降	缺少类内紧凑
无边距约束	—	—	下降	过度压缩/分离

关键发现¶

SEPT 在 New 类别上的提升最为显著（CoOp: 34.09→42.98, +8.89%），同时 Base 仅微降（65.00→64.36）
KgCoOp 受益最大（H: 36.39→49.79, +13.4%），说明 SEPT 与已有正则化方法互补
SEPT 是首个在 ALM 中系统评估 base-to-new 泛化和跨数据集迁移的工作
边距约束对防止正样本过度压缩至关重要——没有边距时性能下降

亮点与洞察¶

发现 BNT 在 ALM 中比 VLM 更严重的原因是"语义稀疏性"——这个分析清晰且有说服力，为解决方案提供了直接指导
边距约束的设计很精妙——用手工提示的距离作为"应该保持的自然距离"参考，既简单又有效
即插即用设计使其可以直接增强多种现有方法，实用性强

局限与展望¶

语义邻居的质量依赖 LLM，对于专业领域（如医学音频）可能需要领域知识
仅在音频分类任务上验证，音频检索、音频描述等任务未覆盖
边距计算需要 \(T\) 个手工提示，增加了预处理步骤
未探索视觉-语言模型中同样适用性的可能

评分¶

新颖性: ⭐⭐⭐⭐ 语义扩展的思路在 VLM 中有类似工作，但在 ALM 中首次系统性应用和评估
实验充分度: ⭐⭐⭐⭐⭐ 11 个数据集、四种基线方法、完整消融、base-to-new + 跨数据集
写作质量: ⭐⭐⭐⭐ 动机和方法阐述清晰
价值: ⭐⭐⭐⭐ 为 ALM 提示泛化建立了基准并提供了有效解决方案