ExpeTrans: LLMs Are Experiential Transfer Learners¶

会议: ACL 2025
arXiv: 2505.23191
代码: 无
领域: LLM/NLP
关键词: 经验迁移、任务泛化、提示工程、认知智能、自主学习

一句话总结¶

ExpeTrans 提出了一个自主经验迁移框架，让 LLM 模仿人类认知智能，将已有源任务的解题经验自动迁移到新遇到的目标任务上，在 13 个数据集上有效提升了 LLM 性能，无需为每个新任务人工收集经验。

研究背景与动机¶

领域现状：近年来研究表明，通过提示（prompt）为 LLM 提供文本化的任务解决经验可以有效提升其性能。这些经验通常包括任务描述、解题策略、常见错误模式等，帮助 LLM 更好地理解和完成任务。

现有痛点：现有方法获取这类经验需要大量人工标注或长时间的自动化收集过程——每个新任务都需要从头针对性地收集经验。随着用户查询中任务类型日益多样化，这种逐任务收集的方式在实际中不可行。

核心矛盾：经验对 LLM 性能提升有明确效果，但获取经验的成本与任务多样性之间存在根本冲突。人类可以将在一个领域学到的经验灵活迁移到新领域，但 LLM 目前缺乏这种自主迁移能力。

本文目标：设计一个框架，使 LLM 能够自主地将已积累的源任务经验迁移到新遇到的目标任务，摆脱逐任务收集的限制。

切入角度：作者从人类认知智能的角度出发——人类在面对新问题时，会自动回忆相关经验并进行适应性迁移。LLM 作为拥有广泛知识的模型，理论上也应具备类似的经验迁移能力。

核心 idea：构建一个包含经验提取、经验选择、经验适配和经验应用四个阶段的自主经验迁移框架，让 LLM 从源任务中提炼通用经验，并将其迁移应用到目标任务。

方法详解¶

整体框架¶

ExpeTrans 的 pipeline 包含四个阶段：（1）从已有源任务中提取结构化解题经验；（2）给定新的目标任务，自动选择最相关的源任务经验；（3）将选中的经验适配到目标任务的具体需求；（4）将适配后的经验融入提示中指导 LLM 完成目标任务。输入是一组已有源任务及其经验库、一个新的目标任务，输出是增强后的目标任务提示及其解答。

关键设计¶

经验提取模块（Experience Extraction）:
- 功能：从源任务的解题过程中提炼出结构化的可迁移经验
- 核心思路：利用 LLM 对源任务的解题记录进行分析和总结，提取出通用的解题策略、关键步骤模式和常见错误规避方法。这些经验被组织成结构化的文本表示，包含策略描述、适用条件和执行要点等维度
- 设计动机：原始的解题记录包含大量任务特定的细节，直接迁移噪声太大；结构化提取保留了可迁移的核心策略，去除了任务特定的表面特征
经验选择模块（Experience Selection）:
- 功能：从经验库中为目标任务选择最相关的源任务经验
- 核心思路：基于目标任务的特征描述，通过语义匹配计算目标任务与各源任务经验之间的相关度。匹配策略考虑任务类型相似性、所需能力的重叠度以及问题结构的类比关系。选择 top-k 个最相关的源任务经验进入下一阶段
- 设计动机：不是所有源任务经验对目标任务都有帮助，错误的经验迁移反而会引入噪声（负迁移）。精准选择是保证迁移有效性的关键
经验适配与应用模块（Experience Adaptation & Application）:
- 功能：将选中的经验调整适配到目标任务的具体需求，并融入提示
- 核心思路：LLM 分析源任务经验与目标任务之间的差异，对经验中的术语、策略细节进行针对性修改。例如，源任务是情感分析的经验"关注情感词汇"可以适配为目标任务（话题分类）的"关注主题指示词"。适配后的经验被格式化为提示的一部分，作为 LLM 解答目标任务时的参考指南
- 设计动机：直接使用源任务经验可能因领域差异而不适用，适配步骤弥合了源-目标之间的语义鸿沟

损失函数 / 训练策略¶

ExpeTrans 是一个纯推理时框架，不涉及模型参数更新。所有模块都基于 LLM 的 in-context learning 能力实现，通过精心设计的提示模板引导 LLM 执行各个阶段的任务。

实验关键数据¶

主实验¶

在 13 个数据集上的性能对比（涵盖分类、推理、生成等多种任务类型）：

方法	平均准确率	相对提升	说明
基础 LLM (zero-shot)	基线	-	无经验提示
基础 LLM + 人工经验	提升	人工cost高	逐任务人工编写
ExpeTrans (自动迁移)	显著提升	超过 zero-shot	自主经验迁移

ExpeTrans 在大部分数据集上都超过了 zero-shot 基线，在部分任务上接近甚至超过了人工编写经验的效果。

消融实验¶

配置	关键指标	说明
完整 ExpeTrans	最优	四模块协同
w/o 经验选择	下降	随机选择经验引入噪声
w/o 经验适配	下降	直接使用源经验不适配
w/o 经验提取	显著下降	使用原始解题记录太冗长

关键发现¶

经验选择模块影响最大——选错经验（负迁移）不仅没有帮助反而会降低性能，说明精准匹配是迁移有效性的关键
经验适配步骤对于跨领域迁移尤为重要，当源任务和目标任务差异较大时，适配后的性能提升更明显
框架在 13 个数据集上展现出较好的鲁棒性，即使任务类型差异较大也能找到可迁移的通用策略
详细的模块分析为每个组件的贡献提供了定量证据，12 张图表展示了全面的实验分析

亮点与洞察¶

认知智能类比的切入角度很有说服力——人类的经验迁移能力是认知智能的核心特征之一，将这一能力引入 LLM 系统是自然而有意义的探索
纯推理时框架不需要微调模型参数，部署成本极低，可以即插即用地与任何 LLM 配合；这种"经验即提示"的思路有很好的可扩展性
框架将经验迁移拆分为提取-选择-适配-应用四个清晰阶段，每个阶段都可以独立改进，模块化设计有利于后续迭代

局限与展望¶

框架完全基于 LLM 的 in-context learning，受限于上下文窗口大小，无法迁移过长的经验文本
经验库的质量和覆盖范围直接影响迁移效果，如果源任务库太小或太偏，可能找不到好的迁移源
论文未讨论计算开销——四阶段都需要 LLM 推理，总计至少 4 次 LLM 调用，比简单 zero-shot 慢很多
可以探索结合向量数据库的经验检索，以及在经验库不断扩大时的高效选择策略

评分¶

新颖性: ⭐⭐⭐⭐ 经验迁移框架将认知科学概念引入 LLM 提示设计，视角新颖
实验充分度: ⭐⭐⭐⭐ 13 个数据集 + 12 张图表，覆盖面广且分析详细
写作质量: ⭐⭐⭐⭐ 9 页论文结构紧凑，动机清晰
价值: ⭐⭐⭐⭐ 提供了一种低成本提升 LLM 任务泛化能力的实用方案