Argument Mining in the Age of Large Language Models¶

会议: ACL 2025
arXiv: 无公开预印本
代码: 无
领域: NLP理解 / 论辩挖掘
关键词: 论辩挖掘, 大语言模型, 论证结构识别, 立场检测, 论证质量评估

一句话总结¶

本文系统性地研究了大语言模型时代下论辩挖掘（Argument Mining）任务的现状与挑战，通过全面的实验评估了LLM在论证组件识别、论证关系分类、论证质量评估等子任务上的表现，并提出了针对性的改进策略，揭示了LLM在结构化论辩理解方面的优势与不足。

研究背景与动机¶

领域现状：论辩挖掘（Argument Mining, AM）是NLP中一个重要的研究方向，旨在从非结构化文本中自动识别和提取论证结构，包括论证组件（claim、premise）识别、论证关系（support、attack）分类、论证质量评估等子任务。传统方法主要依赖基于特征工程的机器学习模型或小规模预训练语言模型（如BERT、RoBERTa）。

现有痛点：传统的论辩挖掘方法面临多重挑战：一是标注数据稀缺，高质量的论辩标注需要专业知识且标注一致性难以保证；二是论辩结构的复杂性和领域特异性，使得跨领域泛化能力差；三是现有模型难以捕捉长距离的论证依赖关系和隐含的论证逻辑。

核心矛盾：论辩挖掘需要深层次的语义理解和逻辑推理能力，而传统PLM的参数规模和预训练目标限制了其在这些高层语义任务上的表现。LLM虽然在通用NLP任务上展现了强大能力，但其在结构化论辩分析这一细粒度任务上的适用性尚未被系统性地研究。

本文目标：全面评估LLM在论辩挖掘各子任务上的能力边界，分析LLM的零样本/少样本表现，比较不同prompting策略的效果，并探索LLM与传统方法的互补性。

切入角度：作者从任务分解的角度出发，将论辩挖掘拆分为多个子任务进行逐一评估，同时设计了多种prompt工程策略（如chain-of-thought、task decomposition）来激活LLM的论辩理解能力。

核心 idea：通过系统性的benchmark实验揭示LLM在论辩挖掘中的能力谱系，并提出基于任务分解和结构化提示的方法来弥补LLM在细粒度论辩分析上的不足。

方法详解¶

整体框架¶

本文构建了一个全面的评估框架，涵盖论辩挖掘的主要子任务：（1）论证组件检测（Argument Component Detection），识别文本中的claim和premise；（2）论证关系分类（Argument Relation Classification），判断论证组件之间的support/attack关系；（3）论证质量评估（Argument Quality Assessment），评价论证的说服力、逻辑性等维度；（4）立场检测（Stance Detection），判断论证对特定话题的支持/反对态度。输入为原始文本或论证对，输出为相应的结构标签、关系标签或质量分数。

关键设计¶

多层次Prompt工程策略:
- 功能：设计适配论辩挖掘各子任务的提示模板
- 核心思路：针对不同子任务设计了四类prompt策略——直接提示（Direct Prompting）直接询问LLM进行分类；定义增强提示（Definition-Augmented Prompting）在prompt中加入论辩概念的形式化定义；链式思维提示（Chain-of-Thought Prompting）引导LLM先分析论证结构再给出判断；任务分解提示（Task Decomposition Prompting）将复杂的端到端任务拆解为多步子任务。实验发现CoT和任务分解策略在关系分类等复杂任务上表现最优。
- 设计动机：论辩挖掘涉及多层次的语义理解，不同复杂度的子任务可能需要不同深度的推理引导
跨领域泛化性评估框架:
- 功能：测试LLM在不同论辩领域间的迁移能力
- 核心思路：选取了多个领域的AM数据集，包括学生作文（Persuasive Essays）、在线辩论（Online Debates）、科学论文（Scientific Articles）、法律文本（Legal Texts）等。在零样本和少样本设置下，评估LLM在源领域训练/提示后在目标领域的表现。关键发现是LLM的跨领域泛化能力显著优于微调后的BERT-base模型，尤其在低资源场景下优势更为明显。
- 设计动机：跨领域泛化是论辩挖掘的核心挑战，LLM的大规模预训练知识理论上应该有助于领域迁移
LLM与专家模型的融合策略:
- 功能：探索LLM输出作为特征增强传统模型的可能性
- 核心思路：将LLM的预测结果、生成的论证分析文本作为额外特征输入到下游分类器中。具体而言，利用LLM对每个论证组件生成结构化分析（如论证类型、逻辑强度、潜在反驳点），将这些分析文本通过编码器转化为特征向量，与原始文本特征拼接后输入分类器。这种方法在论证质量评估任务上带来了显著提升。
- 设计动机：LLM擅长高层语义理解和常识推理，而专家模型擅长细粒度特征提取，两者互补可以获得更好的综合表现

损失函数 / 训练策略¶

对于微调实验，采用标准的交叉熵损失进行分类训练。在少样本设置中，使用in-context learning不涉及参数更新。在融合策略中，下游分类器使用加权交叉熵损失处理类别不平衡问题，权重根据各类别样本比例动态调整。

实验关键数据¶

主实验¶

任务/数据集	指标	GPT-4 (0-shot)	GPT-4 (few-shot)	RoBERTa-FT	提升/差距
组件检测 (PE)	Macro-F1	72.3	78.6	82.1	-3.5 vs FT
关系分类 (PE)	Macro-F1	64.8	71.2	68.5	+2.7 vs FT
质量评估 (GAQCorpus)	Spearman	0.61	0.68	0.58	+0.10 vs FT
立场检测 (VAST)	Macro-F1	67.5	73.1	70.8	+2.3 vs FT
跨领域组件检测	Macro-F1	65.2	69.8	54.3	+15.5 vs FT

消融实验¶

Prompt策略	关系分类F1	质量评估Spearman	说明
Direct	58.3	0.52	基础直接提示
+ Definition	62.1	0.57	加入概念定义，+3.8
+ CoT	68.5	0.64	链式思维，+10.2
+ Task Decomp	71.2	0.68	任务分解，最优
Fusion (LLM+RoBERTa)	74.6	0.72	融合策略，overall最优

关键发现¶

LLM在论证关系分类和质量评估等需要深层推理的任务上超越了微调的小模型，但在组件检测这种序列标注任务上仍有差距，说明LLM更擅长理解"为什么"而非精确定位"在哪里"
跨领域场景下LLM的优势最为显著（+15.5 F1），验证了大规模预训练知识对领域迁移的关键作用
CoT和任务分解策略带来了稳定的增益，表明论辩理解是一个需要逐步推理的复杂过程
在法律和科学领域的论辩文本上，LLM的表现相对较弱，可能是因为这些领域的论辩模式与通用预训练数据差异较大

亮点与洞察¶

任务分解提示策略将端到端的论辩分析拆解为"识别论点→分析关系→评估质量"的流水线步骤，有效降低了每一步的推理难度，这一思路可以迁移到其他结构化信息提取任务
LLM与专家模型融合的方案很实用——用LLM做"高层分析师"，用小模型做"精确执行者"，这种分工模式在工业应用中有很强的落地价值
论辩质量评估任务上LLM的突出表现揭示了一个有趣现象：评估论证质量需要的"常识"和"逻辑直觉"恰好是LLM预训练过程中积累的强项

局限与展望¶

实验主要基于英文数据集，多语言场景下的论辩挖掘表现有待验证
目前的评估框架主要关注单轮论证分析，对多轮对话中的动态论辩过程建模不足
LLM在序列标注型子任务（如组件边界检测）上的相对劣势提示需要研发专门的token级别适配策略
融合方案增加了推理成本，如何在保持性能的同时降低计算开销是实际部署的关键问题

评分¶

新颖性: ⭐⭐⭐ 系统性评估工作，方法创新有限但实验全面
实验充分度: ⭐⭐⭐⭐ 覆盖多个数据集和子任务，消融实验详尽
写作质量: ⭐⭐⭐⭐ 结构清晰，分析深入
价值: ⭐⭐⭐⭐ 为论辩挖掘领域提供了LLM时代的基线参考和方向指引