LegalReasoner: Step-wised Verification-Correction for Legal Judgment Reasoning¶

会议: ACL 2025
arXiv: 2506.07443
代码: LegalHK数据集
领域: LLM推理
关键词: 法律判决预测, 分步验证, 推理纠正, 过程验证器, 争议焦点

一句话总结¶

本文提出LegalReasoner框架，通过争议焦点识别、分步推理、过程验证器逐步校验以及专家设计的归因纠正策略来增强法律判决预测的可靠性，配合新发布的58130条香港法院案例LegalHK数据集，在LLAMA-3.1-70B上将与法院判决的一致率从72.37%提升至80.27%。

研究背景与动机¶

领域现状：法律判决预测（Legal Judgment Prediction, LJP）旨在基于案件事实和诉求自动做出裁决，对支持法院决策、提升司法效率具有重要价值。近年来LLM在法律文本理解上展现了较强能力，但直接用LLM进行法律推理仍面临挑战。

现有痛点：现有LJP方法在面对复杂法律案件时容易产生逻辑错误。法律推理需要严格的逐步论证——从事实认定到法律适用再到最终裁决，每一步都必须逻辑严密。但LLM生成的推理链常出现跳步、矛盾、偏离法律条款等问题，且缺乏对推理过程中间步骤的质控机制。一旦中间步骤出错，错误会沿推理链传播导致最终判决失误。

核心矛盾：LLM具备生成长推理链的能力，但缺乏自主发现和纠正推理错误的机制。法律推理对每一步的正确性要求极高——一个事实认定错误或法条适用偏差都可能导致截然不同的判决结果。

本文目标：设计一个"推理-验证-纠正"一体化的法律判决预测框架，在推理的每一步都进行多维度验证，并在发现错误时自动归因和纠正。

切入角度：借鉴法律实务中法官的推理模式——先梳理争议焦点将复杂案件分解，然后逐个争议焦点进行分析论证，每一步论证都需要事实支撑和法条根据。将这一过程形式化为可计算的流程。

核心 idea：提出"先识别争议焦点 → 再分步推理 → 每步用过程验证器从正确性/递进性/潜在性三个维度校验 → 错误时执行专家设计的归因-纠正策略"的四阶段框架。

方法详解¶

整体框架¶

LegalReasoner的处理流程：输入案件的诉求和事实 → 争议焦点识别模块将案件分解为若干争议点 → 针对每个争议点进行分步推理 → 每一步推理完成后，过程验证器从三个维度（正确性、递进性、潜在性）进行逻辑校验 → 若验证通过则继续下一步推理 → 若检测到错误，专家归因模块分析错误原因并生成修正提示 → 纠正后的推理步骤替换原步骤，继续后续推理 → 所有争议焦点推理完成后综合形成最终判决。

关键设计¶

争议焦点识别模块（Dispute Point Identification）:
- 功能：将复杂案件分解为独立的争议焦点，降低推理复杂度
- 核心思路：分析案件的诉讼请求和答辩意见，识别双方的分歧点（如损害赔偿金额争议、责任认定争议、法律适用争议等）。每个争议焦点被形式化为一个需要独立论证的子问题。LLM通过专门的prompt模板从案件描述中抽取争议焦点列表
- 设计动机：法律案件通常涉及多个争议问题交织，直接对整个案件进行推理容易混淆不同争议。分解后每个子问题的推理链更短、更清晰，也更容易验证
过程验证器（Process Verifier）——三维度逐步校验:
- 功能：在推理的每一步执行多维度逻辑验证，及时发现推理错误
- 核心思路：训练一个专门的验证模型，对每步推理从三个维度打分：正确性（该步推理是否逻辑正确、事实引用是否准确、法条适用是否恰当）；递进性（该步是否相对上一步有实质推进，而非原地踏步或跑偏）；潜在性（该步推理方向是否有正确到达最终结论的可能性）。三个维度的得分综合判定该步是否需要修正
- 设计动机：传统的只验证最终结果的方式无法定位具体哪一步出错。逐步验证+三维度分析不仅能发现错误还能定位错误类型（是事实错误、逻辑错误还是方向错误），为后续纠正提供精准指导
专家归因与纠正策略（Attribution and Resolution）:
- 功能：基于验证器的诊断结果，执行针对性的推理纠正
- 核心思路：根据验证器标记的错误维度（正确性/递进性/潜在性），选择对应的纠正策略。正确性错误 → 回溯检查事实引用和法条适用；递进性错误 → 重新聚焦当前争议焦点的核心问题；潜在性错误 → 调整推理方向或增加推理路径。纠正策略以专家设计的prompt模板形式实现
- 设计动机：不同类型的推理错误需要不同的修正方式。正确性错误通常是局部问题（可能是事实记忆错误），递进性错误可能是推理策略问题，潜在性错误可能需要根本性的方向调整。一刀切的纠正策略效果不佳

损失函数 / 训练策略¶

过程验证器使用LegalHK数据集中的标注进行训练，包括争议焦点标注、推理链标注和每步验证标签。训练采用多任务学习，同时优化三个维度的验证准确率。LegalReasoner整体框架对LLM进行SFT微调。

实验关键数据¶

主实验（法律判决一致率 Concordance）¶

模型/方法	基础LLM	+CoT	+LegalReasoner	提升
LLAMA-3.1-70B	72.37%	73.x%	80.27%	+7.9pp
LLAMA-3.1-8B	较低基线	略有提升	显著提升	较大提升
其他LLM	基线	基线+CoT	基线+LegalReasoner	一致性提升

消融实验¶

配置	判决一致率	说明
Full LegalReasoner	80.27%	完整框架
w/o 争议焦点识别	下降	不分解直接推理，复杂案件表现差
w/o 过程验证器	下降	无中间步骤校验，错误累积
w/o 纠正策略	下降	检测到错误但不纠正
只验证正确性	下降	单维度验证不够全面
三维度验证	最佳	互补的验证维度

关键发现¶

过程验证器的三维度设计缺一不可，正确性维度贡献最大但递进性和潜在性维度提供了不可替代的互补信息
争议焦点识别对复杂案件（多争议点）的提升最为显著，简单案件提升较小
纠正策略的针对性很重要——通用的"重新思考"提示效果远不如根据错误类型选择的专门策略
LegalHK数据集的58130条标注案例为法律推理研究提供了重要资源
在LLAMA-3.1-70B上效果最为显著，说明框架在强基座模型上更能发挥价值

亮点与洞察¶

三维度过程验证的设计精巧：正确性、递进性、潜在性三个维度完美覆盖了推理链质量的三个独立方面——每一步是否对、是否有进展、是否走在正确方向上。这一验证框架不仅适用于法律推理，可直接迁移到数学推理、科学推理等需要逐步验证的场景。
将法官推理模式形式化：从实务出发的三阶段设计（争议分解→分步论证→验证纠正）高度符合法律推理的实际流程，比通用的CoT或Tree-of-Thought更具领域针对性。
LegalHK数据集的稀缺价值：58130条带有争议焦点、推理链和验证标签的法院案例，在法律AI领域属于稀缺的高质量标注资源。

局限与展望¶

目前仅在香港法院案例上验证，大陆法系（如中国大陆、欧陆法系）和英美法系其他地区的适用性需要进一步验证
过程验证器的训练依赖于大量人工标注的推理链和验证标签，标注成本较高
纠正策略基于专家设计的模板，面对全新类型的法律推理错误可能需要扩展
从72.37%到80.27%仍有较大提升空间，真正的司法辅助可能需要更高准确率

评分¶

新颖性: ⭐⭐⭐⭐ 三维度过程验证+专家归因纠正在法律LJP领域是新颖的组合，但各组件思路有先例
实验充分度: ⭐⭐⭐⭐ 包含消融实验和多模型对比，LegalHK数据集的发布增加学术贡献
写作质量: ⭐⭐⭐⭐ 方法描述清晰，法律领域的专业术语使用得当
价值: ⭐⭐⭐⭐ 对法律AI有直接应用价值，过程验证框架有较好的可迁移性