跳转至

RFKG-CoT: Relation-Driven Adaptive Hop-count Selection and Few-Shot Path Guidance for Knowledge-Aware QA

会议: AAAI 2026
arXiv: 2512.15219
代码: 无
领域: LLM推理
sync关键词: 知识图谱问答, Chain-of-Thought, 关系感知, 自适应跳数, Few-Shot引导

一句话总结

提出RFKG-CoT，通过关系驱动的自适应跳数选择（利用KG关系激活掩码动态调整推理步数）和Few-Shot路径引导（Question-Paths-Answer格式的in-context示例），在4个KGQA基准上显著提升LLM的知识图谱推理能力，GPT-4在WebQSP上达91.5%（+6.6pp），Llama2-7B提升幅度最大达+14.7pp。

研究背景与动机

  1. 领域现状：KG-CoT等方法将知识图谱路径整合到LLM推理中以缓解幻觉，但在路径选择和路径利用两个环节存在瓶颈。

  2. 现有痛点：

  3. 刚性跳数选择：现有方法仅根据问题特征选择跳数，忽略KG关系结构。如"Justin Bieber的兄弟是谁"，直接"brother"关系只需1跳，但通过"father-son"间接链需多跳

  4. 路径利用不足：将KG路径直接拼接给LLM，缺乏如何解读和使用路径的引导

  5. 核心矛盾：KG路径的质量取决于跳数选择，而跳数应由问题和KG关系结构共同决定，不能一刀切。

  6. 切入角度：用关系激活掩码捕捉KG的关系语义来动态选择跳数；用Few-Shot的"Think"模板教LLM如何从路径中提取答案。

  7. 核心idea一句话：关系掩码让跳数选择感知KG结构 + Few-Shot路径引导教LLM如何使用路径。

方法详解

整体框架

初始化主题实体 → 通过MLP计算各关系分数 → 关系激活掩码动态选择跳数 → 生成KG路径 → 用Few-Shot引导（Question-Paths-Think-Answer模板）提交给LLM推理。

关键设计

  1. 关系驱动的自适应跳数选择器:
  2. 做什么：根据KG关系激活模式而非仅问题特征来动态选择推理步数
  3. 核心思路：用关系激活掩码记录每步推理中哪些关系被激活，据此判断是否需要更多跳。直接关系存在时选1跳，需间接链时自动增加跳数

  4. 设计动机：同一问题在不同KG拓扑下需要不同跳数，关系掩码捕捉了这种结构信息

  5. Few-Shot路径引导:

  6. 做什么：用结构化的in-context示例教LLM如何解读和使用KG路径
  7. 核心思路：每个示例包含：查询、序列化KG路径(Entity→Relation→Entity)、符号化"Think"模板（将路径元素映射到答案约束）、显式答案格式。最优示例数E=3
  8. 设计动机：LLM看到KG路径但不知道如何将路径信息转化为推理步骤，"Think"模板提供了桥梁

损失函数 / 训练策略

  • 图推理模块用MLP学习关系分数，在训练集上优化
  • LLM推理为zero-shot/few-shot，无需微调

实验关键数据

主实验

数据集 LLM RFKG-CoT KG-CoT 提升
WebQSP GPT-4 91.5% 84.9% +6.6pp
CompWebQ GPT-4 65.1% 62.3% +2.8pp
WebQuestions GPT-4 78.2% 68.0% +10.2pp
WebQSP ChatGPT 89.9% 82.1% +7.8pp
WebQSP Llama2-7B 87.1% 72.4% +14.7pp

消融实验

组件 WebQSP(ChatGPT) CompWebQ 说明
KG-CoT基线 82.1% 51.6% 无改进
+关系掩码 85.5% 59.8% +3.4/+8.2pp
+Few-Shot引导 87.7% 57.8% +5.6/+6.2pp
Full RFKG-CoT 89.9% 61.4% +7.8/+9.8pp

关键发现

  • 两个组件协同互补：关系掩码优化路径质量/选择，Few-Shot引导优化路径利用，合起来超过各自之和
  • 小模型受益更大：Llama2-7B提升+14.7pp vs GPT-4只+6.6pp，因为小模型参数知识更少，更依赖外部路径
  • Few-Shot示例数非单调：E=3最优，E=5反而下降（transformer的认知负荷）

亮点与洞察

  • 关系激活掩码是一个优雅的设计——用二值掩码编码KG的拓扑信息来指导跳数决策，比问题分类器更灵活
  • 逆向scaling发现：小模型受益更大，说明KG路径引导在弥补参数知识不足时最有价值

局限性 / 可改进方向

  • 未在最新推理模型（如o1、DeepSeek-R1）上测试
  • 关系掩码的学习依赖训练数据覆盖的关系类型
  • Few-Shot示例的选择策略可进一步优化

相关工作与启发

  • vs KG-CoT: 在两个关键环节（跳数选择+路径利用）上都有改进
  • vs ToG: ToG在KG上动态导航但不做路径引导，RFKG-CoT提供更结构化的引导

评分

  • 新颖性: ⭐⭐⭐⭐ 关系掩码+Few-Shot引导的组合是有效的增量创新
  • 实验充分度: ⭐⭐⭐⭐ 4个数据集+3个LLM+详细消融+超参数分析
  • 写作质量: ⭐⭐⭐⭐ 方法动机和设计逻辑清晰
  • 价值: ⭐⭐⭐⭐ 对KGQA领域有实用改进，小模型的大幅提升有应用价值