跳转至

Knowledge Graph Retrieval-Augmented Generation for LLM-based Recommendation

会议: ACL 2025
arXiv: 2501.02226
代码: 无
领域: 文本生成
关键词: 知识图谱, RAG, 推荐系统, 结构化知识, LLM推荐

一句话总结

提出 K-RagRec 框架,将知识图谱(KG)中的结构化关系信息引入 LLM 推荐系统的 RAG 流程——从 KG 中检索高质量的结构化实体关系信息来增强推荐生成,解决纯文本 RAG 忽略结构关系和引入噪声的问题。

研究背景与动机

  1. 领域现状:LLM 被用于下一代推荐系统,但面临幻觉和缺乏最新/领域知识的问题。RAG 通过检索外部知识来缓解,但传统 RAG 以纯文本形式检索,忽略了知识的结构化关系。
  2. 现有痛点:(a) 纯文本 RAG 引入噪声——检索到的段落可能包含无关信息;(b) 忽略了实体之间的结构关系——推荐需要理解"用户-物品-属性"的图结构因果关系,纯文本难以表达。
  3. 核心矛盾:知识图谱有丰富的结构信息但 LLM 不能直接处理图结构;文本化 KG 信息又失去了结构优势。
  4. 本文要解决什么? 如何高效地从 KG 中检索结构化信息并转化为 LLM 可理解的格式来增强推荐。
  5. 切入角度:设计 KG-aware 的检索策略——从 KG 中提取与用户/物品相关的子图,线性化为文本后作为 RAG 的上下文。
  6. 核心idea一句话:用知识图谱的结构化信息替代纯文本做 RAG,为 LLM 推荐提供更高质量的外部知识。

方法详解

整体框架

K-RagRec 包含三个组件:(1) KG 子图检索——根据用户交互历史在 KG 中定位相关实体和关系子图;(2) 子图编码与线性化——将检索到的子图转化为 LLM 可理解的文本序列;(3) RAG 增强推荐生成——将线性化的 KG 信息作为上下文提供给 LLM 进行推荐生成。

关键设计

  1. KG 子图检索:
  2. 做什么:为每个推荐请求从 KG 中检索相关子图
  3. 核心思路:以用户交互过的物品为锚点,在 KG 中沿边扩展 k 跳,收集相关实体和关系。用注意力机制对边进行加权,保留最信息量的路径
  4. 设计动机:全 KG 太大无法直接使用,需要针对性提取

  5. 结构信息线性化:

  6. 做什么:将图结构转化为 LLM 可读的文本
  7. 核心思路:将三元组 (head, relation, tail) 转化为自然语言描述,如 "iPhone 14 属于 智能手机 类别,具有 A15芯片 特征"
  8. 设计动机:保留结构语义的同时适应 LLM 的文本输入格式

  9. 融合推荐生成:

  10. 做什么:将 KG 信息与用户历史结合生成推荐
  11. 核心思路:将线性化的 KG 信息和用户交互历史拼接为提示,让 LLM 生成推荐理由和物品列表
  12. 设计动机:KG 提供了"物品为什么适合用户"的推理依据

损失函数 / 训练策略

  • 使用 SFT 微调 LLM 以适应推荐任务格式
  • KG 来源:多个公开推荐数据集的配套知识图谱

实验关键数据

主实验

方法 推荐准确率 说明
LLM only (零样本) 基线 缺乏领域知识
LLM + 文本 RAG 检索文本信息
K-RagRec (KG RAG) 最高 KG 结构信息更有效

消融实验

配置 效果 说明
w/o KG 子图 (纯文本RAG) 性能下降 结构信息重要
w/o 注意力加权 略微下降 子图剪枝有用
不同 KG 跳数(1/2/3跳) 2跳最佳 1跳信息不足,3跳噪声增加

关键发现

  • KG 结构信息比纯文本描述更有利于推荐——因为它提供了明确的"物品-属性-类别"关系
  • 2跳子图在信息量和噪声之间取得最佳平衡
  • 线性化方式对效果有影响——自然语言描述优于简单三元组拼接
  • 在冷启动场景下改进最大——KG 提供了用户历史无法覆盖的信息

亮点与洞察

  • "用结构替代文本做RAG"的思路在推荐场景特别适用——推荐本质上是关系推理,图结构天然对应。
  • KG 作为外部知识源比纯文本文档更高质量——结构化、去噪、关系明确。
  • 冷启动场景的大幅改进说明 KG 的知识补充价值。
  • 该方法可迁移到其他需要结构化推理的 RAG 场景(如医疗诊断、法律推理)。

局限性 / 可改进方向

  • KG 的构建和维护成本高——需要人工或半自动方式创建
  • 线性化可能丢失部分图结构信息
  • 仅在推荐任务上验证
  • 大规模 KG 的子图检索效率需优化

相关工作与启发

  • vs 传统 RAG 推荐: 纯文本检索忽略结构;K-RagRec 显式利用 KG 结构
  • vs GraphRAG (MS): GraphRAG 从文本自动构建社区图;K-RagRec 使用已有 KG——两种结构化知识获取方式
  • vs KG-enhanced Recommenders: 传统 KG 推荐用图嵌入;K-RagRec 通过 RAG 范式让 LLM 直接推理

评分

  • 新颖性: ⭐⭐⭐⭐ KG+RAG+推荐的有效组合
  • 实验充分度: ⭐⭐⭐⭐ 多数据集+消融+冷启动分析
  • 写作质量: ⭐⭐⭐⭐ 问题定义清晰
  • 价值: ⭐⭐⭐⭐ 对LLM推荐系统有实用价值